How to Cite

Gref, Michael and Matthiesen, Nike: Erkennung wahrgenommener Emotionalität mit Künstlicher Intelligenz in audiovisuellen Zeitzeugeninterviews: Deep Learning, Emotionserkennung, Zeitzeugeninterviews, Multimodalität, in Dieckmann, Lisa et al. (Eds.): 4D: Dimensionen | Disziplinen | Digitalität | Daten, Heidelberg: arthistoricum.net, 2022 (Computing in Art and Architecture, Volume 6), p. . https://doi.org/10.11588/arthistoricum.1100.c15424

Identifiers (Book)

ISBN 978-3-98501-124-7 (PDF)

Published

10/17/2022

Authors

Michael Gref, Nike Matthiesen

Erkennung wahrgenommener Emotionalität mit Künstlicher Intelligenz in audiovisuellen Zeitzeugeninterviews

Deep Learning, Emotionserkennung, Zeitzeugeninterviews, Multimodalität

Zeitzeugeninterviews sind ein wichtiger Bestandteil musealer Ausstellungs- und Vermittlungspraxis. Bisher wurden in der Auswertung jedoch primär die Transkriptionen des gesprochenen Wortes und damit die Inhalte der Erzählung berücksichtigt. Für eine vertiefte Erschließung ist allerdings nicht nur interessant was gesagt wird, sondern auch wie es gesagt wird. Die automatisierte Erkennung wahrgenommener Emotionalität kann dabei helfen, Zeitzeugeninterviews auf eine neue Weise zu erschließen. In diesem Aufsatz wird ein Forschungsprojekt zur Entwicklung eines Software-Prototyps für Emotionserkennung vorgestellt. Der Prototyp basiert auf einem multimodalen Ansatz, der sich an der menschlichen Fähigkeit orientiert, den emotionalen Zustand anderer Menschen erkennen zu können, (Dekodierungskompetenz). Eine wichtige Modalität hierbei ist die automatisierte Bilderkennung. Neben der Vorstellung der konzeptionellen Überlegungen und ersten Ergebnissen der Experimente werden auch die besonderen Herausforderungen des Projekts erläutert. Menschen nehmen Emotionen subjektiv und oft mehrdeutig wahr. Diese Annahme der Mehrdeutigkeit menschlicher Wahrnehmung von Emotionen zeigt sich bereits in den ersten untersuchten Ergebnissen. Ein Ungleichgewicht der verschiedenen Emotionsklassen beim Training und ein Mangel an repräsentativen Trainingsdaten führen ebenfalls zu Herausforderungen bei der technischen Umsetzung. Gleichzeitig offenbaren die Ergebnisse spannende Beobachtungen und vielversprechende Ideen für die zukünftige Anwendung und Forschung.