Hearing this while seeing that: Semantic congruence affects processing of audiovisual stimuli

Reißner, Timo, Martin

doi:10.24355/dbbs.084-200804230200-1

Published

Hearing this while seeing that : Semantic congruence affects processing of audiovisual stimuli

English
German

Under what circumstances does the human brain integrate multisensory information? Stein and Meredith (1993) have proposed three rules which describe the conditions of integration. Accordingly, temporal (1) and spatial (2) congruence facilitates behavioral responses and enhances neuronal firing. The weaker the stimuli, the larger is the enhancement [rule of inverse effectiveness (3)]. Are these rules sufficient to explain when stimuli from different modalities are integrated? In the literature, the rules were mostly tested with simple stimuli like flashes and clicks. But most audiovisual stimuli in the real world also contain semantic information. What happens if you hear something and see something else? Is semantic congruence irrelevant for multisensory integration? Or if semantics is relevant, are there any restrictions? The present experiments investigate the role of semantic congruence in responding to audiovisual stimuli. Pictures and environmental sounds of animals and objects were presented in the first experiment. Participants were to categorize stimuli of a given target modality as living or nonliving. Results indicate that corresponding stimuli (e.g. a barking dog) elicited faster and more accurate responses compared to unimodal stimuli (e.g. picture of a dog without a sound), to incongruent stimuli (e.g. picture of a dog and the sound of a piano), and even to stimuli from the same category (e.g. a meowing dog). Thus, the results show clear effects of semantic congruence on processing audiovisual stimuli. These effects are not explainable by response-congruence. The experiments included several kinds of stimuli and tasks to explore the generalizability of effects of semantic relation. Besides varying semantic congruence between pictures and environmental sounds, congruence of movement directions of simple visual and auditory stimuli, as well as between written and spoken words was varied. Tasks ranged from categorization, over detection tasks to reports of perception. Taken together, clear effects of semantic relation were found in tasks requiring processing of the content and in all kinds of employed stimuli. Vision dominated in most experiments, but effects from audition onto vision were also evident.

Unter welchen Umständen integriert das menschliche Gehirn multisensorische Informationen? Stein und Meredith (1993) haben drei Regeln aufgestellt, die Voraussetzungen für eine Integration beschreiben. Zeitliche (1) und räumliche (2) Übereinstimmung der Reize erleichtert die Reaktionen und erhöht die Feuerrate der Neuronen. Je schwächer zwei Reize sind, desto stärker ist der Zuwachs der neuronalen Aktivitäten [inverse Effektivität (3)]. Sind diese Regeln ausreichend, um zu erklären wann Informationen aus verschiedenen Sinnen integriert werden? In der Literatur wurden die drei Regeln meist mit einfachen Reizen wie Lichtblitze oder Klick-Tönen untersucht. In unserem Alltag beinhalten jedoch die meisten audiovisuellen Reize deutlich mehr semantische Informationen. Was geschieht, wenn wir etwas hören und etwas anderes sehen? Ist semantische Kongruenz irrelevant für eine multisensorische Integration? Falls semantische Kongruenz jedoch relevant ist, gibt es Einschränkungen dieser Regel? Anhand der vorliegenden Experimente wird untersucht, welche Rolle der Semantik bei der Reaktion auf audiovisuelle Reize zukommt. In Experiment 1 wurden Bilder und Geräusche von Tieren und Gegenständen präsentiert. Die Aufgabe der Versuchspersonen bestand darin, den Reiz einer vorgegebenen Modalität als belebt oder unbelebt zu klassifizieren. Die Ergebnisse zeigen, dass übereinstimmende Reize (z.B. ein bellender Hund) schnellere Antworten mit weniger Fehlern hervorriefen als bei Reaktionen auf unimodale Reize (z.B. nur das Bild eines Hundes ohne Geräusch). Ebenso gab es schnellere Antworten mit weniger Fehlern auf inkongruente Reize (z.B. das Bild eines Hundes und der Ton eines Klaviers) und sogar auf antwortkongruente Reize (z.B. ein miauender Hund). Demnach wurden also eindeutige Effekte der semantischen Kongruenz auf die Verarbeitung audiovisueller Reize festgestellt. Diese Effekte sind nicht durch Antwortkongruenz erklärbar. Die Experimente verwendeten verschiedene Reizarten und Aufgaben um die Effekte der Semantik weiter verallgemeinern zu können. Neben der Variation der semantischen Kongruenz bei Bildern und Geräuschen wurde die Kongruenz bei der Bewegungsrichtung von einfachen visuellen und auditiven Reizen sowie bei geschriebenen und ausgesprochenen Wörtern variiert. Dabei wurden Kategorisierungs- und Entdeckungsaufgaben sowie die Angabe des Wahrnehmungseindrucks verwendet. Insgesamt wurden eindeutige Effekte der Semantik bei allen verwendeten Reizen gefunden, allerdings nur, wenn für die Durchführung der Aufgabe eine Verarbeitung der Semantik notwendig war. Die visuelle Modalität dominierte in den meisten Experimenten, es wurden jedoch auch Effekte von der auditiven auf die visuelle Modalität gefunden.