Hören mit KI

Kann KI tatsächlich besser wahrnehmen als wir? Gleicht sie vielleicht nur aus, dass wir unsere Fähigkeit zur akustischen Wahrnehmung seit Beginn der Industrialisierung sehr vernachlässigt haben?
Dagmar Schuller:
Jein. Kommen wir zurück zu den Daten. Auch alle nicht verbalen Äußerungen – ein Zögern oder Lachen, Weinen, Seufzen, Stöhnen – all das muss erst von Menschen annotiert werden, bevor wir es einer Maschine beibringen können. Die lernt dann: Das ist das und das und das. Allerdings hören die Menschen, die für uns annotieren, all diese Details auch genau auf den Punkt. Sie nehmen alles so genau wahr, wie man es im normalen Leben vielleicht nicht tun würde. Die Maschine hat dann die Möglichkeit, genau dieses Defizit auszugleichen. Dafür muss man ihr aber erst einmal sagen, was das und das ist, damit sie es überhaupt erkennen kann. Hat sie es gelernt, kann sie es besser wahrnehmen als jemand, der nicht genau hinhört. Sie ist dann darauf trainiert z. B. nichtsprachliche Teile der Sprache als gleichwertig wahrzunehmen.

Das Abbilden dieses gesamten Bereichs der Paralinguistik ist ein großer Vorteil unserer Technologie. Wir sehen die Audiosignale und den gesamten Menschen. Wir sehen nicht nur bestimmte Aspekte wie Tonalität oder Sprechrhythmus. OpenSMILE ist schon heute auf das Erkennen von über 6.000 Charakteristika trainiert. Ein Zögern, eine bestimmte Betonung, Aussprachevarianten, Dialekte… - Es wird nicht nur der Ton gehört, sondern auch die Schwankung, der Verlauf eines Signals oder Atemgeräusche, die zum Beispiel fast komplett nicht tonal sind. Dieses „Ha“ bei einem Erschrecken. Da hört man ja kaum etwas. Aber das System erkennt, wie aufgeregt jemand ist oder wie dominant er spricht. Wir können Persönlichkeitsmerkmale aus der Sprache bzw. aus der Stimme herausfiltern; wie extrovertiert jemand ist, wie empathisch er reagiert… Es sind Dinge, die man sehr vielfaltig einsetzen kann.

Etwa im Gesundheitsbereich, in dem Sie stark engagiert sind?
Dagmar Schuller:
Das ist ein wichtiges Feld für uns. Hier arbeiten wir an diversen Forschungsprojekten mit. Etwa zur Früherkennung von Depression, Alzheimer, Parkinson, die sich oft schon sehr früh in Sprache bzw. Sprechen niederschlagen – lange bevor sie auf andere Art wahrnehmbar werden. Beim Forschungsprojekt zum Thema Depression etwa geht es um Frühdiagnostik und um Therapie. Ansatz ist hier, dem Patienten ein Audio-Tagebuch an die Hand zu geben. Jeden Tag spricht er in sein Handy, wie der Tag war und wie es ihm ging. Wenn der Patient es wünscht, könnte er das dann an seinen Arzt oder Therapeuten schicken; der erhält dann durch die Analyse ein deutlich komplexeres Bild als das, was er sich einmal in der Woche bei der unmittelbaren Begegnung mit dem Patienten machen kann. Beim Arzt dauern diese Begegnungen ja oft nur fünf bis zehn Minuten.

In einem anderen Projekt geht es um autistische Kinder. Sie haben große Schwierigkeiten, Emotionen anderer richtig zu deuten oder auch eigene Emotionen zu zeigen. Hier haben wir einen Roboter entwickelt, der den Kindern spielerisch hilft, Emotionen zu erlernen – wie eine Art Fremdsprache: Das ist glücklich, traurig, wütend... - Mit einem Roboter fällt den Kindern dieser Lernprozess deutlich leichter als mit einem Menschen. Bei Menschen haben sie oft Barrieren. Mit einem Roboter, der wie ein Spielzeug aussieht, können sie viel leichter interagieren.

Wie ist es bei Alzheimer?
Dagmar Schuller:
Hier ist das Projekt, an dem wir mitarbeiten, noch relativ am Anfang. Alzheimer-Diagnostik ist auch für den Neurologen herausfordernd, da es mehrere Varianten gibt. Man diagnostiziert nicht einfach Alzheimer sondern erkennt typische Marker. Betrachtet man Veränderungen in der Stimme, so gibt es bei Alzheimer drei verschiedene Biomarker. Zum einen geht es um klassische Emotionserkennung; Alzheimer-Patienten können von einem Moment auf den anderen emotional ausbrechen. Diese Wutausbrüche sind ganz typisch für Alzheimer. Ein zweiter Marker betrifft eher das Sprechen: Diese Patienten benutzen Worte oft nicht mehr im richtigen Kontext; in einem Satz tauchen plötzlich Worte auf, die da inhaltlich nicht hineinpassen. Dritter Marker ist die Aussprache. Die Färbung von Vokalen und auch von Konsonanten ändert sich. Man spricht langsamer, verzögert häufig. Das ist so eine klassische Anomalie.

Unser System braucht nun für alle drei Marker entsprechende Daten. Idealer Weise müssten wir die Daten von Menschen vor der Erkrankung haben und danach. Das ist herausfordernd. Bei Parkinson hingegen haben wir bereits sehr valide Ergebnisse für zwei Klassen. Wir können anhand eines Sprachsamples von unter 15 Sekunden erkennen, ob jemand Parkinson hat oder nicht.

Wie läuft eine solche Diagnose praktisch ab?
Dagmar Schuller:
Mit einem klassischen Sprachtest, bei dem Vokale gefiltert werden. Das A hört sich bei diesen Menschen anders an. Bestimmte Testaufgaben können sie nicht lösen etwa mehrmals kurz hinter einander „pataka pataka pataka“ sagen. Wir sind auch hier noch nicht am Ende. Aber wenn man sich vorstellt, dass das eine Eigendiagnose ermöglicht, für die man nicht erst zu Arzt oder Neurologen muss, ist das schon ein guter Schritt. Bei dem Projekt, das wir zusammen mit einem britischen Unternehmen realisiert haben, liegt die Erkennungsrate heute bei 92 Prozent – bei Verwendung einer Sprachprobe mit 15 Sekunden Länge. Da die sprachlichen Veränderungen bei Parkinson früher auftreten als die motorischen, wird eine frühzeitigere Diagnose möglich. Um noch zuverlässiger zu sein, brauchen wir noch bessere Daten.