Musik und Sprache hängen eng miteinander zusammen und die Sprachmelodie gibt wichtige Informationen darüber, wie wir etwas meinen und welche Emotionen wir dabei empfinden. Bisherige Sprachcomputer für Menschen, die aufgrund von Lähmungen nicht mehr sprechen können, geben die Sätze allerdings mit einer monotonen, roboterhaft klingenden Stimme aus. Die sogenannte Prosodie, also Rhythmus, Betonung, Akzent und Intonation, bleibt dabei außen vor. Bisher ist es eine große Herausforderung, überhaupt die beabsichtigten Wörter aus der Gehirnaktivität abzulesen. Melodische Elemente fehlten bislang völlig, zumal ihre Verarbeitung und Erzeugung im Gehirn erst in Ansätzen verstanden ist.
Signale von der Oberfläche des Gehirns
Einem Team um Ludovic Bellier von der University of California in Berkeley ist es nun gelungen, ein erkennbares Musikstück allein aus der Hirnaktivität von Musikhörenden zu rekonstruieren. Dabei nutzten sie einen Datensatz von 29 Testpersonen, die aufgrund von Epilepsie Elektroden ins Gehirn implantiert bekommen hatten. Diese Elektroden ermöglichten den Forschenden, Signale direkt an der Oberfläche des Gehirns aufzuzeichnen, was wesentlich genauer ist als Ableitungen an der Kopfhaut.
Für die Versuche hörten die Personen einen etwa dreiminütigen Ausschnitt aus dem Rockstück „Another brick in the wall“ von Pink Floyd, während ihre Gehirnaktivität aufgezeichnet wurde. Die Erhebung fand bereits in den Jahren 2012 und 2013 statt. Mit der damals verfügbaren Technik ließen sich aus der Hirnaktivität lediglich Informationen über das Musikgenre ableiten. Bellier und sein Team analysierten die Daten nun jedoch erneut mit modernen Methoden der Spracherkennung und gestützt von künstlicher Intelligenz.
Erkennbares Musikstück rekonstruiert
Und tatsächlich: „Es gelang uns, einen erkennbaren Song direkt aus den neuronalen Aufzeichnungen zu rekonstruieren“, berichtet das Team. So waren Melodie und Rhythmus korrekt und die Worte zwar verwaschen, aber verständlich. Um herauszufinden, welche Hirnbereiche für die Entschlüsselung besonders wichtig sind, schlossen die Forschenden in weiteren Analyseschritten die Signale einzelner Gruppen der insgesamt über 2.500 Elektroden aus der Auswertung aus. Auf diese Weise fanden sie heraus, dass vor allem drei Hirnregionen spezifisch auf die Musik reagieren: der Gyrus temporalis superior, der Gyrus frontalis inferior und der sensomotorische Kortex. „Im Gyrus temporalis superior wiesen wir eine bisher unbekannte Subregion nach, die speziell auf musikalischen Rhythmus reagiert“, berichtet das Team.
