Musik aktiviert in unserem Gehirn ein weitverzweigtes Netzwerk. Forschende haben nun allein aus der Hirnaktivität von Testpersonen mit Elektroden im Gehirn rekonstruiert, welches Musikstück sie während der Aufzeichnung hörten. Dabei übersetzte eine künstliche Intelligenz die Gehirnwellen in eine erkennbare Version von Pink Floyds „Another brick in the wall.“ Die Technik könnte langfristig dabei helfen, leistungsfähigere Gehirn-Computer-Schnittstellen für Menschen zu konstruieren, die ihre Sprachfähigkeit verloren haben. Statt roboterhafter Sätze ließe sich dann auch die beabsichtigte Sprachmelodie rekonstruieren.
Musik und Sprache hängen eng miteinander zusammen und die Sprachmelodie gibt wichtige Informationen darüber, wie wir etwas meinen und welche Emotionen wir dabei empfinden. Bisherige Sprachcomputer für Menschen, die aufgrund von Lähmungen nicht mehr sprechen können, geben die Sätze allerdings mit einer monotonen, roboterhaft klingenden Stimme aus. Die sogenannte Prosodie, also Rhythmus, Betonung, Akzent und Intonation, bleibt dabei außen vor. Bisher ist es eine große Herausforderung, überhaupt die beabsichtigten Wörter aus der Gehirnaktivität abzulesen. Melodische Elemente fehlten bislang völlig, zumal ihre Verarbeitung und Erzeugung im Gehirn erst in Ansätzen verstanden ist.
Signale von der Oberfläche des Gehirns
Einem Team um Ludovic Bellier von der University of California in Berkeley ist es nun gelungen, ein erkennbares Musikstück allein aus der Hirnaktivität von Musikhörenden zu rekonstruieren. Dabei nutzten sie einen Datensatz von 29 Testpersonen, die aufgrund von Epilepsie Elektroden ins Gehirn implantiert bekommen hatten. Diese Elektroden ermöglichten den Forschenden, Signale direkt an der Oberfläche des Gehirns aufzuzeichnen, was wesentlich genauer ist als Ableitungen an der Kopfhaut.
Für die Versuche hörten die Personen einen etwa dreiminütigen Ausschnitt aus dem Rockstück „Another brick in the wall“ von Pink Floyd, während ihre Gehirnaktivität aufgezeichnet wurde. Die Erhebung fand bereits in den Jahren 2012 und 2013 statt. Mit der damals verfügbaren Technik ließen sich aus der Hirnaktivität lediglich Informationen über das Musikgenre ableiten. Bellier und sein Team analysierten die Daten nun jedoch erneut mit modernen Methoden der Spracherkennung und gestützt von künstlicher Intelligenz.
Erkennbares Musikstück rekonstruiert
Und tatsächlich: „Es gelang uns, einen erkennbaren Song direkt aus den neuronalen Aufzeichnungen zu rekonstruieren“, berichtet das Team. So waren Melodie und Rhythmus korrekt und die Worte zwar verwaschen, aber verständlich. Um herauszufinden, welche Hirnbereiche für die Entschlüsselung besonders wichtig sind, schlossen die Forschenden in weiteren Analyseschritten die Signale einzelner Gruppen der insgesamt über 2.500 Elektroden aus der Auswertung aus. Auf diese Weise fanden sie heraus, dass vor allem drei Hirnregionen spezifisch auf die Musik reagieren: der Gyrus temporalis superior, der Gyrus frontalis inferior und der sensomotorische Kortex. „Im Gyrus temporalis superior wiesen wir eine bisher unbekannte Subregion nach, die speziell auf musikalischen Rhythmus reagiert“, berichtet das Team.
Zudem identifizierten sie Strukturen, die besonders aktiv sind, wenn der Gesang oder ein Instrument neu einsetzen. Während bei der Verarbeitung von Sprache eher die linke Gehirnhälfte dominiert, zeigen die Ergebnisse, dass die Reaktionen auf Musik vor allem in der rechten Gehirnhälfte stattfinden.
Musikalische Gehirn-Computer-Schnittstellen?
„Im Zuge des Fortschritts auf dem Gebiet der Gehirn-Computer-Schnittstellen bieten die neuen Erkenntnisse eine Möglichkeit, zukünftige Gehirnimplantate für Menschen mit neurologischen oder entwicklungsbedingten Störungen, die das Sprechen beeinträchtigen, mit Musikalität zu versehen“, sagt Belliers Kollege Robert Knight. „Damit kann man nicht nur den sprachlichen Inhalt, sondern auch einen Teil des prosodischen Inhalts der Sprache, einen Teil des Affekts entschlüsseln.“ Während andere Forschungsteams, die an Hirn-Computer-Schnittstellen zur Spracherkennung arbeiten, sich oft auf motorische Areale konzentrieren, die an der Koordination von Zunge, Lippen und Kehlkopf beteiligt sind, legt die aktuelle Studie den Fokus auf auditorische Regionen.
„Die Dekodierung von den auditorischen Kortizes, die näher an der Akustik der Töne liegen als der motorische Kortex, ist sehr vielversprechend“, sagt Bellier hinzu. „Das gibt dem, was dekodiert wird, mehr Farbe.“ Ob die Erkennung allerdings jemals ohne ins Gehirn implantierte Elektroden funktionieren wird, ist unklar. „Die nicht-invasiven Techniken sind heute einfach nicht genau genug“, sagt Bellier. „Hoffen wir für die Patienten, dass wir in Zukunft mit Hilfe von Elektroden, die außen am Schädel angebracht werden, die Aktivität in tieferen Hirnregionen mit einer guten Signalqualität ablesen können. Aber davon sind wir noch weit entfernt.“
Quelle: Ludovic Bellier (University of California, Berkeley) et al., PLoS Biology, doi: 10.1371/journal.pbio.3002176
Wie Cannabinol den Schlaf fördert
