Digitale Werkzeuge basierend auf künstlicher Intelligenz haben sich in den letzten Jahren rasant weiterentwickelt. Die KI-Modelle erkennen inzwischen Bilder extrem gut und können diese schon fast genauso detailliert auswerten und Rückschlüsse daraus ziehen wie wir Menschen. Bei Videos hingegen – animierten Sequenzen aus schnell aufeinanderfolgenden Bildern – stießen KI-Modell bislang auf Probleme. „Das menschliche Gehirn sieht nicht nur unbewegte Bilder. Es verarbeitet fließende Szenen im Alltag oder in einem Film und schafft daraus eine fortlaufende visuelle Erzählung“, sagt Seniorautor Hollis Cline vom Scripps Research Institut. „Diese Fähigkeit des Gehirns erfordert eine viel ausgefeiltere Form der Mustererkennung als die statische Bilderkennung.“
Wie erkennt das Gehirn Videosequenzen?
Zusammen mit seinem Kollegen Masaki Hiramoto hat Cline nun versucht, diese Mustererkennung des Gehirns zu verstehen und auf KI-Modelle zu übertragen. „Indem wir untersuchen, wie Neuronen die Bildsequenzen erfassen, können wir ähnliche Prinzipien auf die KI anwenden“, so Cline. Dafür analysierten die Forscher die Gehirnaktivität von Kaulquappen von Krallenfröschen, die bekanntermaßen bewegte Reize effizient erkennen können. Die Neurowissenschaftler stimulierten die Tiere mit 200 bis 600 Millisekunden kurzen Bildsequenzen aus schwarzen und weißen Quadraten sowie zweifarbigen rotierenden Kugeln. Währenddessen analysierten sie mit Elektroden, wie die Nervenzellen im Optischen Tectum der Tiere reagieren. Diese Hirnregion verarbeitet visuelle Reize und kommt bei allen Wirbeltieren vor, auch bei Menschen.
Dabei zeigte sich, dass verschiedene Neuronen in diesem Areal auf unterschiedliche filmähnliche Reize reagieren – etwa, wenn sich die Helligkeit geringfügig verändert, sich das Bild dreht oder sich ein Objekt verschiebt. Diese Neuronen erkennen demnach jeweils einzelne Puzzleteile eines bewegten Bildes und fügen sie anschließend zu einer kohärenten und kontinuierlichen Sequenz zusammen, schließen die Forscher. „Zusammengenommen weisen diese Daten darauf hin, dass Neuronen sowohl bestimmte Bildsequenzen als auch eine Reihe verwandter Filmreize erkennen“, schreiben sie.
