Rechnen mit dem Reservoir

von DIRK EIDEMÜLLER

Hallo Computer, schreibe mir zum Valentinstag bitte ein Liebesgedicht im Stil von Hölderlin!“ „Hallo Mensch, wie lang soll es denn sein? Und welche Haarfarbe hat die Zielperson des Gedichts?“

Es ist nicht besonders romantisch, ein computergeneriertes Gedicht an seine Liebste oder seinen Liebsten zu verschicken. Aber die erstaunliche Entwicklung der Künstlichen Intelligenz hat das ermöglicht. Geradezu verblüffend wirkt es, wenn ein Computerchip auf komplexe menschliche Anfragen mit Expertenwissen, künstlerischer Kreativität oder schlichtweg normal wirkender menschlicher Kommunikation antwortet. Allerdings: Computer sind keineswegs wirklich intelligent. Sie schaufeln einfach riesige Datenmengen hin und her. Die Künstliche Intelligenz beruht letztlich auf sehr geschickt programmierten Algorithmen, die immense Text- und Datenmengen aus dem Internet zum intensiven Training nutzen. All diese Daten werden in sogenannte neuronale Netze eingespeist. Das sind Programme, mit denen sich die Verschaltung von Nervenzellen im Computer nachahmen lässt. Ähnlich wie bei den Gehirnzellen simulieren neuronale Netze eine Vielzahl miteinander verschalteter künstlicher Neuronen oder Knotenpunkte, die in mehreren Schichten angeordnet sind. Dabei dient jeweils der Output der einen Schicht als Input für die nächste.

Doch das Ganze hat ein großes und unsichtbares Manko: Das Training von simulierten neuronalen Netzwerken braucht enorm viel Energie. Im Gegensatz dazu arbeitet das menschliche Gehirn äußerst genügsam. „Unser Gehirn besteht aus ungefähr 100 Milliarden Neuronen oder Nervenzellen, die über rund eine Billiarde Synapsen miteinander verbunden sind“, sagt Alexey Scherbakov, Physiker an der Universität Dortmund. „Diese Komplexität lässt sich bislang selbst mit den besten Supercomputern auch nicht annähernd erreichen.“ Und während das menschliche Gehirn mit einem Energieverbrauch von gerade mal etwa 20 Watt zurechtkommt, beläuft sich der Hunger von Rechenzentren nach elektrischer Leistung zum Teil auf viele Megawatt – also das Millionenfache.

Gierig nach elektrischem Strom

Bei der Künstlichen Intelligenz ist dieser Energiehunger besonders groß. Für das Training umfassender Sprachmodelle wie ChatGPT und vergleichbarer Software müssen Rechenzentren wochenlang „schwitzen“ und verbrauchen riesige Mengen an elektrischem Strom. Sprachmodelle wie ChatGPT arbeiten mit rund 100 Schichten, wobei zu jeder Schicht Hunderte bis Tausende Knotenpunkte gehören, die mit Knotenpunkten aus anderen Schichten verknüpft sind. Zur Beschreibung des gesamten Systems sind weit über 100 Milliarden Parameter erforderlich. Diese gewaltige Komplexität ist auch nötig, da ein solches Computermodell eine Vielzahl von Informationen beinhalten muss. Dementsprechend aufwendig ist das Training, das für eine Feinabstimmung all der Milliarden Parameter notwendig ist.

Deshalb besteht in der Informationstechnologie schon länger die Idee, sich biologische Systeme zum Vorbild für eine energiesparende Datenverarbeitung zu nehmen. So wandelt die Retina – die innere Haut des menschlichen Auges – das einfallende Licht in vorstrukturierte elektrische Signale um, die das Gehirn danach zu einem mentalen Bild zusammensetzt.

„Hier entsteht gerade ein ganz neues wissenschaftliches Gebiet, nämlich das sogenannte ‚Reservoir-Computing‘“, sagt Scherbakov. Mit „Reservoir“ bezeichnen die Forscher jedes denkbare physikalische System, mit dem man eine Dateneingabe in Signale verwandeln kann. Das System macht dann im Verlauf der Zeit gewisse Änderungen durch und modifiziert dadurch die Signale. Das wiederum lässt sich auslesen und sorgt im besten Fall dafür, dass die Daten sinnvoll strukturiert werden.

„Gerade die Aufbereitung der Daten beim Training von Künstlicher Intelligenz nimmt sehr viel Rechenkapazität in Anspruch“, stellt Scherbakov fest. Sind die Daten erst einmal in eine leichter zu verarbeitende Form gebracht, dann entfällt ein Großteil der benötigten Rechenleistung – und damit auch des notwendigen Strombedarfs. Und der sorgt bei den großen IT-Firmen für recht gesalzene Rechnungen: Der Verbrauch an elektrischem Strom durch die Informationstechnologie liegt weltweit gesehen mittlerweile bei deutlich über zehn Prozent des Gesamtverbrauchs – und die Tendenz ist rapide steigend.

Am Anfang war der Wassereimer

Die ersten Schritte der Forschung auf dem Gebiet des Reservoir-Computing waren recht kurios. Vor gut 20 Jahren tüftelten Chrisantha Fernando und Sampsa Sojakka an der University of Sussex im englischen Brighton in ihrem Labor daran, mit der damals im Vergleich zu heute noch recht rudimentären Computerpower Sprach- und Mustererkennung zu betreiben. Irgendwie kamen sie dabei auf den Gedanken, man könne einem Computer eventuell die Spracherkennung erleichtern, wenn man die per Mikrofon aufgenommenen Schallwellen nicht direkt als elektrisches Signal in den Rechner einspeist, sondern sie vorher in Wasserwellen verwandelt. Der Computer muss dann nicht mehr das womöglich etwas schwierig zu interpretierende Sprachsignal verarbeiten, sondern braucht nur noch das gewissermaßen vorformatierte Muster der Wasserwellen zu analysieren.

Für ihre Experimente zu dieser Idee verwendeten Fernando und Sojakka einen gewöhnlichen Plastikkasten, den sie mit Wasser füllten. Am Rand des Eimers waren ein paar Lego-Motoren montiert, die abhängig vom Eingangssignal kleine Stäbchen in das Wasser tunkten und wieder herauszogen. Mit diesem Input ließ sich die Wasseroberfläche in Bewegung versetzen. Das entstehende Wellenmuster fingen die beiden Wissenschaftler auf, indem sie das Licht einer Lampe auf die Wasseroberfläche lenkten. Das auf dem Wasser reflektierte Licht landete auf einem dunklen Karton am Rand des Bassins. Eine Kamera registrierte das entstehende Helligkeitsmuster und sandte es als Signal an einen Computer.

Dabei kam die große Überraschung: Anhand des Wellenmusters konnte der Rechner – selbst bei einem so simplen Aufbau – nach einigen Trainingsrunden die Worte „zero“ und „one“ mit 99-prozentiger Sicherheit unterscheiden. Mit dem akustischen Signal allein erreichte der Computer hingegen lediglich eine Treffsicherheit von 75 Prozent. Offensichtlich hatte die analoge Signalumwandlung dem Computer die Arbeit entscheidend erleichtert.

Rasch expandierendes Forschungsfeld

Nachdem diese Ergebnisse längere Zeit nur als wundersame Bastelei galten, ist das Forschungsgebiet in den letzten Jahren rasch expandiert. „Das Reservoir-Computing bietet die einzigartige Möglichkeit, die Komplexität der analogen Welt für die digitale Datenverarbeitung zu nutzen – und zwar auf energiesparende Weise“, erklärt Scherbakov. Denn analoge und digitale Systeme unterscheiden sich grundlegend voneinander: Die digitale Welt besteht aus lauter Nullen und Einsen, die streng logisch miteinander verschaltet sind. Das führt zu einem deterministischen – eindeutig festgelegten und nachvollziehbaren – Verhalten, das sich exakt programmieren lässt.

Auf analoger Seite hingegen hat man es immer mit einem gewissen Maß an Rauschen zu tun. Kleine Zufälle sorgen für ein nicht perfektes Verhalten, das auch nicht vollständig determiniert ist. Gleichzeitig können analoge Systeme im besten Fall die gesuchten Eigenschaften von Signalen verstärken und unerwünschte Charakteristiken schwächen. Das hilft dabei, Dinge aus der realen Welt in ein Format zu übersetzen, mit dem Computer gut umgehen können.

Aus Mustern werden Wellen

Was das Reservoir-Computing heute beflügelt ist die Tatsache, dass sich die Computertechnik seit den Wassereimer-Versuchen von Fernando und Sojakka enorm weiterentwickelt hat. Statt einer einfachen Spracherkennung gibt es vielfältige Möglichkeiten der Künstlichen Intelligenz. Auch die Zahl möglicher Systeme für das Reservoir-Computing hat stark zugenommen. „In der Tat kann man fast jedes beliebige physikalische System für diese Zwecke einsetzen, solange es nur ein hinreichend komplexes Verhalten aufweist“, meint Scherbakov nur halb im Scherz. „Für industrielle Anwendungen ist es natürlich nicht praktikabel, mit Wassereimern zu arbeiten, sondern man nimmt gerne elektronische Komponenten, weil diese viel schneller sind.“

Das Team des Physikers an der TU Dortmund hat ein Reservoir-Modul entwickelt, das in der Fachwelt für viel Aufsehen gesorgt hat. Es besteht aus einem Wellenleiter, in dem sich akustische Wellen – Schallschwingungen innerhalb des Materials – und magnetische Wellen miteinander vermischen lassen. Der Kern des auf einem Mikrochip platzierten Systems besteht aus Galliumarsenid und Aluminiumarsenid und ist ein akustischer Wellenleiter, in dem sich mehrere Schwingungsmoden anregen lassen.

Auf diesem kaum mehr als einen Mikrometer dünnen Wellenleiter befindet sich eine mit gerade einmal 0,1 Mikrometern noch dünnere, strukturierte magnetische Schicht. Mit ultrakurzen Laserpulsen lassen sich auf dem Chip sowohl magnetische als auch akustische Wellen anregen, die sich gegenseitig beeinflussen. „Dieses Wechselspiel führt schon auf mikroskopischen Skalen zu komplexen Wellenformen mit einem hohen Informationsgehalt“, sagt Scherbakov. Nach einer kurzen Laufstrecke der Wellen liest dann ein zweiter Laserstrahl das Wellenmuster aus und speist es als Signal in einen herkömmlichen Computer ein.

Vereinfachte Signale

Mit diesem System gelang es dem Team in Dortmund, verschiedene Buchstaben zu erkennen, die der Laser auf eine winzige Fläche gezeichnet hatte. „Doch das war nicht das Ziel unserer Forschung, sondern lediglich als Demonstration gedacht, um das Potenzial der Kopplung von akustischen und magnetischen Wellen aufzuzeigen“, erklärt Scherbakov. Das Interessante an dieser Demonstration bestand darin: Der Wellenleiter hatte aus den unterschiedlichen Buchstaben ein zeitlich veränderliches Signal mit nur drei Parametern gemacht und damit brauchbar vorstrukturiert. Dieses vereinfachte Signal ließ sich durch die Software schnell und problemlos verarbeiten, und das Programm konnte die Buchstaben zuverlässig identifizieren.

Reservoir-Computer sind dank der vorstrukturierten Signale in der Lage, mit wesentlich einfacheren neuronalen Netzen zu arbeiten als herkömmliche Computer.

Spannend an dem akustisch-magnetischen Hybridsystem ist zudem einerseits, dass es mit Verarbeitungsfrequenzen im Gigahertz-Bereich arbeiten kann, womit ein hoher Datendurchsatz möglich ist. Andererseits soll künftig statt der Laserstrahlen eine direkte elektronische Steuerung möglich sein. „Damit ließe sich unser System auf einem herkömmlichen Computerchip integrieren“, sagt der Physiker Scherbakov.

Vielfältige Möglichkeiten

Aber es gibt auch ganz andere Typen von Reservoir-Computern. So arbeiten einige Forschungsgruppen mit sogenannten Skyrmionen. Diese winzigen Magnetwirbel lassen sich energiesparend durch elektrische und magnetische Felder beeinflussen. Eine Forschungsgruppe an der Johannes-Gutenberg-Universität in Mainz hat ein solches System entwickelt, mit dem sich grundlegende logische Operationen durchführen lassen. Künftig sollen sich mit solchen Systemen auch alltagsnahe Aufgaben wie das Erkennen von Gesten lösen lassen.

Und ein anderes Team der Universität Leipzig hat einen Reservoir-Computer gebaut, der sogar ganz ohne Strom funktioniert. Bei ihren Experimenten nutzten die Forscher sogenannte aktive kolloidale Partikel. Um sie herzustellen, haben die Physiker synthetische, mikrometerkleine Teilchen aus Plastik mit solchen aus Gold zu Paaren verbunden und in ein Wasserbad gebracht. Die Partikelpaare haben sie dann mit einem Laser manipuliert. Das sorgte dafür, dass die Plastik- und Goldteilchen umeinander kreisten. Diese Rotationsbewegung der Partikelpaare lieferte sozusagen das Ergebnis der Berechnung. Das Besondere an den Versuchen war, dass sich das Rauschen gut kontrollieren ließ. Daraus folgern die Leipziger Forscher: Selbst bei starkem Rauschen könnten sich kleine Partikel-Reservoire für bestimmte Berechnungen einsetzen lassen.

Wie diese Beispiele zeigen, eröffnet das Konzept des Reservoir-Computings eine breite Palette von Möglichkeiten – sowohl bei der Realisierung als auch bei der Anwendung. Allerdings: Um das Dichten romantischer Verse sollten wir uns vielleicht doch lieber weiterhin selbst bemühen. 

Dirk Eidemüller ist Physiker. In bild der wissenschaft berichtet er regelmäßig über aktuelle Trends bei der Forschung in dieser Fachdisziplin.