Rechnen mit dem Reservoir

von DIRK EIDEMÜLLER

Hallo Computer, schreibe mir zum Valentinstag bitte ein Liebesgedicht im Stil von Hölderlin!“ „Hallo Mensch, wie lang soll es denn sein? Und welche Haarfarbe hat die Zielperson des Gedichts?“

Es ist nicht besonders romantisch, ein computergeneriertes Gedicht an seine Liebste oder seinen Liebsten zu verschicken. Aber die erstaunliche Entwicklung der Künstlichen Intelligenz hat das ermöglicht. Geradezu verblüffend wirkt es, wenn ein Computerchip auf komplexe menschliche Anfragen mit Expertenwissen, künstlerischer Kreativität oder schlichtweg normal wirkender menschlicher Kommunikation antwortet. Allerdings: Computer sind keineswegs wirklich intelligent. Sie schaufeln einfach riesige Datenmengen hin und her. Die Künstliche Intelligenz beruht letztlich auf sehr geschickt programmierten Algorithmen, die immense Text- und Datenmengen aus dem Internet zum intensiven Training nutzen. All diese Daten werden in sogenannte neuronale Netze eingespeist. Das sind Programme, mit denen sich die Verschaltung von Nervenzellen im Computer nachahmen lässt. Ähnlich wie bei den Gehirnzellen simulieren neuronale Netze eine Vielzahl miteinander verschalteter künstlicher Neuronen oder Knotenpunkte, die in mehreren Schichten angeordnet sind. Dabei dient jeweils der Output der einen Schicht als Input für die nächste.

Doch das Ganze hat ein großes und unsichtbares Manko: Das Training von simulierten neuronalen Netzwerken braucht enorm viel Energie. Im Gegensatz dazu arbeitet das menschliche Gehirn äußerst genügsam. „Unser Gehirn besteht aus ungefähr 100 Milliarden Neuronen oder Nervenzellen, die über rund eine Billiarde Synapsen miteinander verbunden sind“, sagt Alexey Scherbakov, Physiker an der Universität Dortmund. „Diese Komplexität lässt sich bislang selbst mit den besten Supercomputern auch nicht annähernd erreichen.“ Und während das menschliche Gehirn mit einem Energieverbrauch von gerade mal etwa 20 Watt zurechtkommt, beläuft sich der Hunger von Rechenzentren nach elektrischer Leistung zum Teil auf viele Megawatt – also das Millionenfache.

Gierig nach elektrischem Strom

Bei der Künstlichen Intelligenz ist dieser Energiehunger besonders groß. Für das Training umfassender Sprachmodelle wie ChatGPT und vergleichbarer Software müssen Rechenzentren wochenlang „schwitzen“ und verbrauchen riesige Mengen an elektrischem Strom. Sprachmodelle wie ChatGPT arbeiten mit rund 100 Schichten, wobei zu jeder Schicht Hunderte bis Tausende Knotenpunkte gehören, die mit Knotenpunkten aus anderen Schichten verknüpft sind. Zur Beschreibung des gesamten Systems sind weit über 100 Milliarden Parameter erforderlich. Diese gewaltige Komplexität ist auch nötig, da ein solches Computermodell eine Vielzahl von Informationen beinhalten muss. Dementsprechend aufwendig ist das Training, das für eine Feinabstimmung all der Milliarden Parameter notwendig ist.

Deshalb besteht in der Informationstechnologie schon länger die Idee, sich biologische Systeme zum Vorbild für eine energiesparende Datenverarbeitung zu nehmen. So wandelt die Retina – die innere Haut des menschlichen Auges – das einfallende Licht in vorstrukturierte elektrische Signale um, die das Gehirn danach zu einem mentalen Bild zusammensetzt.

„Hier entsteht gerade ein ganz neues wissenschaftliches Gebiet, nämlich das sogenannte ‚Reservoir-Computing‘“, sagt Scherbakov. Mit „Reservoir“ bezeichnen die Forscher jedes denkbare physikalische System, mit dem man eine Dateneingabe in Signale verwandeln kann. Das System macht dann im Verlauf der Zeit gewisse Änderungen durch und modifiziert dadurch die Signale. Das wiederum lässt sich auslesen und sorgt im besten Fall dafür, dass die Daten sinnvoll strukturiert werden.

„Gerade die Aufbereitung der Daten beim Training von Künstlicher Intelligenz nimmt sehr viel Rechenkapazität in Anspruch“, stellt Scherbakov fest. Sind die Daten erst einmal in eine leichter zu verarbeitende Form gebracht, dann entfällt ein Großteil der benötigten Rechenleistung – und damit auch des notwendigen Strombedarfs. Und der sorgt bei den großen IT-Firmen für recht gesalzene Rechnungen: Der Verbrauch an elektrischem Strom durch die Informationstechnologie liegt weltweit gesehen mittlerweile bei deutlich über zehn Prozent des Gesamtverbrauchs – und die Tendenz ist rapide steigend.

Am Anfang war der Wassereimer

Die ersten Schritte der Forschung auf dem Gebiet des Reservoir-Computing waren recht kurios. Vor gut 20 Jahren tüftelten Chrisantha Fernando und Sampsa Sojakka an der University of Sussex im englischen Brighton in ihrem Labor daran, mit der damals im Vergleich zu heute noch recht rudimentären Computerpower Sprach- und Mustererkennung zu betreiben. Irgendwie kamen sie dabei auf den Gedanken, man könne einem Computer eventuell die Spracherkennung erleichtern, wenn man die per Mikrofon aufgenommenen Schallwellen nicht direkt als elektrisches Signal in den Rechner einspeist, sondern sie vorher in Wasserwellen verwandelt. Der Computer muss dann nicht mehr das womöglich etwas schwierig zu interpretierende Sprachsignal verarbeiten, sondern braucht nur noch das gewissermaßen vorformatierte Muster der Wasserwellen zu analysieren.

Für ihre Experimente zu dieser Idee verwendeten Fernando und Sojakka einen gewöhnlichen Plastikkasten, den sie mit Wasser füllten. Am Rand des Eimers waren ein paar Lego-Motoren montiert, die abhängig vom Eingangssignal kleine Stäbchen in das Wasser tunkten und wieder herauszogen. Mit diesem Input ließ sich die Wasseroberfläche in Bewegung versetzen. Das entstehende Wellenmuster fingen die beiden Wissenschaftler auf, indem sie das Licht einer Lampe auf die Wasseroberfläche lenkten. Das auf dem Wasser reflektierte Licht landete auf einem dunklen Karton am Rand des Bassins. Eine Kamera registrierte das entstehende Helligkeitsmuster und sandte es als Signal an einen Computer.