Wie die KI genügsamer wird

von THOMAS BRANDSTETTER

Schätzungen zufolge benötigt eine einfache Anfrage an den Chatbot „ChatGPT“ etwa 10- bis 30-mal so viel Energie wie eine herkömmliche Internetsuche mit Stichwörtern. Rechnet man das auf die aktuell rund neun Milliarden täglichen Anfragen bei Google hoch, ergibt sich ein zusätzlicher Strombedarf in der Größenordnung des Verbrauchs eines kleinen Landes wie Irland. Auch das anfängliche Training eines sogenannten Sprachmodells wie ChatGPT benötigt eine enorme Menge an elektrischer Energie: in der Regel etwa so viel, wie ein mittelgroßes Kernkraftwerk in einer Stunde produziert. Das verursacht Stromkosten von mehreren Hunderttausend Euro.

Dabei ist die gesamte Informations- und Kommunikationstechnik schon jetzt für zwei bis vier Prozent der globalen Treibhausgasemissionen verantwortlich – ungefähr genauso viel, wie der weltweite Flugverkehr produziert. Doch der neue Treiber in diesem Bereich steht bereits fest: Es ist die Künstliche Intelligenz (KI).

Unvorstellbar große Datenmengen

Die Ursache für den horrenden Energiebedarf vor allem der aktuellen Sprachmodelle liegt in der schieren Größe der dahinterstehenden neuronalen Netze. GPT-3 etwa, das technische Herz von ChatGPT, besteht aus rund 175 Milliarden Parametern, die alle während eines langwierigen Trainingsprozesses nach und nach optimiert werden mussten, bis das Modell schließlich eigene Texte generieren konnte. „Die Datenmengen, anhand derer solche Systeme lernen, werden in Petabyte gemessen, also in Millionen Gigabyte“, sagt Barbara Hammer, Professorin für Maschinelles Lernen an der Universität Bielefeld.

Und auch wenn OpenAI, das US-amerikanische Unternehmen, das ChatGPT erschaffen hat, bislang keine konkreten Zahlen dazu veröffentlicht hat, gehen Forscher davon aus, dass die Menge der für den maschinellen Lernprozess verwendeten Textdaten etwa der Datenmenge eines zwei Jahre langen HD-Videostreams entspricht.

Das Training als Ratespiel

Dabei handelt es sich im Wesentlichen um frei zugängliche Texte aus dem Internet. Vereinfacht ausgedrückt verbirgt die KI für das Training immer wieder ein Wort eines Textes vor sich selbst und versucht dann, dieses Wort mithilfe der vorangegangenen und der nachfolgenden Textteile zu erraten. Nach Abschluss des Trainings ist das System schließlich in der Lage, auf der Grundlage eines vom Nutzer vorgegebenen Textanfangs einen plausiblen Vorschlag für das nächste Wort zu machen. Dann folgt das übernächste und so weiter. Am Ende entsteht so ein neuer Text, der zwar plausibel wirkt, letztlich aber bloß eine statistische Auswertung der Trainingsdaten widerspiegelt.

„Das Sprachmodell erlernt so aber nicht nur den Aufbau und die Struktur menschlicher Sprache, sondern nimmt auch sämtliche Informationen auf, die in den Texten stecken“, erklärt Hammer. „Wenn es also etwas über die Zugspitze als den höchsten Berg von Deutschland liest, speichert es auch diese Information irgendwo in den Parametern seines neuronalen Netzes ab.“ Diese Parameter, im Fachjargon auch „Gewichte“ genannt, beschreiben die Stärke der Verbindung zwischen je zwei künstlichen Neuronen. Sie stellen gewissermaßen das Analogon zu den Synapsen eines biologischen Nervensystems dar. Die Information über die Zugspitze ist also nicht wie bei einem herkömmlichen Computersystem explizit in einer Datenbank gespeichert, sondern manifestiert sich statistisch mit jeder Erwähnung in den Trainingsdaten immer deutlicher direkt in der Struktur des Netzes.