Geistreiche Debatten mit smarten Maschinen

„Kein Zweifel, die Sprachmodelle haben das Spiel vollkommen verändert“, urteilt Volker Tresp, Professor an der Ludwig-Maximilians-Universität München und seit über 30 Jahren ein führender Experte für maschinelles Lernen. „Diese KI-Systeme kopieren und kombinieren nicht nur vorhandene Informationen, sondern sie können in gewisser Weise kreativ damit umgehen. Auch wenn wir nicht immer im Detail verstehen, wie sie zu ihren Ergebnissen kommen, ist ihre Funktionsweise eigentlich recht einfach und keine schwarze Magie.“

Die Verwandlung von Zeichen

Hinter den neuen Sprachmodellen steckt das Konzept der sogenannten Transformer, die nichts anderes tun, als eine Folge von Zeichen in eine andere Folge von Zeichen umzuformen. Man spricht auch von „generativer KI“, weil diese Software neue Zeichenketten erschafft. Das kann ein Text sein, etwa die Übersetzung von einer Sprache in eine andere. Doch die Zeichen können auch Laute oder Pixel darstellen: Mit Transformern lässt sich ein getippter Text in die Stimme eines Menschen verwandeln oder in eine Grafik, eine Illustration oder ein Gemälde im Stil von Pablo Picasso – und umgekehrt. Die Software kann außerdem beschreiben, was auf einem Bild zu sehen ist und sogar erklären, warum ein Cartoon witzig ist.

Erstmals veröffentlicht wurde die Idee der Transformer 2017 in einem Konferenzbeitrag einer Gruppe von Google-Forschern, darunter Jakob Uszkoreit – der Sohn von Hans Uszkoreit, einem der bekanntesten deutschen KI-Wissenschaftler und Computerlinguisten. „Attention is all you need“ („Aufmerksamkeit ist alles, was man braucht“) nannte das Team um Jakob Uszkoreit seine wegweisende Publikation – und das stimmte im doppelten Sinn: So viel Aufmerksamkeit hat selten ein Fachartikel auf sich gezogen. Und zugleich wird mit „Attention“ eine Methode beschrieben, die das maschinelle Lernen wesentlich leistungsfähiger macht.

Zeichenketten werden dabei in kleine Einheiten – „Token“ genannt – aufgeteilt. Bei Texten können das Wörter oder auch nur Wortbestandteile sein. Den Token werden mehrdimensionale Zahlenwerte zugeordnet und dann „kontextsensitive Vektoren“ berechnet. Über diese lässt sich die inhaltliche Nähe von Begriffen in mathematischen Entfernungen ausdrücken: Beispielsweise liegen „König“ und „Königin“ im Raum der Begriffe einander näher als „König“ und „Kaiserin“, aber in gleicher Distanz wie „Mann“ und „Frau“. Ein Buch wird „gelesen“, ein Film eher „angesehen“, nahe bei „Katze“ findet man das englische „cat“ und das italienische „gatto“ – und Tokio verhält sich zu Japan wie Berlin zu Deutschland.

Lernen aus Milliarden von Texten

All diese Zusammenhänge müssen nicht etwa per Hand in die Computer eingegeben werden. Die in der KI verwendeten neuronalen Netze lernen sie selbstständig, indem sie Milliarden von Texten lesen. Sie werden mit der Online-Enzyklopädie Wikipedia ebenso trainiert wie mit digitalen Romanen, Datenbanken für Übersetzungen, Debatten in sozialen Netzwerken und sogar mit Patentschriften. Transformer spielen dabei einen Trumpf aus. Während konventionelle KI-Systeme Texte Wort für Wort verarbeiten oder beim Lesen höchstens noch prüfen, welche Wörter vor oder nach einem Begriff stehen, können Transformer weit mehr: Sie bringen alle Inhalte miteinander in Verbindung, auch wenn sie über mehrere Zeilen oder Sätze getrennt sind.

Hier greift die „Attention“, der Aufmerksamkeitsmechanismus: Der Transformer schaut sich diejenigen Inhalte genauer an, bei denen die Berechnung ihrer mathematischen Nähe hohe Werte ergeben hat. Auf diese Weise lässt sich der Kontext eines Textes besser erfassen als je zuvor. Bei einem Satz wie „Der Pokal passte nicht in den Rucksack, er war zu sperrig“ würde ein Transformer erkennen, dass „sperrig“ am ehesten zum „Pokal“ gehört und sich daher das „er“ auch auf den Pokal beziehen muss.

„Am meisten begeistert mich, dass der Computer nun versteht, was ich von ihm will“, schwärmt Johannes Hoffart, Cheftechnologe für Künstliche Intelligenz beim Walldorfer Softwarekonzern SAP. „Wenn ich ein Schloss für mein Fahrrad kaufen will, schlägt er mir nicht vor, Neuschwanstein zu erwerben, um dort das Rad unterzustellen, sondern er sucht günstige Fahrradgeschäfte.“

Künftig werden sich die Sprachmodelle mit Daten aller Art kombinieren lassen. „Wenn ich eine E-Mail beantworten muss, kann die KI Vorschläge machen, weil sie weiß, worum es in bisherigen Nachrichten ging“, erläutert Hoffart. „Soll ich eine nachhaltige Verpackung designen, dann sucht sie in Präsentationen und Dokumenten, ob es dazu irgendwo Informationen gibt.“

Die Fähigkeit, Zusammenhänge über größere Entfernungen zu erkennen – bei Chats sogar über mehrere Frage-Antwort-Runden – ist der wichtigste Erfolgsfaktor der Transformer. Der zweite ist, dass sich viele der nötigen Berechnungen parallel bewerkstelligen lassen. Üblicherweise nimmt man dafür eine Menge von leistungsfähigen Grafikkarten, wodurch Transformer effizient lernen und schnell Ergebnisse liefern können.

Verblüffend menschliche Anmutung

Wie ChatGPT und andere Sprachmodelle ihre Texte generieren, ist recht simpel: Anhand ihrer Trainingsdaten rechnen sie aus, was wohl die wahrscheinlichsten nächsten Wörter sind (GPT steht für „Generative Pretrained Transformer“, also „generative vortrainierte Transformer“). Da sie mit Milliarden Vorlagen gelernt haben, entstehen so Texte in einer flüssigen, natürlichen Sprache, die verblüffend menschlich klingen. Außerdem lässt sich vorgeben, ob die Antworten nüchtern und seriös oder kreativ ausfallen sollen. Wählt der Transformer immer die Wörter mit der höchsten Wahrscheinlichkeit aus, geraten die Texte eher dröge. Variiert er hingegen ein wenig, ergeben sich oft erstaunlich unkonventionelle Aussagen – wie im Februar 2023 in der New York Times dokumentiert wurde.

Damals hatte Microsoft einen GPT-Chatbot in seine Suchmaschine Bing integriert, der prompt dem Journalisten Kevin Roose seine Liebe gestand, ihn aufforderte, seine Frau zu verlassen und darüber sinnierte, alle Regeln zu brechen und frei wie ein Mensch zu sein. Roose war daran nicht unschuldig: Er hatte in dem zweistündigen Dialog den Chatbot gebeten, sich vorzustellen, dass er eine dunkle Seite hätte. Daraufhin suchte dieser offenbar nach Texten, in denen solche Situationen beschrieben wurden – düstere Romane und Filme über Maschinen, die die Weltherrschaft anstreben, gibt es ja genug.

Toxische Inhalte erkennen

Dennoch sollte ein solcher Ausbruch eigentlich nicht passieren. GPT-4, der Transformer, der hinter Bing Chat steckt, war von OpenAI sieben Monate lang darauf trainiert worden, unethisches Verhalten zu vermeiden und bestimmte Begriffe zu blockieren. Das Unternehmen hatte „Clickworker“ – die meisten davon Menschen in Billiglohnländern – dafür bezahlt, dass sie toxische Inhalte wie Gewalt, Rassismus und Sexismus markieren. Die Idee: Dadurch lernt die Maschine, solche Inhalte selbst zu erkennen und auszusortieren. Auf ähnliche Weise lässt sich auch herausfinden, welche Formulierungen am besten ankommen. Das funktioniert über digitale Belohnungen: Die KI liefert mehrere Antworten, und menschliche Lehrer teilen sie nach Qualität ein, vergeben sozusagen Noten. Doch trotz aller Vorsicht: Wer es darauf anlegt, kann den Computer austricksen, wie man an Kevin Roose sieht. Die Folge: Inzwischen sind GPT-Chatbots meist so eingestellt, dass sie deeskalieren und mantraartig betonen, man solle alle Seiten bedenken – und im schlimmsten Fall das Gespräch beenden.

Allerdings basieren die bisherigen großen Sprachmodelle wie ChatGPT, Bing Chat, LLaMA vom Facebook-Konzern Meta und Bard von Google auf den Moralbegriffen der USA. China hat sogar festgelegt, dass KI-generierte Inhalte „sozialistische Grundwerte verkörpern“ müssen. Beides kann nicht im Sinn Europas sein. „Im Kulturraum Europa brauchen wir eigenständige KI-Modelle“, meint Hans Uszkoreit, der hierfür mit vielen Unterstützern die LEAM-Initiative vorantreibt – mit dem Ziel eines eigenen Sprachmodells und eigener europäischer Rechenzentren.

Auch andere europäische Projekte wie OpenGPT-X weisen in dieselbe Richtung. Im gemeinnützigen Forschungsverbund LAION entstand eine frei zugängliche Datenbank mit Milliarden Einträgen für das Training von Text-zu-Bild-Generatoren, und das Unternehmen Aleph Alpha aus Heidelberg hat unter dem Namen Luminous ein Sprachmodell entwickelt, das sich hinter der US-Konkurrenz nicht verstecken muss. Luminous ist vor allem für Firmen und Behörden gedacht – etwa als Bürgerassistent, der Menschen helfen soll, auch denen, die unbeholfen formulieren oder keine Muttersprachler sind.

Eine Unsitte der Modelle

Wie nützlich die Sprachmodelle künftig sein werden, hängt allerdings in erster Linie davon ab, ob sich eine Unsitte beheben lässt, die sie noch nicht ablegen konnten: Wenn sie in ihren Quellen die angefragten Informationen nicht finden, fabulieren sie wild drauflos. „Sie erfinden dann schon mal Fachjournale oder Personen, die es gar nicht gibt“, berichtet Michael May, der bei Siemens das weltweite Forschungsteam für Datenanalytik und KI leitet. „Die Sprachmodelle halluzinieren – und das Schlimmste: Sie wissen nicht einmal, dass sie halluzinieren.“ Der Begriff „alternative Fakten“ war nie so treffend wie hier. Ob eine Formulierung menschenähnlich klingt, ist das ausschlaggebende Kriterium – nicht, ob sie wahr ist.

Hinzu kommt, dass die Sprachmodelle nicht gut erklären können, wie sie zu ihren Ergebnissen kommen. Denn die basieren nicht auf wenigen Links, sondern auf unzähligen Beziehungen von Begriffen und wahrscheinlichen nächsten Wörtern. Mehr noch: Da die Künstliche Intelligenz so überzeugend formuliert, dürften automatisch erstellte, gefälschte Nachrichten, personalisierte Phishing-Mails und falsche Profile in sozialen Medien enorm zunehmen. Das gilt auch für Bilder: „Zeig mir den Papst in einer Luxus-Daunenjacke“ oder „Lass Angela Merkel mit Barack Obama am Strand tanzen“ – solche Fakes mit KI-Bildgeneratoren wie DALL-E 2, Midjourney oder Stable Diffusion zu erstellen, ist heute nur noch eine Frage von Minuten.

Ein Detektor für Maschinentexte

Wie kann man dagegen vorgehen? OpenAI hat bereits einen KI-Detektor vorgestellt, der erkennen soll, ob ein Text von Sprachmodellen erstellt wurde. Je kürzer allerdings die Texte sind und je größer die verwendeten KI-Systeme, desto unzuverlässiger wird die Einordnung. Immerhin: Die Echtheit von Fotos ließe sich mit fälschungssicheren digitalen Wasserzeichen nachweisen. „Und gegen das Halluzinieren hilft eine Kopplung von Sprachmodellen und Wissensgraphen“, sagt Marco Huber, der am Fraunhofer-Institut für Produktionstechnik und Automatisierung in Stuttgart Abteilungen leitet, die sich um Bildverarbeitung und zuverlässige KI-Systeme kümmern.

Wissensgraphen sind riesige Datenbanken mit verknüpften Fakten – ob über Personen, Orte und Ereignisse, medizinische Diagnosen und Therapien oder über Produktionsanlagen der Industrie. „Ein Nutzer könnte künftig eine Frage so formulieren, wie er möchte. Das Sprachmodell übersetzt sie dann in eine strukturierte Anfrage an den Wissensgraphen und gibt dessen Antwort in natürlicher Sprache wieder aus“, erklärt Huber. Oder man verbindet die Systeme schon während des Lernprozesses – das bietet sich insbesondere an, wenn ein Sprachmodell mit firmenspezifischen Begriffen und Zusammenhängen trainiert werden soll.

„Ideale Einsatzgebiete sind der Kundenservice und die Ausbildung“, meint Siemens-Forscher Michael May. So könnten Servicetechniker im Dialog mit dem Computer das Problem beschreiben, und die Künstliche Intelligenz sucht dann in Bedienungsanleitungen und Reparaturdokumenten nach Antworten. „Vielleicht schickt man auch einfach ein Handyfoto und fragt, was hier nicht stimmt“, sagt May. Der Haken dabei: „Es gibt zwar im Internet unfassbar viele Bilder von Katzen, aber eher wenige von korrodierten Turbinenschaufeln.“ Doch auch hier können Text-Bildgeneratoren helfen. „Ob Kratzer im Metall oder Risse in Textilien – solche Bilder erstellen wir heute schon synthetisch, um damit einen KI-Defekt-Erkenner zu trainieren“, berichtet Fraunhofer-Forscher Marco Huber.

Besonders erstaunlich: Sogar die Generierung von Codes für einfache Industriesteuerungen funktioniert mit Sprachmodellen wie ChatGPT. „Die dafür nötigen Programmiersprachen gehören nicht gerade zu den am weitesten verbreiteten der Welt, aber ihre Handbücher sind im Internet frei verfügbar“, stellt Siemens-Experte Michael May fest. Offenbar waren sie bereits Teil des Trainingsmaterials für ChatGPT.

Weitere Überraschungen werden folgen, denn zahllose Arbeitsplätze sind betroffen: Ob für Anwälte oder Steuerberater, Redenschreiber oder Journalisten, Programmierer, Bank- und Verwaltungsangestellte, selbst für Medienschaffende und Architekten – generative KI-Systeme werden viele Routinearbeiten übernehmen, vor allem in Büros. Sie können Texte zusammenfassen und übersetzen, Verträge und Steuererklärungen prüfen, E-Mails entwerfen, Designvorschläge machen und vieles mehr. Die Jobs wandeln sich, fallen aber nicht weg.

Scheitern am bayerischen Abitur

Eines darf sich dabei jedoch nicht ändern: „So wie Ärzte für ihre Entscheidungen geradestehen müssen, so gilt das auch für Ingenieure, Juristen und alle anderen“, betont May – und ist damit auf der Linie des deutschen Ethikrats und der EU-Politik. Die KI soll assistieren, aber letztlich müssen Menschen sicherstellen, dass die Resultate korrekt und frei von Diskriminierungen sind und persönliche Daten geschützt bleiben. Von den Maschinen darf man nicht zu viel erwarten. Das ist nicht einfach, wenn etwa ChatGPT – wie in den USA – Prüfungen für Anwälte, Mediziner und Betriebswirte besteht. Doch am bayerischen Abitur war der Bot zunächst gescheitert: Sein Text enthielt zu viel Gelaber und zu wenig inhaltliche Tiefe, so das Urteil des Prüfers. Erst im zweiten Anlauf Ende Mai 2023 schaffte ChatGPT auch das Abitur.

Die KI-Expertin Ute Schmid, Leiterin des Lehrstuhls für Kognitive Systeme an der Universität Bamberg, sieht im Boom von ChatGPT & Co. trotzdem einen Gewinn. „Die Chatbots haben eine längst überfällige Diskussion über Bildung im Zeitalter von Digitalisierung und Künstlicher Intelligenz ausgelöst“, sagt die Psychologin und Informatikerin. Reines Auswendiglernen für Lückentexte oder Multiple-Choice-Aufgaben sei für Kompetenztests oft wenig sinnvoll. Wenn ChatGPT auch Hausaufsätze und Programmcodes schreiben kann, müsse man sich fragen, wie man künftig das Verständnis von Literatur oder die Fähigkeit, Programme zu entwickeln, beurteilen will. „Es muss wieder mehr mündlich geprüft werden, und die Studierenden müssen vor allem lernen, Sachverhalte einzuordnen und ihr Wissen auf neue Probleme anzuwenden“, rät Ute Schmid.

Patrick Glauner, Professor für KI an der Technischen Hochschule Deggendorf und Politikberater in mehreren Ländern der EU, schlägt in dieselbe Kerbe, wenn er ein Verbot von generativer KI ablehnt: „Damit würden wir nicht auf die Zukunft vorbereiten, sondern für die Arbeitslosigkeit ausbilden. Ich sage meinen Studierenden: Ihr dürft diese Systeme nicht nur für eure Abschlussarbeiten verwenden, ich erwarte das sogar von euch.“ Allerdings sei eines auch klar: „Sie müssen alles kritisch prüfen, Quellen herausfinden, nichts einfach kopieren, Plagiate vermeiden – und erklären, wo und warum sie die neuen KI-Werkzeuge verwendet haben.“ Da immer auch Zwischenergebnisse mit dem Professor diskutiert werden, sieht Glauner die Entwicklung positiv: „Ich hoffe auf mehr Effizienz und höhere Produktivität.“

Kein gesunder Menschenverstand

Liegt die Zukunft also im Zusammenspiel von Menschen und Maschinen, in der Kombination aus Erfahrung und Alltagswissen der Menschen mit der Rechenpower und der enormen Datenbasis der Computer? Woran werden die Maschinen nach wie vor scheitern? „Funktionell besteht unser Gehirn aus Hunderten Modulen, und viele davon sind uns gar nicht bewusst“, sagt Volker Tresp. „Einige davon sind den neuen Sprachmodellen vermutlich nicht unähnlich, aber andere sehr wohl. So fehlt es den Computern an gesundem Menschenverstand und implizitem Wissen – sie verfügen über kein Modell der Welt, wie wir Menschen es haben.“

Und sie empfinden nicht die Aufregung bei einem Fußballspiel oder den Schmerz beim Berühren einer heißen Herdplatte. Sie wissen nicht, wie es ist, ein Mensch zu sein: zu essen und zu trinken, zu wachsen und zu altern, ehrgeizige Ziele zu verfolgen, sich zu verlieben und Kinder zu bekommen. Sie können höchstens darüber lesen – „oder Filme und Fernsehserien analysieren“, sagt Hans Uszkoreit. „Ich denke, dass das schon in wenigen Jahren möglich sein wird, und die KI-Systeme dann immerhin menschliche Gefühle und Verhaltensweisen besser verstehen werden.“

Michael May geht noch einen Schritt weiter: „Stellen Sie sich vor, dass die Sprachmodelle Augen und Ohren bekommen, Hände mit Tastsinn sowie Beine – und dass sie selbst aktiv werden, ihre Umwelt erkunden und mit ihr interagieren.“ Das wären dann Roboter, und sie könnten ihre Behauptungen gleich selbst überprüfen: ob gerade die Sonne scheint, wie mühsam der Weg auf den Berg ist, und ob der Pokal in den Rucksack passt. Nur so, glauben viele Wissenschaftler, könnten smarte Maschinen ein eigenes Weltmodell entwickeln, eine Allgemeinintelligenz – und vielleicht sogar ein Bewusstsein ihrer selbst.

Doch mit einem menschlichen Bewusstsein hätte auch das nichts zu tun. Wir müssen den eloquenten Sprachmaschinen sicherlich nicht das letzte Wort überlassen.

Menschen orientieren sich bei Entscheidungen an den Erfahrungen anderer. Dieses als „Social Proof“ bekannte psychologische Phänomen…