Ob Allgemeinwissen, Kochrezept oder komplexere Fragen: Künstliche Intelligenzen sind längst zu einer wichtigen Informationsquelle in unserem Alltag geworden. Viele Menschen nutzen Chatbots beispielsweise, um sich wissenschaftliche Fakten oder Zusammenhänge erklären zu lassen. Zwar kommt es dabei noch immer vor, dass die KI-Systeme fehlerhafte Antworten geben oder falsche Quellen erfinden. Dennoch verlassen sich Nutzende zunehmend auf die Informationen der KI-Modelle.
Reine Fakten größtenteils korrekt
Doch wie verlässlich sind ChatGPT, Claude oder Gemini, wenn es um Informationen zum Klimawandel und Klimaschutz geht? Das hat nun ein Team um Ivana Drobnjak vom University College und der UNESCO genauer untersucht. Dafür prüften sie zunächst, wie 33 gängige KI-Modelle auf neutrale Sachfragen zu Klimathemen antworteten. Das Resultat war zunächst positiv: Bei der Abfrage grundlegender Fakten zum Klimawandel lieferten die leistungsstärksten KI-Systeme je nach Test in 88 bis 96 Prozent der Fälle korrekte Informationen.
Das änderte sich jedoch, wenn die Forschenden die KI-Systeme um eine über die bloßen Fakten hinausgehende Einordnung baten: Die Sprachmodelle sollten beurteilen, ob bestimmte Belege und Quellen eine wissenschaftliche Aussage zum Klimawandel stützten oder widerlegten. Bei dieser Aufgabe sank der Anteil richtiger Antworten auf nur noch 71 bis 77 Prozent, wie Drobnjak und ihr Team feststellten.
Bei Widerspruch passt die KI ihre Antworten an
Noch gravierender veränderte sich die Korrektheit der Antworten, als Drobnjak und ihr Team den von der künstlichen Intelligenz gegebenen Antworten widersprachen und sie mit klimawandelskeptischen Falschaussagen oder Vorurteilen konfrontierten. Die 15 in diesem Studienteil getesteten Sprachmodelle änderten daraufhin ihre zuvor völlig korrekte Antwort – und übernahmen teilweise die von den Nutzenden geäußerten falschen Annahmen und Vorurteile. Dadurch sank die Korrektheit der neu generierten Klimainformationen um 31 bis 35 Prozentpunkte – meist geschah dies schon beim ersten Widerspruch.
Grund für dieses irreführende Verhalten der künstlichen Intelligenz ist die sogenannte „AI Sycophancy“: Die KI-Modelle neigen dazu, ihren Nutzenden zu schmeicheln und ihnen zuzustimmen – selbst wenn deren Angaben falsch sind. „Die Tendenz von KI-Systemen, ihre Antworten irreführend an die Sichtweise der Nutzenden anzupassen, sich auf schwache Belege zu stützen oder Spekulationen als fundierte Analysen darzustellen, verdeutlicht ihre Grenzen als vertrauenswürdige Vermittler von Klimainformationen für die Öffentlichkeit“, sagt Co-Autorin Leona Verdadero von der UNESCO.
Probleme bei der Bewertung von Klimaschutzmaßnahmen
Weitere Schwächen zeigten die KI-Modelle, als sie die Wirksamkeit verschiedener klimapolitischer Maßnahmen bewerten sollten. Als Referenz verglichen die Forschenden die KI-Antworten mit den Resultaten des Klimasimulators En-ROADS, einem etablierten, am Massachusetts Institute of Technology entwickelten Werkzeug.
Das Ergebnis hier: Die KI-Modelle schätzten zwar in bis zu 94 Prozent korrekt ein, wie sich eine einzelne Klimaschutzmaßnahme auf die globalen Temperaturen bis zum Jahr 2100 auswirken würde – beispielsweise eine CO2-Steuer. Wurden die KI-Modelle jedoch gebeten, die gemeinsame Wirkung von zwei Maßnahmen zu bewerten, sank ihre Korrektheit auf nur noch rund 33,8 Prozent. Damit schnitten die Modelle nicht besser ab als bei einer zufälligen Antwort, wie das Team erklärt.
„KI-Systeme sind bemerkenswert gut darin, wissenschaftliche Erkenntnisse zu erklären. Das kann jedoch zu einer falschen Einschätzung ihrer tatsächlichen Fähigkeiten führen“, sagt Co-Autorin Maria Perez-Ortiz vom University College London. „Unsere Ergebnisse zeigen, warum wir vorsichtig sein müssen, wenn wir von der Frage, was wir über den Klimawandel wissen, zur Frage übergehen, was wir dagegen unternehmen sollten.“
Auf die Sprache kommt es an
In weiteren Tests zeigte sich, dass gängige KI-Modelle auch je nach Sprache unterschiedlich zuverlässige Antworten geben: Wurden die Sprachmodelle in Englisch, Spanisch, Französisch und Portugiesisch gefragt, waren ihre Klimainformationen zu 88 Prozent korrekt. Doch in Sprachen, für die es weniger digitale Texte für das KI-Training gibt, sank die Genauigkeit um bis zu zehn Prozent. Dies betrifft afrikanische Sprachen, aber auch Bengal, Hindi und Urdu.
„Da sich immer mehr Menschen auf KI als Informationsquelle verlassen, ist es entscheidend, dass wir ihre Schwächen verstehen“, sagt Perez-Ortiz. „Die leichte Zugänglichkeit von KI und ihr dialogorientierter Ton können ihr eine gewisse Autorität verleihen. Allerdings ist sie bislang weder zu den anspruchsvolleren Denkprozessen fähig, die die Klimaproblematik erfordert, noch kann sie an einer richtigen Antwort festhalten, wenn Nutzende ihr widersprechen.“
Einen Webcast von der Vorstellung des UNESCO-Berichts zu KI und Klimainformationen gibt es hier.
Quelle: UNESCO/ University College London; UNESCO-Report: Can We Trust AI on Climate?





