Künstliche Intelligenz kommt bereits in vielen Bereichen als Forschungswerkzeug zum Einsatz. Sie kann Muster in riesigen Datenmengen finden, Proteinstrukturen vorhersagen und neue Materialien entwerfen. Auch in der Sozialwissenschaft wird ihr Nutzen diskutiert. Frühere Studien haben bereits gezeigt, dass Große Sprachmodelle (LLM) Antworten auf Umfragen oder Einstellungen unterschiedlicher Bevölkerungsgruppen plausibel simulieren können. Ob sich mit ihnen jedoch auch die Ergebnisse sozialwissenschaftlicher Experimente vorhersagen lassen – also die Wirkung bestimmter Interventionen oder Informationen auf das Antwortverhalten –, war bislang noch unklar.
Vorhersagen im Vergleich
Um diese Frage zu klären, hat ein Team um Ashwini Ashokkumar von der Harvard University für 70 repräsentative Umfrageexperimente aus den USA getestet, inwieweit das von OpenAI entwickelte Sprachmodell GPT-4 die Ergebnisse prognostizieren kann. Der Datensatz umfasste 469 experimentelle Behandlungseffekte und Daten von 119.330 Teilnehmenden. Darunter waren beispielsweise Studien, die untersuchten, inwieweit Informationstexte die Einstellung der Testpersonen zur COVID-19-Impfung oder zum Klimaschutz beeinflussten, oder sie dazu motivierten, mehr Sport zu treiben oder zur nächsten Wahl zu gehen.
GPT-4 erhielt jeweils Informationen zum Studiendesign, der Intervention und den Antwortskalen. Auf dieser Basis sollte es die Antworten für unterschiedliche Profile von Teilnehmenden vorhersagen, die sich in Alter, Bildung, Ethnie, Geschlecht, politischer Präferenz und Weltanschauung unterschieden. Daraus berechneten die Forschenden die zu erwartenden Effekte.
Das Ergebnis: „Die von GPT-4 abgeleiteten Vorhersagen korrelierten stark mit den tatsächlichen Behandlungseffekten“, berichtet das Team. Die KI erreichte eine ähnliche Genauigkeit wie menschliche Laien, die die Ergebnisse abschätzen sollten. Die präzisesten Ergebnisse lieferte eine Kombination aus menschlichen und maschinellen Vorhersagen. Das galt auch für Studien, die nicht im Trainingsdatensatz der KI enthalten gewesen waren. „Das deutet darauf hin, dass große Sprachmodelle einen bedeutenden Mehrwert bei der Prognose bisher unbekannter experimenteller Ergebnisse bieten“, folgert das Team.
Potenzial für Planung und Pilotstudien
Was die Effektgrößen anging, neigte die KI allerdings zu systematischen Überschätzungen. Im Vergleich zu den realen Ergebnissen nahm GPT-4 etwa doppelt so starke Effekte an. Zudem war die Korrelation mit den tatsächlichen Resultaten geringer, wenn es sich nicht um rein textbasierte Interventionen handelte, sondern um große Studien mit Feldexperimenten. „Das gleiche galt aber auch für menschliche Einschätzungen, was darauf hindeutet, dass manche experimentellen Effekte möglicherweise schwerer vorherzusagen sind“, schreiben Ashokkumar und ihre Kollegen.
Aus Sicht der Forschenden legen die Ergebnisse nahe, dass künstliche Intelligenz die Sozialwissenschaft in vieler Hinsicht bereichern kann. „Große Sprachmodelle bieten ein kostengünstiges Werkzeug, um Ideen effizient in Pilotversuchen zu testen, bevor sie in Experimenten weiterverfolgt werden“, erklären sie. Dadurch könnten sich schneller Theorien zum menschlichen Verhalten entwickeln lassen, wobei die vielversprechendsten anschließend in der Realität getestet werden können.
Auch bei experimentellen Ergebnissen, die aufgrund einer zu geringen Stichprobengröße nicht signifikant sind, könnten KI-Modelle Hinweise darauf liefern, ob sich eine Replikation mit einer größeren Stichprobe lohnt. Auch in Fällen, in denen Experimente mit echten Menschen aus ethischen Gründen eingeschränkt sind – beispielsweise bei der Forschung zu Falschinformationen – könnte KI zum Einsatz kommen.
Kein Ersatz für Experimente mit Menschen
„Über alle Anwendungsbereiche hinweg ergeben sich die größten Vorteile aus der Kombination von LLM-Vorhersagen mit bestehenden Ansätzen, was ihre Rolle als ergänzende Werkzeuge unterstreicht – nicht als Ersatz für menschliche Stichproben“, schreiben die Forschenden. Dem stimmt auch David Garcia von der Universität Konstanz zu, der nicht an der Studie beteiligt war. „Die Ergebnisse werden die Grundlage für nützliche Anwendungen in der sozialwissenschaftlichen Forschung bilden, beispielsweise für die Wirkungsanalyse oder die Konzeption von Interventionen“, meint er.
Laut Garcia liefert die Studie zudem eine Basis für weitere Arbeiten, die darauf abzielen, menschliches Verhalten mit KI-Sprachmodellen zu modellieren. Die größte Gefahr besteht aus seiner Sicht darin, dass Forschende in der Sozial- und Verhaltenswissenschaft übermäßig auf KI zurückgreifen, statt sie nur als Hilfsmittel für echte Experimente und Umfragen zu verwenden. „Aber ich denke, es wird genügend kritische Stimmen geben“, sagt er. „Diese werden daran erinnern, dass es von grundlegender Bedeutung ist, reale Menschen bei solchen Fragestellungen zu berücksichtigen.“
Quelle: Ashwini Ashokkumar (Harvard University, Cambridge, Massachusetts, USA) et al., Nature, doi: 10.1038/s41586-026-10742-x
