Künstliche Intelligenz kommt bereits in vielen Bereichen als Forschungswerkzeug zum Einsatz. Sie kann Muster in riesigen Datenmengen finden, Proteinstrukturen vorhersagen und neue Materialien entwerfen. Auch in der Sozialwissenschaft wird ihr Nutzen diskutiert. Frühere Studien haben bereits gezeigt, dass Große Sprachmodelle (LLM) Antworten auf Umfragen oder Einstellungen unterschiedlicher Bevölkerungsgruppen plausibel simulieren können. Ob sich mit ihnen jedoch auch die Ergebnisse sozialwissenschaftlicher Experimente vorhersagen lassen – also die Wirkung bestimmter Interventionen oder Informationen auf das Antwortverhalten –, war bislang noch unklar.
Vorhersagen im Vergleich
Um diese Frage zu klären, hat ein Team um Ashwini Ashokkumar von der Harvard University für 70 repräsentative Umfrageexperimente aus den USA getestet, inwieweit das von OpenAI entwickelte Sprachmodell GPT-4 die Ergebnisse prognostizieren kann. Der Datensatz umfasste 469 experimentelle Behandlungseffekte und Daten von 119.330 Teilnehmenden. Darunter waren beispielsweise Studien, die untersuchten, inwieweit Informationstexte die Einstellung der Testpersonen zur COVID-19-Impfung oder zum Klimaschutz beeinflussten, oder sie dazu motivierten, mehr Sport zu treiben oder zur nächsten Wahl zu gehen.
GPT-4 erhielt jeweils Informationen zum Studiendesign, der Intervention und den Antwortskalen. Auf dieser Basis sollte es die Antworten für unterschiedliche Profile von Teilnehmenden vorhersagen, die sich in Alter, Bildung, Ethnie, Geschlecht, politischer Präferenz und Weltanschauung unterschieden. Daraus berechneten die Forschenden die zu erwartenden Effekte.
Das Ergebnis: „Die von GPT-4 abgeleiteten Vorhersagen korrelierten stark mit den tatsächlichen Behandlungseffekten“, berichtet das Team. Die KI erreichte eine ähnliche Genauigkeit wie menschliche Laien, die die Ergebnisse abschätzen sollten. Die präzisesten Ergebnisse lieferte eine Kombination aus menschlichen und maschinellen Vorhersagen. Das galt auch für Studien, die nicht im Trainingsdatensatz der KI enthalten gewesen waren. „Das deutet darauf hin, dass große Sprachmodelle einen bedeutenden Mehrwert bei der Prognose bisher unbekannter experimenteller Ergebnisse bieten“, folgert das Team.
Potenzial für Planung und Pilotstudien
Was die Effektgrößen anging, neigte die KI allerdings zu systematischen Überschätzungen. Im Vergleich zu den realen Ergebnissen nahm GPT-4 etwa doppelt so starke Effekte an. Zudem war die Korrelation mit den tatsächlichen Resultaten geringer, wenn es sich nicht um rein textbasierte Interventionen handelte, sondern um große Studien mit Feldexperimenten. „Das gleiche galt aber auch für menschliche Einschätzungen, was darauf hindeutet, dass manche experimentellen Effekte möglicherweise schwerer vorherzusagen sind“, schreiben Ashokkumar und ihre Kollegen.
