Künstliche Intelligenz kann Gedichte schreiben, bei der Früherkennung von Krankheiten helfen und Geschäftsideen erarbeiten. Auch in der Wissenschaft kommt sie zunehmend zum Einsatz. So lassen sich mit Hilfe von maschinellem Lernen Muster in riesigen Datensätzen erkennen und statistische Modelle erstellen. Doch meist ist unklar, wie genau die KI zu ihren Ergebnissen kommt. Das gefährdet die Glaubwürdigkeit und Reproduzierbarkeit der darauf aufbauenden Forschung. Um diesem Problem entgegenzuwirken, hat ein interdisziplinäres Forschungsteam Leitlinien für einen verantwortungsvollen Umgang mit künstlicher Intelligenz in der Wissenschaft entwickelt.
Ein Grundprinzip guter Wissenschaft ist, dass sich die Ergebnisse von anderen Forschenden nachvollziehen und replizieren lassen. Denn so lässt sich die Qualität der Ergebnisse überprüfen und es wird möglich, dass andere Forschungsgruppen auf den Erkenntnissen aufbauen können. Doch dieses Grundprinzip gerät durch die Verbreitung künstlicher Intelligenz ins Wanken. Modelle des maschinellen Lernens kommen inzwischen in den meisten wissenschaftlichen Disziplinen für vielfältige Fragestellungen zum Einsatz und ermöglichen, ganz neue Datenquellen zu erschließen, die mit klassischen statistischen Methoden nicht zugänglich waren. Doch die KI ist oft eine Blackbox: Wie genau sie zu ihren Ergebnissen kommt, bleibt im Dunkeln, und in vielen Fällen ist es nicht möglich, die Ergebnisse zu reproduzieren.
Disziplinübergreifende Checkliste
Diesem Problem hat sich nun ein Team um Sayash Kapoor von der Princeton University in New Jersey gewidmet. „Wenn wir von den traditionellen statistischen Methoden zu den Methoden des maschinellen Lernens übergehen, gibt es viel mehr Möglichkeiten, sich selbst ins Bein zu schießen“, sagt Kapoors Kollege Arvind Narayanan. „Wenn wir nicht eingreifen, um unsere wissenschaftlichen Standards und Berichterstattungsstandards zu verbessern, wenn es um auf maschinellem Lernen basierende Wissenschaft geht, riskieren wir, dass nicht nur eine Disziplin, sondern viele verschiedene wissenschaftliche Disziplinen nacheinander auf diese Probleme stoßen.“
Um der sich anbahnenden Glaubwürdigkeitskrise der Wissenschaft entgegenzuwirken, hat Kapoor gemeinsam mit einem interdisziplinären Team von Forschenden aus Fachbereichen wie Informatik, Datenwissenschaft, Mathematik, Sozialwissenschaften und Biomedizin eine Leitlinie erstellt, die die gute wissenschaftliche Praxis im Umgang mit maschinellem Lernen gewährleisten soll. „Dies ist ein systematisches Problem mit systematischen Lösungen“, sagt Kapoor. Das Ergebnis ist eine konsensbasierte Checkliste, die Forschende verschiedener Disziplinen als Anhaltspunkt nehmen können, wenn sie maschinelles Lernen einsetzen.
Transparenz im Forschungsprozess
Die Liste umfasst 32 Punkte in acht Kategorien. Dazu zählt zum Beispiel, das Ziel der jeweiligen Studie genau zu beschreiben und darzulegen, warum Künstliche Intelligenz für die jeweilige Fragestellung als geeignete Methode angesehen wird. Zudem sollen alle verwendeten Trainingsdaten sowie der Code und die Hardware des Modells offengelegt werden, um andere Forschungsteams in die Lage zu versetzen, die Ergebnisse zu reproduzieren. Auch die Auswahl der genutzten Trainings- und Testdaten sowie deren Limitationen sollen dargestellt und begründet werden.
„Diese Checkliste kann Forschenden bei der Planung und Durchführung einer Studie, Gutachtern bei der Überprüfung von Arbeiten und Zeitschriften bei der Durchsetzung von Standards für Transparenz und Reproduzierbarkeit als Ressource dienen“, schreibt das Team. Dabei sind die Empfehlungen so gestaltet, dass sie auf viele verschiedene Fachdisziplinen und Forschungsbereiche anwendbar sind, dabei aber gleichzeitig spezifisch genug sind, um die Probleme maschinellen Lernens genau zu adressieren.
Förderung des wissenschaftlichen Fortschritts
Aus Sicht von Kapoor und seinem Team können die von ihnen vorgeschlagenen Standards dabei helfen, die auf Künstlicher Intelligenz basierte Wissenschaft verlässlicher zu machen. Die Einhaltung aller Standards kann zwar die Zeit, die für jede einzelne Studie benötigt wird, verlängern. Da aber fehlerhafte, nicht reproduzierbare und letztlich nutzlose oder sogar schädliche Studien vermieden werden, könnte sich das Tempo des wissenschaftlichen Fortschritts insgesamt sogar erhöhen.
„Indem wir sicherstellen, dass die veröffentlichten Arbeiten von hoher Qualität sind und eine solide Grundlage für künftige Arbeiten bilden, können wir das Tempo des wissenschaftlichen Fortschritts möglicherweise beschleunigen“, sagt Kapoors Kollegin Emily Cantrell. „Wir sollten uns auf den wissenschaftlichen Fortschritt selbst konzentrieren und nicht nur darauf, dass die einzelnen Arbeiten veröffentlicht werden.“
Quelle: Sayash Kapoor (Princeton University, New Jersey, USA) et al., Science Advances, doi: 10.1126/sciadv.adk3452
»Der Begriff Wahrheit wird missbraucht«
