Ein Grundprinzip guter Wissenschaft ist, dass sich die Ergebnisse von anderen Forschenden nachvollziehen und replizieren lassen. Denn so lässt sich die Qualität der Ergebnisse überprüfen und es wird möglich, dass andere Forschungsgruppen auf den Erkenntnissen aufbauen können. Doch dieses Grundprinzip gerät durch die Verbreitung künstlicher Intelligenz ins Wanken. Modelle des maschinellen Lernens kommen inzwischen in den meisten wissenschaftlichen Disziplinen für vielfältige Fragestellungen zum Einsatz und ermöglichen, ganz neue Datenquellen zu erschließen, die mit klassischen statistischen Methoden nicht zugänglich waren. Doch die KI ist oft eine Blackbox: Wie genau sie zu ihren Ergebnissen kommt, bleibt im Dunkeln, und in vielen Fällen ist es nicht möglich, die Ergebnisse zu reproduzieren.
Disziplinübergreifende Checkliste
Diesem Problem hat sich nun ein Team um Sayash Kapoor von der Princeton University in New Jersey gewidmet. „Wenn wir von den traditionellen statistischen Methoden zu den Methoden des maschinellen Lernens übergehen, gibt es viel mehr Möglichkeiten, sich selbst ins Bein zu schießen“, sagt Kapoors Kollege Arvind Narayanan. „Wenn wir nicht eingreifen, um unsere wissenschaftlichen Standards und Berichterstattungsstandards zu verbessern, wenn es um auf maschinellem Lernen basierende Wissenschaft geht, riskieren wir, dass nicht nur eine Disziplin, sondern viele verschiedene wissenschaftliche Disziplinen nacheinander auf diese Probleme stoßen.“
Um der sich anbahnenden Glaubwürdigkeitskrise der Wissenschaft entgegenzuwirken, hat Kapoor gemeinsam mit einem interdisziplinären Team von Forschenden aus Fachbereichen wie Informatik, Datenwissenschaft, Mathematik, Sozialwissenschaften und Biomedizin eine Leitlinie erstellt, die die gute wissenschaftliche Praxis im Umgang mit maschinellem Lernen gewährleisten soll. „Dies ist ein systematisches Problem mit systematischen Lösungen“, sagt Kapoor. Das Ergebnis ist eine konsensbasierte Checkliste, die Forschende verschiedener Disziplinen als Anhaltspunkt nehmen können, wenn sie maschinelles Lernen einsetzen.
Transparenz im Forschungsprozess
Die Liste umfasst 32 Punkte in acht Kategorien. Dazu zählt zum Beispiel, das Ziel der jeweiligen Studie genau zu beschreiben und darzulegen, warum Künstliche Intelligenz für die jeweilige Fragestellung als geeignete Methode angesehen wird. Zudem sollen alle verwendeten Trainingsdaten sowie der Code und die Hardware des Modells offengelegt werden, um andere Forschungsteams in die Lage zu versetzen, die Ergebnisse zu reproduzieren. Auch die Auswahl der genutzten Trainings- und Testdaten sowie deren Limitationen sollen dargestellt und begründet werden.
„Diese Checkliste kann Forschenden bei der Planung und Durchführung einer Studie, Gutachtern bei der Überprüfung von Arbeiten und Zeitschriften bei der Durchsetzung von Standards für Transparenz und Reproduzierbarkeit als Ressource dienen“, schreibt das Team. Dabei sind die Empfehlungen so gestaltet, dass sie auf viele verschiedene Fachdisziplinen und Forschungsbereiche anwendbar sind, dabei aber gleichzeitig spezifisch genug sind, um die Probleme maschinellen Lernens genau zu adressieren.
