Um diese wichtige Frage zu klären, haben die Forscher mehr als 3.000 Metastudien aus 22 Fachgebieten zu dieser Frage ausgewertet. Insgesamt erfassten sie so fast 50.000 einzelne Fachartikel. Die Wissenschaftler überprüften diese Veröffentlichungen auf sieben mögliche Arten der Verzerrung hin: Sie prüften, ob kleine Studien auffällig oft besonders große, möglicherweise überzeichnete Wirkungen berichten und ob die Beteiligung der Industrie und anderer Drittmittelgeber dabei eine Rolle spielt. Zudem untersuchten sie, ob Studien mit drastischen oder überraschenden Effekten schneller veröffentlicht und häufiger zitiert werden als spätere, möglicherweise gründlichere und die Ergebnisse korrigierende Studien. Auch ob Studien mit nichtsignifikanten oder negativen Effekten generell seltener in Fachjournalen und dafür nur in Konferenzbeiträgen, Doktorarbeiten oder anderen weniger beachteten Publikationen erscheinen, untersuchten sie. Schließlich prüften die Wissenschaftler auch, ob Faktoren wie der Publikationsdruck auf die Forscher, das Geschlecht der Autoren oder ihre Position eine Rolle dafür spielen, ob und wie stark Verfälschungen oder Verzerrungen auftreten.
Verzerrungen ja, aber nicht durchgehend
Das Ergebnis: Wissenschaftliche Veröffentlichungen sind nicht frei von Verzerrungseffekten. Vor allem bei kleinen, früh in renommierten Fachjournalen veröffentlichten Studien fanden Fanelli und seine Kollegen tatsächlich Hinweise auf eine Tendenz zu überzeichneten Ergebnissen. Der Verdacht, dass der Publikationsdruck oder der Einfluss von Drittmittelgebern Forscher eher dazu bringe, ihre Ergebnisse zu überzeichnen, bestätige sich dagegen nicht, so die Forscher. Ihre Auswertung lieferte auch Antworten auf die Frage, welche Wissenschaftler am ehesten geschönte oder zumindest überzeichnete Ergebnisse publizieren: Am ehesten ist dies bei jungen Forschern am Beginn ihrer Karriere der Fall und bei solchen, die in sehr kleinen Gruppen arbeiten oder sich nur über große Entfernungen hinweg mit ihren Kollegen austauschen. “Das stützt die Annahme, dass die gegenseitige Kontrolle durch Teammitglieder eine Studie vor einer solchen Verfälschung schützen kann”, sagt Fanelli. So gebe es beispielsweise in den oft in großen Teams erarbeiteten Publikationen der experimentellen Physik keine solchen Trends. Ob die Autoren Männer oder Frauen sind, spielt im Übrigen keine Rolle, wie Fanelli und seine Kollegen feststellten.
Wie aber sieht es mit den Fachgebieten aus? Zur Überraschung der Forscher ist die Wahrscheinlichkeit für verzerrte Darstellungen offenbar sehr ungleichmäßig verteilt. “Obwohl die Neigung zu Verfälschungen in spezifischen Fachgebieten besorgniserregend hoch sein kann, ist sie in vielen andere Disziplinen gar nicht vorhanden”, sagt Fanelli. Besonders anfällig sind demnach Wirtschaft, Psychologie, Psychiatrie und Sozialwissenschaften, gefolgt von Biowissenschaften. Kaum betroffen sind dagegen “harte Naturwissenschaften” wie Physik, Mathematik, Chemie, Geowissenschaften oder Ingenieurswissenschaften. Die Forscher führen dies darauf zurück, dass die Methoden in den Sozial- und Wirtschaftswissenschaften, aber auch einigen Lebenswissenschaften per se anfälliger für Verfälschungen sein könnten. Ob dies tatsächlich der Fall sei, müsse aber noch geklärt werden, so die Forscher.
