Deutschland gilt als Heimat der Dichter und Denker. Und als Land der Ingenieure – nicht nur, weil Maschinenbau und Automobilindustrie Deutschland mehrfach zum Export-Weltmeister gemacht haben, sondern auch wegen der Qualität der Ingenieurausbildung und der Forschung. Man sollte annehmen, dass sich diese deutsche Stärke auch in den wissenschaftlichen Veröffentlichungen widerspiegelt. Eine Vermutung, die im Prinzip leicht zu überprüfen ist: In der Datenbank „Web of Science” (WoS) werden wissenschaftliche Artikel weltweit erfasst. Wie hoch ist der Anteil der dort registrierten Publikationen, die in das Fachgebiet der Ingenieurwissenschaften gehören? Und dann: Wie hoch ist dieser Anteil für Deutschland? Das verblüffende Ergebnis: Er liegt unter dem Durchschnitt aller Länder. So beträgt im WoS der Anteil des Maschinenbaus an allen deutschen Publikationen 1,8 Prozent. Im Datenbankdurchschnitt aller Länder sind es dagegen 2,9 Prozent – 60 Prozent mehr.
Genau das meint Ulrich Schmoch vom Fraunhofer-Institut für System- und Innovationsforschung (ISI), wenn er sagt: „Bei Ländervergleichen führt eine Auswertung für die deutschen Ingenieurwissenschaften zu negativen Spezialisierungsindizes.” Schmoch führt das Ergebnis auf eine Schwäche der Datenbank zurück, die eben nicht alle ingenieurwissenschaftlichen Veröffentlichungen aufnimmt, sondern nur eine Auswahl: Artikel in amerikanischen Fachzeitschriften werden eher berücksichtigt als solche aus dem deutschen Sprachraum. Zudem werden viele Konferenz- und Tagungsbeiträge – sogenannte Proceedings – nicht erfasst, die aber in der Informatik und den Ingenieurwissenschaften wichtig sind. Dadurch zeichnet die Abfrage ein statistisch verzerrtes Bild.
SCOPUS ALS HOFFNUNGSTRÄGER
Mit ähnlichen Problemen kämpft, wer beispielsweise die Publikationsleistung ingenieurwissenschaftlicher Fakultäten verschiedener Universitäten miteinander vergleichen und Ranglisten aufstellen will. „Wenn sie auf dem Web of Science basieren, sind die Vergleiche von ingenieurwissenschaftlichen Einrichtungen falsch”, sagt Schmoch. Er und andere Mitarbeiter des Karlsruher Fraunhofer-Instituts gehören dem „Kompetenzzentrum Bibliometrie für die deutsche Wissenschaft” an, das seit Ende 2008 bis 2012 vom Bundesforschungsministerium mit sechs Millionen Euro gefördert wird. Weitere Mitglieder des Zentrums sind das Institut für Forschungsinformation und Qualitätssicherung in Bonn, das Institut für Wissenschafts- und Technikforschung der Universität Bielefeld und das Fachinformationszentrum Karlsruhe.
Bis 2005 gab es zum WoS des US-Medienkonzerns Thomson Reuters mit Hauptsitz in New York keine ernsthafte Alternative, um Bibliometrie zu betreiben – also mittels mathematisch-statistischer Methoden die schriftliche Kommunikation von Wissenschaftlern zu untersuchen und zu bewerten. Doch inzwischen existiert eine zweite interessante Datenbank: Scopus. Sie wird betrieben von Elsevier – einem der weltweit führenden Wissenschaftsverlage mit Unternehmenssitz in Amsterdam. Auch mit Scopus lassen sich umfassende Zitationsanalysen durchführen: Dazu wird gezählt, wie häufig Wissenschaftler einen Artikel zitieren – ausgehend von der Annahme, dass dies umso häufiger der Fall ist, je bedeutender das Forschungsergebnis ist. „Wir sehen große Chancen, dass wir mit Scopus für Ingenieurwissenschaften und Informatik bei bibliometrischen Analysen zu besseren, statistisch sinnvolleren Aussagen kommen als mit dem Web of Science”, sagt Schmoch.
BIBLIOMETRIE – DAS EINZIGE GÜTESIEGEL?
Bestätigt habe sich diese Hoffnung bereits bei Testanalysen zum laufenden „Forschungsrating Elektro- und Informationstechnik” , bei dem der Wissenschaftsrat deutsche Universitäten und Forschungseinrichtungen untersucht, an denen das Fach vertreten ist. Genauere Untersuchungen für die Europäische Kommission haben gezeigt, dass vor allem der Maschinenbau und die Informatik in Scopus deutlich besser repräsentiert sind als im WoS. Bibliometrische Indikatoren können zwar die Qualität wissenschaftlicher Arbeit beschreiben. Doch sie alleine reichen sicher nicht. Indikatoren wie Technologietransfer, Beratungstätigkeiten, Tagungsausrichtung und das Begutachten der Arbeit anderer Forscher sind für eine Gesamtschau ähnlich wichtig. „Wenn Institute und Arbeitsgruppen ihre Aktivitäten ausschließlich auf das Publizieren und damit verbundene Indikatoren ausrichten würden, käme es mittelfristig zum Zusammenbruch der Wissenschaft”, urteilt Schmoch. Andererseits werden bibliometrische Indikatoren immer mehr zum zentralen Maß für den wissenschaftlichen Output. Ein wesentlicher Grund: „Das Gros der deutschen Spitzenuniversitäten von Konstanz bis Berlin, und von München bis Aachen wird heute nach Mustern des New Public Management geführt”, konstatierte in der Frankfurter Allgemeinen Zeitung Peter-André Alt, Präsident der Freien Universität Berlin. Zu den Elementen dieses Steuerungssystems gehören die Beurteilung von Lehr- und Forschungsbereichen sowie die leistungsbezogene Vergabe von Geldern. Leitbild ist das „Unternehmen Universität” mit einer starken Hochschulleitung, die ihre Produkte – Forschungsergebnisse und Ausbildung – im Wettbewerb um Studenten und Geldgeber anbietet.
JEDE MENGE FALLSTRICKE
Vor diesem Hintergrund schätzt Schmoch an Scopus nicht nur, dass die Datenbank Informatik und Maschinenbau besonders gut abdeckt. Ihn freut auch die „positive Konkurrenz”, die dazu geführt habe, dass die Datenbank-Hersteller inzwischen eher bereit sind, Verbesserungsvorschläge von Bibliometrie-Experten zu berücksichtigen. Dabei geht es etwa um die eindeutige Zuordnung der einzelnen Autoren, die gemeinsam einen Artikel geschrieben haben, zu ihren Forschungsinstituten oder um das Ausschreiben des Autoren-Vornamens – scheinbar Detailfragen, die aber für korrekte bibliometrische Analysen wichtig sind.
Publikationen und Zitate zu zählen, scheint nicht schwierig zu sein, doch es gibt in der bibliometrischen Praxis viele Fallstricke. Deshalb hat sich das Kompetenzzentrum Bibliometrie auf die Fahnen geschrieben, die Diskussion über Möglichkeiten und Grenzen der Analysen voranzubringen und die Ausbildung entsprechender Fachleute zu fördern. Neue Methoden werden entwickelt und die Datenqualität verbessert. Außerdem baut das Kompetenzzentrum für die typischen Anwendungen in Deutschland zwei qualitativ gesicherte Versionen der Datenbanken WoS und Scopus auf. Mit ihnen sollen sich beispielsweise über eingebaute Routinen Analysen durchführen lassen, die das unterschiedliche Publikations- und Zitierverhalten in verschiedenen wissenschaftlichen Fachdisziplinen berücksichtigen. Welche Datenbank sich beim Kompetenzzentrum in den nächsten Jahren durchsetzen wird, ist derzeit noch offen. Denn nicht für alle ist Scopus das künftige Maß der Dinge: Manche Experten sehen in den Naturwissenschaften das WoS vorne. Ideal wäre es sicher, beide Datenbanken zur Verfügung zu haben.
GOOGLE WARTET NOCH AB
Künftig werden womöglich nicht nur Thomson Reuters mit dem WoS und Elsevier mit Scopus das Rennen bestreiten. „Auch Vertreter von Google nehmen seit geraumer Zeit an bibliometrischen Tagungen teil”, berichtet Schmoch. Mit Google Scholar kann heute schon jedermann nach wissenschaftlichen Publikationen suchen und danach, wie oft sie zitiert werden. Doch für professionelle bibliometrische Analysen ist die Suchmaschine nicht attraktiv, weil sie die Ergebnisse scheinbar unsystematisch erzeugt: Beispielsweise ist nicht transparent, auf welcher Grundlage etwa Angaben zur Zitierhäufigkeit bestimmt werden. Solche Mängel ließen sich mit den Mitteln des Internet-Giganten wohl schnell ausmerzen. Entscheidend ist, ob Google dort ein lohnendes Geschäftsfeld wittert. Doch das Unternehmen lässt sich nicht gerne in die Karten schauen: Man habe in dieser Frage, so eine Google-Sprecherin, keine Ankündigung zu machen. ■
Frank Frick, langjähriger bdw-Autor, hat sich schon mehrfach mit Rankings von Forschungseinrichtungen beschäftigt.
von Frank Frick
