Pressemeldungen über den Leistungsstand der deutschen Forschung sind widersprüchlich und irritierend: Einmal ist zu lesen, daß die Leistungen deutscher Forscher zurückgehen. Ein anderes Mal wird von internationalen Durchbrüchen in Deutschland berichtet. Die unterschiedlichen Aussagen hängen mit davon ab, wie die Forschungsleistung bewertet wird. Maßstab kann die Zahl der Wissenschaftler, die Menge der Nobelpreise, die Beteiligung an international renommierten Forschungsprogrammen oder die Präsenz bei internationalen Konferenzen sein. In den USA und Großbritannien wird seit langem auch die Zahl wissenschaftlicher Publikationen als Meßlatte herangezogen, ein Indikator, der in Deutschland erst seit Mitte der achtziger Jahre verwendet wird.
In Deutschland lehnen dieses Verfahren viele Wissenschaftler vehement ab und verweisen auf die vielfältigen Fehlerquellen dieser Messungen. Ungeachtet solcher Attacken hat sich international die Messung der Wissenschaft über Publikationen – die Bibliometrie – zu einer besonderen Disziplin mit eigenen Fachzeitschriften und Konferenzen entwickelt. Die jüngste Konferenz mit breiter internationaler Besetzung fand im Juni 1998 in der Nähe von Cambridge/ England statt.
Die meisten Bibliometriker arbeiten mit der Datenbank “Science Citation Index”, abgekürzt SCI, die bereits 1961 von dem amerikanischen Chemiker Eugene Garfield entwickelt wurde und nahezu alle naturwissenschaftlichen Forschungsbereiche umfaßt. In der derzeit verfügbaren Online-Version sind rund 17 Millionen Fachaufsätze enthalten, wobei wöchentlich rund 15000 neue Artikel hinzukommen. Dazu werden vom Datenbankhersteller, dem Institute for Scientific Information in Philadelphia, USA, 5000 der führenden wissenschaftlichen, technischen und medizinischen Zeitschriften ausgewertet. Insgesamt gibt es weltweit sogar mehr als 70000 wissenschaftliche Zeitschriften.
Diese breite fachliche Abdeckung des SCI erspart es dem Publikationsforscher, sich in die Eigenheiten einer Vielzahl von Spezialdatenbanken einzuarbeiten. Ein weiterer wichtiger Vorteil besteht darin, daß er nicht nur den ersten Autor einer Publikation und sein Institut erfaßt, sondern alle beteiligten Autoren mit ihren Herkunftsadressen.
Denn nicht selten gibt es heute Publikationen, an denen mehr als zehn Autoren und mehr als fünf Forschungseinrichtungen beteiligt sind. Um die Leistungsfähigkeit zu beurteilen, ist es gerade interessant, solche gemeinsamen
Publikationen zu analysieren, weil sie ein guter Indikator für internationale Kooperationen sind. So ist die Zahl der Ko-Publikationen deutscher Wissenschaftler mit ausländischen Partnern zwischen 1980 und 1997 von 10 auf 30 Prozent gestiegen. Durch kaum einen anderen Indikator läßt sich die drastische Globalisierung der Forschung besser illustrieren. Doch auch der SCI ist in seiner fachlichen Abdeckung keineswegs ideal, weil er die Lebenswissenschaften deutlich stärker als andere Zweige berücksichtigt. 1998 gab es mehr als elf Millionen Literaturhinweise zu Biowissenschaften, Landwirtschaft und Medizin, dagegen nur zwei Millionen zu Ingenieurwissenschaften und knapp vier Millionen zu Physik und Chemie.
Ein wesentlicher Grund für diese Schieflage besteht darin, daß in dieser US-Datenbank die amerikanische Forschung besser repräsentiert ist. So konzentrierten sich in den neunziger Jahren 55 Prozent der amerikanischen Universitätsforschung auf Biowissenschaften und Medizin, während dies in Deutschland nur 37 Prozent waren. Zur Erfassung der deutschen Forschungslandschaft wäre es dagegen interessanter, einen genaueren Einblick in die Ingenieurwissenschaften zu bekommen, wofür sich der SCI nur begrenzt eignet.
Zwar ist es mittlerweile für deutsche Wissenschaftler üblich, ihre wichtigen Ergebnisse in internationalen, englischsprachigen Fachzeitschriften zu publizieren. Dennoch gibt es im SCI immer noch eine unübersehbare Verzerrung durch die bevorzugte Abdeckung englischsprachiger Fachzeitschriften, was im Fachchinesisch der Bibliometriker als “language bias” bezeichnet wird.
Wie groß diese Verzerrung ist, läßt sich erkennen, wenn man die Zahl der SCI-Publikationen eines Landes mit den öffentlichen Forschungsausgaben vergleicht: Das englischsprachige Großbritannien kommt auf die besten Werte, dicht gefolgt von den USA. Deutschland, Frankreich und Japan liegen deutlich abgeschlagen etwa auf einem gleichen niedrigen Niveau. Dieser Vorsprung Großbritanniens und der Vereinigten Staaten liegt sicher nicht allein an größeren Forschungsleistungen; die Begünstigung durch die Sprache ist offensichtlich. Wer wissenschaftliche Arbeiten anhand des Science Citation Index über Ländergrenzen hinweg bewertet, muß sich über diese verzerrte Darstellung im klaren sein.
Will man gar Ranglisten von Forschungseinrichtungen oder einzelnen Forschern aufstellen, muß der Bibliometriker noch tiefer in die Materie einsteigen. Wichtig ist dabei, ob er nur Zeitschriftenartikel auszählt oder auch die in vielen Fachzeitschriften üblichen Briefe, Kurzbeiträge oder Buchbesprechungen. Außerdem muß er sich überlegen, wie er Konferenzbeiträge im Vergleich zu Publikationen in Fachzeitschriften wertet – ein Problem, das die Bibliometriker entzweit.
Hinzu kommt, daß nicht jeder Artikel in einer Fachzeitschrift wissenschaftlich wertvoll sein muß – auch wenn sie begutachtet ist. Das gilt um so mehr, als viele Autoren die Strategie verfolgen, ihre Ergebnisse scheibchenweise an verschiedene Fachzeitschriften zu geben, um so zu möglichst vielen Publikationen zu kommen.
Verzerrungen beim Vergleich der Publikationszahlen ergeben sich vor allem durch die Publikationspolitik der jeweiligen Einrichtung. Möchte ein Institut möglichst viele Publikationen haben, wendet es sich am besten mit jedem Teilergebnis an unbedeutende Zeitschriften. Bei renommierten Zeitschriften muß man sich meist einem schärferen Gutachterverfahren unterziehen und dementsprechend gewichtigere Beiträge vorweisen, was natürlich zu entsprechend niedrigeren Gesamtpublikationszahlen führt. Deshalb legt die bibliometrische Forschung größtes Gewicht darauf, wie häufig eine Arbeit zitiert wird. Dem Verfahren liegt die Annahme zugrunde, daß Zitierungen die Wahrnehmung eines Aufsatzes durch Fachkollegen widerspiegeln.
Häufig zitierte Publikationen – so die Annahme – sind für den Fortgang der Forschung bedeutender als weniger zitierte. Deshalb hat SCI-Gründer Eugene Garfield in seiner Datenbank auch Zitate registriert, was weltweit in dieser Form einmalig ist. Das eröffnet interessante Analysemöglichkeiten, gleichzeitig aber auch neue Probleme.
Denn es gibt sehr verschiedene Gründe für Zitate in Fachpublikationen, deren Gewicht durchaus unterschiedlich ist. Zitate können befürwortend oder ablehnend gemeint sein. Sie können sich auf zentrale Aspekte des eigenen Aufsatzes beziehen oder nur als illustrierender Hintergrund dienen.
Außerdem gibt es erhebliche Unterschiede der Zitierungsgewohnheiten in den verschiedenen Fachgebieten. Wenn die absolute Zitathäufigkeit als Maßstab dient, schneiden Wissenschaftler, die in engen Spezialdisziplinen arbeiten, schlecht ab. Denn es gibt nur wenige Fachkollegen, die ihre Artikel verstehen und damit auch zitieren könnten.
Dennoch sind in einigen Ländern Zitathäufigkeiten mittlerweile zu einem wichtigen Kriterium für die Beurteilung von Forschern avanciert. Deshalb sind Forscher schon mal versucht, die Statistik auszutricksen. So wird kolportiert, daß ein niederländischer Astronom in einem Artikel bewußt einen kleinen, nur schwer erkennbaren Fehler in eine Gleichung eingebaut hatte, den er wenig später in einem Folgeartikel richtig stellte. Seine Kollegen stürzten sich auf diesen Fehler, um sich selbst zu profilieren – mit der Folge, daß dieser Autor nun einen der höchstzitierten Artikel seines Fachgebietes vorweisen könne. Besagter Fall ist – so versichern niederländische Astronomen – nie passiert. Doch auf jeden Fall zeigt diese Anekdote sehr schön, welche Kreativität Forscher entfalten könnten, wenn es darum geht, sich einen besseren Platz auf Publikationslisten zu verschaffen.
Bei der Betrachtung von Zitierungen ist es wichtig, daran zu denken, daß zwischen einer Publikation und deren Zitierung Zeit verstreicht. In dynamischen Gebieten werden viele Artikel noch im Jahr ihres Erscheinens zitiert, in anderen Bereichen kann dies mehrere Jahre dauern. Gerade bei bahnbrechenden Arbeiten kommt es immer wieder vor, daß ihre Bedeutung zum Zeitpunkt der Publikation nicht richtig erkannt und verstanden wird und Zitate erst mit einem großen Zeitverzug einsetzen. Durch diesen Zeitverzug ist es möglich, daß der Wissenschaftler zum Zeitpunkt des Ranking gar nicht mehr auf diesem Fachgebiet arbeitet.
Ein wichtiger Aspekt bei statistischen Zitatanalysen ist schließlich, daß viele Autoren eigene frühere Artikel zitieren. Selbstzitate sind sicherlich sinnvoll, um nicht alle Vorarbeiten im Detail ausbreiten zu müssen. Sie sagen aber nichts über die Wahrnehmung in der Fachöffentlichkeit aus, um die es bei der Zitatanalyse gerade geht. Während der technische Aufwand zur Elimination solcher Selbstzitate gering ist, fällt es schwerer, “Zitierungskartelle” aufzuspüren. Damit sind Forscher aus verschiedenen Einrichtungen gemeint, die sich gezielt gegenseitig zitieren, um so hohe Zitatquoten zu erreichen. Selbst Insider, die lange mit dem SCI arbeiten, haben solche bewußten Zitierkartelle nur sehr selten aufdecken können. Warum dann überhaupt Zitierverfahren, mögen Sie angesichts der vielen Wenn und Aber fragen. Darauf gibt es eine klare Antwort: Auch das herkömmliche Peer-Review-Verfahren – die Bewertung einer wissenschaftlichen Arbeit durch externe Gutachter – ist längst nicht so objektiv, wie es Wissenschaftler gerne hätten.
Es zeigt sich immer wieder, daß sich die Urteile von Gutachtern widersprechen oder daß ausländische Gutachter die Dinge anders sehen als heimische Kollegen. Außerdem bilden sich in vielen Disziplinen Schulen, die sich untereinander heftig befehden, was etwa die neutrale Bewertung im Gutachterverfahren einschränkt. Auch Arbeiten von kreativen Außenseitern finden häufig bei den Gutachtern keine Gnade – ein Grund, weshalb sich neue Ansätze nur schwer durchsetzen können.
Die Nutzung von bibliometrischen Indikatoren ist daher eine sinnvolle Ergänzung zu allen anderen Verfahren und das einzige Instrument, das auch einem Fachfremden einen groben Einblick in das Leistungsvermögen wissenschaftlicher Institutionen gibt. Wenn wichtige Punkte – wie die Begünstigung englischsprachiger Artikel oder die von Fach zu Fach oft stark differierende Registrierung der wichtigen Fachzeitschriften – beachtet werden, liefern bibliometrische Analysen meist brauchbare Ergebnisse. Wenn es um die Bewertung einzelner Wissenschaftler oder Institutionen geht, sollten die Betroffenen Stellung nehmen können. Die Erfahrung zeigt, daß Interpretationsfehler so erst gar nicht in die Welt gesetzt werden.
Die Öffentlichkeit, die allein in Deutschland mehr als 30 Milliarden Mark beisteuert, um die Wissenschaft voranzutreiben, hat ein Recht zu sehen, wo besonders gute Arbeit geleistet wird und wo man vielleicht noch besser sein könnte.
Natürlich darf die Bibliometrie auch bei sorgfältiger Datenerhebung nicht mechanisch eingesetzt werden und nicht das alleinige Kriterium sein, das zur Förderung oder Schließung einer Forschungseinrichtung führt. Im Verbund mit anderen Bewertungsgrößen und Gutachterverfahren ist sie aber ein wichtiges und modernes Hilfsmittel, das neue Einblicke eröffnet.
Ulrich Schmoch / Angela Hullmann
Larry, die meist-zitierte Katze der Welt
