In Wissenschaft und Forschung werden Entscheidungen über Stellenbesetzungen, Berufungen und Fördermittel nach der wissenschaftlichen Qualität der Bewerber oder der Arbeitsgruppen getroffen. Die beste Form der Qualitätsbewertung ist das Lesen und Durchdenken von wissenschaftlichen Publikationen. Dies zu leisten wird allerdings zunehmend schwerer, da die Menge der publizierten Beiträge fast inflationär steigt: Aus etwa 400 000 Artikeln, die für das Jahr 1973 in der internationalen Datenbank „ Science Citation Index” gelistet waren, sind inzwischen mehr als eine Million pro Jahr geworden. Und aus den damals rund 20 000 Beiträgen, die unter deutscher Beteiligung entstanden waren, sind mehr als 80 000 geworden. Um deren Wahrnehmung in der wissenschaftlichen Welt noch beurteilen zu können, braucht man zusätzliche, einfach zu ermittelnde und möglichst objektive Kriterien. Bibliometrische Analysen suchen nach solchen Indikatoren.

Bibliometrie ist nach einer Definition von Juan Gorraiz von der Österreichischen Zentralbibliothek für Physik die „Anwendung mathematischer und statistischer Methoden zur Erklärung der Prozesse von schriftlichen Mitteilungen”. Als Instrumentarium kommt die Zahl der wissenschaftlichen Publikationen, aber auch ihre Wahrnehmung in Form von Zitaten in Frage. Eine Arbeit, die oft zitiert wird, ist ganz offensichtlich präsenter als nicht zitierte Publikationen.

Diese sind übrigens gar nicht so selten. In den Naturwissenschaften ist jeder vierte Artikel unter deutscher Beteiligung selbst nach fünf Jahren noch nie zitiert worden.

Bibliometrische Analysen geben Auskunft über die Publikationsleistung (quantitativ), die Wahrnehmung und Wirkung von Publikationen in der Fachöffentlichkeit (qualitativ), die Integration in die Wissenschaftslandschaft und die internationale Sichtbarkeit von Personen oder Institutionen im Vergleich mit anderen (Ranking).

Einen ersten Höhepunkt verzeichnete die Bibliometrie in den Achtzigerjahren. Zunächst beschäftigten sich jedoch nur Mathematiker, Statistiker und Soziologen mit der mathematischen Modellbildung. Erst Ende der Neunzigerjahre griffen Informations- und Bibliothekswissenschaftler die Bibliometrie vor dem Hintergrund einer veränderten Wissenschaftslandschaft wieder auf: Große Mengen digital verfügbarer – und jetzt einfach prozessierbarer – Daten sowie die Einführung leistungsorientierter Mittelvergabe in Wissenschaft und Forschung haben die Bibliometrie seither zu einem aktuellen Thema gemacht. Sie erlebt einen zweiten Frühling – nicht in ihrer mathematischen Modellierung und bei ihren theoretischen Grundlagen, sondern als pragmatisches Instrument im Wissenschaftsmanagement. Zunehmend kommt die Bibliometrie auch in Deutschland aus der Schmuddelecke der Wissenschaftsbegutachtung heraus und beginnt, sich als ein Instrument bei der Gesamtevaluation von Personen und Institutionen zu etablieren: Bei den Empfehlungen des Wissenschaftsrats zu einem Ranking-Konzept für die wissenschaftlichen Einrichtungen in Deutschland spielen bibliometrische Analysen eine wichtige Rolle. So beruft sich der Wissenschaftsrat bei der „Standortübergreifenden Stellungnahme zur Weiterentwicklung der Universitätsmedizin in Baden-Württemberg” auf eine bibliometrische Analyse der deutschen Medizin, die er beim CWTS, einem soziologischen Institut an der Universität Leiden in den Niederlanden, bestellt hat.

In den USA werden bibliometrische Daten seit Mitte der Siebzigerjahre als Grundlage für Förderentscheidungen genutzt. Quantitative Indikatoren werden in den skandinavischen Ländern ebenso verwendet wie in der Schweiz, wo Forschungslandkarten für bestimmte Disziplinen erstellt werden. In Frankreich hat man bereits 1990 ein eigenes Institut eingerichtet, das Observatoire des Sciences et des Techniques (OST). Jüngst hat die Deutsche Forschungsgemeinschaft die Gründung des IFQ als Institut zur Qualitätssicherung in Wissenschaft und Forschung unter der Leitung von Stefan Hornbostel beschlossen.

Dennoch gibt es nur wenige Fachleute, die mit dem nötigen Know-how über die Wissenschaft ausgestattet sind und zudem mit der verfügbaren Datenmenge sinnvoll umgehen können. Nicht selten werden Assistenten und Sekretariate von Wissenschaftsmanagern mit derartigen Aufgaben betraut, womit sie natürlich genauso überfordert sind wie die Wissenschaftler selbst, die kaum über das entsprechende Spezialwissen und die passenden Instrumente für eine bibliometrische Analyse verfügen.

Sehr spät haben Informationsspezialisten in Bibliotheken und Informationseinrichtungen dieses Geschäftsfeld aufgegriffen. Dabei stehen sie im Zentrum von gewaltigen Datenmengen aus der Wissenschaft und müssten mehr als andere in der Lage sein, aus ihnen fundierte, belastbare Informationen herauszukristallisieren. Bezogen auf die Bibliometrie geht es um Fragen wie:

• Wie viele Artikel wurden zu einem bestimmten Thema veröffentlicht?

• Wie hat sich dieses Publikationsverhalten in den vergangenen Jahren geändert?

• Welche Rolle spielt eine bestimmte Einrichtung?

• Wie wird eine Auswahl von Einrichtungen in der Fachöffentlichkeit wahrgenommen?

Veröffentlichungszahlen allein sagen wenig aus, wenn sie nicht in einen vernünftigen Bezugsrahmen – etwa Länder, Disziplinen, Institute, Personen – gesetzt werden. Unter anderem kann man so erkennen, ob ein Thema sich in der aktuellen Diskussion befindet oder seinen Höhepunkt bereits hinter sich hat.

Wissenschaftler veröffentlichen im Wesentlichen aus zwei Gründen: Einmal, um den Erkenntnisfortschritt in ihrem Fachgebiet voranzutreiben. Zum anderen, um die persönliche Reputation zu erhöhen. Dabei bedeutet Reputation jene Aufmerksamkeit, die Wissenschaftler durch die Veröffentlichungen über neue Erkenntnisse und/oder Methoden auf sich ziehen möchten. Bedeutende Arbeiten werden von den Fachkollegen in deren Arbeiten entweder bestätigend oder im Widerspruch zitiert. Wissenschaftliche Veröffentlichungen existieren in verschiedenen Formen: in Büchern, Konferenzbänden und Aufsätzen in wissenschaftlichen Zeitschriften. Bei der Messung der Zitierungshäufigkeit werden meist nur wissenschaftliche Zeitschriften beachtet. Dies liegt an der Zusammensetzung der Datengrundlage: Der Science Citation Index (SCI) wertet an die 6000 naturwissenschaftliche Zeitschriften regelmäßig aus. Aus den sozialwissenschaftlichen Disziplinen kommen weitere 1200 Zeitschriften dazu. Das klingt viel, ist es aber nicht. Denn über alle Disziplinen hinweg gibt es weltweit rund 120 000 wissenschaftliche Zeitschriften.

Ausgewertet und bibliometrischen Analysen zugrunde gelegt werden also gerade fünf Prozent der Zeitschriftenbeiträge! Von den unzähligen Büchern und Konferenzbeiträgen werden nur die allerwenigsten erfasst. Im Umkehrschluss bedeutet dies: Auch Zitate werden nur aus diesen fünf Prozent der wissenschaftlichen Veröffentlichungen berücksichtigt.

Für die Naturwissenschaften bestehen bei der Datenauswahl weniger Probleme, da diese stark international ausgerichtet sind: Naturwissenschaftliche Themen sind weltweit von ähnlichem Interesse, und die Fragestellungen gleichen sich, ganz egal, ob jemand in den USA, in der Schweiz oder in Indien forscht. Die Kommunikationssprache ist überall Englisch, und der größte Anteil naturwissenschaftlicher Arbeiten erscheint in Form von Aufsätzen in Zeitschriften. Bücher spielen hier nur eine untergeordnete Rolle. In den Naturwissenschaften herrschen damit weltweit ähnliche Standards. Dies ist ein großer Vorteil, wenn man internationale Vergleiche anstellen will.

In den Geisteswissenschaften ist die Situation eine völlig andere: Viele Themen, Problemstellungen und Methoden sind dort nur von nationaler oder regionaler Bedeutung und werden oftmals in den jeweiligen Nationalsprachen veröffentlicht. Für internationale Journals ist das Interesse an derartigen Aufsätzen gering – vor allem, wenn der Bezug zu den USA fehlt. Für die Sozialwissenschaften sind damit internationale Rankings prinzipiell nur schwer aufzubauen. Hinzu kommt, dass Bücher dort eine wesentlich größere Bedeutung einnehmen als in den Naturwissenschaften, diese aber wiederum nicht für die Zitatanalyse nutzbar sind.

Wer als Wissenschaftler national wie international wahrgenommen werden will, ist deshalb gezwungen, in einer Zeitschrift zu publizieren, die vom Science Citation Index erfasst wird. Wer und was dort veröffentlicht werden kann, regelt Angebot und Nachfrage: Für die Herausgeber dieser so genannten Kernzeitschriften ergibt sich ein erfreulicher Umstand: Sie können für jeden eingereichten Artikel einen Begutachtungsprozess anstoßen und eine Auswahl der Besten treffen. Wer den Auswahlkriterien nicht genügt, fällt durchs Raster und kann dort nicht veröffentlichen.

Doch auch wer veröffentlichen darf, ist nicht am Ziel. Wirkliches Renommee erreicht er erst, wenn seine Artikel zitiert werden: Wer häufig zitiert wird, gilt – zumindest in den Naturwissenschaften – als herausragend.

Allerdings: In den meisten Rankings findet die Zahl der Zitierungen pro Veröffentlichung noch wenig Eingang. Dies liegt daran, dass bibliometrische Analysen nicht auf Knopfdruck aus dem Science Citation Index abrufbar sind. Die Datenbank ist vielmehr nur eine Grundlage. Ein Großteil der Arbeit besteht im Sortieren und Bereinigen der Daten: Die Angaben in den ausgewerteten Aufsätzen variieren oft, eine Institution wird einmal in englischer, ein anderes Mal in deutscher Form geschrieben. Teilweise werden uneinheitliche Abkürzungen verwendet. Weiterhin kann eine Einrichtung in der Datenbank unter mehreren Bezeichnungen auftauchen. Die Normierung ist damit wesentlicher Bestandteil einer bibliometrischen Analyse – lange bevor ein Ranking erstellt werden kann.

Wenn es darum geht, die Besten zu identifizieren, kann also die absolute Zahl der Veröffentlichungen und Zitate allein keine Rolle spielen. Es muss ein relativer Indikator – ein Verhältnis – gebildet werden. Nur so können Einrichtungen unterschiedlicher Größe unverzerrt zueinander in Bezug gesetzt werden. Ein solcher Indikator ist die Zitationsrate. Sie gibt an, wie viele Zitate im Durchschnitt auf einen Artikel entfallen. Ein Beispiel macht das klar: Vergleicht man die Zahl der Veröffentlichungen der Stammzellforschung aus den Jahren 2000 bis 2004 etwa vom Max-Delbrück-Centrum (MDC) in Berlin mit der Universität Tübingen, so stehen den 67 Arbeiten des MDC 280 der Uni Tübingen gegenüber. Zieht man darüber hinaus die durchschnittliche Zahl der Zitierungen pro Artikel in Betracht, so kippt das Verhältnis. Die Berliner Einrichtung kommt im Schnitt auf 21,8 Zitierungen, die Universität Tübingen schafft lediglich 7,9.

Betrachtet man die Zitierhäufigkeit einzelner Artikel, stellt man fest: Einige wenige Artikel kommen auf hohe Zitationszahlen von 50 und mehr. Doch viele Artikel erzielen sehr wenige Zitate. Im Zeitraum 1995 bis 2003 sind in Deutschland 180 000 Artikel unzitiert geblieben – allein in den Naturwissenschaften.

Unter den großen Forschungsnationen schneiden die USA im Science Citation Index mit Abstand am besten ab: Ein gutes Viertel aller von 2000 bis 2004 aufgenommenen Publikationen stammen von dort. Durch gezielte Kooperationen und ein hohes Publikationsaufkommen erreicht das Land eine Beteiligung, die alle anderen Länder in den Schatten stellt: Auf Platz zwei und drei folgen mit gut 8 Prozent Großbritannien und Japan. Auf Platz vier folgt Deutschland, woher 7,7 Prozent dieser ausgewählten Veröffentlichungen stammen. China ist auch hier im Kommen. Durch kontinuierliche Steigerung der Forschungsausgaben konnte das Land den Output an wissenschaftlichen Publikationen deutlich steigern – von 3,2 Prozent im Jahr 2000 auf bereits 5,5 Prozent 2004.

Bibliometrische Analysen werden sich als fester Bestandteil einer jeden wissenschaftlichen Bewertung und Bewerbung etablieren. Das wird sowohl die Bewertung – und Bewerbung – von Einzelleistungen von Personen betreffen als auch die Bewertung von Kollektivleistungen bis hin zum Vergleich von Staaten. Neben dem Science Citation Index wollen andere Anbieter neue Zitationsübersichten auf den Markt bringen – etwa der Wissenschaftsverlag Elsevier den „Scopus”.

Weiterhin wird es einen Know-how-Zuwachs bei der Anwendung und Methodik in der Bibliometrie geben. Zusammen mit der Nutzung einer erweiterten Datenbasis können so immer bessere Analysen vorgelegt und neue, bisher nicht mögliche Aussagen getroffen werden. Zudem wird sich die Treffsicherheit der Aussagen erhöhen. Sind bibliometrische Analysen in der Wissenschaft einmal selbstverständlich geworden – womit in den nächsten zehn Jahren zu rechnen ist –, wird es keine Zweifel an Sinn und Nutzen derartiger Analysen mehr geben. Spätestens dann wird dieses Instrument des Wissenschaftscontrolling über jeden konspirativen Verdacht und Manipulationsgedanken erhaben sein und die Wissenschaft bereichern.

Die Leserinnen und Leser von bild der wissenschaft können sich schon jetzt einen profunden Eindruck von der Leistungsfähigkeit bibliometrischer Analysen machen. Ab dieser Ausgabe erstellt die Zentralbibliothek des Forschungszentrums Jülich für bdw exklusiv einen Wissenschafts-Index, den wir kurz und bündig „WissdeX” nennen werden. ■

Dr. Rafael Ball/Dirk Tunger