Automatisierte Rankings führen oft zu Verstellungen. Denn qualitativ hochwertige Analysen erfordern intellektuelle Arbeit. Hier die Hauptfehlerquellen:
1. Unpräzise oder unvollständige Datenbank-Abfrage
Das Fehlen von konkreten Abfrageparametern führt zu einer zu kleinen oder zu großen Treffermenge. Die Analyse wird damit ungewollt verfälscht, wichtige Artikel fehlen.
2. Fehlende Vergleichbarkeit
Nur thematisch ähnlich ausgerichtete Institutionen sind direkt vergleichbar. Ursache dafür sind die unterschiedlichen Kommunikatitionsgewohnheiten in den einzelnen Disziplinen. Bei einem Vergleich völlig unterschiedlicher Einrichtungen entsteht ein Ranking ohne echte Aussagekraft.
3. Häufiger Namenswechsel von
wissenschaftlichen Einrichtungen
Aus organisatorischen Gründen werden Einrichtungen umbenannt. Dies kann bei bibliometrischen Analysen zu Problemen führen, da die Zuordnung meist über die Adressdaten erfolgt.
4. Mehrsprachige Institutsbezeichnungen
Wissenschaftler von deutschsprachigen Einrichtungen verwenden oft englische und deutsche Bezeichnungen für ihre Institutionen nebeneinander. In Ländern mit mehreren Nationalsprachen – etwa der Schweiz – vervielfacht sich das Problem. Dies ist bei bibliometrischen Analysen zu berücksichtigen. Der Bibliometriker muss daher die wissenschaftlichen Einrichtungen, die er untersucht, namentlich exakt kennen.
5. Falscher Recherche-Zeitraum
Ist ein Recherche-Zeitraum zu lang oder zu kurz, entstehen Verzerrungen: Ein zu langer führt dazu, dass alte Artikel mit einfließen, die mit der aktuellen Forschung nichts zu tun haben. Ein zu kurz gewählter Zeitraum erfasst aktuelle Ergebnisse nicht.
