Jährlich publizieren circa vier Millionen Wissenschaftler und Wissenschaftlerinnen rund eine Million Papers in etwa 25.000 Fachzeitschriften mit Peer Review. Pro Sekunde soll es eine neue Publikation in Datenbanken wie Web of Science geben – und das bei einer steigenden Anzahl an promovierten Wissenschaftlern. Zitierungen, Impact-Faktoren, h-Indizes, sogar Tweets und Facebook Likes sind quantitative Messmethoden, die Qualität und den Einfluss dieser Arbeiten messen sollen. Aber kann die Relevanz von Forschung so überhaupt bestimmt werden?

Wer Karriere machen will, muss viel publizieren. Wer gelesen werden will, muss das in hoch gerankten Journals machen, so die oft unumstrittene Meinung. Für die Bewertung einer Zeitschrift wird häufig der Science Citation Index der Firma Thomson Reuters benützt, der die Grundlage für den sogenannten Journal Impact-Faktor (kurz JIF) bildet. Dieser ergibt sich aus der durchschnittlichen Anzahl der Zitationen durch andere Forschende in einem gewissen Zeitraum, meist von zwei Jahren. Auch in Österreich finden sich 40 Personen unter den weltweit meistzitierten Wissenschaftlern, wie die Liste der „Highly Cited Researchers 2018“ zeigt. Darunter auch die JKU-Physiker Serdar Sariçiftçi und Markus Scharber sowie der kürzlich verstorbene Siegfried Bauer. 40 Prozent aller forschungsstarken US-amerikanischen Universitäten nennen den Impact- Faktor in ihren Dokumenten, so eine Umfrage; 61 Prozent davon erwähnten ihn sogar im Hinblick auf die Messung von Qualität. Auch gibt es Institutionen in China, die ihre Forscher finanziell belohnen, wenn sie in High-Impact-Zeitschriften veröffentlichen. Und in Spanien hängt die sogenannte Sexenio-Evaluation, die Basis für eine Gehaltserhöhung, von den JIF-Rankings ab.

„Wenn heute jemand etwas veröffentlicht, das nie zitiert, heruntergeladen oder kommentiert wurde, sollte sich der Wissenschaftler schon fragen, ob er falsch publiziert oder seine Forschung wirklich niemanden interessiert“, sagt Juan Gorraiz, Leiter der Abteilung für Bibliometrie und Publikationsstrategie an der Universität Wien. Wissenschaft nährt sich aus öffentlichen Geldern. Daher sei die Frage nach der Qualität der Forschung grundsätzlich wichtig, auch weil sich Förderorganisationen oder Science Policy Makers sonst überlegen könnten, ob sie weiter in ein Projekt investieren wollen. Außerdem sei der Einsatz von Metriken eine Orientierungshilfe, die die besten Publikationen aus einer stetig wachsenden Menge herausfiltern, meint Falk Reckling, Leiter der Abteilung für Strategie des österreichischen Wissenschaftsfonds FWF.

Von Bibliotheken zu Verlagshäusern

Eigentlich wurde der JIF für etwas ganz anderes entwickelt: Der Bibliothekar Eugene Garfield wollte in den 1960ern eine Metrik einführen, die Bibliothekaren zeigen sollte, welche Zeitschriften es wert war zu kaufen. Er wurde zum Millionär, Verlage begannen, die Metrik als Machtinstrument zu nützen. Wer mehr Journals auflegt, kann mehr Autoren ermutigen, auf diesen oder jenen Artikel zu verweisen. Heute hat sich diese Entwicklung verselbstständigt. Der JIF hat die Wissenschaftswelt infiltriert und bewertet oft nicht mehr nur die Reichweite von Zeitschriften. Er kommt fälschlicherweise oft als Synonym für Qualität – auch von einzelnen Publikationen oder gar Personen – zum Einsatz.

Das sei eine absolute Verzerrung der Leistung, so Reckling. Nur weil jemand in einem guten Journal publiziert, heißt das noch nicht automatisch, dass dieser Beitrag auch von hoher Qualität ist und viel Sichtbarkeit generiert, sagt auch Maximilian Fochler, Professor am Institut für Wissenschafts- und Technikforschung der Universität Wien: „Weder ist alles, was in diesen Zeitschriften geschrieben wird, automatisch großartig, noch ist alles, was in anderen Zeitschriften erscheint, nichts wert.“

Die Verteilung ist schief, denn ein hoher JIF eines Journals hängt meist mit einigen überdurchschnittlich oft zitierten Papers zusammen. Eine Studie in Nature zeigte, dass knapp 75 Prozent der Nature- und 76 Prozent der Science-Artikel unter ihrem JIF von 38 beziehungsweise 35 zitiert wurden. Auch dauerte es bei vielen Artikeln, die später als bahnbrechend galten, weitaus länger, um viel zitiert zu werden. Sogenannte „sleeping beauties“, so Juan Gorraiz: „Wir sollten also nie sagen, dass wenig zitierte Veröffentlichungen schlechte Qualität haben. Wir können nur sagen, dass eine viel zitierte Publikation eine größere Wahrscheinlichkeit hat, auch eine hohe Qualität zu haben.“ Dazu kommt, dass die Art und Häufigkeit der Zitierungen von Disziplin zu Disziplin variiert. Während Fachzeitschriften etwa in der Medizin sehr wichtig sind, setzt die Geisteswissenschaft oft noch vermehrt auf Bücher, deren Impact mit metrischen Instrumenten bisher kaum gemessen werden kann, erklärt Reckling. Auch Konferenzberichte, nichtenglischsprachige Literatur sowie andere Forschungsleistungen bleiben außer Acht. Die Verzerrungen hören auch nicht auf, wenn man den Beitrag der einzelnen Autoren betrachtet: So kann man einen geringen Beitrag zu einer Arbeit in einer renommierten Zeitschrift leisten, die kaum rezipiert wird; umgekehrt auch in einer weniger renommierten Zeitschrift publizieren, viele Zitationen erhalten und Hauptautor sein.

Publish or perish

Michael Gusenbauer, der am Institut für Innovationsmanagement der JKU forscht, hat Erfahrungen mit verschiedenen Ranking-Systemen gemacht: „Es kann sein, dass deine Publikationen in einem anderen Bewertungssystem oder in einem anderen Land plötzlich nicht mehr so viel wert sind.“ Auch würden je nach Institution verschiedene Leistungskriterien herangezogen. Es brauche deshalb eine Planung bei der Publikationsstrategie, bei der etwa ein Doktorvater helfen kann: „In meinem Bereich gibt es auch Journals, die einen niedrigeren Impact-Faktor haben, aber durchaus international angesehen sind. Umgekehrt aber auch Zeitschriften mit hohem JIF, die keine so starke Reputation haben.“ Besonders für junge Wissenschaftler und Wissenschaftlerinnen können diese Informationen unübersichtlich sein. Davon erzählen Giulia Rubino und Flavio Del Santo. Sie sind PhD-Studierende am Institut für Physik der Uni Wien und haben kürzlich einen Workshop organisiert, der sich mit diesen inhärenten Verzerrungen auseinandersetzte. „Die Anzahl an Publikationen und deren Impact ist eine der größten Determinanten für deine spätere Karriere“, sagt Del Santo. Es gäbe eine Erwartungshaltung, schon während des PhD in guten Zeitschriften zu publizieren, auch wenn die eigentliche Doktorarbeit oft ein anderes Format habe. Auch Rubino stimmt ihm zu: „In jedem Lebenslauf geben die Leute an, wie viele Nature- oder Science-Publikationen sie haben. Meist ist das nicht wegen der Vorgaben der Stellenausschreibung erforderlich, sondern aufgrund der Konkurrenz.“

Das Umfeld ist hochkompetitiv, und in hoch gerankten Fachzeitschriften zu publizieren wird immer schwieriger, weiß auch Juan Gorraiz: „Wir sollten deswegen anerkennen, wenn junge Wissenschaftler das schaffen.“ Die Übersicht zu bewahren ist gerade am Anfang der Karriere nicht so einfach. Auch das Phänomen der Raubjournale, die wissenschaftliche Arbeiten für Geld, jedoch ohne Peer Review oder andere Qualitätsmerkmale publizieren, ist eine Falle, in die junge Wissenschaftler unter dem Druck, zu publizieren – publish or perish –, manchmal tappen.

Viel zu publizieren scheint auch noch später in der Karriere wichtig zu sein: „Meine größte Kritik ist eigentlich, dass man versucht, ein Epsilon eines Forschungsergebnisses zu verändern, nur um eine zusätzliche Publikation zu haben“, sagt Gabriele Anderst-Kotsis, Professorin für Informatik an der JKU. Für sie reiche es nicht, nur auf Metriken zu schauen. „In Bewerbungsprozessen würde ich auf Basis dieser Indizes nicht mal eine Vorauswahl treffen. Ich schaue schon, wo jemand publiziert, aber schätze dann persönlich ein, was relevant ist.“

Impact als gesellschaftliche Relevanz?

Verzerrungen, Manipulationen und falsche Gewichtungen sind die eine, inhärente Seite der Medaille. Doch selbst wenn man diese Faktoren korrigieren könnte, würde immer noch die Frage bleiben, was man mit diesen Metriken überhaupt aussagt. Die steigende Zahl an Open-Access-Zeitschriften zeigt, dass das Problem heute nicht mehr ist, etwas zu publizieren. Vielmehr geht es darum, sichtbar zu werden – und das für die richtigen Leute: „Ich kann nicht einfach Open Access publizieren und dann erwarten, dass es die richtigen Akteure von selbst finden werden“, sagt Maximilian Fochler. Ein hoher wissenschaftlicher Impact (der Publikationen oft sichtbarer macht) lässt nicht automatisch auf – schwer messbare – gesellschaftliche Relevanz schließen. Gerade für die Sozialwissenschaften könne das zum Interessenskonflikt werden: „Nehmen wir an, wir wollen uns die Wohnsituation in Linz anschauen – etwas, das lokal eine hohe Relevanz haben kann. Für eine internationale Zeitschrift mit hohem Impact-Faktor hat es aber wahrscheinlich eine geringe Bedeutung“, sagt der Wissenschaftler.

Aufgrund dieser Mängel will die San Francisco Declaration of Research Assessment, kurz DORA, das Bewertungssystem reformieren. „DORAs Ziel ist eine Welt, in der der Inhalt des Papers mehr zählt als die Zeitschrift, in der es erscheint“, so Stephen Curry, Biologe am Imperial College London und einer der stärksten Advokaten von DORA. 570 Organisationen und 12.300 Individuen haben die Deklaration bisher unterschrieben und stimmen so unter anderem zu, auf die Verwendung eines breiteren Sets an Indikatoren zurückzugreifen. Metriken wie der JIF sollen für die Finanzierung und Vergebung von Stellen nicht mehr eingesetzt werden. Basis für ihre Forderungen ist auch der „Metric Tide“-Report, welcher 2015 vom britischen Ministerium für Universitäten und Wissenschaft in Auftrag gegeben wurde. Die Autoren legten fest, was sogenannte Responsible Metrics, also verantwortungsvolle Metriken, erfüllen sollten: Robustheit, Transparenz und die Erkenntnis, dass man quantitative Evaluierung nicht ersetzen, aber ergänzen sollte. Die Verwendung von Responsible Metrics würde auch bedeuten, dass man diejenigen zur Verantwortung zieht, für die Evaluierungen einen besonderen Stellenwert haben: die Personalabteilungen und Geldgeber. Auch beim FWF ist man sich der Problematik bewusst, so Reckling: „Wir legen den Fokus bei der Beurteilung nur noch auf eine Teilmenge – nämlich der wichtigsten Forschungsleistung.“ Beim Einreichen eines Antrags sollen Wissenschaftler auf Metriken verzichten und stattdessen die zehn wichtigsten ihrer Publikationen angeben sowie zehn weitere wichtige Forschungsleistungen, wie etwa Preise, Konferenzbeiträge, Beiträge zur Wissenschaftskommunikation oder etwa die Mitarbeit bei der Erstellung von Datenbanken.

Metriken der Neuzeit

Aber könnten auch quantitative Metriken verantwortungsvoll eingesetzt werden? Altmetrics sind die Newcomer in der Impact-Messung. Neben klassischen Zitationen in Fachzeitschriften geben sie auch an, wie oft Veröffentlichungen downgeloadet oder auf Social Media geteilt werden. Selbst Bücher und anderssprachige Texttypen werden berücksichtigt. Doch auch Altmetrics scheint weder transparenter noch wissenschaftlich begründeter als der JIF zu sein. „Bei diesen neuen Metriken reicht es oft, einen Knopf zu drücken und damit Signale zu erzeugen“, so Gorraiz. Auch diese Metrik werde in den verschiedenen Fachgebieten unterschiedlich stark genützt und löst das Problem einer steigenden, unübersichtlichen Zahl an Publikationen nicht. „Wollen wir einen Turm von Babel bauen, in dem alle reden, aber niemand mehr hört, was der andere sagt?“, stellt er als Frage in die Runde.

Auch Gabriele Anderst-Kotsis denkt über Lösungen nach, die keinen kompletten Systemumsturz bedeuten würden: „Man kann schon im jetzigen Rahmen leben, solange wir als Wissenschaftler und Wissenschaftlerinnen mit diesen Zahlen vernünftig umgehen.“ Als Informatikerin könne sie sich vorstellen, so etwas wie eine Semantik in die Analyse zu bringen: „Automatische Textanalysen könnten nicht nur zeigen, wo und wie oft etwas zitiert wird, sondern auch, in welchem Kontext das steht oder ob das Zitat sogar eine Kritik ist.“ Außerdem könnte man dem JIF auch etwas Positives abgewinnen, meint Falk Reckling: „Wenn dir gesagt wird, du musst in einer dieser fünf Zeitschriften publizieren, kann das auch eine befreiende Orientierung sein.“ Ein objektiver Maßstab, der vor allem für junge Wissenschaftler hilfreich sei.

Das Bewusstsein für Limitierungen quantitativer Metriken wie dem JIF ist da, Maßnahmen wie DORA, Responsible Metrics, aber auch die generelle Orientierung hin zu Open Access scheinen eine Reformierung des Systems zu versprechen. In Zeiten von sozialen Medien bietet es sich als erster Schritt außerdem an, Metriken zu ergänzen und multidimensional zu sehen, sagt Gorraiz: „Wenn jemand keine Zitierungen bekommen hat, aber Tausend Downloads, sagt das ja auch etwas aus. Das macht die Evaluierung vielleicht schwieriger, aber die Bibliometrie hat auch immer mehr Methoden, um mehr zu messen und mehr zu sagen.“