Der Impact Factor: die berühmteste Zahl im "Publication Game"

Die Zahl, der alle hinterherlaufen

Endlich ist das Manuskript fertig – und sofort stellt sich die Frage, die jede forschende Person umtreibt: Wohin damit? Fast automatisch sortiert Ihr im Kopf die Fachzeitschriften in eine Rangordnung, von "da wäre es schön" bis "das nehmen die ohnehin nicht". Und über dieser Rangordnung thront eine einzige Zahl: der Journal Impact Factor.

Diese Zahl entscheidet mit über Bewerbungen, Berufungen und Fördergelder. Erstaunlich nur, wie wenige Menschen genau wissen, was sie eigentlich misst. Höchste Zeit also, den Impact Factor einmal auseinanderzunehmen.

Die unsichtbare Rangordnung der Journals

Dass Zeitschriften eine Hierarchie bilden, ist keine Einbildung. Fast alle Forschenden erkennen eine innere Rangordnung der Journals an – den sogenannten journal rank – und richten daran nicht nur ihre Einreichungs-, sondern sogar ihre Lesestrategie aus (Brembs et al., 2013). Wir alle haben diese Landkarte im Kopf, auch wenn wir sie nicht immer aussprechen.

Unter dieser Landkarte liegen zwei selektive Anforderungen, die ein Journal passieren kann. Die erste ist die fachliche Indexierung in PubMed/MEDLINE – für die Biomedizin und damit auch für die medizinische Ausbildungsforschung das wichtigste Minimum an Sichtbarkeit. Die zweite ist die Aufnahme in die Web of Science Core Collection, deren Journal Citation Reports überhaupt erst den offiziellen Impact Factor vergeben. Beide Anforderungen überlappen sich, ohne unbedingt deckungsgleich zu sein. Viele gute Medical-Education-Journals passieren beide, manche nur eines. Und ganz unten, jenseits dieser besonders seriösen Indexierung, tummeln sich die meisten Journals. Alle bemüht, in guter wissenschaftlicher Praxis einen Beitrag für die Menschheit zu leisten. Aber es gibt auch die predatory journals genannten Zeitschriften, die gegen Gebühr praktisch alles drucken.

Wichtig ist: Keine dieser Anforderungen zu PubMed oder Web of Science öffnet sich automatisch. Eine neue Zeitschrift muss sich für die Indizierung bewerben und über Jahre qualifizieren, bevor sie überhaupt einen Impact Factor erhalten kann (Paré, 2017). Wer mit solchen Kennzahlen arbeitet, sollte wissen, woher sie kommen – die Bibliometrie liefert dafür das Handwerkszeug, und auch in der Ausbildungsforschung sind wir meist ihre Konsument*innen, nicht ihre Erfinder*innen (Ninkov et al., 2021).

Was der Impact Factor wirklich ist

Im Kern ist der Journal Impact Factor (JIF) ein simpler Durchschnitt. Er zählt, wie oft die Artikel einer Zeitschrift aus den zwei vorangegangenen Jahren im aktuellen Jahr zitiert wurden, und teilt diese Summe durch die Zahl der zitierfähigen Artikel aus diesen beiden vorangegangenen Jahren (Paré, 2017).

Ein Beispiel macht es etwas greifbarer: Erhält eine Zeitschrift im Jahr 2016 insgesamt 150 Zitationen auf ihre 50 Artikel aus 2014 und 2015, ergibt sich ein Impact Factor von 150 geteilt durch 50 – also 3,0 (Paré, 2017). (Veröffentlicht werden diese Werte jährlich von der Firma Clarivate.) Hier steckt auch schon die entscheidende Einschränkung im Detail – der JIF beschreibt die Zeitschrift, nicht den einzelnen Artikel (und erst recht nicht dessen Autor*innen).

Der Bereich Medical Education wird der Kategorie "Education, Scientific Disciplines" zugeordnet, die 86 Journals umfasst und sich damit ziemlich im Mittelfeld der 254 Kategorien befindet. Der Journal Impact Factor in der Kategorie "Edcuation, Scientific Disciplines" reichte 2024 von 0,1 bis 12,6 (JMIR Medical Education) und liegt im Median bei 1,6. Das deutschsprachige GMS Journal for Medical Education hatte für 2024 einen Impact Factor von 1,7. Zu beachten ist, dass die Journals aber teilweise auch mehreren Kategorien zugeordnet sind, insbesondere auch der Kategorie "Education & Educational Research", die mit 762 Journals die größte Kategorie überhaupt darstellt (IF 2024 von <0,1 bis 16,7).

Drei Schwächen, die man kennen sollte

Erstens die schiefe Verteilung. In einer typischen Zeitschrift sorgen rund 20 Prozent der Artikel für etwa 80 Prozent der Zitationen (Paré, 2017). Ein Durchschnitt, den einige Ausreißer nach oben ziehen, sagt über den typischen Beitrag wenig aus. Über Euer konkretes Paper sagt der Impact Factor seines Journals damit fast nichts.

Zweitens die Manipulierbarkeit. Der Trick steckt im Nenner: Wer entscheidet, welche Beiträge als "zitierfähig" zählen? Genau das ist verhandelbar. Die Redaktion von PLoS Medicine berichtete, wie ihr eigener potenzieller Impact Factor je nach Zählweise zwischen 11 und unter 3 hin- und hersprang – allein abhängig davon, welche Artikeltypen in den Nenner kamen (The PLoS Medicine Editors, 2006). Redaktionen könnten den Wert zusätzlich über Übersichtsarbeiten und Selbstzitationen frisieren. Ihr Fazit nach den Verhandlungen mit dem damaligen Anbieter fiel vernichtend aus: Die Wissenschaft werde durch ein Verfahren bewertet, das selbst "unwissenschaftlich, subjektiv und geheim" sei (The PLoS Medicine Editors, 2006).

Drittens die Fachabhängigkeit und die Schein-Präzision. Impact Factors sind stark vom Fachgebiet geprägt (Paré, 2017). Ein Wert, der in der Mathematik als exzellent gilt (Spitzenjournale liegen dort um 3), wäre in der Zellbiologie nur Mittelmaß (dort erreichen Top-Zeitschriften Werte um 30) (Hicks et al., 2015). Lange wurde der JIF auf drei Nachkommastellen ausgewiesen, was eine Genauigkeit vortäuschte, die er nicht besitzt. Seit dem Journal Citation Report 2023 zeigt Clarivate deshalb nur noch eine Nachkommastelle – ausdrücklich, um die Überinterpretation winziger Unterschiede zu bremsen.

Und die –- aus wissenschaflticher Sicht – unbequemste Pointe zum Schluss: Ein hoher Rang im Journal Impact Factor ist keine Qualitätsgarantie. Höher gerankte Journals weisen sogar höhere Rückzugsraten und stärker überzeichnete Effekte auf, während Methodengüte und statistische Aussagekraft mit dem Rang kaum zusammenhängen (Brembs et al., 2013). Der Impact Factor misst demzufolge eher Aufmerksamkeit – nicht Verlässlichkeit.

Was wir (noch) nicht wissen

• Lässt sich "Qualität" überhaupt in einer Zahl fassen? Jede Metrik beleuchtet nur einen Ausschnitt. Ob es ein einzelnes Maß gibt, das wissenschaftlichen Wert fair abbildet, ist nach wie vor offen.

• Wie belastbar sind die Alternativen? Artikel-basierte Kennzahlen und Altmetrics sind jung und ihrerseits manipulierbar. Welche davon wirklich misst, was zählt, ist noch nicht endgültig ausgemacht. (Ich werde in einem der folgenden Blogbeiträge auf Alternativen eingehen …)

• Lehre und angewandte Forschung bleiben unsichtbar. Gerade in der medizinischen Ausbildungsforschung fehlen Kennzahlen, die Lehrwirkung und praktischen Nutzen erfassen (Ninkov et al., 2021).

Fazit – Was Ihr mitnehmen könnt

• Die Journal-Hierarchie ist real und steuert unser Verhalten – aber sie misst Prestige, nicht garantierte Qualität (Brembs et al., 2013).

• Der Impact Factor ist ein Zeitschriften-Durchschnitt, den wenige hochzitierte Artikel dominieren. Über Euer einzelnes Paper sagt er kaum etwas (Paré, 2017).

• Nutzt ihn als ein Signal unter mehreren. Genau das fordern die großen Reforminitiativen, von DORA bis zum Leiden-Manifest (Hicks et al., 2015; Moher et al., 2018).