Ingo Rohlfing

On September 27, the German Science Foundation (DFG) announced its
[decision to award the status of a research cluster of
excellence](http://www.dfg.de/service/presse/pressemitteilungen/2018/pressemitteilung_nr_43/index.html){target="_blank"
rel="noopener"} (Exzellenzcluster) to 57 cluster proposals from all
disciplines. This was the first step of its so-called [excellence
strategy](http://www.dfg.de/foerderung/programme/exzellenzstrategie/index.jsp){target="_blank"
rel="noopener"}, (Exzellenzstrategie/ExStra, formerly known as the
Exzellenzinitiative/ExIni). Each cluster receives about 7 to 12 million
Euro per year, which is a huge financial boost in the context of the
German academic system.

Since the beginning of the debate about ExStra/ExIni, there have been
supportive and [critical
voices](http://exzellenzkritik.wordpress.com/){target="_blank"
rel="noopener"}, with the debate continuing and reemerging when an
important decision is made, such as the one last week. This time, some
of the critical voices referred to a recent study purportedly showing
that an increase in the share of competitive research funding does not
increase research quality, but rather decreases it. I wholeheartedly
endorse the goal of evaluating science policy and academia, but I firmly
believe that this study does not allow one to draw any causal inferences
about any element of the political and academic system and research
quality (there is no point in calling out anyone who made this claim on
Twitter, so I am not including such tweets here). The [published study
is available
here](https://doi.org/10.1016/j.joi.2018.01.007){target="_blank"
rel="noopener"}; a ungated summary with the main findings [is available
here](http://sciencenordic.com/making-academics-compete-funding-does-not-lead-better-science){target="_blank"
rel="noopener"}.

First, the study uses as the outcome a field-normalized measure of
highly-cited publications (top 10%). This is not research quality.
Neither the rate of output nor the number of citations are indicators of
quality. For judging the quality of articles, one would have to read
them or, at a minimum, derive some quality indicators to code them, such
as having a clearly formulated research question, interpreting the
results correctly, pointing out the limitations of the study, etc. One
might counter what many researchers and, possibly, funders want are a
great many citations and the use of this measure is justified. This
might be, but what matters is that the authors and critical voices of
ExStra interpret citations as a measure of quality and that's
fallacious.

Second, the data is aggregated to the national level. This is
understandable because collecting data about the share of competitive
funding on the departmental or individual level would be very demanding.
However, lots of insightful variation can go lost in aggregating data to
the national level and the problem of ecological inference comes into
play. Within each country, more competitive funding might lead to more
publications of top-cited articles, but the trend is negative across
countries on the aggregate level.

Third, the analysis is based on bivariate correlations. This is fine for
exploratory purposes, but, in this case, not for causal inference. The
theoretical model that is presented in the study suggests that the total
effect of competitive funding is identified, but I highly doubt it (see
the model in the [ungated
report](http://sciencenordic.com/making-academics-compete-funding-does-not-lead-better-science){target="_blank"
rel="noopener"}). One can think of common causes such as 'competitive
pressure imposed by science policy makers' that point into 'autonomy',
'competitive project' funding and 'national evaluation research system'
or just into 'competitive project funding' and the outcome (belief in
the benefits of competition leads to more competitive funding, but
increased internal pressure to be productive makes researchers submit
papers too early that are of lower quality, leading to fewer citations).
At the least, one would need to argue in much more detail that this
causal model is complete (if we take it as a causal model) because it
does not look complete as it stands.

The proper interpretation of this study is much more limited: a higher
share of competitive funding is weakly negatively correlated with the
publication of highly-cited articles. This is an interesting insight,
but not a causal one. I am not saying that ExStra is terribly good at
improving research quality because I do not know how ExStra/ExIni
influenced the German academic system. The point is that none of us know
the causal effect of competitive funding, even after having read this
study.


On September 27, the German Science Foundation (DFG) announced its decision to award the status of a research cluster of excellence (Exzellenzcluster) to 57 cluster proposals from all disciplines.

Correlation vs causation: The case of competitive funding and research quality

Das [2014er Gutachten der Expertenkommission Forschung und
Innovation](http://www.e-fi.de/fileadmin/Gutachten_2014/EFI_Gutachten_2014.pdf "EFI Gutachten"){target="_blank"}
(EFI) schlug diese Woche [einige
Wellen](http://www.spiegel.de/unispiegel/jobundberuf/spiegel-zu-braindrain-wissenschaftler-wandern-ab-a-955141.html){target="_blank"},
weil es nach wie vor eine Abwanderung der besten Wissenschaftler aus
Deutschland konstatiert (*brain drain*, wenn man den Begriff mag). Nach
einem Blick in das Gutachten (Abschnitt B2, ab S. 85) sind dazu einige
Anmerkungen angebracht, die die Schlagzeilen in den Kontext rücken.
Erstens, die Ergebnisse sind wenig überraschend. Zweitens, die
vorgelegten Daten erlauben die Schlussfolgerung nicht. Drittens, selbst
wann man zweitens nicht teilt sind die Unterschiede substanziell nicht
gehaltvoll.

Ist es überraschend, dass die abwandernden, mobilen Wissenschaftler im
Schnitt besser sind als die immobilen Wissenschaftler (Abb. 22)?

::: {#attachment_597 .wp-caption .aligncenter shortcode="caption" style="width: 564px"}
[![IF - Alle
Gruppen](https://ingorohlfing.files.wordpress.com/2014/02/if-alle-gruppen.png?w=300){.wp-image-597
aria-describedby="caption-attachment-597" loading="lazy"
attachment-id="597"
permalink="https://ingorohlfing.wordpress.com/2014/02/27/das-efi-gutachten-und-die-ab-und-zuwanderung-deutscher-wissenschaftler-ein-paar-kritische-anmerkungen/if-alle-gruppen/"
orig-file="https://ingorohlfing.files.wordpress.com/2014/02/if-alle-gruppen.png"
orig-size="688,514" comments-opened="1"
image-meta="{\"aperture\":\"0\",\"credit\":\"\",\"camera\":\"\",\"caption\":\"\",\"created_timestamp\":\"0\",\"copyright\":\"\",\"focal_length\":\"0\",\"iso\":\"0\",\"shutter_speed\":\"0\",\"title\":\"\"}"
image-title="IF – Alle Gruppen" image-description="" image-caption=""
medium-file="https://ingorohlfing.files.wordpress.com/2014/02/if-alle-gruppen.png?w=300"
large-file="https://ingorohlfing.files.wordpress.com/2014/02/if-alle-gruppen.png?w=688"
width="554" height="412"
srcset="https://ingorohlfing.files.wordpress.com/2014/02/if-alle-gruppen.png?w=300 300w, https://ingorohlfing.files.wordpress.com/2014/02/if-alle-gruppen.png?w=150 150w"
sizes="(max-width: 554px) 100vw, 554px"}](http://ingorohlfing.files.wordpress.com/2014/02/if-alle-gruppen.png)

Quelle: Expertenkommission Forschung und Innovation (2014): Gutachten zu
Forschung, Innovation und Technologischer Leistungsfähigkeit
Deutschlands: S. 89 (Abb. 22)
:::

Wenn man private Umzugsgründe außer Acht lässt rekrutieren ausländische
Einrichtungen die besten Wissenschaftler eines Landes und nicht die
durchschnittlichen. Das wird in Abb. 22 bei allen Ländern deutlich (die
USA ausgenommen), da die Abwanderer einen höheren *Impact* haben als die
Immobilen (zum *Impact* kommt weiter unten etwas). Dass Deutschland
netto Wissenschaftler exportiert kann zudem wenig verwundern, da in
Deutschland über den eigenen Bedarf hinaus sehr gute
Nachwuchswissenschaftler ausgebildet werden. Insofern Promovierte nicht
den wissenschaftlichen Betrieb verlassen ist es nahezu zwangsläufig,
dass Deutschland eine Nettoabwanderung verzeichnet.

Es wurde wiederholt berichtet, Deutschland verliere die besten
Wissenschaftler. Dies ist plausibel, ergibt sich aber nicht aus den
Daten. Eine relativ kleine Gruppe sehr guter Wissenschaftler, die von
ausländischen Einrichtungen angeworben werden wird mit der großen Gruppe
der immobilen Wissenschaftler verglichen. Anstatt eines
Aggregatvergleichs müsste man sich die Verteilung der mobilen und die
Verteilung der immobilen Wissenschaftler gemeinsam anschauen, mindestens
auf Ebene der Dezile. Erst wenn man sieht, wo die mobilen
Wissenschaftler innerhalb der Verteilung aller Wissenschaftler liegen
könnte man sagen, dass die besten gehen.

Eine weitere wesentliche Botschaft des Berichts ist, dass bessere
Wissenschaftler ab- als zuwandern („Im Saldo verliert Deutschland
besonders gute Wissenschaftler", S. 87). Die Qualität eines
Wissenschaftlers wird über ein Maß berechnet, das auf dem *impact
factor* (IF) der Zeitschriften beruht, in denen man publiziert hat.
Selbst wenn man es nur als Proxy sieht sind Maßzahlen dieser Art bereits
hinlänglich kritisiert worden. Sieht man davon ab zeigt sich aber zudem,
dass der Unterschied gering ist (Abb. 23). In Anbetracht der Zu- und
Abwanderergrößen ist er womöglich statistisch signifikant. Abb. 23
verdeutlicht aber, dass wir von einem IF der Abwandernden von 1.21 reden
und einem IF der Zuwandernden von 1.2. (Sehr positiv ist, dass das
Gutachten eingebette Links zu den Daten im Excelformat hat. Was wiederum
offenbart, dass der IF unsinnigerweise bis zur siebten Nachkommastelle
berechnet wurde. Im Gutachten sind die IF bis zur dritten
Nachkommastelle ausgewiesen). Substanziell gibt es also keinen
nennenswerten Unterschied im IF der Zu- und Abwandernden. Die Skalierung
von Abb. 23 verschleiert dies auf den ersten Blick lediglich.

::: {#attachment_599 .wp-caption .aligncenter shortcode="caption" style="width: 569px"}
[![Quelle: EFI-Gutachten 2014, S.
90](https://ingorohlfing.files.wordpress.com/2014/02/if-zu-und-abwanderung.png?w=277){.wp-image-599
aria-describedby="caption-attachment-599" loading="lazy"
attachment-id="599"
permalink="https://ingorohlfing.wordpress.com/2014/02/27/das-efi-gutachten-und-die-ab-und-zuwanderung-deutscher-wissenschaftler-ein-paar-kritische-anmerkungen/if-zu-und-abwanderung/"
orig-file="https://ingorohlfing.files.wordpress.com/2014/02/if-zu-und-abwanderung.png"
orig-size="528,570" comments-opened="1"
image-meta="{\"aperture\":\"0\",\"credit\":\"\",\"camera\":\"\",\"caption\":\"\",\"created_timestamp\":\"0\",\"copyright\":\"\",\"focal_length\":\"0\",\"iso\":\"0\",\"shutter_speed\":\"0\",\"title\":\"\"}"
image-title="IF Zu- und Abwanderung" image-description=""
image-caption="<p>Quelle: EFI-Gutachten 2014, S. 90</p>
"
medium-file="https://ingorohlfing.files.wordpress.com/2014/02/if-zu-und-abwanderung.png?w=278"
large-file="https://ingorohlfing.files.wordpress.com/2014/02/if-zu-und-abwanderung.png?w=528"
width="559" height="605"
srcset="https://ingorohlfing.files.wordpress.com/2014/02/if-zu-und-abwanderung.png 528w, https://ingorohlfing.files.wordpress.com/2014/02/if-zu-und-abwanderung.png?w=139 139w, https://ingorohlfing.files.wordpress.com/2014/02/if-zu-und-abwanderung.png?w=278 278w"
sizes="(max-width: 559px) 100vw, 559px"}](http://ingorohlfing.files.wordpress.com/2014/02/if-zu-und-abwanderung.png)

Quelle: Expertenkommission Forschung und Innovation (2014): Gutachten zu
Forschung, Innovation und Technologischer Leistungsfähigkeit
Deutschlands: S. 90 (Abb. 23)
:::

Ungeachtet dieser Punkte ist trotzdem klar, dass sich am deutschen
Wissenschaftssystem in vielerlei Hinsicht etwas ändern sollte. Nur aus
den Zahlen des EFI-Gutachtens ergibt sich dies nicht unmittelbar.

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

[Rohlfing (2014). Das EFI-Gutachten und die Ab- und Zuwanderung
deutscher Wissenschaftler: Ein paar kritische Anmerkungen
[Blog]{style="font-style:italic;"} DOI:
[http://wp.me/pspkF-9C](http://dx.doi.org/http://wp.me/pspkF-9C){rev="review"}]{.Z3988
title="ctx_ver=Z39.88-2004&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.jtitle=Blog&rft_id=info%3Adoi%2Fhttp%3A%2F%2Fwp.me%2FpspkF-9C&rfr_id=info%3Asid%2Fresearchblogging.org&rft.atitle=Das+EFI-Gutachten+und+die+Ab-+und+Zuwanderung+deutscher+Wissenschaftler%3A+Ein+paar+kritische+Anmerkungen&rft.issn=&rft.date=2014&rft.volume=&rft.issue=&rft.spage=&rft.epage=&rft.artnum=&rft.au=Ingo+Rohlfing&rfe_dat=bpr3.included=1;bpr3.tags=Social+Science"}


Das 2014er Gutachten der Expertenkommission Forschung und Innovation (EFI) schlug diese Woche einige Wellen, weil es nach wie vor eine Abwanderung der besten Wissenschaftler aus Deutschland konstatiert (
<em>
 brain drain
</em>
, wenn man den Begriff mag). Nach einem Blick in das Gutachten (Abschnitt B2, ab S. 85) sind dazu einige Anmerkungen angebracht, die die Schlagzeilen in den Kontext rücken. Erstens, die Ergebnisse sind wenig überraschend.

Rogue Scholar Beiträge

Correlation vs causation: The case of competitive funding and research quality

Das EFI-Gutachten und die Ab- und Zuwanderung deutscher Wissenschaftler: Ein paar kritische Anmerkungen