Fagfællebedømmelse af forskningsbevillinger diskuteres ofte. Traditionelle bedømmelser, hvor projektansøgninger og ansøgeres CV indgår, beskyldes generelt for at være konservative, anti-innovative, upålidelige, kønsskæve og aldersskæve.
Jesper W. Schneider og Emil B. Madsen,
Center for Forskningsanalyse, Aarhus Universitet, Danmark
Bedømmere og panelmedlemmer antages ofte at forfordele deres egne områder og praktisere kammerateri.
Evidensen for disse påstande er dog varierende, ikke mindst fordi processen omkring fagfællebedømmelse sjældent åbnes op for analyser[1]. De fleste anerkender dog, at den traditionelle fagfællebedømmelse har store mangler med ineffektivitet og ubalancer som konsekvens.
Fagfællebedømmelse som institution og praksis har været diskuteret i mere end 50 år. Diskussionerne ender ofte med en anerkendelse af udfordringerne, men samtidig også en uvillighed til forsøg på ændringer, typisk med en undskyldning om at ”fagfællebedømmelse er måske det dårligste system, undtagen alle andre” for at parafrasere Winston Churchill.
Dobbeltblændet eller lodtrækning
I de senere år har forskningsråd og fonde, så som Volkswagen Stiftung i Tyskland og det sundhedsvidenskabelige forskningsråd i New Zealand, eksperimenteret med mulige ændringer i fagfællebedømmelsesmodellen.
Særligt to mekanismer har her været i spil: ’Dobbeltblændet’ bedømmelse og/eller ’lodtrækning’ mellem (kvalificerede) ansøgere.
I Danmark har Villumfonden ladet sig inspirere af særligt det første. Ideen opstod fordi forskere ret entydigt gav udtryk for, at man generelt skrev strategiske forskningsansøgninger, som man fornemmede kunne finansieres, men som man egentlig ikke brændte for at udføre. I givet fald betyder dette, at de bedste ideer oftest bliver i skuffen[2].
Villumeksperimentet
Villumfonden præsenterede derfor i 2017 ’Villumeksperimentet’ for at få disse ideer frem i lyset. Programmet retter sig mod ”tekniske og naturvidenskabelige forskningsprojekter, der udfordrer normen og har potentialet til fundamentalt at ændre den måde, vi tilgår vigtige emner på”[3].
Center for Forskningsanalyse ved Aarhus Universitet har, gennem en uafhængig forskningsbevilling, fået mulighed for at monitorere Villumeksperimentet over en længere årrække. Fonden stiller alle ansøgnings- og bedømmelsesdata til rådighed for projektet hvilket er en sjældenhed når der forskes i fagfællebedømmelse.
Dobbeltblindet fagfællebedømmelse kan dække over forskellige tiltag, men centralt for bedømmelsen i Villumeksperimentet står, at ansøgernes navn, køn, tilhørsforhold og ikke mindst tidligere meritter holdes skjult for bedømmerne, samt at bedømmerene ikke forhandler med hinanden. Bedømmelserne foretages i stedet uafhængigt, og ansvaret for de efterfølgende bevillingsbeslutninger er lagt over på en tredje part.
For at modvirke biases, specielt i forhold til konservatisme, er ansøgeren anonym for bedømmerne i håb om at skærpe fokus på forskningsidéen og lade forskerne tænke frit i forhold til deres hidtidige arbejde.
Støtte innovative ideer
Udover at afprøve en alternativ bedømmelsesmodel er formålet med Villumeksperimentet at støtte innovative ideer, som har et højt risikomoment i forhold til succes. Der kan søges om op til 2 mio. kr. og en bevilling varer op til 2 år.
Bedømmerne bliver bedt om at lægge vægt på de idéer, de opfatter som reelle nybrud og som har et højt risikomoment.Hver bedømmer har mulighed for at tildele én ansøgning en ”trumf”; dvs. at den prioriteres højest i indstillingen, uanset hvilken bedømmelse denne ellers har opnået.
Villumeksperimentet har fire paneler: Earth & Space Sciences, Life Sciences, IT & Engineering og Physical Sciences & Mathematics. De strukturerede ansøgninger på 2 sider sendes til et af panelerne og får tre uafhængige bedømmelser. Der er ingen forhandling mellem bedømmerne.
Bedømmerne er udvalgt med særligt henblik på at kunne identificere innovative ideer. Der er tale om særdeles erfarne internationale bedømmere, cirka 30, som for de flestes vedkommende går igen fra år til år. Det betyder også, at bedømmerne ikke nødvendigvis er fageksperter i forhold til den konkrete ansøgning, deres formodede ekspertise er i identificeringen af innovative ideer og potentielle nybrud.
De individuelle bedømmelser indsamles efterfølgende af fonden, rangordnes og indstilles til fondens bestyrelse som træffer afgørelser om hvem der skal have de årlige godt 50 bevillinger. Bestyrelsen følger den anonymt rangordnede indstilling. Først derefter brydes anonymiteten. Villumeksperimentet har kørt i fem runder siden 2017. Omkring 250 ansøgningerne har fået en bevilling og succesraten for panelerne er cirka 10 procent.
Virker Villumeksperimentet efter hensigten?
Et central spørgsmål er i hvilket omfang Villumeksperimentet virker efter hensigten?
I forskningsprojektet foretager vi en række kvantitative og kvalitative analyser.
I første del af projektet er der gennemført analyser med udgangspunkt i interviews med bevillingsmodtagere. Her har der særligt været fokus på bevillingsmodtagernes eget syn på instrumentet og ansøgningsprocessen.
Fælles for mange af ansøgerne er en opfattelse af, at den dobbelt-blændede bedømmelsesproces og et øget fokus på forskningsideen frem for forskeren, giver mere rum til kreative projekter, skaber fleksibilitet i projektfasen og i sidste ende øger glæden ved at arbejde med projektet.
Forskerne fremhæver selv, at det har medført en anden forskningsoplevelse med mulighed for mere eksplorative forskningsprojekter.
Udover denne kvalitative del, arbejder vi med en række kvantitative analyser af bedømmelsesmekanismerne og automatiske fuldtekstanalyser af ansøgningerne. Resultaterne af disse analyser foreligger ikke endnu, men fokus er i særlig grad på hvordan instrumentet kan reducere eller eliminere eventuelle skævheder i den demografiske sammensætning blandt bevillingsmodtagere og afviste ansøgere.
Vi er her interesseret i, hvordan dobbeltblændet bedømmelse kan hjælpe til at reducere uønskede kønsforskelle, sikre en bedre balance mellem yngre og ældre bevillingsmodtagere, og sikre at bevillinger ikke kun går til forskere med mange tidligere publikationer og citationer.
Det omfattede tekstmateriale har desuden muliggjort en analyse af forskelle og ligheder i måden mænd og kvinder skriver forskningsansøgninger på, og i det konkrete tilfælde med Villumeksperimentet, synes der ikke at være nogen forskel.
På længere sigt kommer der desuden analyser af ’ideerne’ og hvor innovative og risikobetonede de egentlig er, samt analyser af bevillingernes gennemslagskraft og mulige betydning for ansøgerene, f.eks. om de skaber nye forskningsområder og karrieremuligheder?
Det er positivt at forskningsråd og især private fonde i stigende grad afprøver alternative evalueringsmetoder når det gælder om at fordele forskningsmidler og bedømme projektansøgninger. Men for at kunne høste det maksimale udbytte af disse eksperimenter, og vurdere både fordele og ulemper, er en forskningsforankret evaluerings- og monitoreringsindsats nødvendigt. Hvis disse tiltag skal implementeres som faste bestanddele af fremtidens forskningspolitik, kræver det viden om deres effekter.
Foto Khosrork
[1] Guthrie S, Ghiga I and Wooding S. What do we know about grant peer review in the health sciences? [version 2; peer review: 2 approved]. F1000Research 2018, 6:1335 (https://doi.org/10.12688/f1000research.11917.2)
[2] Sinkjær, T. (2018). Fund ideas, not pedigree, to find fresh insight. Nature, 555(8 March), 143.
[3] https://veluxfoundations.dk/da/teknisk-og-naturvidenskabelig-forskning/villum-eksperimentet