En artikkel i Forskningspolitikk 3/2016 omhandlet en nylig avsluttet evaluering av om lag 200 prosjekter som har vært støttet av Det europeiske forskningsrådet (ERC). Dette innlegget kommenterer artikkelen og gir supplerende informasjon om ERCs pågående evalueringer
HELGE HOLDEN, PROFESSOR, NTNU
holden@math.ntnu.no
Siden ERC nå er i gang med en ny runde av evaluering av avsluttede prosjekter, og jeg har deltatt i evalueringen av de ni prosjektene innenfor PE1 (matematikk), vil jeg gjerne gi noen utfyllende kommentarer til artikkelen til David Budtz Pedersen og Kaare Aagaard i Forskningspolitikk nr. 3, 2016. Metodene i denne andre runden er stort sett sammenfallende med dem som ble benyttet i den første runden, men omfatter nå både Starting, Consolidator og Advanced Grants. Prosjektene er valgt ut tilfeldig, og evaluering foretas uten prosjektledernes kjennskap eller deltagelse. Resultatet har heller ingen konsekvenser for prosjektene, som jo allerede er avsluttet. Et tilbakevendende spørsmål er om erfaringen fra tidligere prosjekter skal telle med når man søker på nytt – hvor mange ganger kan man love å «løse kreftgåten»? Dette har vært nøye vurdert i ERC, og det er gode argumenter i begge retninger. Konklusjonen har blitt at enhver søknad skal vurderes på selvstendig grunnlag, og at tidligere støtte, enten fra ERC eller nasjonalt, ikke skal inngå i vurderingen. I vårt panel hadde to av de tre paneldeltagerne sittet i ERC-paneler (men ikke nødvendigvis dem som hadde vurdert de angjeldende prosjektene), og det siste medlemmet hadde tidligere deltatt som ekstern ekspert.
I evalueringen ble vi bedt om å vurdere om prosjektene hadde ledet til et vitenskapelig gjennombrudd («scientific breakthrough»). Som Pedersen og Aagaard skriver, er det vanskelig å vurdere hva som menes med et gjennombrudd. Det adskiller seg sånn sett ikke fra hvordan prosjektene blir vurdert når det søkes om støtte. Da blir man også bedt om å vurdere høy risiko mot høy gevinst («high-risk/high-gain»), og det gir alltid opphav til diskusjon, men overraskende liten uenighet, i panelene. Jeg tror at man innenfor hvert fag kan komme til enighet om en felles forståelse av disse begrepene. Men innholdet i begrepene varierer mellom fagene, og det fins trolig ikke en felles forståelse som også sammenfaller med den som brukes i samfunnet og av politikere. Pedersen og Aagaard kritiserer at panelene er sammensatt av interne medlemmer. Jeg ser ikke noe problem med dette, tvert imot er det en fordel at panelene har erfaring i vurdering av ERC-prosjekter. Om derimot hele virkemiddelapparatet til ERC skal vurderes, må selvsagt en slik evaluering foretas av eksterne eksperter, på lik linje med når Forskningsrådet er blitt evaluert. Hele ERCs modus operandi er basert på å fordele store midler til de aller mest meritterte forskerne med de beste prosjektbeskrivelsene basert på vurdering av de fremste ekspertene i feltet. Det er den vanligste måten å fordele forskningsmidler på, selv om andre måter også diskuteres og utprøves i varierende grad. Denne ERC-vurderingen tjener etter min mening i hovedsak et annet formål.
Det er forbilledlig at ERC har iverksatt en evaluering av avsluttede prosjekter. Dette gir innsikt i seleksjonsprosessen, som allerede blir betraktet som en av de beste i verden.
Et spørsmål som opptok oss, var følgende: Anta at prosjektet hadde som mål å løse problem A, men rapporten viste at problem B var løst istedenfor. Her er det naturlig å stille spørsmål om hvorvidt prosjektet hadde fått støtte om man hadde erklært at målet var å løse problem B istedenfor A. Samtidig er dette grunnforskning på høyeste nivå, og da må man akseptere at man ikke alltid klarer å nå sine mål, men må nøye seg med å løse et «lettere» problem. Samtidig kreves det at man gjør et seriøst forsøk på å løse det opprinnelige problemet, og at planen ikke hele tiden var å løse det lettere problemet. Det krever høy kompetanse å kunne gjøre en slik vurdering av hva de reelle intensjonene i prosjektet var. Samtidig kan det dukke opp muligheter man ikke kunne forutsi, og prosjektene må ha frihet til å forfølge slike om sjansen byr seg. Mange vitenskapelige gjennombrudd har skjedd på en slik måte, ved det som på engelsk ofte omtales som «serendipity». Dette gir nyttig informasjon til ERC om innretningen av prosjektene er slik at dette er mulig. Som Pedersen og Aagaard skriver, er prosjektene valgt ut i ekstrem konkurranse, og det er å vente at forskningen er deretter. Vår begrensede undersøkelse viste tilfeller av vitenskapelige gjennombrudd og av prosjekter der man hadde forfulgt andre mål enn de som var forventet, men også prosjekter der vår vurdering var at forskningen var inkrementell. Det generelle inntrykket var at forskningen var på et meget høyt internasjonalt nivå, noe som ikke er overraskende når man tar den harde konkurransen i betraktning.
Spørsmålet om politisk støtte til nysgjerrighetsdreven grunnforskning er vanskelig. Politikere og samfunnet ønsker umiddelbar nytte og umiddelbare resultater av forskningen. Men grunnforskningens natur er en annen – her er målet økt innsikt og forståelse. Hvilken forskning som gir størst nytte på lang sikt, er vanskelig eller umulig å forutsi. Derfor er spørsmålet om prosjektet har hatt innflytelse («impact») utenfor sitt fag, for eksempel innenfor økonomi, samfunn eller politikk, lite meningsfylt for et nettopp avsluttet grunnforskningsprosjekt. Selv spørsmålet om hvorvidt prosjektet på lengre sikt kan forventes å ha en slik effekt, er nær umulig å besvare. Spørsmålsstillingen er, som Pedersen og Aagaard fremholder, for snever. Vi foreslo at dette spørsmålet ble fjernet fra fremtidige evalueringer. Selv om direktør Jean-Pierre Bourguignon ønsker å bruke denne rapporten til å vise nytten av nysgjerrighetsdreven grunnforskning, blir den bare en liten brikke i argumentasjonen. De tunge begrunnelsene for verdien av grunnforskning må finnes et annet sted.
For oss var vurderingen av prosjektene i ettertid nyttig og lærerik. Det er med på å bedre evalueringsprosessen neste gang og gir en nyttig tilbakemelding til ERC om hvordan rammene for prosjektene kan gjøres bedre.
Evalueringsrapporten som det vises til i artikkelen, kan hentes på adressen: http://bit.ly/2ayl38y
