Eit grasrotinitiativ for reproduserbar forsking vil vere bindeledd mellom forskarar og forskingspolitikken.
Kjerstin Gjengedal for Forskningspolitikk
– Veldig mykje av det som skjer når det gjeld open og etterretteleg forsking, kjem ovanfrå, frå politikarar og forskingsfinansiørar. Ikkje alle som sit i slike posisjonar, forstår korleis ting foregår «på golvet», hos dei som utfører forskinga, seier Agata Bochynska.
Ho er ein av initiativtakarane bak Norwegian Reproducibility Network (NORRN) eit nettverk av forskarar og bibliotektilsette som arbeider for å spreie kunnskap og merksemd om reproduserbarheit og etterrettelege forskingsprosessar.
Til dagleg er Bochynska forskar og førstebibliotekar ved Universitetet i Oslo (UiO), der ho arbeider med open forsking. Dermed heng engasjementet i NORRN naturleg saman med arbeidsoppgåvene hennar.
Varierande kompetanse
NORRN er ein del av ei internasjonal rørsle av slike «reproduserbarheitsnettverk». Det første nettverket vart etablert i Storbritannia i 2015. Sidan har fleire land slutta seg til.
Målet med nettverket er å sette søkelys på kva det er som gjer forsking etterretteleg og reproduserbar, og korleis ein kan leggje til rette for det.
– Framleis varierer det veldig i kva grad forskarar har kompetanse på det. Difor er vi opptekne av å gjere det lett for folk å lære om det, seier Bochynska.
Den såkalla «replikasjonskrisa» vart først ein snakkis innanfor psykologi, men har seinare femna større delar av forskingsverda: Mange forskingsresultat har vist seg å ikkje halde stikk når ein prøver å gjenskape dei.
Det har ført til diskusjonar om kva for praksisar som best kan sikre at forskinga er solid, etterretteleg og påliteleg. Debatten er nært knytt til den samtidige diskusjonen om open forsking, men det er ikkje heilt det same, peikar Bochynska på.
– Etterretteleg forsking handlar ikkje nødvendigvis om at alt må delast eller vere ope tilgjengeleg, det viktige er at ein skal kunne verifisere kva som er blitt gjort. Dersom ein ikkje kan dele sensitive data med omverda, så kan ein i alle fall gjere ting etterprøvbare internt. Andre skal kunne følgje alle steg i prosessen og analysen slik at dei kan sjå korleis eg kom fram til resultata, seier ho.
Lokale fellesskap
Men det er ikkje det same som at det finst ein enkel framgangsmåte som alle forskarar kan bruke.
– Det er mykje diskusjon rundt dette. Kan ein forlange at kvalitativ forsking skal vere reproduserbar? Der er det så mykje tolking, du kan ikkje berre køyre ein analyse og få ut eit tal. Men ein kan forklare stega ein har gått igjennom, og korleis ein har handtert datamengdene ein jobbar med, seier ho.
NORRN har henta organisasjonsmodellen sin frå den britiske forgjengaren. Ei nasjonal styringsgruppe koordinerer den overordna aktiviteten i nettverket, medan lokale «nodar» på dei ulike institusjonane har ansvar for å promotere etterretteleg forsking ved sin eigen institusjon. Nettverket er i oppbyggingsfasen, men har lokale nodar ved ei rekkje institusjonar.
– Det heile er nokså uformelt og fleksibelt. Ein lokal node kan vere ein forskar som interesserer seg for open og etterretteleg forsking, og har lyst til å byggje ein fellesskap rundt dette på sin eigen institusjon eller i si eiga forskingsgruppe, fortel Bochynska.
Det kan skje gjennom å arrangere ulike seminar og sosiale møteplassar på institusjonen, eller ved å formidle informasjon og ressursar frå andre delar av nettverket, alt etter kor mykje tid og kapasitet den lokale noden har.
Nettopp fordi tid er ein knapp ressurs for forskarar flest, prøver NORRN å spreie kunnskap om verktøy som kan gjere forskinga meir robust, men utan å krevje altfor mykje arbeid. Det kan handle om heilt konkrete ting, som analyseverktøy.
– Har du data i eit excel-ark, som du kanskje også deler med andre, så kan ein ofte ikkje vite kva som er blitt gjort med dei, for det blir ikkje spora, illustrerer Bochynska.
Eit programmeringsverktøy, derimot, vil fungere som ein dokumentasjon av kva som er blitt gjort, fordi prosessen er dokumentert i sjølve koden.
– Men ein kan ikkje forlange at alle skal lære seg å programmere. I NORRN har vi hatt undervising om nokre litt enklare verktøy som er ein mellomting mellom excel og avanserte programmeringsverktøy, nettopp for å senke terskelen slik at det ikkje blir altfor overveldande, seier ho.
Motverke datafisking
Etterretteleg og reproduserbar forsking har vore eit viktig tema internasjonalt dei siste par tiåra, men det kan ta tid før nye praksisar etablerer seg ute i forskingsmiljøa.
I medisin og kliniske fag er førehandsregistrering av studiar blitt løfta fram som eit viktig verkemiddel for å sikre at kvantitative, hypotesedrivne studiar er robuste: Forskaren skal offentleggjere kva hen har planlagt å teste, og korleis det skal skje.
Førehandsregistreringa skal redusere risikoen for «datafisking», der forskarane brukar same datasett til å teste mange ulike hypotesar heilt til dei får eit resultat som er statistisk signifikant, og difor lettare å få publisert.
Nokre organisasjonar som finansierer klinisk forsking, stiller no krav om førehandsregistrering.
I det siste er diskusjonen om førehandsregistrering blitt følgt opp av ein ny publiseringsform, kalla registrert rapport (eit anna forslag er «protokollartikkel»). Då startar forskingsprosjektet med at forskaren skriv ein detaljert protokoll der hen gjer greie for kva som skal undersøkast, og korleis. Dette blir så sendt til eit tidsskrift, som sender det til fagfellevurdering. Dersom fagfellene meiner at hypotese og metodar er gode, forpliktar tidsskriftet seg til å publisere den endelege artikkelen, same kva forskingsresultatet blir.
– Det er mykje snakk om dette no, seier Bochynska.
– Stiftelsen Dam, som finansierer helseforsking, har nyleg implementert ein ny modell der dei finansierer slike artiklar. Når forskingsprotokollen din er blitt akseptert av eit tidsskrift, får du utbetalt hovudpotten av prosjektstøtten frå Dam. Det er ein måte å unngå at forsking blir utført til inga nytte på, fordi ein ikkje gjorde ein god nok jobb med planlegginga.
Strukturelt problem
Eit tilbakevendande tema i diskusjonen om etterrettelegheit i forsking, er at det ikkje løner seg for forskarar å prioritere det: Det er vanskeleg å få publisert replikasjonar av tidlegare studiar, og karrieremessig løner det seg å publisere mykje, noko som oppmuntrar til å ta snarvegar i forskingsprosessen.
– I mitt daglege arbeid på universitetsbiblioteket snakkar vi mykje om dette. Vi prøver å rådgje forskarar og vise dei verktøy som kan auke transparensen i forskinga, utan å ta så mykje tid, seier Bochynska.
Det er med andre ord allereie mykje aktivitet rundt på institusjonane som tek sikte på å auke kompetansen rundt etterretteleg forsking.
– Målet til NORRN er å harmonisere og koordinere det som allereie skjer, og å vere ein kontakt mot den internasjonale rørsla. Dersom til dømes NTNU har funne gode metodar for å undervise i reproduserbar analyse, så kan det overførast til andre institusjonar. Då slepp ein å bruke tid på å heile tida finne opp hjulet på nytt.
Som internasjonal representant i NORRN har ho jamlege zoom-møte med representantar frå andre nettverk, der dei diskuterer kva dei kan lære av kvarandre. I Noreg har NORRN arrangert ein årleg konferanse sidan nettverket vart etablert i 2022.
– Elles er det viktig for oss å få fleire lokale nodar og bli litt meir etablert som nettverksorganisasjon, seier Bochynska.
– Då kan vi for alvor byrje å snakke med andre viktige aktørar innanfor forskingsfinansiering og forskingspolitikk. Vi meiner at dialogen mellom forskarane og dei som har forskingspolitisk makt, er viktig. Den dialogen er ikkje like godt etablert alle stader når det gjeld open og etterretteleg forsking.
Frenhevet bilde: I medisin og kliniske fag er førehandsregistrering av studiar blitt løfta fram som eit viktig verkemiddel for å sikre at kvantitative, hypotesedrivne studiar er robuste. Foto sanjeri.