Forskning

Kan siteringsindikatorer brukes til å vurdere forskningskvalitet?

Siteringer anvendes i økende grad som indikatorer når forskning evalueres.  Ofte regnes siteringer å gjenspeile innflytelsen til forskningen eller dens kvalitet.  Hva er begrunnelsen for denne antakelsen, og i hvilken grad er det sammenheng mellom siteringer og forskningskvalitet? I denne artikkelen oppsummeres  en gjennomgang av litteraturen rundt disse spørsmålene.

Dag W. Aksnes, forsker 1, NIFU

Utbredt bruk

Siteringsindikatorer er et uttrykk for hvor ofte publikasjoner blir referert til i den påføl­gende vitenskapelige litteraturen. Siteringer og andre bibliometriske indikatorer brukes i mange ulike sammenhenger i forbindelse med forskningsevaluering og forsknings­politikk generelt. Eksempler er evaluering av forskningsmiljøer, institutter og institu­sjoner, evaluering av søknader til forsknings­prosjekter, allokering av midler til forskning og ansettelser av akademisk personell.

Siteringer inngår også i sentrale indika­torer i flere av universitetsrangeringene, slik som CWTS Leiden Ranking og Acade­mic Ranking of World Universities (ARWU).

Fagfellevurdering og/eller siteringsindikatorer?

Tradisjonelt anses fagfellevurdering (peer review) som gullstandarden for forsknings­evaluering. I økende grad benyttes siterings­indikatorer som et alternativ, alene eller i kombinasjon med fagfellevurdering. Dette reiser spørsmål ved hvilken gyldighet slike indikatorer har for evaluering av forskning og i hvilke sammenhenger og for hvilke for­mål indikatorene er egnet. Dette er spørs­mål som har blitt hyppig diskutert interna­sjonalt de siste tiårene, og det er en om­fattende litteratur om tematikken.

Det mest radikale synspunktet som har blitt fremmet, er at siteringsindikatorer kan og bør erstatte fagfellevurdering av forskning. Argumentene her er at evalue­ringer gjennomført av fagfeller har en høy kostnad, de er tidkrevende, vurderingene er subjektive og påvirket av hvilken faglig bakgrunn og hvilke interesser evaluatorene har. Siteringsindikatorer har ikke denne typen begrensninger.

Motsatt har andre avvist enhver bruk av siteringsbaserte indikatorer, blant annet fordi det er en rekke feilkilder knyttet tilberegning av siteringstall og at tallene er påvirket av faktorer som ikke har noe å gjøre med forskningskvalitet. Ikke minst har bruk av tidsskriftimpaktfaktorer (jour­nal impact factor) blitt sterkt kritisert. Im­paktfaktoren måler den gjennomsnittlige siteringsraten til artiklene i et tidsskrift i løpet av en bestemt tidsperiode. Denne de­batten førte til den såkalte DORA-erklærin­gen (The San Fransisco Declariation on Re­search Assessment), som argumenterer sterkt for at denne indikatoren ikke bør brukes ved beslutninger om finansiering, ansettelser eller forfremmelser.

Forskningskvalitet er flerdimensjonal

Et grunnleggende spørsmål er også hva si­teringstall sier noe om og kan brukes som indikator på. Forskningskvalitet er et fler­dimensjonalt begrep: God forskning er viten­skapelig holdbar (soliditet/plausibilitet), den gir ny kunnskap (originalitet) og har be­tydning for annen forskning (vitenskapelig verdi). Ofte inkluderes også betydning for samfunnet (samfunnsverdi) som en fjerde dimensjon ved forskningskvalitet.

Det kan være en lang rekke grunner til at en artikkel blir sitert i påfølgende viten­skapelige publikasjoner. Disse grunnene kan ikke utledes av siteringstallene direkte. Det mest generelle som kan sies, er at ar­tikkelen på en eller annen måte vurderes å ha relevans for forskningen som rapporte­res i de påfølgende publikasjonene.

Soliditet

De fire forskningskvalitetsdimensjonene utgjør imidlertid ikke selvstendige grunn­lag for sitering. Når det gjelder soliditet, kan en anta at i tilfeller hvor holdbarheten til en relevant artikkel vurderes som dårlig, vil mange ikke sitere den på grunn av det­te. Men det finnes mange eksempler på høyt siterte artikler som har vist seg ikke å holde mål faglig, og i ekstreme tilfeller ut­gjort forskningssvindel.

Originalitet

Det er heller ikke noen entydig sammen­heng mellom originalitet og siteringer. Stu­dier med høy originalitet kan bidra til store vitenskapelige gjennombrudd eller få be­grenset betydning. I det siste tilfellet  vil artikler som ikke fungerer som grunnlag for videre forskning, generelt bli lite sitert – selv om de kan være originale i form av teoretisk eller metodisk tilnærming.

Samfunnsverdi

Når det gjelder samfunnsmessig verdi (aspekter som helse, miljø, økonomi, tekno­logisk utvikling, etc.), finnes det eksempler på artikler som har fått stor samfunnsmes­sig betydning og som er høyt sitert. Et ek­sempel er Prescott og Kydlands artikler som dannet grunnlaget for nobelminne­prisen i økonomi i 2004, og som etter hvert fikk stor betydning for praktisk øko­nomisk politikk og pengepolitikk spesielt.

Generelt er likevel koblingen mellom siteringer og samfunnsmessig relevans svak, og dette er en grunn til at det er økt oppmerksomhet mot å utvikle alternative metoder for å måle samfunnsmessig relevans.

Vitenskapelig verdi

Den kvalitetsdimensjonen som siteringer i størst grad kan si noe om, er vitenskapelig verdi eller betydning.

Argumentene for dette er gjerne at en forsker i skriveprosessen vil referere til tidligere studier som har vært relevante for den aktuelle forskningen som rapporteres i publikasjonen. Således kan artikler som får mange siteringer, antas å være mer nyttige eller ha større vitenskapelig betydning enn artikler som knapt siteres i det hele tatt.

Tilsvarende argumentasjon kan da brukes for aggregerte nivåer av artikler, som er det som vanligvis analyseres når siteringsindikatorer brukes i en evalueringskontekst.

Selvforsterkende mekanismer

Det er likevel flere faktorer som gjør at det ikke er noen entydig sammenheng mellom siteringer og vitenskapelig verdi, spesielt gjelder dette på enkeltartikkelnivå. Siteringer har både en kunnskapsmessig og sosiologisk dimensjon. Det vil normalt være et svært stort antall tidligere publikasjoner som har relevans for en ny artikkel, og kun en liten del av disse blir referert til.

Det publiseres hvert år mer enn to millioner vitenskapelige artikler på verdensbasis. Det er lett å forsvinne i massen. Når en artikkel er sitert av mange påfølgende artikler, blir enda flere forskere oppmerksomme på dette arbeidet. På denne måten øker artikkelens synlighet og dermed sjanse for å oppnå flere siteringer. Det er en selvforsterkende mekanisme som medfører at noen få artikler kan oppnå et ekstremt høyt antall siteringer (jf. «Matteus-effekten»).

Det er også andre dimensjoner som vil ha betydning for sannsynligheten for å bli høyt sitert: hvor mange forskere som finnes på feltet, hvor generelt bidraget er, hvilket tidsskrift det publiseres i, fagets publiseringsmønster og referansepraksis osv. I tillegg til andre faktorer som ikke nevnes her, gjør dette at heller ikke vitenskapelig verdi entydig vil reflekteres gjennom
siteringstall.

Bør brukes med omhu

Det er vanlig å anbefale at siteringsanalyser kombineres med kvalitative vurderinger. Siteringer og andre bibliometriske indikatorer bør således utgjøre et supplement og ikke noen erstatning for tradisjonelle fagfellevurderinger.

Vi kan konkludere med at siteringer reflekterer aspekter knyttet til vitenskapelig innflytelse og relevans, men med viktige begrensninger. Derimot er det ikke belegg for at siteringer gjenspeiler andre dimensjoner av forskningskvalitet. En økt bruk av siteringsindikatorer når forskning skal evalueres og finansieres, kan derfor medføre mindre oppmerksomhet om eksempelvis forskningens soliditet, originalitet eller samfunnsmessige verdi. Likevel, gitt at det er behov for å evaluere forskning, for å differensiere forskningsressurser og foreta faglige prioriteringer, vil siteringsanalyser kunne være et nyttig – men ikke uproblematisk – hjelpemiddel.

En lengre versjon av artikkelen kan leses her.


R-Quest, NIFUs senter for studier av kvalitet i forskningen

Dag Aksnes’ artikkel i dagens nummer – om  siteringsindikatorer – er basert på forskning  utført innenfor rammen av R-Quest, NIFUs  senter for forskning på forskningskvalitet  og politikkutforming.

Navn: R-Quest – Centre for Research Quality and Policy Impact Studies

Finansiering: Norges forskningsråds FORINNPOL-program 2016–2024

Forskningstema:
• Hva er – og hvordan defineres – forskningskvalitet?
• Hvordan skapes forskningskvalitet, og hvilken  rolle har forskningsinstitusjoner og offentlig  politikk i å legge til rette for høy kvalitet i forskningen?
• Hva er sammenhengen mellom forskningskvalitet og samfunnsnytte?

Ledelse: Leder Liv Langfeldt/NIFU, nestleder Siri Brorstad Borlaug/NIFU

Forskningspartnere: NIFU (vertsinstitusjon); Institutt for statsvitenskap, Universitetet i Oslo;  CFA – Dansk Center for Forskningsanalyse, Aarhus Universitet; CWTS – Centre for Science and  Technology Studies, Leiden University; KTH
Kungliga Tekniska högskolan, Avdelningen för historiska studier av teknik, vetenskap och miljö;  MIoIR – Manchester Institute of Innovation Research, University of Manchester.

Brukerpartnere: Kunnskapsdepartementet;  Norges forskningsråd; Det Norske Videnskaps-Akademi; Næringslivets hovedorganisasjon; Universitets- og høgskolerådet; Forskningsinstituttenes fellesarena; Oslo universitetssykehus; Universitetet i Oslo; SINTEF.

Nettside: www.r-quest.no

Se også:
«Hva er kvalitet i forskning og vitenskap?», artikkel i Forskningspolitikk fra mars 2017.
«Ny giv for forskning om forskning og innovasjon», artikkel i Forskningspolitikk fra oktober 2016.

Hovedbilde: Blankstock