Udvalget for Forskning, Innovation og Videregående Uddannelser 2011-12
FIV Alm.del Bilag 43
Offentligt
Evaluering af virkemidlet ”forskningsprojekter”i Det Frie ForskningsrådForskning: Analyse og Evaluering 1/2011
Evaluering af virkemidlet ”forskningsprojekter” i Det Frie ForskningsrådUdgivet af:Forsknings- og InnovationsstyrelsenBredgade 401260 København KTelefon: 3544 6200E-mail: [email protected]August 2011Layout: Eckardt ApSISBN: 978-87-92776-05-1Publikationen samt de fem tilhørende delundersøgelser kan hentes påForsknings- og Innovationsstyrelsens hjemmeside: www.fi.dk
Evaluering af virkemidlet ”forskningsprojekter”i Det Frie ForskningsrådForskning: Analyse og Evaluering 1/2011Udarbejdet af Dansk Center for Forskningsanalyse
Indhold
Forord ...........................................................................................................................................................3Sammenfatning ...........................................................................................................................................4Introduktion ...................................................................................................................................................9Baggrund ..............................................................................................................................................9Formål ..................................................................................................................................................9Om evalueringen ...............................................................................................................................10Rapportens struktur ..........................................................................................................................12Det Frie Forskningsråd ....................................................................................................................13Indledning ...................................................................................................................................................13Virkemidlet forskningsprojekter .....................................................................................................14Større og mindre forskningsprojekter ...........................................................................................16Kapitel 1. Betydning for den enkelte forsker ..........................................................................................181.1 Muliggørelse af forskning ..........................................................................................................181.2 Fordybelse og frihed ...................................................................................................................181.3 Karriere og kompetencer ...........................................................................................................191.4 Prestige og anerkendelse ...........................................................................................................251.5 Indkomst ......................................................................................................................................261.6 Sammenfatning af betydningen for den enkelte forsker .........................................................26Kapitel 2. Betydning for tilknyttede forskningsmiljøer ..........................................................................272.1 Samarbejde og vidensspredning ..............................................................................................272.2 Uddannelsesmæssige outputs og opbygning af forskningsmiljø ...........................................282.3 Opnåelse af anerkendelse og fastholdelse/rekruttering af talenter .......................................302.4 Sammenfatning af betydningen for tilknyttede forskermiljøer ...............................................31Kapitel 3. Betydning for forskningen ......................................................................................................333.1 Effekten af bevillinger på publikationsaktivitet hos hovedbevillingsmodtagere ....................333.2 Videnskabelig produktion for bevilgede projekter ...................................................................363.3 Sammenfatning af betydning for forskning ..............................................................................38Kapitel 4. Udvikling i DFF’s bevillingspraksis og dets betydning ..........................................................394.1 Udviklinger i opslag og vurderingskriterier .............................................................................394.2 Udvikling i succesrater og deres betydning ..............................................................................424.3 Særlige indsatsområder ............................................................................................................454.4 Større og mindre projekter – udvikling og betydning ..............................................................474.5 Risikoprofilen for bevilgede forskningsprojekter .....................................................................50Appendiks ...................................................................................................................................................52Beskrivelse af evalueringens delanalyser ......................................................................................52English summary .......................................................................................................................................56Background and objectives for the evaluation ................................................................................56Evaluation design and method .........................................................................................................57Results and conclusions ...................................................................................................................57
2
Evaluering af virkemidlet forskningsprojekter
Forord
Det Frie Forskningsråd (DFF) har til formål inden for alle videnskabelige områder atstøtte konkrete forskningsaktiviteter, der er baseret på forskernes egne initiativer, ogsom styrker kvaliteten og internationaliseringen af dansk forskning. Rådet skal med-virke til at sikre mulighederne for videnskabelige nybrud og har en særlig rolle i ud-viklingen af det forskningsfaglige niveau i Danmark.Med evalueringen af Det Frie Forskningsråds støtte tilforskningsprojekterer den sam-lede viden om forskningsrådenes bevillinger og herunder de deltagende forskere, deigangsatte projekter og ikke mindst effekterne af disse, forøget markant.Forsknings-projekterer beløbsmæssigt det primære virkemiddel (støtteform) blandt de mere end30 forskellige bevillingstyper, som Det Frie Forskningsråd og tidligere de seks Stats-lige Forskningsråd har anvendt igennem den undersøgte periode (2001-2009).Der er tidligere gennemført en omfattende evaluering af forskningsrådenes særligevirkemidler til fremme afforskerkarrierer,herunder virkemidler rettet mod kvindeligeforskere og forskere, der er i begyndelsen af deres karriereforløb. Endvidere indgikvirkemidletforskningskonsortier,som har været anvendt i Det Frie Forskningsråd |Teknologi og Produktion, i en tværgående evaluering af forskellige virkemidler, somomfatterforskningssamarbejdemellem offentlige forskningsinstitutioner og privatevirksomhederEvalueringen af forskningsprojekter er gennemført af Dansk Center for Forsknings-analyse ved Aarhus Universitet og er baseret på en bred vifte af datakilder og metoder.Dermed har det været muligt at belyse en hel række forskellige aspekter omkringansøgnings- og bedømmelsesprocesser, indholdet i rådenes bevillinger samt effekteraf disse. Betydningen af virkemidlet forskningsprojekter er i evalueringen opdelt i trecentrale analytiske områder: forskeren, forskningsmiljøet og selve forskningen. Samletbeskriver og dokumenterer evalueringen en række positive effekter af Det Frie Forsk-ningsråds forskningsprojekter.Det er min forhåbning at Det Frie Forskningsråd og de danske forskningsinstitutio-ner vil anvende evalueringen og dens resultater i arbejdet med løbende at sikre danskforskning de bedste vilkår. Evalueringen dokumenterer betydelige forandringer overtid både i rådenes interne arbejde og i de omgivende rammevilkår. Det fremgår ogsåmed tydelighed, at de videnskabelige hovedområder på mange punkter er forskellige,og at områderne derfor også kan have forskellige behov. Desuden bidrager evaluerin-gen med afgørende ny viden om effekterne af forskningsrådsbevillinger i forhold tiluniversiteternes hovedfunktioner – forskning og uddannelse.Jeg håber generelt, at evalueringen kan medvirke til at skabe endnu mere synlighed omDet Frie Forskningsråds arbejde og betydningen af dette.
Inge MærkedahlDirektør
Forsknings- og Innovationsstyrelsen
3
Sammenfatning
Dansk Center for Forskningsanalyse, Aarhus Universitet, har på opdrag af Forsk-nings- og Innovationsstyrelsen gennemført en evaluering af Det Frie Forskningsråds(DFF) virkemiddel ’forskningsprojekter’ i perioden fra 2001 til 2009. Periodendækker både aktiviteter for de seks statslige forskningsråd indtil 2003 og de fagligeforskningsråd samlet under DFF fra 2004.Nærværende hovedrapport er en sammenfatning af evalueringens hovedresultater.Evalueringen består af fem delundersøgelser:> Desk research undersøgelse af rådenes opslag over tid samt deskriptiv statistikover ansøgninger og bevillinger i perioden 2001-2009.> Survey undersøgelse blandt bevillingsmodtagere og afviste ansøgere omoplevelsen af ansøgningsproces, betydning af bevillinger samt relateredeforskningsaktiviteter.> Case-/interview undersøgelse af bevillingsmodtagere samt nuværende ogtidligere rådsmedlemmer om forskningsprojekternes udmøntning, anvendelse ogresultater.> Registerbaseret effektundersøgelse af effekten af at modtage en bevilling pålønudvikling og karriereprogression ved anvendelse af matchningsmetoder og”difference in difference” mål.> Bibliometrisk effektundersøgelse af effekten af at modtage en bevilling påpublikationsaktiviteten ved anvendelse af matchningsmetoder og ”difference indifference” mål.Formålet med evalueringen er at indsamle systematisk og samlet viden om anven-delsen og resultaterne af virkemidlet forskningsprojekter i perioden, blandt andetat se på forskellen i effekter af store og små forskningsprojektbevillinger. For heleperioden fra 2001 til 2008 var 56 procent af projektbevillingerne på under 1 millionkr. (i 2001-priser), 19 procent var på mellem 1 og 1,5 million kr., mens de sidste 25procent var på over 1,5 million kr. Det skal bemærkes, at de bevillingsstørrelser, derarbejdes med i denne evaluering, er inklusive administrativt overhead. Som det erbeskrevet i kapitel 4 nedenfor, så viser evalueringen, at der finder en markant for-skydning sted i løbet af evalueringsperioden i retning af flere store bevillinger over1,5 million kr. og færre små bevillinger på under 1 million kr. 25 procent af projekt-bevillingerne gik til individuelle projekter i perioden 2001-2008, mens 43 procenthavde mere en én projektdeltager fra samme institution, og 32 procent var tværinsti-tutionelle projekter.En stor andel af de projekter, der opnåede en bevilling (og også mange af de projek-ter, der ikke opnåede en bevilling), inkluderede en eller flere ph.d.-studerende og/eller post doc’er. Andelen varierer dog meget de enkelte faglige råd imellem, fraover 80 procent af projekterne i det faglige råd for Teknologi og Produktion (FTP)til 15 procent i Natur og Univers (FNU). Disse forskelle giver ikke noget klart bil-lede af den samlede støtte til ph.d’ere og post. doc’er, men er et udtryk for forskellei bevillingspraksis de enkelte faglige råd imellem. Nogle faglige råd bruger såledesi højere grad end andre separate virkemidler til ph.d.’er og post doc’er., mens andreråd har tradition for, at ph.d.’er og post doc’er er indlejret i og finansieret af størreforskningsprojekter. Dette har en række implikationer. For det første kan der værebetydelige ’anden generationseffekter’ forbundet med sådanne større forskningspro-jekter. En række af de interviewede bevillingsmodtagere gav således udtryk for, at
4
Evaluering af virkemidlet forskningsprojekter
bevillingerne havde givet dem mulighed for at rekruttere talentfulde unge kandida-ter/forskere, give dem en karrierevej og værdifuld erfaring.En tilbundsgående analyse af ’anden generationseffekterne’ vil dog kræve en mål-rettet undersøgelse af ph.d.’erne og post doc’erne selv. Det er også klart, at en fyl-destgørende analyse af Det Frie Forskningsråds bevillingers effekt på yngre forskeremåtte inkludere de individuelle virkemidler (stipendier) til ph.d.-studerende og postdoc’erne selv såvel som de forskningsprojektbevillinger, hvori ph.d.-studerende ogpost doc’ere er inkluderet. I denne forbindelse ville det være meget værdifuldt atregistrere data om ph.d.-studerende og post doc’er i databaserne over projektansøg-ninger og -bevillinger.Analysen af udviklingen i succesraterne for projektansøgninger i undersøgelsespe-rioden viser, at succesraten er faldet gradvist fra 2001 til 2008 og markant i 2009.Succesraten for forskningsprojektansøgninger bevæger sig fra 28 procent i 2001 til33 procent i 2004. Den falder herefter til 22 procent i 2008 og yderligere til 12 pro-cent i 2009. Evalueringen blotlægger en række faktorer, der har haft indflydelse pådenne udvikling. For det første er antallet af ansøgninger steget med større fart endde samlede midler til uddeling. For det andet viser evalueringen, at udviklingen ergået i retning af støtte til større projekter frem for mindre projekter – bl.a. med detresultat, at færre projekter opnår tilsagn om støtte. For det tredje er succesraten ble-vet påvirket af reglen om et loft på medfinansiering på 10 procent, som blev indførti 2009, og som i praksis har betydet en reduktion af universiteterne og andre forsk-ningsinstitutioners medfinansiering. Loftet blev indført for at sikre universiteternereel råderum over deres basisbevillinger og dermed mulighed for at lave deres egneforskningsprioriteringer. En sideeffekt ved loftet har dog været, at succesraten foransøgninger til Det Frie Forskningsråd (DFF) er faldet markant. Endelig er DFF’smuligheder for at bevilge et mindre beløb end det ansøgte blevet indskrænket, hvil-ket igen har betydet en reduktion i succesraten.Interviews med tidligere og nuværende rådsmedlemmer afslører en stor bekymringfor denne udvikling. Der er således enighed om, at den nuværende succesrate pågodt 10 procent er problematisk både set i forhold til den tid og de ressourcer, sombliver brugt på ansøgningsarbejdet, og den betydning, som en forskningsrådsbevil-ling har for den enkelte forsker.I overvejelserne over betydningen af bevillingerne må man også tage effekten foransøgere, der ikke modtager en bevilling, med i betragtning – altså se på effektenaf et afslag. For en stor del af de afviste ansøgere førte ansøgningsarbejdet til nyeprojektansøgninger og/eller til bevillinger fra andre fonde (39 procent) eller til nyesamarbejder med andre forskere (32 procent). For 21 procent af de afviste ansøgerehar afslaget dog haft en væsentlig negativ betydning for deres efterfølgende karriere,hvor andelene er højest inden for FKK (35 procent) og FTP (31 procent). I alt 11procent mente, at afslaget var medvirkende til, at de valgte at forlade en forskerkar-riere helt, 17 procent inden for FKK og 13 procent inden for FNU. Inden for FSE erbåde andelen, der mente at afslaget havde en væsentlig negativ betydning eller med-virket til, at de forlod en forskerkarriere, til gengæld meget lave (hhv. 5 og 0 pro-cent). Sammenholdt med den lave succesrate understreger det behovet for at gøreansøgningsarbejdet såvel som et eventuelt afslag så anvendeligt for ansøgeren somoverhovedet muligt.
Forsknings- og Innovationsstyrelsen
5
Omkring halvdelen af de afviste projekter blev gennemført med anden finansiering,enten i fuld eller reduceret udgave. Cirka 1 ud af 4 af de af forskningsrådene afvisteprojekter, som efterfølgende blev gennemført med alternativ finansiering, er finan-sieret udelukkende med interne midler og de resterende enten med eksterne midlereller en kombination af interne og eksterne midler. Der er dog betydelige forskellepå tværs af fagområder. Inden for FNU og FSS blev kun 32 % af de afviste projek-ter ikke iværksat, mens andelen var hhv. 55%, 63% og 64% inden for FSE, FKK ogFTP.Effekten af en bevilling fra Det Frie Forskningsråd (DFF) er generelt meget positiv.For mange af de interviewede bevillingsmodtagere har det haft stor betydning atmodtage en bevilling fra DFF, både i forhold til deres karriere og i forhold til deresforskning. Bevillingerne fik i flere tilfælde også æren for at muliggøre videre forsk-ning, for skabelse af kontakt og samarbejde med andre forskere og forskningsmiljøersamt for karriereavancementer. Den kvantitative del af evalueringen bekræfter dette.Bevillingsmodtagere har således en større sandsynlighed for karriereavancementerend afviste ansøgere med sammenlignelige baggrundskarakteristika. Bevillingsmod-tagere har eksempelvis 13 procent større chance for at blive professorer end (mat-chede) afviste ansøgere.De interviewede bevillingsmodtagere lagde også vægt på andre positive effekter afat modtage en bevilling. Specielt blev en bevillings betydning for forskerens autono-mi – friheden til at kunne vælge og planlægge sin egen forskning – samt mulighedenfor at kunne fordybe sig i sin forskning fremhævet. Endvidere pointerede flere afde interviewede bevillingsmodtagere, at det var forbundet med stor anerkendelse atmodtage en forskningsrådsbevilling. Denne anerkendelse har selvfølgelig værdi i sigselv for den enkelte bevillingsmodtager, men den har også indflydelse på fremtidigeforskningsmuligheder i forhold til at sikre finansiering og samarbejde med topfor-skere.Evalueringen viser, at den nye viden, der genereres i de understøttede forskningspro-jekter, ikke bare fører til forskningspublikationer, men også kanaliseres ud gennemforskernes undervisningsaktiviteter. To tredjedele af bevillingsmodtagerne angavsåledes i surveyundersøgelsen, at forskningsprojektet havde haft en afsmittendevirkning på indholdet af deres undervisning og en lige så stor del følte, at projektethavde forbedret deres kompetencer som undervisere. Effekten var størst for under-visningen på ph.d. og masterniveau og lavest for undervisning på bachelorniveau.Den bibliometriske analyse sammenlignede publikationsaktiviteten for bevillings-modtagere og afviste ansøgere. De to grupper blev matchet i forhold til en rækkebaggrundskarakteristika (fagområde, alder, køn, akademisk position, type af arbejds-plads, stillingskategori, tidligere bevillinger, ansøgningsår og udlandsrelationer) ogblev sammenlignet i forhold til ændringer i publikationsaktivitet før og efter mod-tagelsen af en bevilling fra DFF (difference in difference-metoden). Der blev set påantallet af artikler, på tidsskriftets gennemslagskraft og på antal citationer per publi-kation. Antal publikationer kan betragtes som et mål på kvantitet, mens citationer ogpublikation korrigeret for gennemslagskraft kan ses som kvalitetsmål. Stigningen iantallet publikationer er signifikant større for bevillingsmodtagere end for (matche-de) afviste ansøgere, når der korrigeres for antal forfattere eller for tidsskrifternesgennemslagskraft. For antal citationer er stigningen også større for bevillingsmodta-
6
Evaluering af virkemidlet forskningsprojekter
gere, 20% højere. Dog er forskellen ikke signifikant. Stigningen i antal publikationerer også større for bevillingsmodtagere, men ikke signifikant.Et fokuspunkt for denne evaluering har også været sammenligningen af effekterneved bevillinger til større versus mindre forskningsprojekter. Dette spørgsmål pres-ser sig yderligere på, når tendensen går i retning af større frem for mindre bevil-linger. I 2001 var 65 procent af alle projektbevillinger på under 1 million kroner (i2001-priser), mens 19 procent var større end 1,5 million. I 2009 var andelen af småbevillinger på under 1 million kroner (i 2001-priser) faldet til 16 procent, mens an-delen af projektbevillinger på mere end 1,5 millioner kroner omvendt var steget til70 procent1. Viden om effekten af henholdsvis store og små forskningsprojekter kansåledes bruges til at vurdere fordele og ulemper ved bevægelsen væk fra de små be-villinger.Nedenstående liste sammenfatter evalueringens resultater mht. effekterne af hen-holdsvis små og store forskningsprojektbevillinger:> Små projekter er gode til at kickstarte en karriere og kan føre til større projekterog vigtige forskningsresultater.> De interviewede peger på, at der for ikke etablerede forskere er en substantielkarrieremæssig effekt af at modtage en forskningsrådsbevilling fra DFF, uansetbevillingens størrelse.> Der er potentiale for ’anden generationseffekter’ ved de størreforskningsprojekter.> Når det gælder om at etablere samarbejde med andre forskere ogforskningsmiljøer, er der ifølge de interviewede bevillingsmodtagere ingenforskel på, om man har fået en stor eller en lille bevilling.> Såvel de små som de store bevillinger øger sandsynligheden for etkarriereavancement. Dog er sandsynligheden en anelse større for de storeprojekter, hvilken kunne tyde på, at forskningsledelses- og fundraisingerfaringfra store projekter har en betydning for karriereavancement.> Antallet af peer review-artikler per million kroner er (baseret påsurveyundersøgelsen) markant større (mere end dobbelt så stor for alle rådundtagen FNU) for bevillinger under 1 million kroner end for bevillinger på over1 million kroner.Et kvalitativt aspekt, som er værd at lægge mærke til, er altså, at stort set alle deinterviewede bevillingsmodtagere giver udtryk for, at det har haft stor betydning forderes efterfølgende karriere og for kvaliteten af deres forskning at modtage en bevil-ling fra DFF. Her spillede det tilsyneladende ingen rolle, om det har været en storeller en lille bevilling. Kigger man på resultaterne fra surveyundersøgelsen, viserden, at antallet af peer review-artikler pr. million bevilligede kr. er markant større forde små forskningsprojekter (mindre end 1 million kr.) – mere end dobbelt så mangeartikler i fire ud af fem faglige råd under DFF.Det kan dog være vanskeligereatopgøre det samlede antal publikationer for projekter med mange deltagere, hvilket
1 Overhead-raterne er øget for universiteter fra 20 procent i 2007 til 35 procent i 2008 og til 44 procenti 2009. Dette har haft en vis indflydelse på bevillingsstørrelserne i den sidste del af evalueringsperioden,men også renset for overhead vokser projektbevillingerne i størrelse fra 2008 til 2009.Forsknings- og Innovationsstyrelsen7
kan medføre at videnskabelig produktion underestimeres for større projekter i for-hold til mindre projekter.Endelig kan man spørge, om resultaterne fra denne evaluering er enestående forforskningsprojekter under Det Frie Forskningsråd, eller om der er tale om generelleeffekter af støtte til forskningsprojekter? Dette spørgsmål er der ikke direkte setnærmere på i denne evaluering. Der er dog ingen tvivl om, at mange af effekternehar at gøre med forskningsfinansiering generelt og derfor ikke specifikt er knyttet tilen forskningsprojektbevilling fra DFF. Et aspekt knytter sig dog helt sikkert til DFF.Det drejer sig om friheden til at kunne designe og forfølge forskningsprojekter påegne vilkår – noget som bevillingsmodtagerne både i surveyundersøgelsen og inter-viewundersøgelsen fremhæver som meget motiverende og udbytterigt.
8
Evaluering af virkemidlet forskningsprojekter
Introduktion
BaggrundEn af hovedopgaverne for Det Frie Forskningsråd er at støtte dansk forskning base-ret på forskernes egne initiativer ved at give støtte til konkrete forskningsaktiviteter.En central type virkemidler til at indfri denne opgave er forskningsprojekter. I 2008blev der i alt bevilget 680 mio. kr. til mindre og større forskningsprojekter, og disseto virkemidler tegnede sig således for 36 procent af alle typer DFF-bevillinger og61 procent af det samlede bevilligede beløb i Det Frie Forskningsråd i det pågæl-dende år. I perioden 2001 til 2008 (2001-03 for de tidligere seks statslige forsk-ningsråd) er der uddelt omkring 2.600 bevillinger til en samlet sum af 3,6 mia. kr. iløbende priser. Der er således tale om en type virkemiddel, der samlet set tegner sigfor en betydelig del af de konkurrenceudsatte offentlige forskningsudgifter.
FormålDansk Center for Forskningsanalyse, Aarhus Universitet, har på opdrag af Forsk-nings- og Innovationsstyrelsen gennemført en evaluering af Det Frie Forsknings-råds (DFF) virkemiddel ’forskningsprojekter’ i perioden fra 2001 til 2009. Perio-den dækker både aktiviteter for de seks statslige forskningsråd indtil 2003 og defaglige forskningsråd samlet under DFF fra 2004. Vores opdrag ifølge udbudsma-terialet var:”Evalueringen skal bidrage med viden om virkemidlerne, særligt – idet omfang deter muligt – med viden om effektiviteten af henholdsvis mindre og større forsknings-projekter. Formålet med evalueringen er på denne baggrund dels at skabe et bedregrundlag for at prioritere og udvikle forskningsrådene virkemidler, dels at skabesynlighed om resultaterne af en betydelig del af forskningsrådenes bevillinger.Konkret skal evalueringen svare på følgende spørgsmål:>Hvilke krav har der i perioden været skrevet ind i opslagene i relation tilvirkemidlet i de forskellige faglige forskningsråd, og hvilken betydning hardisse krav haft for bevillingernes anvendelse og resultat?>Hvilke specifikke forskningsaktiviteter finansieres som led i udmøntningen afforskningsprojekter inden for de forskellige forskningsråd?>Hvilke resultater har bevillingerne medført?Evalueringen skal således vurdere anvendelsen og udbyttet af virkemidlet forsk-ningsprojekter. I den forbindelse skal evalueringens resultater kunne brydes ned påbetydning af bevillingsstørrelsen … (og) på hvert af de faglige forskningsråd.”Formålet med evalueringen er dermed at indsamle systematisk og samlet videnom anvendelsen og resultaterne af virkemidlet forskningsprojekter i perioden2001-2009. Blandt de tre hovedspørgsmål har vores fokus været på resultaterne afbevillingerne, hvor betydningen af virkemidlet ’forskningsprojekter’ forstås fra etbredt perspektiv. Evalueringen omfatter også en analyse af opslagene i relation tilvirkemidlet og af ansøgningsprocessen som helhed. I forhold til hvilke specifikkeforskningsaktiviteter, der er finansieret af bevillinger, ser evalueringen på sam-mensætningen af forskere i projekterne, herunder ph.d.- og post.doc.-stipendier.Samtidig har Forsknings- og Innovationsstyrelsen udarbejdet estimater over fi-nansiering af specifikke forskningsaktiviteter i 2009. Disse estimater indgår somen del af Delrapport 1: Desk Research. I evalueringen lægges der gennemgåendevægt på afdækningen af eventuelle forskelle ift. projektstørrelse og på tværs af defaglige råd.
Forsknings- og Innovationsstyrelsen
9
Om evalueringenNærværende hovedrapport er en sammenfatning af evalueringens hovedresultater.Evalueringen består af fem delundersøgelser:> Desk research undersøgelse af rådenes opslag over tid samt deskriptiv statistikover ansøgninger og bevillinger i perioden 2001-2009.> Survey undersøgelse blandt bevillingsmodtagere og afviste ansøgere omoplevelsen af ansøgningsprocess, betydning af bevillinger samt relateredeforskningsaktiviteter> Case-/interview undersøgelse af bevillingsmodtagere samt af nuværende ogtidligere rådsmedlemmer om forskningsprojekternes udmøntning, anvendelseog resultater.> Registerbaseret effektundersøgelse af effekten af at modtage en bevilling pålønudvikling og karriereprogression ved anvendelse af matchningsmetoder og”difference in difference” mål.> Bibliometrisk effektundersøgelse af effekten af at modtage en bevilling påpublikationsaktiviteten ved anvendelse af matchningsmetoder og ”difference indifference” mål.Genstandsfeltet i evalueringen er, som det fremgår af formålet, virkemidlet forsk-ningsprojekter i de forskellige faglige forskningsråd. Selv om genstandsfeltet ervirkemidlet forskningsprojekter, er analyseenheden i evalueringen primært (hoved)ansøgere eller bevillingsmodtagere. Det skyldes dels at evalueringen hovedsageligter baseret på persondata (survey- og registerdata, interviews, bibliometrisk data)dels at de fleste effekter af forskningsprojekter er tilknyttet den enkelte forsker.Der er fordele og begrænsninger ved hver enkelt undersøgelsesmetode. Nærværen-de evaluering tager højde for dette ved at anvende flere forskellige tilgange – kva-litative interviews, survey-baseret data indsamling og kvantitative analyse baseretpå register- og bibliometriske data. Samtidig bestræbtes det at gennemføre under-søgelserne så systematiske og objektive som muligt. Det gælder for eksempel ud-vælgelsesproceduren for informanter ifm. interviewundersøgelsen, udformning afspørgsmål til surveyundersøgelsen samt matchningstilgang for de registerbaseredeog bibliometriske undersøgelser. Delundersøgelserne beskrives neden for i appen-dikset samt i baggrundsrapporterne. Eventuelle begrænsninger eller forbehold vedenkelte resultater fremgår eksplicit i rapporten.Der kan være en række mulige effekter af bevillinger, både effekter fra selve pro-jektet og efterfølgende. Bevillinger kan have betydning både for deltagende for-skere, for samarbejdspartnere og tilknyttede forskningsmiljøer samt for samfundetgenerelt igennem anvendelsen af forskningsresultater. Samtidig kan ansøgningspro-cessen, og herunder afslag, have betydning for de samlede effekter af virkemidlet.Mange af disse effekter kan opfattes som mellemmål, fx kan styrkelsen af forskere,institutioner og videnudveksling forventes at føre til mere og bedre forskning. Medandre ord vi ser på de forskellige effekter ift., hvordan de kan forventes at have ind-flydelse på DFFs hovedopgave at ”støtte den forskerinitierede forskning til gavn forDanmark”2.
210
”Det Frie Forskningråd – Fra Idé til viden”, Forsknings- og Innovationsstyrelsen, 2010.Evaluering af virkemidlet forskningsprojekter
Vi har i nærværende hovedrapport valgt at undersøge betydningen (effekten) af virke-midlet ’forskningsprojekter’ ved at klassificere effekterne i tre områder: ’Forskeren’(bevillingsmodtageren), ’Forskningsmiljøet’ (bevillingsmodtagerens hjeminstitution)og ’Forskningen’ (de forskningsmæssige resultater). Forskeren omfatter betydningenfor forskeren selv – karriere, muligheder for at forske, kompetencer og anerkendelse.Forskningsmiljøet omfatter mange af de effekter, som rækker ud over selve forsk-ningsprojektet – vidensudveksling igennem samarbejde, betydning for institutionen,betydning for unge forskere tilknyttet projektet og betydning for forskningsbaseretundervisning. Forskning omfatter de forskningsmæssige resultater, som projekter op-når, og som kan bruges af andre.Områderne forskeren, forskningsmiljøet og forskningen kan adskilles analytisk, mener i virkeligheden vævet tæt sammen. Tilsammen giver de et forholdsvist komplet bil-lede af den effekt, som bevillingerne fra DFF i perioden 2001-2009 har haft. Nogleeffekter kan ikke belyses af nærværende evaluering. Vi måler ikke den bredere sam-fundsmæssige effekt af de forskningsresultater og vurdere heller ikke den fagspeci-fikke indhold af forskningen.
Betydningen af virkemidlet forskningsprojekter – opdelt i tre analytiske områder
ForskerenFordybelse & frihedKarriereKompetencerAnerkendelse
ForskningsmiljøetSamarbejde2. generationseffekterUddannelseRekruttering
ForskningenVidenskabeligproduktionGennemslagskraft
Forsknings- og Innovationsstyrelsen
11
Rapportens strukturI rapporten behandles de tre områder hver for sig i hver deres kapitel. Efter de tre ka-pitler følger et kapitel om ’Udvikling i DFF’s bevillingspraksis og dets betydning’. Herses der på:>>>>>Udviklinger i opslag og vurderingskriterierUdviklingen i forholdet mellem større og mindre forskningsprojekterRisikoprofilen i de bevilgede forskningsprojekterDe særlige indsatsområder, som DFF har prioriteretUdviklingen i succesrater
Kapitlet viser udviklingen via blandt andet deskriptiv statistik, og betydningen af ud-viklingen på de nævnte områder diskuteres. Rapporten rummer endelig et appendiks,hvor der redegøres for de metoder, der har været anvendt i de fem delundersøgelsersamt for hovedresultaterne i disse undersøgelser. Appendiks indeholder også en sam-menfatning af rapporten på engelsk.Den samlede evaluering af virkemidlet forskningsprojekter omfatter i tillæg til nærvæ-rende hovedrapport følgende baggrundsrapporter:>>>>>Delrapport 1: Desk ResearchDelrapport 2: SurveyundersøgelsenDelrapport 3: Case-/interviewundersøgelsenDelrapport 4: Den bibliometriske undersøgelseDelrapport 5: Rapport for den registerbaserede effektanalyse
12
Evaluering af virkemidlet forskningsprojekter
Indledning
Genstanden for denne evaluering har været Det Frie Forskningsråds virkemiddel forsk-ningsprojekter i perioden 2001-2009. Inden der ses på resultaterne af evalueringen,skal der først kort introduceres til Det Frie Forskningsråd, til virkemidlet forsknings-projekter samt til den opdeling af forskningsrådsbevillingerne i store, mellemstore ogmindre bevillinger, som har været gennemgående i evalueringen.
Det Frie ForskningsrådDet Frie Forskningsråd har siden 2005 sammen med Det Strategiske Forskningsråd,Danmarks Grundforskningsfond, Højteknologifonden ogRådet for Teknologi ogInnovation dannetden institutionelle hovedramme om den del af den offentligt fi-nansierede forskning i Danmark, som ikke kanaliseres via universiteterne.3Det FrieForskningsråd består af fem faglige råd og en overordnet bestyrelse på ni medlemmer.De faglige råd har betegnelserne:>>>>>Det Frie Forskningsråd │|Det Frie Forskningsråd │|Det Frie Forskningsråd │|Det Frie Forskningsråd │|Det Frie Forskningsråd │|Kultur og Kommunikation (FKK)Natur og Univers (FNU)Samfund og Erhverv (FSE)Sundhed og Sygdom (FSS)Teknologi og Produktion (FTP)
Det Frie Forskningsråd (DFF) skal ifølge loven støtte forskningsprojekter baseret påforskernes egne forskningsinitiativer og fremme bredde og kvalitet i dansk forskninggennem åben konkurrence baseret på uafhængig kvalitetsvurdering.
Figur 0.1 Bevilgede beløb fordelt på råd/fond, i mio kr., 20091400120010008006004002000Det FrieForskningsrådDet StrategiskeForskningsrådGrundforsknings-fondenHøjteknologi-fondenRådet for Teknologiog Innovation27527831612301159
Kilde: ”Tal om forskning. 2009”, Forsknings- og Innovationsstyrelsen, 2010.
3 Det er vigtigt at bemærke, at der i denne evaluerings undersøgelsesperiode fra 2001-2009 har fundeten omfattende strukturændring sted inden for forskningsbevillingssystemet i Danmark. Før 2005 ek-sisterede der i alt seks forskningsråd, som tog sig af bevillinger til den frie forskning i form af rådenesegne midler såvel som div. (tværrådslige) (ad hoc) programkomiteer, som udmøntede midler til strategiskforskning. Den nye struktur, som er beskrevet her i denne indledning, trådte i kraft 1. januar 2005. For ennærmere redegørelse for strukturændringerne se Delrapport 1: Desk research.Forsknings- og Innovationsstyrelsen13
I alt blev der uddelt via disse råd og fonde godt 3,2 milliarder kroner i 2009 (dog om-fatter beløbet for Rådet for Teknologi og Innovation kun udvalgte ordninger).
Virkemidlet forskningsprojekterI den undersøgte periode fra 2001-2009 har Det Frie Forskningsråd benyttet et stortantal virkemidler. Den samlede liste over virkemidler, opdelt på tematiske overskrifter,ser sådan her ud4:Oversigt over anvendte virkemidler i perioden 2001-2009 i Det Frie Forskningsråd (og i de seks statsligeforskningsråd før rådsreformen i 2005)Forsknings-Centre, netværkPersonrelaterede stipendierInternationaliseringFormidlingprojekterm.m.og støttem.m.Mindreforsknings-ProjekterStørreforsknings-ProjekterRamme-ProgrammerCentreInstrumentcen-tre/ apparatur/databaserLogistikForsknings-netværkBiobankerForsknings-konsortierForskning iforbindelse medinternationaltsamarbejdeSkolar-StipendierPh.d.(kandidat-stipendier)Ph.d. – stipendierPost doc.-stipendierUdenlandske post doc.-stipendierSteno-stipendierSkou-stipendierOle Rømer-stipendierYngre forskningsledereForskningsråds-ProfessoraterTalentprojekterDelestillingerUdenlandskegæsteforskereUdvekslings-stipendierForsknings-ophold i udlandetSTARTRejser under 1måneds varighedEUREKA –ForprojekterPublicering afforsknings-resultaterOversættelser/ sprogligrevisionVidenskabeligekongresserm.v.
Som det fremgår, omhandler langt fra alle virkemidler forskningsprojekter. Noglevirkemidler retter sig modforberedelseaf forskningsprojekter og projektansøgninger(fx START), andre retter sig modfacilitering af forskningogfysiske effekter,der skalhjælpe forskningen på vej (logistik, apparatur mv.), mens andre igen retter sig modformidlingogspredningaf forskningsresultater (fx støtte til publiceringer og videnska-belige kongresser). Det største antal virkemidler omhandler forskellige typerstipen-dier,der kombinerer forskeruddannelse med forskningsprojekter (fx ph.d.-stipendierog post.doc.-stipendier). Endelig er der også virkemidler til etablering af centre, net-værk og konsortier, der sigter mod at forbedre forskningensrammer og infrastruktur.Virkemidlerne kan inddeles i seks overordnede grupper: Forskningsprojekter, Centreog netværk, Stipendier, Forskerstøtte, Udenlandsrelaterede aktiviteter samt Formidling.Den evaluering, som afsluttes med nærværende hovedrapport, har udelukkende fo-kuseret på gruppen Forskningsprojekter. Forsknings- og Innovationsstyrelsens Hand-lingsplan for forskningsevaluering 2010-2012 definerer forskningsprojekter som ”tids-mæssigt afgrænsede undersøgelser af en idé eller et problem”. Forskningsprojekter erinddelt i to hovedkategorier: ’Mindre forskningsprojekter’ og ’Større forskningspro-jekter’ (herunder også virkemidlet ’Rammeprogrammer’). Skønt der kun er tale om
4 Opdelingen af virkemidler er klassificeret ud fra de tematiske overskrifter, som CFA finder mest hen-sigtsmæssig at anvende.14
Evaluering af virkemidlet forskningsprojekter
to ud af en lang række virkemidler, udgør ’mindre og større forskningsprojekter’ enbetydelig andel af Det Frie Forskningsråds samlede bevilgede midler. Bevillinger tilvirkemidlerne større og mindre forskningsprojekter udgjorde således 618 millioner kr.af de i alt 1.230 millioner kr., som DFF uddelte i 2009. I 2009 udgjorde forskningspro-jekter ca. 50 procent af de samlede bevilgede midler, hvilket betyder et fald fra tidli-gere år (se figur 0.2). Som det fremgår af figur 0.3 er der dog store forskelle de enkelteråd imellem. I 2009 gik omkring en 1/3 af FKK’s midler til virkemidlerne større ogmindre forskningsprojekter, mens 70 procent af FTP’s midler blev anvendt til disse vir-kemidler. Som det fremgår af figur 2.2 i kapitel 2 nedenfor, så kan denne forskel tilsy-neladende forklares med forskellige ansøgningskulturer, hvor man i FTP ift. de øvrigefaglige råd har en stærkere tradition for at indlejre og finansiere ph.d.-studerende ogpost doc.’er via virkemidlet forskningsprojekter i stedet for via særlige målrettede postdoc.- og ph.d.-stipendier.Figur 0.2 Bevilgede beløb i Det Frie Forskningsråd til forskningsprojekter og samtlige virkemidler i mio. kr.(løbende priser), 2004-2009.
14001200100080060040020002004ForskningsprojekterSamtlige virkemidlerKilde: Forsknings- og Innovationsstyrelsen (2009/2010) samt Dansk Center For Forskningsanalyses beregningerpå basis af DocuLive-databasen.
123011199748431025913680
481
556
544
614
618
2005
2006
2007
2008
2009
Det skal bemærkes, at figurerne i denne indledning er vist i løbende priser. Det gøresfor at kunne sammenligne med tallene fra Forsknings- og Innovationsstyrelsen (2009).Til analyserne i evalueringen nedenfor samt opgørelsen af projektstørrelser anvendesfaste (2001) priser5.
5
Der anvendes BNP-deflatoren til at opgøre beløb i 2001-priser.15
Forsknings- og Innovationsstyrelsen
Figur 0.3 Bevilgede beløb til forskningsprojekter og samtlige virkemidler i mio. kr. (løbende priser), 2009400350300250200150100500FNUForskningsprojekterSamtlige virkemidlerKilde: Forsknings- og Innovationsstyrelsen (2010) samt egne beregninger på basis af DocuLive-databasenFSSFTPFSEFKK3812814512062350307281246172
Større og mindre forskningsprojekterEt af formålene med nærværende evaluering har været at belyse forskelle i både karak-teristika og effekter af mindre og større forskningsprojekter. Det er således interessantat vide noget om udbyttet af forskningsprojekter målt pr. støttekrone for hhv. større ogmindre forskningsprojekter – og om der eksempelvis er en klar tendens til, at man fårmere og bedre forskning for pengene, hvis man giver dem til den ene type frem for denanden. Alle fem faglige råd under Det Frie Forskningsråd anvender i deres opslag be-tegnelserne mindre og større forskningsprojekter. Men desværre har der igennem un-dersøgelsesperioden været meget forskellige definitioner af, hvad et stort hhv. mindreforskningsprojekt er. Det har vanskeliggjort en sammenligning. I evalueringen er derderfor valgt en inddeling af forskningsprojekterne i tre grupper svarende til tre forskel-lige beløbsstørrelser (inkl. overhead og i faste 2001-priser):> mindre forskningsprojekter på under 1 mio. kr.> middelstore forskningsprojekter på mellem 1 mio. kr. og 1,5 mio. kr.> store forskningsprojekter på mindst 1,5 mio. kr.I kapitel 4 ses der nærmere på udviklingen i bevillingsstørrelserne til forskningspro-jekterne, og betydningen af denne udvikling diskuteres.Ser man på, hvordan forskningsprojekterne fordeler sig med hensyn til antallet af for-skere, der er involveret i de enkelte projekter – og om der er tale om tværinstitutionelleprojekter i de tilfælde, hvor der er flere forskere tilknyttet et projekt – så er billedetmeget blandet. Der er naturligvis en overvægt af beløbsmæssigt små projekter blandtde individuelle projekter (omkring 80 procent), mens man finder den største andel afstore projekter blandt de kollektive, tværinstitutionelle projekter (omkring 35 procent).Men, som det fremgår af figur 0.4, involverer også mange af de små projekter ofteflere forskere og flere institutioner. Omkring 50 procent af de kollektive, tværinstitutio-nelle projekter er således beløbsmæssigt små projekter.
16
Evaluering af virkemidlet forskningsprojekter
Figur 0.4 Fordeling af bevilgede forskningsprojekter efter beløbsstørrelse og antal forskere (bevilget beløb), 2001-2008. I procent.1009080706050403020100Individuelmindst 1,5 mio. kr1 - 1½ mio. kr.under 1 mio. kr.Kilde: Delrapport 2: Surveyundersøgelsen og egen kørsel på DocuLive-databasen.Kollektiv fra samme inst.Tværinstitutionel20,919,315,99,85,3
1,73,512,011,5
I kapitel 4 ser vi nærmer på udviklingen i bevillingerne til de forskellige typer projek-ter og diskuterer betydningen af denne udvikling.
Forsknings- og Innovationsstyrelsen
17
Kapitel 1Betydning for den enkelte forskerI det følgende ses der nærmer på effekterne af en forskningsrådsbevilling for den en-kelte forsker ift. ’muliggørelse af forskning’, ’fordybelse og frihed’, ’karriere og kom-petencer’, ’prestige og anerkendelse’ samt ’indkomst’. Der er selvfølgelig mange andreting, som afgør, om det har været en succes for ansøgeren at modtage et stipendium –først og fremmest de forskningsresultater og publikationer, der kommer ud af projektet.Disse resultater diskuterer vi i kapitel 3, der omhandler effekter set ift. ’Forskningen’.
1.1 Muliggørelse af forskningFlere af de bevillingsmodtagere, som blev interviewet i forbindelse med evalueringen,gav udtryk for, at det forskningsprojekt, som de fik en bevilling til fra DFF, ikke villehave kunnet gennemføres, hvis ikke DFF havde tildelt dem en bevilling. Over halvde-len af de interviewede bevillingsmodtagere svarede således entydigt ja til et spørgsmålom, hvorvidt ”bevillingen fra DFF muliggjorde forskning, som det ellers ikke villehave været muligt at gennemføre”. Surveyundersøgelsen blandt de afviste ansøgereviser dog, at omkring halvdelen af de afviste projekter faktisk bliver gennemført medanden finansiering, enten i fuld eller reduceret udgave.
1.2 Fordybelse og frihedFlertallet af de interviewede pegede på, at bevillingen fra forskningsrådet gav dem den sam-menhængende tid og den nødvendige ”luft” til, at de kunne fordybe sig i deres forskning.”I dag stilles der krav om både undervisning, formidling, forskning og såvidere, og man bliver lidt en blæksprutte, der skal kunne en hel masse tingsamtidigt. Derfor er det vigtigt med de her bevillinger til at give et frirum,så der bliver ro til at tænke og arbejde systematisk.”Modtager af mindre bevilling, FSE.
Informanterne tilkendegav, at dette frirum med plads til fordybelse havde stor betyd-ning for dem ift. såvel publiceringsvolumen, publikationernes kvalitet og gennem-slagskraft som det faglige niveau generelt.Som det fremgår af kapitel 3 nedenfor, er der rent faktisk meget, der tyder på, at bådeantallet af publikationer og tyngden af de enkelte publikationer – og dermed af den forsk-ning, der ligger bag – forøges som følge af en forskningsprojektbevilling. Det er dog sværtat sige, om det præcist er en bevilling fra DFF, som gør udslaget, eller om man ville kunneopnå den samme effekt med en beløbsmæssig tilsvarende bevilling et andet sted fra.
Boks 1.1 – Beskrivelsen af Case-/interviewundersøgelsenCase-/interviewundersøgelsen er baseret på individuelle interviews med det formål at udforske individuelleoplevelser, erfaringer og udbytte blandt udvalgte bevillingsmodtagere.20 hovedbevillingsmodtagere er tilfældigt udvalgt blandt samtlige bevillingsmodtagere fordelt på fagligt råd,bevillingsstørrelse, tilsagnsår, køn og institutionelt tilhørsforhold.Der er også gennemført interviews med 5 tidligere og 5 nuværende rådsmedlemmer med henblik på atafdække vurderingspraksis blandt de fem faglige råd.Se appendiks og Delrapport 3: Case-/interviewundersøgelsen.
18
Evaluering af virkemidlet forskningsprojekter
Informanterne fremhæver flere forhold ved DFF-bevillinger. Udover at bevillingernefra DFF lovprises for at sikre sammenhængende tid og økonomi til forskningsprojek-ter, fremhæves de også for at muliggøre, at den enkelte forsker kan forfølge frit valgteforskningstemaer.”Personligt synes jeg, at det er rart med forskningsrådsbevillinger, fordide ikke er så hængt op på et industrielt samarbejde. For mig i hvertfald, er det rart at kunne tiltrække frie midler. Her er det udelukkendeden videnskabelige interesse, der driver værket. Mange andre midler erjo hængt op på, at man skal have noget erhvervsliv med og så kommererhvervslivet let til at diktere, hvad det er der, skal forskes i.”Modtager af større bevilling, FTP.
Udover at være med til at sikre den individuelle forskningsfrihed, fremhæver flere afde interviewede bevillingsmodtagere, at styrken ved DFF-bevillinger også er den storegrad af fleksibilitet, som følger disse. Den store fleksibilitet, som følger DFF-bevillin-gerne, handler ifølge de interviewede bevillingsmodtagere om, at forskeren tildeles enhøj grad af autonomi til at tilrettelægge forskningsprojektet mest hensigtsmæssigt ogfrihed til løbende at skære projektet til, så der kommer mest mulig forskning ud af be-villingen. Det handler også om, at den enkelte forsker og dennes værtsinstitution får enøkonomisk sikkerhed, som gør, at man kan gribe nye chancer, når de opstår.”Dét (at få en bevilling, red.) giver en masse fleksibilitet. Én af devigtigste ting er, at det, at jeg bidrager til instituttet med overheads ogsådan noget, medvirker til, at jeg får mulighed for at træffe her-og-nubeslutninger og gribe en chance, når den opstår. Hvis man først skal til atsøge penge, så er chancen væk. Nu kan jeg gå ind til min institutleder ogsige, at jeg skal bruge 100.000 til det her, og det er en mulighed jeg harnu, fordi han ved, hvor meget jeg bidrager med igennem de andre penge,som han får en del af. Og han kan retfærdiggøre overfor andre, at derbliver brugt penge på det. Så det er en af de store fordele.”Modtager af stor bevilling, FSE.
1.3 Karriere og kompetencerSvarene fra evalueringens spørgeskemaundersøgelse blandt samtlige bevillingsmod-tagere viser også, at en bevilling fra DFF netop giver mulighed for, at ansøgeren selvkan igangsætte et forskningsprojekt og selv kan definere sine forskningsmål medden frihed, der er forbundet med det. Omkring 83 procent af de adspurgte er således’enige’ eller ’delvist enige’ i, at bevillingen fra DFF gav mulighed for at igangsætte etforskningsprojekt på eget initiativ og med egne mål. Bevillingsmodtagerne blev ogsåspurgt om betydningen af bevillingen for deres forskning. Figuren nedenfor viser re-sultaterne for alle respondenter. Tre ud af fire mente, at bevillingen førte til andre pro-jektansøgninger eller bevillinger, og ca. 60 procent mente, at bevillingen havde afgø-rende betydning for, at de kunne fortsætte deres forskerkarriere. Andelene er dog (ca.15 procentpoint) mindre i begge tilfælde for FSE og FKK. Omkring 90 procent mente,at bevillingen gav dem mulighed for at frembringe nye forskningsresultater. Omkring
Forsknings- og Innovationsstyrelsen
19
6 procent mente, at bevillingen førte til dannelse af en ny virksomhed, mens 23 procentmodtog priser eller udmærkelser på baggrund af deres bevilgede forskningsprojekt.Figur 1.1 Betydningen af bevillinger, 2001-2008. Fordeling af svarene i procent (enighed i udsagnet).
1009080706050403020100BevillingenBevillingen harBevillingen gav Bevillingen gav Bevillingen førteJeg harførte tilhaft afgørendemig mulighed mulighed for attil dannelsemodtagetandrebetydning for, at for at frembringe igangsætte etaf nypriser/udmærkelserprojekt-jeg har kunnethelt nyeforskningsprojekt virksomhed .for minansøgningerfortsætte enforsknings-på eget initiativforskning på/ bevillinger. forskningskarriere. resultater påmed egne mål.baggrundmit fagområde.af bevillingen.
Helt enigDelvis enigHverken enig eller uenigDelvis uenigHelt uenigKilde: Delrapport 2: Surveyundersøgelsen.Note: Andel som enten ikke har svaret eller har svaret ”ved ikke / kan ikke huske” udelades.
Boks 1.2 – Beskrivelse af surveyundersøgelsenSurveyundersøgelsen afdækker både bevillingsmodtagere og afviste ansøgere (hovedansøgere) og hartil formål at belyse begge gruppers oplevelse af opslagene og ansøgningsprocessen samt at undersøgebetydningen af bevillingen hos bevillingsmodtagerne.Webbaserede spørgeskemaer er udviklet til hhv. bevillingsmodtagere og afviste ansøgere. De udvalgte fiktilsendt et følgebrev med link til spørgeskemaet.Undersøgelsen er gennemført blandt alle hovedbevillingsmodtagere i perioden 2001-2008 (med gyldigadresse og cpr-nummer) og refererer til deres første bevilling til virkemidletforskningsprojekter.Undersøgelsen er endvidere gennemført blandt en stikprøve af afviste ansøgere (hovedansøgere der ikke harmodtaget nogen bevilling til virkemidlet forskningsprojekter i perioden).I alt besvarede 1005 forskere spørgeskemaet, 807 bevillingsmodtagere og 198 afviste ansøgere.Besvarelsesprocenten var 52,2 procent for bevillingsmodtagere og 38,7 procent for afviste ansøgere.Svarprocenten blandt bevillingsmodtagere varierer fra 48 procent til 64 procent for de fem fagligehovedområder.Resultaterne er ikke opvægtet til den samlede population.Se appendiks og Delrapport 2: Surveyundersøgelsen.
20
Evaluering af virkemidlet forskningsprojekter
Som figur 1.2 viser, har det at få en bevilling fra DFF også stor betydning for forsker-nes muligheder for at få lov at lede forskningsprojekter samt for muligheden for delta-gelse i råds- og nævnsarbejde. ”Før bevillingen” og ”Efter bevillingen” viser andelenmed den pågældende aktivitet efter modtagelsen af bevillingen. ”Bevilling har haftstor betydning” viser andelen, som er helt eller delvist enig i, at bevillingen har haftstor betydning for aktiviteten (som procent af alle respondenter med aktiviteten, entenfør eller efter bevillingen).
Figur 1.2 Betydning af bevillingen for forskningsledelse og deltagelse i råd og nævn, i procent.9080706050403020100Ledelse af ettidsbegrænsetforskningsprojektLedelse af en fastforskningsgruppeDeltagelse i nationaleråd, nævn ogkommittererDeltagelse iinternationale råd,nævn og kommitterer15415842334234204375
8172
Før bevillingEfter bevillingBevilling har haft stor betydningKilde: Delrapport 2: Surveyundersøgelsen.”Før” og ”Efter” bevillingen viser andelen med den pågældende aktivitet hhv. før og efter modtagelsen afbevillingen (som % af alle respondenter). ”Bevilling har haft stor betydning” viser andelen, som er helt eller delvistenig i, at bevillingen har haft stor betydning for aktiviteten (som % af alle respondenter med aktiviteten, enten føreller efter bevillingen).
Med til det samlede billede hører dog også, at for 21 procent af de afviste ansøgerehar afslaget haft en væsentlig negativ betydning for deres efterfølgende karriere, hvorandelene er højest inden for FKK (35 procent) og FTP (31 procent). I alt 11 procentmente, at afslaget var medvirkende til, at de valgte at forlade en forskerkarrierehelt, 17 procent inden for FKK og 13 procent inden for FNU. Inden for FSE erbåde andelene, der mente, at afslaget havde en væsentlig negativ betydning ellermedvirkede til at de forlod en forskerkarriere, til gengæld meget lave (hhv. 5 og 0procent). Som figur 1.3 viser, har ansøgningsarbejdet for mange af de afviste ansøgeredog ikke været forgæves for deres karriere og kompetencer, men har ført til nyesamarbejdsrelationer med andre forskningsmiljøer. Det gælder for cirka en tredjedelaf de afviste ansøgere, og omkring 11 procent af de afviste ansøgere har etableretsamarbejdsrelationer med virksomheder.
Forsknings- og Innovationsstyrelsen
21
Figur 1.3 Oplevelsen af afslag for afviste ansøgere, 2001-2008. Procent, som er helt eller delvis enig i udsagnet.706050403020100Ansøgnings-arbejdetførte til nyesamarbejds-relationermed danske ellerudenlandskeforskningsmiljøerAnsøgnings-arbejdetførte til nyesamarbejds-relationer mederhvervslivet /industrienAnsøgnings-arbejdetførte til andreprojekt-ansøgninger /bevillingerAfslaget harhaft væsentlignegativ betydningfor minefterfølgendekarriere.Afslaget varmedvirkende til,at jeg valgteat forlade enforskerkarriere1132211139
Kilde: Delrapport 2: Surveyundersøgelsen.
Blandt de afviste forskningsprojekter er omkring 27 procent enten iværksat, eller derer fundet anden finansiering. Yderligere 23 procent er også gennemført, men i reduce-ret udgave. Dermed er omkring halvdelen af de afviste projekter alligevel blevet gen-nemført, enten i fuld eller reduceret udgave. Cirka 1 ud af 4 af de gennemførte projek-ter er finansieret udelukkende med interne midler og de resterende enten med eksternemidler eller en kombination af interne og eksterne midler.Over halvdelen af disse eksternt finansierede projekter modtog midler fra private fondei Danmark, mens omkring en fjerdedel modtog midler fra andre offentlige danske kil-der. Omkring 25 procent fra FNU, FSS og FTP sikrede ekstern finansiering fra danskevirksomheder. Resultaterne er næsten de samme for begge perioder (2001-04 og 2005-08), hvilket giver indtryk af, for de fleste projekter, at der kun forsøges anden finansie-ring i en kort periode efter den oprindelige ansøgning.
22
Evaluering af virkemidlet forskningsprojekter
Figur 1.4 Udfaldet for afviste forskningsprojekter, 2001-2008. I procent.
1009080706050403020100FNUFSS3232261021163232
720923149
425822
1914
64
55
6346
FTP
FSE
FKK
Total
Ikke iværksatGennemført med interne midlerGennemført med eksterne midlerBåde interne og eksterne midlerKilde: Delrapport 2: Surveyundersøgelsen.
I evalueringen har vi undersøgt, om virkemidlet forskningsprojekter giver en øget kar-riereprogression for forskere, som modtog en bevilling, ift. forskere, som lignede bevil-lingsmodtagere på en række observerbare karakteristika, men som ikke fik en bevilling.Idéen bag metoden er at sikre, at bevillingsmodtagere og afviste ansøgere er så ens sommuligt på modtagelse af bevillingen. Det giver dermed mulighed for at isolere effektenaf bevillingen. Metoden er dog afhængig af de karakteristika, som er observerbare. Derkan eksempelvis ikke tages højde for publikationsaktivitet før ansøgningstidspunktet. Vihar undersøgt tre effekter: om bevillinger øger sandsynligheden for at skifte til en høje-re forskerstilling; om bevillinger øger sandsynligheden for at opnå en professorstilling;og om bevillinger giver højere stigning i indkomst efterfølgende. Omkring 30 procentaf bevillingsmodtagerne og 14 procent af de afviste ansøgere var allerede professorer påansøgningstidspunktet og indgår derfor ikke i analysen af stillingseffekter. Ser man påde resterende ansøgere var 56 procent (51 procent) af bevillingsmodtagere (afviste an-søgere) lektorer på ansøgningstidspunktet, mens de resterende 14 procent (35 procent)var inden for stillingskategorier som adjunkt, post.doc, ph.d.-studerende, præ-ph.d. elleren ikke-universitær stilling. Metoden som bruges i analyserne er beskrevet i nedenstå-ende boks 1.3 og i appendiks. Se Delrapport 5: Rapport for den registerbaserede effekt-analyse for en mere detaljeret gennemgang af analysen og resultaterne.Ser vi på betydningen af at få en forskningsrådsbevilling ift. stillingsniveauskift, såviser den registerbaserede del af evalueringen, at der er en positiv forskel mellembevillingsmodtageres og afviste ansøgeres karriereprogression. Den fundne forskelvedrørende sandsynligheden for at opnå en professorstilling er på 13 procentpoint, ogeffekten er meget signifikant. Bevillingsmodtagere har altså en 13 procentpoint højeresandsynlighed for at blive professor i perioden efter bevillingsmodtagelse end de afvi-ste ansøgere. Forskellen er også positiv, når de faglige råd undersøges enkeltvist, doger den kun signifikant for FNU og FSS. Resultaterne for de enkelte faglig råd baseres
Forsknings- og Innovationsstyrelsen
23
på en væsentlig mindre antal forskere end for det samlede antal, hvilket giver mereusikkerhed ved analysen. Forskningsstatistikken viser at forholdet mellem antal pro-fessorer på den ene side og antal lektorer (som i særlig høj grad udgør de potentielleprofessorer) variere betydeligt mellem de forskellige hovedområder. Den konstateredeprofessoreffekten af DFFs forskningsprojekter kan således ses i dette lys.
Boks 1.3 Beskrivelse af den registerbaserede effektanalyseDen registerbaserede analyse sammenligner:> Udviklingen i indkomst for bevillingsmodtagere og afviste ansøgere> Sandsynligheden for stige i stillingsniveau og for at opnå en professorstilling for bevillingsmodtagere ogafviste ansøgereFor bevillingsmodtagere (afviste ansøgere) tages udgangspunkt i den første bevilling (ansøgning)til et forskningsprojekt i perioden 2001-2008. Afviste ansøgere har ikke modtaget en bevilling til etforskningsprojekt i perioden.Indkomstmålet er ændringen i bruttoindkomst tre år efter ansøgningstidspunkt. Seneste år for indkomst dataer 2008. Dermed omfatter analysen for indkomsteffekter ansøgere i perioden 2001-2005.Effektmålet for forskerstillinger har et fast måletidspunkt; den sidste oplyste stilling. Ansøgningen skalvære mindst tre år før måletidspunktet. Da der måles stigninger i stillingsniveau, udelades professorer (påansøgningstidspunktet) fra denne del af analysen. Stillingsniveauskift måles ved en stigning på mindst etniveau i stillingskategori, hvor kategorierne er 1) præ-ph.d. 2) ph.d.-studerende 3) post-ph.d. 4) adjunkt 5)lektor ol. 6) professorBevillingseffekten måles ved at sammenligne matchede bevillingsmodtagere og afviste ansøgere. Matchningforetages på baggrund af følgende karakteristika: erfaring som forsker (år siden erhvervelse af Ph.d.-grad),ansøgningsår, beløbsstørrelse af ansøgningen, indkomstniveau på ansøgningstidspunkt og om ansøgerenmodtog en bevilling i perioden før (1995-2000).Den samlede bruttopopulation udgør 3.925 ansøgere, 1.539 bevillingsmodtagere og 2.386 afviste ansøgere.Sampler til delanalyserne varierer i forhold til effektmålet og matchningsproceduren.Se appendiks og Delrapport 5: Den registerbaserede effektundersøgelse.
Tabel 1.1 Oversigt over resultaterne af den registerbaserede analyseForskel i sandsynlighedfor karriereprogression(niveauskift)TotalFNUFSSFTPFSEFKK0,0600,196**-0,0150,0190,1420,040Forskel i sandsynlighed for atblive professor0,130***0,193**0,209***0,0250,0800,100Forskel i procent ændring ibruttoindkomst0,065**-0,1180,0360,0580,226***-0,073
Forskellen er positiv og statistisk signifikantForskellen er positiv men ikke statistisk signifikantForskellen er negativ men ikke statistisk signifikant*/**/***: signifikant på 10% / 5% / 1% niveauKilde: Delrapport 5: Den registerbaserede effektanalyse.
24
Evaluering af virkemidlet forskningsprojekter
Resultaterne er mindre klare vedrørende den generelle stigning i forskerstillingsni-veauer. Sandsynligheden for et positiv niveauskift er større for bevillingsmodtagere,men forskellen er ikke signifikant (dog er forskellen signifikant for FNU). Det kanskyldes, at sandsynligheden for et niveauskift varierer meget ift. stillingen, fx at enpost.doc har større sandsynlighed for at stige i stilling end en lektor. Analysen finder,at når der netop tages højde for den enkeltes stillingsniveau ved ansøgningstidspunk-tet, er der en signifikant effekt, som svarer til professoreffekten (se Delrapport 5: Rap-port for den registerbaserede effektanalyse).At en bevilling fra DFF har en positiv indflydelse på ens karriere, kommer også tiludtryk i interviewene med bevillingsmodtagerne. Flere af de interviewede bevillings-modtagere giver således udtryk for, at deres forskningsrådsbevilling har haft betydningfor deres karriereavancement.”Bevillingen har helt klart betydet meget ift. mit karriereforløb; både atjeg fik en professortitel tildelt, men også, at min prestige og kompetencerblev hævet indenfor forskningsmiljøet.”Modtager af mindre bevilling, FKK.
”Det var rigtigt dejligt at få den bevilling. Den førte også til, at jeg fik enmere attraktiv stilling (som professor, red.), og den muliggjorde, at vi fiksat et helt nyt forskningsområde op.”Modtager af mellemstor bevilling, FSS.
Endelig beskriver flere af de interviewede, at bevillingen havde en ”sneboldeffekt” ift.deres karriere forstået på den måde, at bevillingerne ofte førte andet og mere med sig,fx har flere oplevet en stigende efterspørgsel ift. at deltage i konferencer, afholde fore-drag og virke som fagfælle referees, ligesom flere informanter oplever, at de qua bevil-lingen får tilbudt spændende arbejdsopgaver som fx rådsmedlemmer i et af de fagligeforskningsråd eller som formand for en større programkomité.
1.4 Prestige og anerkendelseBevillingsmodtagerne giver i interviewene udtryk for, at det er forbundet med prestigeog anerkendelse at modtage en bevilling fra DFF. Hvis en ansøgning udløser en bevil-ling, beskrives det som en kvalitetsstempling/blåstempling af den pågældende forskersforskning, hvilket betyder, at bevillingsmodtageren”rykker en tand op i anerkendel-sehierarkiet”,som en af de interviewede formulerer det. Både fordi dét at have succesmed at indhente eksterne forskningsmidler ses som særligt væsentligt for universiteternei fremtiden, og fordi der i forskersamfundet er stor bevidsthed om, at succesraten for an-søgere til DFF-bevillinger er lille. Begge dele gør, at de bevillingsmodtagere, der klarerat komme igennem nåleøjet, ifølge de interviewede omgives med en særlig respekt.”Ens prestige og kompetencer bliver hævet indenfor forskningsmiljøet.For mig har det i høj grad betydet, at jeg er gået fra en lettere kategoriindenfor forskningen til det tunge niveau. Det har betydet rigtigt meget.”Modtager af mindre bevilling, FKK.
Forsknings- og Innovationsstyrelsen
25
1.5 IndkomstForuden ovenstående effekter viser den registerbaserede del af undersøgelsen også, atdét at modtage en bevilling fra DFF også gavner ens indkomstniveau. En bevilling fraDFF har således en positiv og signifikant effekt på bevillingsmodtagernes indkomst,svarende til en årlig stigning på 2,1 procent (i faste priser) eller cirka 12.000 kronerom året (i 2001-priser). Effekten er stærkest for større forskningsprojekter, som harsøgt over 1 mio. DKK i støtte (se Delrapport 5: Rapport for den registerbaserede ef-fektanalyse). Resultater for mindre forskningsprojekter under 1 mio. DKK er mereblandet. Her findes der ikke en signifikant positiv effekt i alle tilfælde. Det kan mu-ligvis betyde, at det især er forskningsledelse og hjemtagning af de eksterne midler– samt anerkendelsen ved at stå i spidsen for et større forskningsprojekt – der giver enindkomsteffekt.
1.6 Sammenfatning af betydningen for den enkelte forskerSom gennemgået i dette kapitel har det stor betydning for bevillingsmodtagerne atmodtage en bevilling fra DFF. Der er fordele, hvad angår karrieremæssige forhold somløn og stillingsniveauskift, der er prestige og anerkendelse forbundet med en bevilling,og der er – hvad der er meget vigtig for bevillingsmodtagerne – stor frihed og tid tilfordybelse forbundet med en bevilling. Det gælder uanset, om man har søgt og fået enlille, mellem eller stor bevilling.
26
Evaluering af virkemidlet forskningsprojekter
Kapitel 2.Betydning for tilknyttede forskningsmiljøerDette kapitel fokuser på, hvilken betydning en forskningsrådsbevilling har haft fortilknyttede forskningsmiljøer. Undersøgelsen har samlet vist, at bevillingerne har haften afgørende effekt på specielt tre hovedområder. Det drejer sig om samarbejde ogvidensspredning, uddannelsesmæssige outputs og opbygning af forskningsmiljø samtopnåelse af anerkendelse og fastholdelse/rekruttering af talenter.
2.1 Samarbejde og vidensspredningOverordnet har bevillingerne haft en betydelig effekt på etableringen af nye samar-bejdsrelationer. Dog har over 70 procent af bevillingsmodtagerne også før modtagelsenaf deres bevilling for DFF haft et formaliseret samarbejde med henholdsvis danske oginternationale forskningsmiljøer, mens andelen er omkring 35 procent for samarbejdemed virksomheder. Sammenlignes andelen, som har indgået formaliseret samarbejdeefter bevillingens afslutning, er denne i alle tilfælde højere, men forskellen er dog ikkestor. Forskellen er her størst ved formaliseret samarbejde med erhvervslivet, hvor 10procent flere har indgået samarbejde efter modtagelsen af deres forskningsrådsbevil-ling sammenholdt med før de modtog bevillingen.Blandt alle de forskere, der har etableret et formaliseret samarbejde (uanset om det varfør eller efter bevillingen), mener dog omkring halvdelen, at bevillingen har styrketderes muligheder for samarbejde med både danske og udenlandske partnere. I for-længelse heraf tyder det på, at der er et stort fokus på samarbejde generelt, eftersomnæsten tre ud af fire bevillinger involverer flere forskere og næsten en tredjedel af debevilgede projekter indgår i tværinstitutionelt samarbejde. Dette gælder projekter uan-set bevillingsstørrelse.Hovedparten af de interviewede bevillingsmodtagere fortæller i relation til ovenstå-ende, at de har haft et udbytte af bevillingen i form af øget samarbejde og forbedredenetværk, både nationalt og internationalt. Via arbejdet med de forskningsprojekter,som bevillingerne har finansieret, styrkes eksisterende samarbejdsrelationer, og derskabes nye relationer og forskernes netværk udvides. Ifølge informanterne giver bevil-lingerne nogle vigtige økonomiske muligheder, der er med til at facilitere samarbejdeog danne basis for deltagelse i netværk og andre vigtige faglige fora. De økonomiskemuligheder medvirker også til, at udenlandske forskere kan inviteres på gæstevisit, atbevillingsmodtageren selv kan tage på gæstevisit, samt at der fx kan arrangeres kon-ferencer og/eller deltagelse i konferencer. Én af de interviewede bevillingsmodtagereberetter om disse sidegevinster på følgende måde:”Man kommer ind i en positiv spiral. Ubetinget. Enhver forsker skalhave muligheden for at få sådan en positiv oplevelse. Så rider man påen bølge. Via det projekt fik jeg skabt ekstra internationale kontakter; fxblev jeg inviteret til, sammen med en meget stor amerikansk professor, atskrive et kapitel til en stor bog indenfor området.”Modtager af større bevilling, FTP.
Særligt modtagerne af de større bevillinger angiver også, at man som modtager af enforskningsrådsbevilling får større gennemslagskraft, som virker understøttende forkarrieren. Flere af informanterne fortæller, at dette også har en betydning ift. inter-nationalt samarbejde. Dels fordi man har større pondus med en forskningsbevilling i
Forsknings- og Innovationsstyrelsen
27
ryggen. Dels fordi man med en forskningsrådsbevilling på hånden har mulighed for atpåtage sig arbejdsopgaver og indgå samarbejde.
2.2 Uddannelsesmæssige outputs og opbygning af forskningsmiljøFor flere af de interviewede bevillingsmodtagere, især for dem der har modtaget enstørre bevilling, synes desuden at gælde, at bevillingerne fra DFF har medvirket til,at der blev skabt et miljø omkring de givne forskningsprojekter, hvor også andre suc-cesfulde projekter, bevillinger og mennesker synes at finde hen. Eller bevillinger dan-ner basis for, at værtsinstitutionerne finansierer, at en ph.d.-studerende eller en post.doc kan knyttes til projektet. For en række af forskningsprojekterne kan man tale om,at der har været positive effekter også for 2. generation, dvs. for de yngre forskere, derhar været ansat på/involveret i de forskellige projekter. I den forbindelse udtaler én afbevillingsmodtagerne:”En god ting ved projektet var, at vi fik en post doc. ansat. Det harbåret frugt. Vi har fået meget ud af det. Jeg håber meget, at vi kanfastholde ham i systemet.”Modtager af større bevilling, FNU.
Ses der samlet på de bevilgede forskningsprojekter, er der for 43 procent af projekter-ne indlejret et ph.d.- eller post doc.-stipendium. Andelene varierer dog meget på tværsaf de faglige råd. Med hensyn til ph.d.-studerende, inkluderer omkring 10 procent afbevillingerne fra FNU et ph.d.-stipendium, og omkring 20 procent fra FSE og FKK,mens andelen er knap 40 og 60 procent i henholdsvis FSS og FTP.
Figur 2.1 Andel bevilgede og afviste forskningsprojekter med ph.d.- og/eller post.doc.-stipendium. I procent.9080706050403020100FNUFSSFTPFSEFKK2001-20042005-2008Total29,015,029,055,345,157,840,941,529,244,336,553,351,3
82,3
47,043,1
Bevilgede projekterAfviste projekterKilde: Delrapport 2: Surveyundersøgelsen.
28
Evaluering af virkemidlet forskningsprojekter
Ses der på post.doc-studerende fordeler andelene sig efter samme tendens: 10 procentaf bevillingerne fra FNU inkluderer et post doc.-stipendium, mens andelen er 15 pro-cent for FSE, knap 30 procent for FKK og omkring 51 procent for FTP. Undtagelsenher er FSS, der sammenlignet med rådets andel af ph.d.- studerende, kun i knap 14procent af forskningsprojekterne inkluderer et post doc.- stipendium. Andelen af bådeph.d-. og post.doc.-stipendier har været stigende over tid. For eksempel er andelen afpost.doc.-stipendier steget fra 19 til 26 procent fra perioden 2001-04 til 2005-08. Ne-denstående figur 2.1 viser tendensen fordelt på de faglige råd, når der ses samlet påindlejringen af ph.d.- og/eller post.doc.-stipendier.På baggrund af ovenstående kan virkemidlet ”forskningsprojekter” dermed have storbetydning som redskab for udvikling af yngre forskere i lighed med mere målrettedevirkemidler som ”ph.d.-stipendier” og ”post.doc.-stipendier”. Det skal hertil nævnes,at de ovennævnte tal sandsynligvis kan forklares med forskelle i ansøgningskultur påtværs af de fem faglige råd, hvor ph.d.- og post.doc.-stipendier i varierende grad støttesvia midler, der er målrettet ph.d.- og post.doc.-stipendier (jf. indledning).I forbindelse med uddannelsesmæssige outputs, viser undersøgelsen, at de bevilgedeforskningsprojekter har haft en positiv effekt på den forskningsbaserede undervisning,bevillingsmodtagerne gennemfører, jf. nedenstående figur 2.2. Over to tredjedele afbevillingsmodtagerne (68,9 procent) mener, at deres forskningsprojekt har haft ind-flydelse på det faglige indhold i deres forskningsbaserede undervisning, og ligeledesmener over halvdelen (64,4 procent), at det har styrket det faglige niveau for deresundervisning. Betydningen er størst for undervisning på kandidat og ph.d.-niveau ogvæsentlig mindre for undervisning på bachelor niveau. Som det ses i figur 2.2 er derikke væsentlige forskelle på tværs af de fem faglige råd på disse områder. Respon-denterne blev også spurgt, i evalueringens spørgeskemaundersøgelse blandt samtligebevillingsmodtagere, om det bevilgede projekt har ført til nye undervisningsforløb, ogom bevillingen har ført til, at de har undervist mærkbart mindre. Omkring 40 procentmener, at deres projekt har ført til udvikling af nye undervisningsforløb. For FNU, FSSog FTP gælder det især på ph.d. niveau, hvorimod der ved FKK og FSE i højere gradudvikles nye undervisningsforløb på kandidatniveau. For alle råd er andelene mindrefor bachelor niveau sammenholdt med ph.d.- og kandidatniveau. Under 5 procent afrespondenterne inden for FNU, FSS og FTP mente, at bevillingen har ført til mærk-bart mindre undervisning i projektperioden, mens andelen er væsentligt højere indenfor FSE og FKK, mellem 40 og 50 procent. En mulig forklaring på denne forskel kanvære, at bevillinger inden for FSE og FKK i højere grad omfatter frikøb af hovedbevil-lingsmodtagere.
Forsknings- og Innovationsstyrelsen
29
Figur 2.2 Betydning af bevillingen for forskningsbaseret undervisning – andel som er helt eller delvis enig iudsagnet ved mindst én af underkategorierne, i procent.
9080706050403020100Ændret fagligt indholdStyrket det faglige niveaui min undervisningFørt til udvikling af nyeundervisningsforløbFørt til mærkbart mindreundervisning iprojektperioden3,8 4,5 4,360,877,575,972,066,159,069,060,242,047,543,050,0
71,3
66,7
41,932,3
41,8
FNUFSSFTPFSEFKKKilde: Delrapport 2: Surveyundersøgelsen.
De uddannelsesmæssige outputs, der har været ift. 2. generationseffekter samt indvirk-ningen på den forskningsbaserede undervisning, er samtidig medvirkende til at styrkede forskellige forskningsmiljøer. For flere af de interviewede informanter har forsk-ningsrådsbevillingen samtidig været et led i at etablere eller styrke det fysiske forsk-ningsmiljø blandt andet ift. at etablere et forskningslaboratorium. I forlængelse herafudtaler to modtagere af en mellemstor bevilling fra FSS:”Det er ekstremt privilegeret at få de penge. Det gjorde, at jeg kunne ståpå egne ben og etablere min egen gruppe. Når man har sit eget og bliverfinansieret, så bliver man også taget seriøst på en anden måde”.”Pga. bevillingen kunne jeg få etableret en selvstændig forskningsenhed.Effekten har været meget stor; den har været ret afgørende for minkarriere”.
2.3 Opnåelse af anerkendelse og fastholdelse/rekruttering af talenterBevillingsmodtagerne blev i spørgeskemaundersøgelsen bedt om at vurdere bevillin-gens betydning for deres institut. Tre ud af fire mener, at bevillingen har styrket deresinstituts anerkendelse, og over halvdelen mener, at bevillingen har givet instituttetbedre muligheder for at rekruttere nye forskere. En forholdsvis mindre del (40 pro-
30
Evaluering af virkemidlet forskningsprojekter
cent) vurderer, at midlerne fra bevillingen har ført til, at instituttet har satset på nyeforskningsområder.Dét, at modtage en bevilling fra DFF beskrives netop af mange af informanternesom tæt knyttet til prestige og anerkendelse. Der følger ikke kun anerkendelse meden bevilling for den enkelte forsker, som beskrevet i kapitel 1, men også for forsk-ningsmiljøet, idet den eksponering, der følger med en bevilling, eksempelvis førernye samarbejder, netværksdannelser, rekruttering af talenter mv. med sig. En infor-mant beskriver det på denne måde:”Der ligger en anerkendelse i det, fordi det er sådan enkonkurrenceting. Det giver prestige; både internt i forskningsmiljøetog selvfølgelig også eksternt, da det er med til at profilere detforskningsmiljø, man selv tilhører og selvfølgelig ens forskning. Detfungerer helt klart som noget meriterende; simpelthen i kraft af denanerkendelse, som ligger i det. Der er ingen tvivl om, at man får en øgetstatus, fordi man er kommet igennem det nåleøje.”Modtager af større bevilling, FKK
Flere af de forskningsrådsbevillinger, der indgår som cases i evalueringen, har lige-ledes haft en direkte effekt for de implicerede værtsinstitutioner og/eller de berørteforskningsmiljøer, når det kommer til både fastholdelse og rekruttering af talenter.Tre af de interviewede bevillingsmodtagere beskriver eksempelvis overgangen fraph.d. til adjunkt eller post.doc. som en vanskelig overgang og angiver, at den bevil-ling, de modtog fra DFF på daværende tidspunkt var direkte udslagsgivende for, atde kunne fortsætte deres forskerkarriere. Andre af de interviewede bevillingsmodta-gere beretter, at forskningsbevillingen for deres vedkommende netop blev søgt medrekruttering for øje. En af de interviewede forklarer det således:”Jeg var ikke new and upcoming på det tidspunkt, hvor jeg fårbevillingen. Ansøgningen blev skrevet, fordi vi havde en god ide,og fordi vi havde en ung forsker på det tidspunkt, der var megetinteresseret i at få en ph.d. indenfor det her område.”Modtager af større bevilling, FTP.
2.4 Sammenfatning af betydningen for tilknyttede forskermiljøerDen samlede evaluering har vist, at det at give en forskningsrådsbevilling, uansetbevillingsstørrelse, har haft stor betydning for de tilknyttede forskningsmiljøer. Ek-sempelvis har bevillingerne haft en betydning i form af øget samarbejde og forbed-rede netværk, både nationalt og internationalt, bevillingerne har indvirket på opbyg-ning og forankring af forskningsmiljøer, og der har været positive effekter i form afsåkaldte 2. generationseffekter, dvs. positive effekter for de yngre forskere og/ellerstuderende, der har været ansat på/involveret i de forskellige projekter. I forlængelseheraf tegner der sig ikke noget entydigt billede af effekterne af bevillingerne påtværs af beløbsstørrelse, når der ses på betydningen for tilknyttede forskermiljøer.Ved de større bevillinger følger der, på baggrund af interview med bevillingsmodta-
Forsknings- og Innovationsstyrelsen
31
gerne, ofte væsentlige 2. generationseffekter med, men samtidig tilkendegiver mangeaf de interviewede bevillingsmodtagere, at man ofte får meget for pengene ved demindre bevillinger, især som instrument til at hjælpe de yngre forskere på vej (fxmed post.doc.-bevillinger).
32
Evaluering af virkemidlet forskningsprojekter
Kapitel 3.Betydning for forskningenDette kapitel ser på effekten af bevillinger på forskning. Evalueringen afdækker effek-terne på forskning primært på to måder. Først er der gennemført en bibliometrisk un-dersøgelse blandt udvalgte hovedansøgere, hvor der sammenlignes med publikations-aktivitet for bevillingsmodtagere og afviste ansøgere, som ligner bevillingsmodtagernepå en række observerbare karakteristika. Den bibliometriske analyse er dog kun base-ret på hovedansøgere, da vi ikke har de relevante oplysninger for de andre deltagere iansøgningerne. Derfor blev der indsamlet oplysninger om den samlede videnskabeligproduktion for bevilgede projekter i forbindelse med surveyundersøgelsen. Resulta-terne giver et overblik over publikationsaktiviteten for bevilgede projekter og mulighedfor at sammenligne produktion for hhv. større og mindre forskningsprojekter.
3.1 Effekten af bevillinger på publikationsaktivitet hoshovedbevillingsmodtagereDen bibliometriske del af evalueringen har haft til formål at analysere, hvorvidt bevil-linger til forskningsprojekter har en effekt på bevillingsmodtageres forskning, måltved antal publikationer og publikationskvalitet. Publikationskvalitet måles både vha.kvaliteten af de udgivne tidsskrifter (gennemslagskraft) og citationer for den enkelteforskers publikationer.
Boks 3.1 Beskrivelse af den bibliometriske undersøgelseFormålet med denne delundersøgelse har været at sammenligne publikationsaktivitet hos hovedansøgere tilbåde modtagede bevillinger og afviste ansøgninger.Der er udvalgt 104 bevillingsmodtagere og 104 afslagsmodtagere, fordelt ligeligt på de fem forskningsråd.Udvælgelsen er sket blandt førstegangsansøgere i 2002-2004.Udvælgelsen er sket ved at matche bevillingsmodtagere med afslagsmodtagere på basis af demografiskeog faglige dimensioner: Fagområde, stillingsniveau, forskeruddannelse, arbejdssted, tidligere bevillinger ogansøgningsår.Den bibliometriske effekt måles som forskelle i et 4-årigt tidsvindue op til året før ansøgningen og et2-5-årigt tidsvindue, startende to år efter ansøgningsåret.Publikationsaktiviteten sammenlignes for perioden før ansøgningen, for perioden efter ansøgningen og forændringen fra før til efter ansøgningen.Der benyttes 6 indikatorer på publikationsaktivitet.• Antal publikationer• Antal publikationer korrigeret for antal forfattere (fx ved 3 forfattere, tæller publikationen som 1/3)• Antal publikationer korrigeret for tidsskriftets gennemslagskraft (målt vha. citationer til hvert tidsskrift for en given periode)• Antal citationer• Antal citationer pr. publikation• ”Crown indicator” – antal citationer ift. Fagområdets gennemsnitSe appendiks og Delrapport 4: Den bibliometriske undersøgelse.
Effekterne måles ved at sammenligne publikationsaktivitet for bevillingsmodtagere ogen sammenlignelig gruppe afviste ansøgere (formålet er at udvælge par-ansøgere, somer ens på en række karakteristika på nær modtagelse af en bevilling). Her måles pub-
Forsknings- og Innovationsstyrelsen
33
likationsaktivitet kun for hovedansøgere og ikke for de samlede deltagere i projektet.Tilgangen til analysen beskrives i boks 3.1 ovenfor.Generelt har publikationsaktiviteten været stigende over tid for både bevillingsmodta-gere og afviste ansøgere. Derfor, for at vise at bevillingerne har haft en positiv effektpå videnskabelig produktion, er det ikke tilstrækkeligt at vise, at bevillingsmodtagerepublicerer mere efter en bevilling, end de gjorde før. Det skal også vises, at stigningeni publikationsaktivitet er større hos bevillingsmodtagere end hos (matchede) afvisteansøgere. Resultaterne for en række effektmål opsummeres i tabel 3.1. Tabellen viser,om der findes en forskel for bevillingsmodtagere og afviste ansøgere i publikationsak-tivitet både før og efter ansøgningstidspunkt og om stigningstakten over tid er størrefor bevillingsmodtagere. Sidstnævnte er hovedresultatet for den bibliometriske ana-lyse, da det måler, om udviklingen i publicering har været større hos bevillingsmodta-gere (og dermed om bevillingen har haft en positiv effekt på publikationsaktivitet).Tabel 3.1 Oversigt over resultaterne af den bibliometriske analyseMålForskel ipublikationsaktivitetmellem bevillings-modtagere og afvisteansøgereføransøgning138**135**149**166124125Forskel ipublikationsaktivitetmellembevillingsmodtagere ogafviste ansøgereefteransøgning147**157**185**200*133140*Forskel iudviklingeni publikationsaktivitetmellembevillingsmodtagereog afviste ansøgere(Difference in difference)107117*125*120107112
Antal publikationerFraktionerede antalpublikationerAntal publikationervægtet for tidsskriftetsgennemslagskraftAntal citationerAntal citationer pr.publikationCrown indicator
Forskellen er positiv og statistisk signifikantForskellen er positiv men ikke statistisk signifikantForskellen er negativ men ikke statistisk signifikant*/**/***: signifikant på 10% / 5% / 1% niveau. Indekstal viser forholdet mellem bevillingsmodtagere og afvisteansøgere. Fx. indekstallet 138 i den første celle viser, at bevillingsmodtagere har haft 38 procent flere publikationer i perioden før ansøgningen. Som mål for gennemslagskraft vises resultaterne for Journal Impact Factor.Kilde: Delrapport 4: Den bibliometriske undersøgelse.
For enkelthedens skyld viser tabellen de overordnede tendenser; om der findes en posi-tiv og statistisk signifikant effekt (grøn) eller en positiv forskel, som dog ikke er stati-stisk signifikant (gul), eller om forskellen er negativ, men stadig ikke signifikant6(rød).Se Delrapport 4 – Den bibliometriske undersøgelse for en mere detaljeret gennemgangaf analysen og resultaterne.
634
Der blev ikke fundet nogen signifikante negative effekter blandt disse mål.Evaluering af virkemidlet forskningsprojekter
Antal publikationerTabellen viser, at publikationsaktiviteten er større hos bevillingsmodtagere både førog efter ansøgningstidspunktet. Der er en klar stigning i publikationsaktiviteten fra førtil efter for bevillingsmodtagere. Der findes også en stigning hos (matchede) afvisteansøgere, men den er mindre markant. Udviklingen i antal publikationer er større hosbevillingsmodtagerne, men der er tale om en mindre forskel (som ikke er signifikant).Når der tages højde for antal forfattere (fraktionerede antal publikationer – fx hvisder er 3 forfattere tæller en artikel som 1/3) og for gennemslagskraft, findes en større,signifikant forskel7, og dermed også en positiv og signifikant effekt af bevillinger påpublikationsaktivitet.CitationerFor citationsomfanget er anvendt 3 mål, antal citationer og antal citationer per publika-tion samt gennemslagskraftmålet antal citationer ift. tidsskriftsgennemsnit og ift. fagom-rådegennemsnit (Field-normalizedCitation Impact),sidstnævnte undertiden benævnt”The Crown Indicator”,da det på bedst mulig vis udtrykker kvaliteten af den forskning,der er udført. Både målt ved antal citationer og Crown indicator er forskellen mellembevillingsmodtagere og afviste ansøgere større efter end før ansøgningstidspunktet, hvil-ket giver indikation af en positiv bevillingseffekt på citationer. Forskellen i udviklingen(difference in difference) er positiv, men dog ikke signifikant. Dermed findes tegn på,at bevillingen har været med til at hæve kvaliteten af forskning inden for det respektivefagområde, men resultaterne er svagere end ved målet for tidsskriftets gennemslagskraft.Efter fagligt rådEvalueringen har også undersøgt effekter på publikationsaktivitet inden for de enkeltefaglige råd, dog det lave antal ansøgere taget i betragtning (ca. 20 bevillingsmodtagereog 20 matchede afviste ansøgere) skal disse resultater tages med et vist forbehold. Påtrods af det, er der fundet flere interessante resultater og en del af forskellene er faktisksignifikante. Tabel 3.2 viser resultaterne for de fem faglige råd – om den gennemsnit-lige stigning i publikationsaktivitet er større hos bevillingsmodtagere.Inden for FNU er stigningstakten hos bevillingsmodtagere større for alle publikations-mål, antal publikationer, gennemslagskraft og citationer. Forskellen er statistisk signi-fikant for antal publikationer, når der korrigeres for antal forfattere. Stigningen i antalpublikationer er større for bevillingsmodtagere inden for FSS, men antal citationer erfaktisk mindre for den undersøgte gruppe. Billedet er omvendt inden for FTP, hvorstigningen i antal publikationer er mindre hos bevillingsmodtagere, mens stigningeni citationer er større, herunder også den såkaldte Crown Indicator (antal citationer ift.tidsskriftsgennemsnit og ift. fagområdegennemsnit). Stigningstakten er større hos be-villingsmodtagere for alle publikationsmål inden for FSE, dog uden at forskellene ersignifikante. Stigningstakten i antal publikationer er mindre hos bevillingsmodtagereinden for FKK. Dog er forskellen positiv, når der korrigeres for antal forfattere, ogden er statistisk signifikant, når der korrigeres for tidsskriftets gennemslagskraft. Stig-ningstakten i citationer er mindre hos bevillingsmodtagere, men det må bemærkes, atdet er baseret på et meget lille antal citationer, hvilket giver et usikkert billede.
7 Der anvendes fem forskellige mål for gennemslagskraft. Der findes en positiv effekt ved alle opgø-relsesmetoder, men effekten er ikke signifikant for alle metoder. Se Delrapport 4 – Den bibliometriskeundersøgelse.Forsknings- og Innovationsstyrelsen35
Tabel 3.2 Bibliometriske resultater efter fagligt råd. Gennemsnitlig forskel i udviklingen i publikationsaktivitetmellem bevillingsmodtagere og afviste ansøgere (Difference in difference)MålAntal publikationerFraktionerede antal publikationerAntal publikationer vægtet fortidsskriftets gennemslagskraftAntal citationerAntal citationer pr. publikationCrown indicatorFNU117142**135136105122FSS1011071159896104FTP87949799111100FSE68101110244259214FKK8011666403568
Forskellen er positiv og statistisk signifikantForskellen er positiv men ikke statistisk signifikantForskellen er negativ men ikke statistisk signifikant*/**/***: signifikant på 10% / 5% / 1% niveau. Indekstal viser forholdet mellem bevillingsmodtagere og afvisteansøgere. Fx. 117 i den første celle viser, at bevillingsmodtagere har haft 17 procent flere publikationer i perioden før ansøgningen. Som mål for gennemslagskraft vises resultaterne for Journal Impact Factor.Kilde: Delrapport 4: Den bibliometriske undersøgelse.
3.2 Videnskabelig produktion for bevilgede projekterDe ovennævnte resultater vedrører effekter for hovedansøgere og ikke for andre del-tagere i projekterne. Evalueringen har også undersøgt den samlede videnskabeligeproduktion for projekter igennem surveyundersøgelsen. Dataene for den samledebevilling er baseret på egenvurderinger fra surveyundersøgelsen og er dermed mindreobjektive end de bibliometriske data. Hvis respondenterne ikke var i stand til at angivedet præcise antal publikationer, blev de bedt om at angive et skøn. Det åbner mulig-heden for fejlskøn især for opgørelsen af antal publikationer for projekter med mangedeltagere. Dataene giver dog et billede af de forskellige typer publikationer, fagområ-derne benytter sig af, og gør det også muligt at sammenligne videnskabelig produktionfor større og mindre bevillinger.Tabel 3.3 viser det gennemsnitlige antal videnskabelige produktioner, som bevillin-gerne har affødt8. Der er væsentlige forskelle i publiceringspraksis i mellem de femfaglige rådsområder, hvorfor det ikke er meningsfyldt at sammenligne antal publika-tioner på tværs af de faglige råd. Inden for FNU, FSS, og i mindre grad også inden forFTP og FSE, er hoveddelen af den videnskabelige produktion peer-reviewed artikler.Inden for FKK er der en forholdsvis større andel bøger og bidrag til bøger samt ikke-peer reviewed artikler. Publikationsaktiviteten er højere i første periode (2001-2004),hvilket kan skyldes en længere tidshorisont. Det kan også skyldes, at der har været enstørre andel af mindre projekter i den tidligere periode end den sene (2005-2008), somhar haft en højere publikationsaktivitet end større projekter.
8 Resultaterne er på basis af svar fra i alt 807 bevillingsmodtagere i perioden 2001-2008. Se Delrapport 2 -Surveyundersøgelsen.36
Evaluering af virkemidlet forskningsprojekter
Tabel 3.3 Gennemsnitligt antal videnskabelige produktioner, der er direkte affødt af bevilgede forskningsprojekter,pr. mio. kr.Gennemsnitpr. mio. bevilget kr.Artikler, peer reviewedArtikler, ikke peerreviewedDoktordisputatserPh.d.-afhandlingerVidenskabelige bøger/antologierBidrag til bøger/antologierKonferenceartikler,peer reviewed2001-200416,94,80,52,40,93,27,52005-20087,22,30,21,20,51,93,4
FNU30,16,40,43,41,03,210,8
FSS13,42,00,42,40,21,46,8
FTP3,91,20,10,70,30,52,5
FSE4,22,10,10,30,82,23,5
FKK5,38,30,70,51,76,63,4
Total13,64,00,42,00,82,86,1
Antallet for hele projektet. Inklusive videnskabelige produktioner som enten er udarbejdet i løbet afbevillingsperioden eller er en videreudvikling af projektarbejdet; f.eks. et arbejdspapir, som blev publiceret somartikel efter bevillingens afslutning. Eksklusiv produktioner, hvor hovedparten af arbejdet er udarbejdet uden forbevillingen.Tabellen udelader følgende typer videnskabelige produktioner: videnskabelige rapporter, working papers, ikke-peerreviewed konferenceartikler, patentansøgninger og godkendte patenter. Se Delrapport 2 – Surveyundersøgelsen.Kilde: Delrapport 2: Surveyundersøgelsen.
Da et af hovedformålene med nærværende evaluering har været at belyse forskellemellem større og mindre forskningsprojekter, sammenlignes den samlede videnska-belig produktion for større og mindre bevillinger. Figur 3.1 viser det gennemsnitligeantal peer-reviewed artikler for bevillinger større og mindre end 1 million kroner (inkl.overhead og i 2001-priser). Dataene er baseret på egenvurderinger fra surveyundersø-gelsen og er dermed mindre objektive end bibliometriske data. Det kan især være van-skeligt at opgøre det samlede antal publikationer for projekter med mange deltagere,hvilket kan medføre at videnskabelig produktion underestimeres for større projekter iforhold til mindre projekter.Med disse forbehold giver figur 3.1 dog en indikation af, at den videnskabelige pro-duktion pr. mio. kr. er væsentlig højere for mindre bevillinger både samlet og for deenkelte faglige råd. Med undtagelse af FNU er billedet det samme over tid, hvor antalpublikationer er højere for mindre projekter - både i den tidlige del af perioden (2001-2004) og den sene (2005-2008). For FNU er det gennemsnitlige antal artikler størstfor mindre projekter i 2001-2004 og for større projekter i 2005-2008. Forskellen fordet enkelte faglige råd er generelt statistisk signifikant (dog igen uden at tage højde foreventuel underestimation for større projekter), igen med undtagelse af FNU9.
9 Forskellen er statistisk signifikant for følgende grupper: for hele perioden, FSS, FTP, FSE, FKK, Alle;for 2001-2004, FSS, FTP, FSE, FKK, Alle; og for 2005-2008, FSS, FSE, Alle (FTP – ingen bevillingerunder 1 mio.kr. i perioden 2005-2008).Forsknings- og Innovationsstyrelsen37
Figur 3.1 Gennemsnitlige antal peer-reviewed artikler pr. mio. bevilgede kr. for hhv. større og mindre projekter,2001-20083531,430252016,0151050FNU< 1 mio.kr.1> mio.kr.Kilde: Delrapport 2: Surveyundersøgelsen.FSSFTPFSEFKKTotal8,15,63,22,62,68,66,023,218,9
7,7
3.3 Sammenfatning af betydning for forskningResultaterne fra den bibliometriske analyse viser, at bevillingerne til forskningspro-jekter har en positiv effekt på publikationsaktiviteten hos hovedbevillingsmodtagere.Det gælder både antal publikationer og publikationernes kvalitet målt i tidsskrifternesgennemslagskraft eller i citationer. Resultaterne fra surveyundersøgelsen vedrørendepublikationer for bevilgede projekter viser en højere produktion pr. mio. kr. for mindreprojekter (under 1 mio. kr.) end for større projekter. Det gennemsnitlige antal peer-reviewed artikler pr. mio. kr. er højere for mindre projekter end større i alle fem fagligeråd. Dataene fra surveyundersøgelsen er dog baseret på egenvurderinger og er dermedmindre objektive end bibliometriske data.
38
Evaluering af virkemidlet forskningsprojekter
Kapitel 4.Udvikling i DFF’s bevillingspraksis og dets betydning4.1 Udviklinger i opslag og vurderingskriterierI dette afsnit gennemgås centrale udviklinger i opslag og ansøgningsproces, som dekommer til udtryk gennem undersøgelsesperioden. Udviklinger i vurderingspraksisvurderes ift. bevillingsstørrelse samt i relation til den betydning, udviklingerne harhaft for praksis på området.Udvikling i opslag og ansøgningsproces over tidInden for og på tværs af de enkelte råd har der igennem undersøgelsesperioden 2001-2009 været en overordnet udvikling i de forskellige opslag fra de fem faglige råd henimod en større detaljeringsgrad og en mere udførlig præcisering af krav ift. de vurde-ringstyper, der knytter sig til virkemidlerne mindre og større forskningsprojekter. Påsamme vis har der gennem perioden været en tendens til homogenisering rådene i mel-lem, der specielt slår igennem i 2008 og 2009. I 2009 er budgetform og rådenes vur-deringskriterier eksempelvis stort set enslydende. I 2009 indføres der ligeledes størreændringer, der gælder for alle fem faglige råd. Ændringerne dækker blandt andet overdifferentiering af overhead/administrationsbidrag, loft over medfinansieringen fraansøgernes institutioner, så de faglige råd maksimalt må kræve 10 procent medfinan-siering10, og krav til forvaltning af midler. Samtidig har udviklingen mod ensretningværet forskellig for rådene; for nogle har kravene fra periodens start været skærpede,hvorimod der for andre råd er tale om en løbende skærpelse af krav gennem perioden.Dette gør sig eksempelvis gældende i relation til oplysning om ansøgere samt rådenesvurderingskriterier. Disse sidstnævnte kriterier ses i den mest omfattende form i 2009,hvor de opdeles på fem hovedtemaer med yderligere vurderingsspørgsmål tilknyt-tet. Fire af rådene (FNU, FSS, FSE og FKK) anvender først ovennævnte form i 2009,hvorimod de tidligere har anvendt en forkortet vurderingsliste. I modsætning hertil erkriterier for FTP kontinuerligt blevet uddybet.Sammenholdes ovennævnte tendens, til at kravene til ansøgningerne er blevet skærpet,med de interviewede rådsmedlemmers opfattelse heraf, er denne tendens dog langt frablevet registreret hos alle rådsmedlemmer, og flere nævner, at det ikke er sådan, de op-fatter udviklingen. Blandt de rådsmedlemmer, som har bidt mærke i skærpelserne, erder betydelig variation i holdningerne til dem. To tidligere rådsmedlemmer mener, atde skærpede krav i virkeligheden er en tydeliggørelse af vurderingskriterier og dermednoget positivt. Formålet er at give unge uerfarne forskere samme chance som ældreforskere, der har ansøgt mange gange tidligere. To andre rådsmedlemmer (nuværendeFNU og tidligere FKK) hævder, at formkravene er blevet alt for omfattende og frem-hæver, at det kan sætte de ansøgere, som ikke har et stærkt administrativt apparat tilrådighed, i en klemme, eksempelvis inden for FKK, som dækker museumsforskere og”præstegårdsforskere”, som ikke har en større institution til at rådgive og assistere demifm. fx budgetlægning.
10 Baggrunden for den ændrede bevillingspraksis fra 2009 er den politiske aftale fra efteråret 2008,hvor det dels blev besluttet at hæve overheadprocenten til universiteter og dels besluttet at indføre et loftpå maksimalt 10 procent over, hvor stor en medfinansiering forskningsrådene må kræve. Sidstnævnte til-tag blev udformet med henblik på, at de berørte universiteter og øvrige forskningsinstitutioner fik frigjortbasismidler, der under den tidligere bevillingspraksis blev bundet til prioriteringer foretaget i regi af forsk-ningsrådene (FI 2008. Principnotat: ’Forskningsrådenes principper for håndtering af loftet på 10 procentfor medfinansiering fra statslige forskningsinstitutioner’).Forsknings- og Innovationsstyrelsen39
Faktorer af særlig betydning for vurderingspraksisDe følgende afsnit vil gennemgå centrale udviklinger og elementer som, særligt iinterviewundersøgelsen med tidligere og nuværende rådsmedlemmer, har vist sig athave særlig indvirkning på vurderingspraksis. I forlængelse heraf vurderes stigning iansøgninger og succesrater (jf. afsnit 4.2), foruden de nedenstående faktorer, ligeledesaf signifikant betydning for vurderingspraksis.Praksis omkring prioritering af større vs. mindre forskningsprojekterInterviewundersøgelsen med tidligere og nuværende rådsmedlemmer viser, at derer forskel på, i hvilken grad rådene prioriterer fordelingen af midler til henholdsvismindre og større forskningsprojekter. FTP har fx nedlagt bevillingerne til de store pro-jekter, eftersom man vurderede, at der alligevel ikke var tilstrækkelige midler til dem,og eftersom det gik ud over succesraten på de mindre projekter og ved post.doc.-bevil-linger. Det skal her nævnes, at der ved de ’mindre’ forskningsprojekter, forstås ’forsk-ningsprojekter’ mellem ½ million og 4 millioner kr. (FTP, forårsopslag 2011). Mangeaf disse forskningsprojekter falder således stadig ind under ’større forskningsprojek-ter’, som de, jf. indledningen, defineres i denne undersøgelse. På trods af dette nævnerflere af rådsmedlemmerne, at der særligt fra 2008 og frem, er opstået en tendens til atgive flere større bevillinger, blandt andet foranlediget af en overordnet politisk strøm-ning. Et tidligere rådsmedlem fra FKK fortæller:”Der kom jo nogle signaler oppefra om, at nu skulle Det FrieForskningsråd som helhed give større bevillinger. Det var fordi det skullevære mere synligt, mere elitært og så videre. Alle de fine plusord, somblev væltet ned igennem systemet. Det er klart, at det sidder man jo ikkeoverhørig. Så i den tid jeg sad der, var der en udvikling i retning af atgive større bevillinger, og det er en udvikling, der er fortsat også efter jeger gået”.I relation hertil nævner et tidligere medlem fra FSE, at rådene af DFF’s bestyrelse blevpræmieret fra en fordelingspulje ift. antallet af de store bevillinger, og denne strøm-ning førte ifølge et tidligere medlem af FKK til, at fordelingen forskød sig til en klarovervægt af de større projekter. Et nuværende medlem fra samme råd understøtterdenne prioritering, men samtidig påpeger vedkommende dog også, at fordelingen kanskubbes lidt, alt efter om der eksempelvis er mange gode post.doc.’er eller kollektiveprojekter.Faglige skøn ift. bevillingsstørrelseDer er generel enighed blandt rådsmedlemmerne om, at den faglige vurderingsprocesikke er influeret af bevillingsstørrelse. Hvor bevillingsstørrelse nævnes som en faktor,handler det som oftest om kvalitetskriterier, eksempelvis sammenhængen mellem stør-relsen på det ansøgte beløb og projektets karakter – er projektet realistisk inden forden givne ramme? Dog nævner flere tidligere medlemmer, at jo større projektet var, jomere tid blev der brugt på selve vurderingen:”På at gå dem efter i sømmene og krævemere af dem”(Tidligere medlem, FSE). Et tidligere medlem af FNU pointerer, atdenne ekstra opmærksomhed på de store projekter hænger sammen med den potentieltstore indvirkning på andre projekters succes i bevillingsrunden – hvis et meget stortprojekt opnåede bevilling, ville mange mindre/større ikke opnå bevilling.
40
Evaluering af virkemidlet forskningsprojekter
Beskæring af ansøgte forskningsprojekterFlere tidligere og nuværende rådsmedlemmer nævner den forandring, som er sket fraat have muligheden for at bevillige mindre end det ansøgte beløb, som havende enindflydelse på prioriteringen mellem større og mindre forskningsprojekter. Et tidligeremedlem fra FSS påpeger således, at rådet tidligere sjældent bevilligede det fulde be-løb, der var ansøgt om, og at der derfor var større fokus på forskningshøjden end påbevillingsstørrelsen. Et nuværende rådsmedlem i samme råd påpeger på samme måde,at beløbsstørrelse spiller en anden rolle nu ift. om man eksempelvis skal bevilge 6 mil-lioner til ét godt projekt eller 2 millioner til tre gode projekter, da der ikke længere ermulighed for at støtte delvist. Muligheden for at beskære bliver af flere rådsmedlem-mer fremhævet som ønskværdig, da det vil kunne styrke tiltroen til systemet, og råde-nes mulighed for at anerkende gode ansøgninger. Et andet og modstridende perspektivved denne praksis beskrives af en bevillingsmodtager fra FNU: ”Derhar været en ten-dens til at smøre tykt på. Jeg ved, at nogen har gjort det, for vi får jo nok kun det halveikke?”.Hun mener, at denne praksis ikke længere eksisterer i og med, at de i de fagligeråd ikke længere beskærer projekter i samme grad som tidligere, men i højere gradbevilger hele budgettet til et ansøgt projekt, hvilket den pågældende bevillingsmodta-ger finder positivt. Sammenholdt med de resterende bevillingsmodtagere fra interview-undersøgelsen er det dog kun en enkelt informant, der eksplicit udtrykker, at han harslået projektet større op, end hvad der måske var realistisk muligt at gennemføre.Omlægning af rådsstrukturTidligere rådsmedlemmer pointerer også, at omlægningen i rådsstrukturen medførtevæsentlige udfordringer, da forskellige vurderingskriterier og formålsopfattelser blevtvunget til at sameksistere i de nye råd. Fx beskriver et tidligere medlem af FTP, atrådet aldrig nåede frem til konsensus omkring vægtningen mellem erkendelsesorien-teret forskning og mere anvendelsesbaseret teknologi og produktion. På samme mådebeskriver flere nuværende medlemmer, at den nye rådsstruktur har givet problemerift. vurderingen af projekter inden for de små fagområder og ”magtkampe” mellem deforskellige fagtraditioner. Denne tendens tydeliggøres tillige ved en parallel udviklingmod færre medlemmer af de enkelte råd. Et nuværende medlem af FKK beskriver, atman er gået fra en balance, hvor både de små og de store fag følte sig repræsenterede irådet, til en situation, hvor nogle nødvendigvis vil føle sig overset.Oplevelsen af ansøgningsprocessen og vurderingskriterierOver 60 procent af bevillingsmodtagerne fra spørgeskemaundersøgelsen mener, at defaglige vurderingskriterier fremstår tydeligt i opslaget. Der er dog megen variationpå tværs af de faglige råd, ift. hvorvidt de faglige vurderingskriterier fremstår klare iopslagene. 40 procent hos FTP mener, at dette er tilfældet mod kun 16-17 procent hosFSS og FKK. I alle tilfælde er andelene, ikke overraskende, væsentlig lavere end vedde afviste bevillingsmodtagere; generelt set mener dem, der fik en bevilling, at vurde-ringskriterierne er tydelige, mens afviste ansøgere mener, at dette ikke var tilfældet.Sammenholdes dette med interviewundersøgelsen nævner ingen informanter, at de harfundet kriterierne utydelige. I stedet er der general konsensus om, at processen med atskrive en ansøgning forløb mere eller mindre problemfrit, og flere giver samtidig ud-tryk for, at det er en konstruktiv og positiv proces, hvor de krav, der bliver stillet til an-søgningen, opleves som rimelige. Flere bevillingsmodtagere giver udtryk for, at de påforskellig vis får hjælp med blandt andet at udarbejde budgetter i forbindelse med enansøgning. Det synes i den forbindelse at fremgå, at mange institutioner stiller admi-nistrative ressourcer til rådighed i takt med, at det samtidig er blevet en mere udbredt
Forsknings- og Innovationsstyrelsen
41
praksis at søge om eksterne bevillinger. Budgetplanlægningen fremgår netop også somdet område, hvortil der er knyttet flest problemer ift. de forskellige specificeringer, derskal medtages.Som følge af en stigning i antallet af ansøgninger og en faldende succesrate (jf. afsnit4.2), stiger antallet af afslag tilsvarende. Der er tilsyneladende stor variation i de for-skellige faglige råds afslagspraksis, eksempelvis har afviste ansøgere i FSE mulighedfor at ringe til et bestemt rådsmedlem og få uddybet feedback på afslaget. Et tidligeremedlem af FSE påpeger, at denne praksis i mange tilfælde førte til ansøgninger af hø-jere kvalitet, da ansøgerne fik mere konkret feedback. Denne praksis går ikke igen i deandre råd, hvor praksis lader til at være, at hvis ansøgerne ønsker yderligere kommen-tarer, kan de henvende sig til sekretariatet, som så evt. kontakter rådsmedlemmerne.Ses der på undersøgelsen af de ansøgere, hvis forslag blev afvist, mener langt de flesteafviste ansøgere ikke, at der er en ”tydelig sammenhæng mellem vurderingskriterierog begrundelse for afslaget”. Kun 6 procent af de afviste ansøgere er helt eller delvisenig i udsagnet, mens ligeledes kun 10 procent mener, at ” den faglige begrundelse forafslaget var forståelig”.
4.2 Udvikling i succesrater og deres betydningDette afsnit ser nærmere på udviklingerne i antallet af ansøgninger og tilsagn overperioden, og på hvilken betydning succesrater, samt rådenes bevillingspraksis, har forvirkemidlet.Figur 4.2.1 Andel ansøgninger, der har opnået tilsagn for hhv. forskningsprojekter og samtlige virkemidler, alleråd, 2001-200940%35%30%25%20%15%10%5%0%20012002200320042005200620072008200928%38%34%29%29%26%23%24%34%33%34%38%31%29%22%
35%
18%12%
ForskningsprojekterSamtlige midlerKilde: Forsknings- og Innovationsstyrelsen (2009/2010) samt Dansk Center For Forskningsanalyses beregningerpå basis af DocuLive-databasen.
Andelen af ansøgninger til forskningsprojekter, der har fået tilsagn, har generelt væretstigende fra 2001-2004, hvorefter andelen af tilsagn i årene efter er støt faldende. Indenfor FNU har andelen af tilsagn været meget høj; på omkring 60 procent fra 2001-2005,men er derefter faldet til omkring 30 procent i 2006-2008. Andelen inden for FSS ogFTP har været faldende fra hhv. 38 procent (FSS) og 20 procent (FTP) i 2002 til 23 pro-
42
Evaluering af virkemidlet forskningsprojekter
cent (FSS) og 15 procent (FTP) i 2008. Andelen inden for FSE har været forholdsviskonstant på 20-25 procent over hele perioden, mens andelen inden for FKK har varieretmeget og faktisk er steget over perioden fra 14 procent i 2001 til 22 procent i 2008. Spe-cielt i 2009 sker der et markant fald i tilsagn for alle råd - fra 22 procent i 2008 til 12procent i 200911. Succesraterne for forskningsprojekter og samtlige midler følger hinan-den over tid. Succesraten for samtlige virkemidler ligger over hele perioden typisk 5-7procentpoint højere end succesraten for forskningsprojekter alene. Dette kan ses som enindikation på en særlig hård konkurrence inden for virkemidlet forskningsprojekter.Målt i bevilget kroner følger udviklingen i succesraterne det samme mønster dog medet mindre fald over perioden, især i 2009. Hvis det totale bevilgede beløb til forsk-ningsprojekter sammenholdes med det totale ansøgte beløb til forskningsprojekter,er der et mindre fald i perioden 2001-2009 (se Delrapport 2: Surveyundersøgelsen). I2004 har rådene, som den højeste bevillingssats i perioden, bevilget 18 procent af detbeløb, der samlet er blevet ansøgt om til forskningsprojekter, hvorimod det kun er 10procent i 2009. Succesraten for samtlige virkemidler er typisk 2-3 procentpoint højereend for forskningsprojekter igennem hele undersøgelsesperioden.Der er flere faktorer, der ligger bag faldet i succesraterne for forskningsprojekter. For detførste har der generelt været tale om stigninger i både antallet af ansøgninger og det sam-lede ansøgte beløb i perioden. Det har især været tilfældet inden for de ’våde’ områder(FNU, FSS, FTP). Antal ansøgninger inden for FSE og FKK er faktisk faldet i perioden,selv om det samlede ansøgte beløb er steget. Det samlede bevilgede beløb til forsknings-projekter er også steget i perioden, dog i en lidt mindre grad end for ansøgninger.Figur 4.2.2 Gennemsnitslige bevilgede beløb pr. forskningsprojekt i 1000 kr. efter fagligt råd (2001-priser), 2001-20096000500040003000200010000200120022003200420052006200720082009
Natur & universSundhed & sygdomTeknologi & ProduktionSamfund & ErhvervKultur & kommunikationAlle rådKilde: Dansk Center For Forskningsanalyses beregninger på basis af DocuLive-databasen.
11
FNU: 17%; FSS: 12%; FTP: 9%; FSE: 13%; FKK: 11%.43
Forsknings- og Innovationsstyrelsen
For det andet er de gennemsnitlige bevilgede beløb til forskningsprojekter generelt sti-gende igennem tidsperioden for alle fem faglige råd (figur 4.2.2). Specielt i 2009 stigerbeløbsstørrelsen markant sammenlignet med tidligere år. Eksempelvis stiger det gen-nemsnitlige bevilligede beløb med 33 procent fra 2008 til 2009. Forøget overhead tiluniversiteter12kan have bidraget til stigningen i den gennemsnitlige bevillingsstørrelse,men hovedårsagen er formentlig ændringer i regler for medfinansiering13. Bemærk ather måles på det bevilgede beløb til projekterne og ikke på størrelsen på projekternessamlede budget. Derfor kan man ikke med sikkerhed konkluderer ud fra ovenstående,at størrelsen på projekternes samlede budget er steget over tid14.En tredje faktor er, at andelen af ansøgte beløb, som er blevet bevilget, er steget mar-kant over perioden, især i 2009. I 2001 udgjorde kun 18 procent af bevillinger 95 pro-cent eller mere af det ansøgte beløb. I 2008 var andelen 31 procent, og i 2009 steg an-delen til 87 procent (se tabel 9.18 i Delrapport 1: Desk Research). Det afspejler en klarændring i bevillingspraksis i 2009, hvor størstedelen af de godkendte projekter modtoghele det ansøgte beløb. Ændringen har været størst for FSS, hvor kun 6 procent afbevillingerne modtog mindst 95 procent af det ansøgte beløb i 2008, mens 73 procentmodtog under 60 procent af det ansøgte beløb. I 2009 modtog 83 procent mindst 95procent af det ansøgte beløb, og kun 5 procent modtog under 60 procent.Succesraterne for at få en bevilling bestemmes dermed af de ansøgninger og de sam-lede midler, som afsættes til virkemidlet, men også af rådenes bevillingspraksis. Æn-dringen i bevillingspraksis i 2009, som principielt gjorde op med rådenes mulighedfor at uddele mindre beløb end det ansøgte, har ligeledes haft væsentlig indflydelse påsuccesraterne. Et nuværende rådsmedlem fra FSS siger herom:”I gamle dage kunne man nemt skære i dem (de ansøgteforskningsprojekter, red.). Man kunne simpelthen bare sige: ’Godtprojekt, men i stedet for en million, så får han en halv million’. Dengangfik 20 procent støtte, så støtten er halveret”.Muligheden for at beskære bliver af flere rådsmedlemmer fremhævet som ønskværdig,da det vil kunne styrke tiltroen til systemet, og rådenes mulighed for at anerkende godeansøgninger (jf. afsnit 4.1). Modtagelse af selv et mindre beløb kan også bruges somen blåstempling af projektet til søgning af de resterende midler fra andre kilder. Et tid-ligere medlem af FSS påpeger i forlængelse heraf, at den faglige tradition inden for detsundhedsfaglige område tilsiger, at der søges midler fra mange forskellige kanaler, og aten mindre bevilling fra DFF giver bevillingsmodtageren bedre mulighed for at søge ogopnå støtte fra disse andre kilder, som læner sig op af den faglige vurdering fra DFF.
12 Overhead til universiteter (som procentdel af rådets andel af de direkte udgifter til projektet) ændre-des fra 20 procent i 2007 til 35 procent i 2008 og til 44 procent i 2009.13 Som en approksimation, hvis 44 procent fratrækkes bevillinger i 2009 og 35 procent i 2008, villestigningen i det gennemsnitlige bevilgede beløb være på 26 procent fra 2008 til 2009.14 DocuLive databasen over ansøgninger til DFF indeholder data om størrelsen på det ansøgte og detbevilgede beløb, men ikke på projekternes samlede budget.44
Evaluering af virkemidlet forskningsprojekter
Beskæring i støtte til bevillinger kan dog have konsekvenser for de bevilgede projek-ter. En informant udtaler således:”Selvfølgelig har det en konsekvens, at man søger om 2,3 millioner og får1. Så derfor kan jeg ikke sige, at det er lykkedes mig at gøre alle de ting,jeg gerne ville gøre. Vi har været nødt til at lave en tilskæring af projektetog så gå videre med det, vi syntes var de bedste dele af projektet”Modtager af mellemstor bevilling, FSS.
I takt med at succesraterne er faldet til omkring 10-12 procent i 2009, har interviewederådsmedlemmer udtrykt en stigende bekymring for negative virkninger af lave succes-rater. Mange nævner, at succesraterne nu har nået et niveau, som ikke er holdbart, oget nuværende medlem af FNU beskriver, hvordan der en enkelt gang decideret er ble-vet sat flere penge af til mindre forskningsprojekter for at holde succesraten oppe, påbekostning af de større forskningsprojekter. Samlet set opfattes denne udvikling sommeget frustrerende af alle rådsmedlemmer, og der er generel konsensus om, at en suc-cesrate på 10 procent eller derunder ’gørfor ondt’i systemet, mens en succesrate på30 procent ville stemme bedre overens med kvaliteten i ansøgningerne. Flere rådsmed-lemmer beskriver, at der internt i de enkelte råd har været diskussioner omkring, hvor-dan man kan holde succesraterne oppe, eksempelvis ved at ændre på virkemidlerneeller decideret”om der er nogle, vi skal skippe”(Nuværende medlem, FNU).
4.3 Særlige indsatsområderI ”Lov om forskningsrådgivning mv.” fra 2003, der i store dele af undersøgelsesperio-den har været den overordnede ramme for forskningsrådenes virke, hedder det, at be-styrelsen for DFF årligt kan fordele op til 20 procent af DFF’s samlede midler til ”…særlige initiativer, herunder tværfaglige og tværrådslige initiativer.” (jf. §11, stk. 5)15Denne mulighed har DFF’s bestyrelse valgt at benytte i hele undersøgelsesperioden, ogman kan inddele de initiativer, som bestyrelsen har anvendt 20 procent-midlerne til, itre hovedområder:161)Faglige indsatsområder(fx ’Polarforskning’, ’Kommunikation og manipulationi makromolekylære systemer’ og ’Oplevelsesøkonomi’2)Forskningens vækstlag og forskernes karriereveje(fx ’Ung Eliteforsker’ og’Kvindelige Forskningsledere’)3)Internationaliseringstiltag(fx ’Udenlandske post doc.-stipendier’ og’Forskningsophold i udlandet’)
15 Loven er senere blevet revideret, men 20%-reglen gælder stadig (jf. LBK nr. 1064 af 06/09/2010,§11, stk. 4.): ”Bestyrelsen kan på baggrund af en vurdering af rådenes aktiviteter fordele op til en femte-del af bevillingerne til særlige initiativer, herunder tværfaglige og tværrådslige initiativer.”16 Jf. ”Årsrapport 2004. Det Frie Forskningsråd”, Forskningsstyrelsen, april 2005, s.6; ”Årsrapport2005. Det Frie Forskningsråd”, Forsknings- og Innovationsstyrelsen, juni 2006, s. 6-7; ”Årsrapport 2006.Det Frie Forskningsråd”, Forsknings- og Innovationsstyrelsen, marts 2007, s. 10-11; ”Årsrapport 2007.Det Frie Forskningsråd”, Forsknings- og Innovationsstyrelsen, april 2008, s. 40; ”Årsrapport 2008. DetFrie Forskningsråd”, Forsknings- og Innovationsstyrelsen, april 2008, s. 40; ”Årsrapport 2007. Det FrieForskningsråd”, Forsknings- og Innovationsstyrelsen, april 2008, s. 40;Forsknings- og Innovationsstyrelsen45
Fra 2004 til og med 2007 blev ca. halvdelen af 20 procent-midlerne brugt på de ’fag-lige indsatsområder’, mens resten af midlerne gik til initiativer, der skulle støtte ’forsk-ningens vækstlag og forskernes karriereveje’ samt ’internationaliseringstiltag’. I 2008og 2009 har man ikke haft særlige faglige indsatsområder, som man har prioriteret,men alene anvendt 20 procent-midlerne til initiativer inden for internationalisering ogkarriereveje.De faglige indsatsområder, som DFF – og før 2005 de seks statslige forskningsråd -har prioriteret i undersøgelsesperioden dækker tværgående indsatsområder, som allerådene satser på et enkelt år, såvel som enkeltstående indsatsområder, som kun priori-teres af et enkelt forskningsråd et enkelt år. Som eksempel på en tværgående satsningkan nævnes områderne ’Biologiens nye potentiale’ og ’Det raske menneske i sundeomgivelser’, som alle rådene fremhæver som særlige indsatsområder i 2003. Derimodfremtræder eksempelvis ’Oplevelsesøkonomi’ (FKK, 2005) og ’Danmark i en globali-seret verden’ (FSE, 2005) kun som særlige indsatsområder i et enkelt råd et enkelt år.Om baggrunden for at udpege særlige faglige områder, som man ville satse på, skrevDFF’s bestyrelse i 2005: ”For at sikre, at rådsstrukturen fungerer som en dynamiskorganisation, der er i stand til at opfange eller initiere nye visionære eller tværfagligeforskningstemaer, bør de faglige forskningsråd have mulighed for at tage egne initiati-ver inden for deres respektive områder. DFF’s bestyrelse vil derfor hvert år afsætte ca.10 procent af de samlede midler til nye visionære forskningstemaer, der meldes ind tilbestyrelsen af de enkelte forskningsråd. Flere råd kan evt. gå sammen om fælles tvær-faglige initiativer.”17Det kan diskuteres, om hensynet til skabelsen af et dynamisk organ, der selvstændigtkan tage tematisk afgrænsede initiativer op, følger de intentioner, der lå bag 2003-lo-ven. Lovteksten er ikke helt klar ift. disse spørgsmål, men øremærkningen af særligetematiske midler forekommer at kunne komme i strid med lovens overordnede for-mulering af DFF’s hovedformål: At støtte konkrete forskningsaktiviteter baseret påforskernes egne initiativer. Derimod synes prioriteringen af internationalisering ogkarrierefremmende initiativer fint at kunne rummes inden for lovens intentioner, da denetop ikke er bundet op på tematiske afgrænsninger.I interviewdelen med tidligere og nuværende rådsmedlemmer udtrykkes den generelleholdning til specifikke satsningsområder meget godt af et nuværende medlem af FKK,som forklarer det på følgende måde:”Når man ikke har flere penge, er alle typer sats-ninger besværlige at have med at gøre, for så er der noget, der skal prioriteres overnoget andet, og hvad gør vi ved det.”Blandt rådsmedlemmerne lader der til at være endelvis positiv holdning til karriereorienterede satsningsområder, fx et særligt fokus påkvindelige forskere eller yngre forskere, men der udtrykkes samtidig bekymring over,at en sådan satsning nødvendigvis vil afskære andre fra at søge midler. Og netop denneforudgående selektering i ansøgere ses som en bevægelse mod strategisk forskning,som hører hjemme i DSF. Der er en tendens blandt rådsmedlemmerne til at skelneskarpt mellem DFF og DSF ift. særlige satsningsområder, eftersom interviewene ty-deligt viser, at tematiske satsningsområder ses som et anliggende for DSF. Et tidligererådsmedlem fra FSE siger hertil:
1746
”Årsrapport 2004. Det Frie Forskningsråd” fra Forskningsstyrelsen, april 2005, s. 23-24.Evaluering af virkemidlet forskningsprojekter
”Min holdning har været, at når det her er det Frie Forskningsråd,så skal fidusen også være, at det skal være åbent. Og de målrettedesatsninger har vi det Strategiske Forskningsråd til. Så jeg har væretmodstander af alle former for lukning”.Denne holdning går igen på tværs af råd og faggrænser. Enkelte informanter påpegerdog også, at der med fordel kunne etableres et større samarbejde og vidensudvekslingmellem de to forskningsråd for at drage nytte af rådsmedlemmernes samlede viden ogindsigt i forskningsmiljøernes arbejde. Der er dog bred enighed om, at tematiseredesatsningsområder hører hjemme i DSF og skal holdes adskilt fra DFF.Ses der på, i hvilket omfang særlige temaer har påvirket bevillingsmodtagernes an-søgninger til de faglige forskningsråd, mener kun 15 procent af respondenterne, fraspørgeskemaundersøgelsen blandt bevillingsmodtagerne, at disse temaer har haft ind-flydelse på valget af forskningsprojekt. Der er dog en langt højere andel bevillingerfra FTP, hvor særlige temaer har påvirket deres valg af forskningsprojekt; disse udgøromkring 28 procent. Påvirkningen af særlige temaer er forholdsvis ens for bevillings-modtagere og afviste ansøgere, med undtagelse af FNU, hvor en langt højere andelaf de afviste ansøgere mener, at særlige temaer har haft indflydelse på deres valg afforskningsprojekt.Samme tendens, til at det kun er en mindre del af bevillingsmodtagerne, der har mål-rettet deres forslag efter et specifikt tema, ses også blandt de interviewede informanter,hvor kun én informant ud af 20, en bevillingsmodtager af et stort forskningsprojekt fraFKK, søgte bevillingen, fordi der var formuleret et specifikt indsatsområde i opslaget.Forklaringen her lyder, at de (bevillingsmodtager og kolleger) sandsynligvis ikke villehave søgt om en bevilling, hvis ikke der havde været et opslag målrettet et bestemttema, som fangede deres interesse. Ansøgningen blev m.a.o. udformet specifikt til detkonkrete opslag, og pågældende informant vurderer, at han selv og hans kolleger ikkenødvendigvis ville have søgt i det tilfælde, at det havde været en åben ansøgning. Mankan sige, at de ikke reagerede på det konkrete opslag ud fra et ønske om at fremmeegen karriere, men at de snarere søgte, fordi de pga. opslagets ordlyd fik”en god idé”.
4.4 Større og mindre projekter – udvikling og betydningEn hovedmålsætning for evalueringen af virkemidlet forskningsprojekter i perioden2001-2009 har været at belyse forskelle i både karakteristika og effekter af mindre ogstørre forskningsprojekter. En sådan belysning er relevant for udvikling af fremtidigevirkemidler.Evalueringen viser, at der er sket en markant udvikling i retning af færre små projekterog flere store projekter. Som tabellen herunder viser (inkl. overhead og i 2001-priser),så uddelte rådene i 2001 samlet set 64,6 procent af deres midler via bevillinger påunder 1 million kr. stykket, mens dette tal er faldet til 15,7 procent i 2009. Ser vi påantallet af store projekter, så vokser det tilsvarende markant i perioden – fra 19 procenti 2001 til 70,2 procent af bevillingerne i 2009.
Forsknings- og Innovationsstyrelsen
47
Tabel 4.4.1 Fordeling af bevilgede forskningsprojekter i forhold til størrelse af bevilget beløb (inkl. overhead og i2001-priser), 2001-2009
- 1 mio. kr.FNU1 - 1.5 mio. kr.1.5 - mio. kr.- 1 mio. kr.FSS1 - 1.5 mio. kr.1.5 - mio. kr.- 1 mio. kr.FTP1 - 1.5 mio. kr.1.5 - mio. kr.- 1 mio. kr.FSE1 - 1.5 mio. kr.1.5 - mio. kr.- 1 mio. kr.FKK1 - 1.5 mio. kr.1.5 - mio. kr.- 1 mio. kr.Alleråd1 - 1.5 mio. kr.1.5 - mio. kr.
200188,47,24,371,720,77,615,620,064,450,023,526,578,610,710,764,616,419,0
200296,33,80,071,728,30,025,536,438,246,918,834,463,310,026,766,721,012,3
200390,29,80,063,732,93,414,520,065,555,313,231,650,021,928,160,922,017,1
200484,313,02,840,650,88,612,911,375,856,114,629,354,59,136,451,526,022,4
200575,620,93,559,434,85,83,19,487,568,37,324,452,08,040,053,721,824,6
200653,810,335,946,441,112,50,07,792,355,07,537,555,911,832,442,720,636,7
200741,520,038,553,037,19,80,00,0100,026,923,150,037,011,151,938,123,738,1
200856,86,237,047,742,310,03,41,794,860,73,635,736,44,559,142,319,737,9
2009 2001-0917,670,619,662,718,823,457,80,00,0100,022,25,672,233,36,760,015,714,170,212,017,554,335,610,18,512,079,551,713,135,252,811,136,250,121,128,8
Kilde: Delrapport 1: Desk Research.
Større versus mindre forskningsbevillinger ifølge bevillingsmodtagerneBlandt de interviewede hovedbevillingsmodtagere er der generel enighed om, at dethar stor - og for mange endda afgørende betydning - at få en forskningsrådsbevilling.Det gælder uanset størrelsen på bevillingen.Måler man på antallet af peer review-artikler pr. million bevilligede kroner, så fårman tilsyneladende mere forskning for pengene gennem de små forskningsbevillingerend gennem de store (jf. kapitel 3 ovenfor). At effekten af en mindre bevilling i nogletilfælde kan være større for hovedbevillingsmodtageren end effekten af en stor bevil-ling bekræftes også i interviewene med bevillingsmodtagerne. En mindre bevilling på500.000 kr. til én forsker kan sagtens generere karrierefremmende effekter – ikke barepublikationer, men også samarbejde, anerkendelse, eksponering mv. – og kan dermedfå stor betydning for den pågældende forsker. Omvendt kan en større bevilling, somprimært går til fx ansættelse af en ph.d.-studerende, nok generere et output i formaf tilknytning af flere personer til et forskningsmiljø, men det har ikke nødvendigvisstor effekt på hovedbevillingsmodtagerens egen karriere. Som en af modtagerne af etstørre forskningsprojekt udtrykte det:”På den ene side har bevillingen været vigtig formin karriere, fordi jeg fik en dygtig ung forsker ind i min gruppe. På den anden sidenhavde det nok ikke været sådan, at min karriere havde ligget i grus, hvis ikke den varkommet.”Her må man dog nok skelne mellem effekten af at få tilknyttet en forsker/ph.d.-studerende til en allerede veletableret forskningsgruppe og muligheden for igen-
48
Evaluering af virkemidlet forskningsprojekter
nem en stor bevilling at kunne bygge en forskningsgruppe op omkring sig. Effektenaf den sidste type bevilling vil alt andet lige af ansøgeren opleves som værende størreend af den første type. Men selv i de tilfælde, hvor en forskningsrådsbevilling fra DFFikke direkte har indflydelse på ansøgerens egen karriere, så kan der altså være væsent-lige 2. generationseffekter af en stor forskningsbevilling i form af fx mulighed for ud-dannelse/videreuddannelse af forskningstalenter.Mens tendensen altså går mod færre små og flere store bevillinger, er der blandt deinterviewede bevillingsmodtagere generel enighed om, at man må tilstræbe at havebegge former for bevillingstyper. Mange af de interviewede peger således på, at manofte får meget for pengene gennem de små bevillinger, især når de bruges som instru-ment til at hjælpe yngre forskere på vej (fx som post.doc.-bevillinger). Eksempelvisudtaler en modtager af en mindre bevilling fra FSE:”Tendensen går mod større og større bevillinger. Og ud fra etadministrativt synspunkt er det måske bedre, men jeg tror også, at det ervigtigt, at der gives de her små ’seed money’ - vi sår nogle frø og ser omde vokser, så kan der måske komme flere penge. Det er også vigtigt medde her såkaldte småpenge, ikke?”Større versus mindre forskningsbevillinger ifølge rådsmedlemmerneDenne holdning til at både de større og mindre forskningsprojekter har sin beretti-gelse, kommer ligeledes til udtryk blandt tidligere og nuværende rådsmedlemmer. Doger den overvejende tendens blandt rådsmedlemmerne, at de specielt fremhæver de småbevillinger som værende vigtige for forskningen. Som et tidligere medlem af FKKpåpeger:”Små penge kan gøre en stor forskel for mange forskere”.Der er dog forskel-lige begrundelser for at give mindre henholdsvis større bevillinger, som bl.a. bunder ifaglige traditioner. Eksempelvis nævner flere rådsmedlemmer i de ”tørre” råd, at småbevillinger er mere hensigtsmæssige inden for fx humaniora, da der ikke er behov forstort apparatur eller lignende ressourcekrævende materiel, og hvor bevillingen i højeregrad benyttes til at støtte den enkelte forsker.Et tidligere medlem af FSS påpegede ligeledes, at den faglige tradition inden for detsundhedsfaglige område gør, at man i reglen søger midler fra mange forskellige kanaler,og at en mindre bevilling fra DFF netop giver bevillingsmodtageren bedre mulighed forat søge og opnå støtte fra disse andre kilder, som læner sig op af den faglige vurderingfra DFF. Det er derfor specielt problematisk for FSS, at man ikke længere har mulighedfor at beskære projekter (jf. afsnit 4.2). Det skal dog også nævnes, at der er flere råds-medlemmer, som fremhæver positive forhold ved større bevillinger, fx på grund af enforventning om en større effekt. Et tidligere rådsmedlem fra FTP siger således:”Jeg har altid været tilhænger af, at der var større bevillinger, for jeg trorde har større effekt end mindre bevillinger. Vi har brugt meget tid på athæve grænserne, fordi der ikke altid var enighed om, hvor de skulle være.Jeg synes, at det er spild af tid, at 20-25 mennesker skal sidde og diskuteremeget små bevillinger. Det skal altså op i nogle mio. mindst, før det givermening. Ellers må universiteterne tage sig af det, efter min mening”.
Forsknings- og Innovationsstyrelsen
49
4.5 Risikoprofilen for bevilgede forskningsprojekterEt af formålene ved nærværende evaluering var at undersøge risikoprofilen for forsk-ningsprojekter sammenlignet med ansøgernes ’almindelige’ forskning. Risikoprofilener i evalueringen belyst både ved at undersøge, om støttede projekter er mere ambitiø-se eller risikofyldte end bevillingsmodtagernes internt finansierede forskning, og medat se på, hvordan rådene vurderer ansøgninger ift. risikoprofilen.Omkring halvdelen af bevillingsmodtagerne, som deltog i surveyundersøgelsen, men-te, at deres målsætninger ved det ansøgte projekt var mere ambitiøse end ved deresforskning finansieret fra egen institution. Kendetegnende for mange af de bevillings-modtagere, der ikke karakteriserer målene til deres forskningsprojekt som mere ambi-tiøse end normalt, er, at de normalt sætter sig ambitiøse, men samtidig også realistiskemål ift., hvad det er muligt at gennemføre: ”Ambitionerneer altid de samme: At laveså god forskning som overhovedet muligt!”(modtager af mellemstor bevilling, FSS).Generelt udtrykker de interviewede bevillingsmodtagere den holdning, at det ikke erforskning, hvis der ikke er en eller anden form for risiko involveret. En informant op-summerer denne holdning på denne måde:”Så satser man. Det vil jeg også mene, at man skal gøre. Ellers bliverdet sådan noget leverpostejs-forskning; det er ikke meningen med de herpenge, synes jeg. Og derfor kan det også godt gå galt. Men så går det jogalt på en måde, hvor der stadigvæk vil komme nogle artikler ud af det,men det ville sikkert bliver mere gennemsnitlig forskning man lavede”.Modtager af en mellemstor bevilling, FSS.
Der er dermed tale om en kobling mellem på den ene side at bedrive forskning inde-holdende et eksplorativt element i jagten på ny viden, og samtidig er der”tænkt etsikkerhedsnet”ind i form af blandt andet afprøvede metoder og teknikker, indsamlingaf pilotdata, planlægning af logistik etc. M.a.o. er så mange faktorer som muligt gen-nemtænkt, således at forskningsprojektet kan sikre en eller anden form for resultat ogflytte forskningen fremad. I forlængelse heraf er der da heller ingen af de interviewedebevillingsmodtagere, der vurderer deres projekter i højrisikogruppen og i fare for ikkeat kunne blive gennemført (jf. ovenstående). Disse udsagn understøttes af resultaternefra surveyundersøgelsen, hvor omkring 23 procent mente, at der var større risiko for,at deres forskningsprojekt ikke ville kunne frembringe de forventede nye resultater endved deres forskning finansieret fra egen institution. Andelen er lavest hos FNU og FSS(hhv. 21 procent og 17 procent), og væsentligt højere hos FTP (30 procent), FSE (31procent) og FKK (26 procent).I forbindelse med surveyundersøgelsen sammenlignes udbytte for projekter, som efteregen vurdering var risikofyldte og de øvrige projekter18. Generelt er der meget lidt for-skel i resultaterne for risikofyldte projekter sammenlignet med de øvrige projekter ift.
18 Projekter betegnes som ”risikofyldte”, hvis bevillingsmodtagerne var helt eller delvist enige i udsagnet:”Projektansøgningen var mere risikofyldt i forhold til min forskning finansieret af egen institution. Der varstørre risiko for, at projektet ikke ville kunne frembringe de forventede nye forskningsresultater.”50
Evaluering af virkemidlet forskningsprojekter
udbytte af bevillingen eller opfyldelse af egne målsætninger. For eksempel, stort setalle respondenter mener, at bevillingen førte til helt nye forskningsresultater inden forderes felt. En lidt højere andel af risikofyldte projekter hos FKK og FSE frembragteuventede resultater af stor betydning, dog er resultaterne næsten de samme for de an-dre faglige råd.Hvordan indgår risikofaktoren i rådenes vurderinger af ansøgte projekter? En problem-stilling, som rejser sig, er, hvordan rådene vægter nyskabelse vs. gennemførlighed.Flere rådsmedlemmer påpeger denne problemstilling, men der lader ikke til at være enkonkret praksis inden for nogen af rådene ift., hvordan denne problemstilling håndte-res. Et nuværende rådsmedlem fra FNU forklarer:”Der kommer altid nogle overvejelser ind, for hvis noget skal være, have enchance for at være nyskabende, er der heller ikke nogen garanti for, at detrent faktisk fører til noget. (…) Der er jo altid et element af gamble der”.Det lader dog til, at der er visse variationer rådene imellem, når det kommer til at vur-dere ansøgningernes målsætninger, og at disse variationer først og fremmest bunder iforskellige faglige traditioner. De ’tørre’ råd (FKK og FSE) lader til at lægge mindrevægt på en risikovurdering af, om projektet rent faktisk når fremme til specificerederesultater, under henvisning til, at det inden for den samfundsvidenskabelige/humani-stiske forskning ofte ikke er muligt at opstille klare og entydige målsætninger. Der erdermed en tendens i disse råd til at vurdere forskningsdesignet og lægge mindre vægtpå skarpe målsætningsformuleringer.I de ’våde’ råd derimod (FTP, FNU og FSS) lader der til at være større fokus på deklare målsætninger og den praktiske gennemførlighed af projektet. Et nuværende råds-medlem fra FSS siger således:”Man vil jo ikke bare have mere af det samme. Der skaljo også være noget nyt i det, men samtidig skal der også være en vis sandsynlighed for,at det bliver andet end tankespind”.
Forsknings- og Innovationsstyrelsen
51
AppendiksBeskrivelse af evalueringens delanalyserDen samlede evaluering tager afsæt i fem delundersøgelser:> Desk research undersøgelse af rådsoplagene samt deskriptiv statistik overansøgninger og bevillinger i perioden 2001-2009.> Survey undersøgelse af både bevillingsmodtagere og afviste ansøgere> Case-/interview undersøgelse af bevillingsmodtagere samt nuværende ogtidligere rådsmedlemmer> Registerbaseret effektundersøgelse af effekten af at modtage en bevilling pålønudvikling og karriereprogression> Bibliometrisk effektundersøgelse af effekten af at modtage en bevilling påpublikationsaktivitetenTidsperioden.Evalueringen skal dække perioden fra 2001 til 2008 (dog også 2009for Desk Research undersøgelsen). En del af projekterne bevilget i 2007-08 er ikkeafsluttede, hvilket der tages højde for både i survey- og effektundersøgelserne.Genstandsfeltet.Genstandsfeltet i evalueringen er virkemidlet forskningsprojekter ide forskellige faglige forskningsråd. Selv om genstandsfeltet er virkemidlet forsk-ningsprojekter, er analyseenheden i evalueringen primært (hoved)ansøgere ellerbevillingsmodtagere. Det skyldes dels, at evalueringen hovedsageligt baseres på per-sondata, og dels at de fleste effekter af forskningsprojekter er tilknyttet den enkelteforsker.Den samlede populationeni evalueringen er samtlige forskere, der har været hoved-ansøgere til virkemidlet forskningsprojekter. I perioden 2001-2008 var der 4.077forskere, der søgte om virkemidlet forskningsprojekter (i alt 9.868 ansøgninger),hvoraf 1.602 har modtaget mindst én bevilling (2.604 bevillinger i alt).Forskningsrådet ændrede struktur i 2004 til Det Frie Forskningsråd (og Det Strategi-ske Forskningsråd, som ikke er omfattet at denne evaluering) med en reduktion fraseks til fem faglige råd. I Forsknings- og Innovationsstyrelsens database over an-søgninger og bevillinger (DocuLive-databasen) er alle forskningsprojekter fra 2001-2004 overført til den nuværende rådsstruktur. Dermed kan alle resultater i nærvæ-rende evaluering (2001-2004 inklusive) nedbrydes ift. den nuværende rådsstruktur.Desk research undersøgelseDesk research undersøgelsen har analyseret oplagene og beskrevet forskelle på tværsaf de faglige forskningsråd samt over tid. Undersøgelsen indeholder også en deskrip-tiv analyse af ansøgninger og bevillinger i perioden.I den første del af desk research-undersøgelsen blev samtlige opslag fra de fagligeforskningsråd i perioden 2001-2009 klassificeret og analyseret. Formålet har væretat beskrive, hvilke krav der findes i opslagene og beskrive forskelle på tværs af defaglige forskningsråd samt over tid. Datamaterialet omfatter samtlige opslag overperioden 2001-2009.I den anden del af desk research-undersøgelsen er der foretaget en deskriptiv analyseaf ansøgninger og bevillinger i samme periode. Til den deskriptive analyse blev FIsDocuLive-database, beriget med oplysninger fra CFAs udvidede ph.d. register, CPR-registret og Personalestyrelsens register, anvendt.
52
Evaluering af virkemidlet forskningsprojekter
SurveyundersøgelsenSurveyundersøgelsen afdækker både bevillingsmodtagere og afviste ansøgere og hartil formål at belyse begge gruppers oplevelse af opslagene og ansøgningsprocessensamt at undersøge betydningen af bevillingen for bevillingsmodtagerne. Undersøgel-sen er gennemført blandt alle hovedbevillingsmodtagere i perioden 2001-2008 (medgyldig adresse og cpr-nummer) og refererer til deres første bevilling til virkemidletforskningsprojekter.Undersøgelsen er ligeledes gennemført blandt en stikprøve afafviste ansøgere i perioden (hovedansøgere der ikke har modtaget nogen bevilling tilvirkemidlet forskningsprojekter i perioden). I alt besvarede 1005 forskere spørgeske-maet, 807 bevillingsmodtagere og 198 afviste ansøgere. Det giver en samlet besva-relsesprocent på 52,2 pct. for bevillingsmodtagere og 38,7 pct. for afviste ansøgere.Svarprocenterne blandt bevillingsmodtagere varierer fra 48 procent til 64 procent forde fem faglige hovedområder og fra 30 procent til 52 procent for afviste ansøgere. Re-sultaterne er ikke opvægtet til den samlede population.Survey-instrumenterne er udviklet i dialog med Forsknings- og Innovationsstyrelsenog retter sig mod nedenstående temaer:>>>>>>>>>>>Karakteristika af både bevilgede og afslåede forskningsprojekterPubliceringsadfærdAnsøgernes motivation for og oplevelse af at søgeRisikoprofilen for virkemidlet forskningsprojekterMålopfyldelse af projekterneUdbytte af bevillinger for deltagere og deres forskningsinstitutterBevillingernes effekter på nye samarbejdsrelationerBetydning af bevillinger for forskningsbaseret undervisningForskningsledelseAndre forskningsaktiviteterEffekter for de afviste ansøgere
Separate spørgeskemaer blev udviklet og anvendt for hhv. bevillingsmodtagere og afvi-ste ansøgere.Case-/interviewundersøgelsenCase-/interviewundersøgelsen udgør den kvalitative del af den samlede evaluering oghar til formål at supplere de øvrige delundersøgelser ved at give en nuanceret beskrivelseaf en række udvalgte forskningsprojekters udmøntning og anvendelse. Undersøgelses-feltet i case-/interviewundersøgelsen omfattede tyve forskningsprojekter. Ved, frem forsingle-case-studiet, strategisk at udvælge en række forskningsprojekter som cases, givesder mulighed for et komparativt design med henblik på at identificere de resultater, derer tilvejebragt gennem de forskellige forskningsrådsbevillinger. Der er gennemført tyveinterviews med hovedbevillingsmodtagere, der fordeler sig på følgende måde:> 7 bevillingsmodtagere på mindre forskningsprojekter (bevillinger på under 1 mio. kr).> 5 bevillingsmodtagere på mellemstore forskningsprojekter (bevillinger på 1-1,5 mio. kr).> 8 bevillingsmodtagere på større forskningsprojekter (bevillinger på over 1,5 mio. kr).Alle bevillingsmodtagere var udvalgt på baggrund af data fra DocuLive ogdernæst rekrutteret ved personlig henvendelse (først en orienterende mail; dereftertelefonopkald mhp. etablering af interviewaftale).
Forsknings- og Innovationsstyrelsen
53
Udover interviewene med udvalgte bevillingsmodtagere, er der også lavet interviewsmed ti tidligere eller nuværende rådsmedlemmer af de faglige forskningsråd med hen-blik på at afdække erfaringer og praksisser på området.Både de interviews, som gennemførtes i forbindelse med casestudierne af de udvalgteforskningsprojekter, og interviewene med de tidligere og nuværende rådsmedlemmerer baseret på semistrukturerede interviews. Alle interviews blev optaget, og lydfilerneefterfølgende transkriberet. Til analysen anvendtes analyseprogrammet NVivo til tema-tisk kodning of systematisering.Registerbaseret effektundersøgelseDen registerbaserede effektundersøgelse har haft til formål at evaluere individuelle ef-fekter af virkemidlet forskningsprojekter på basis af registeroplysninger om ansøgernei årene omkring deres ansøgning til forskningsrådene. Sammenfattende evaluerederapporten, om der er evidens for karriereprogression i form af løn- og stillingseffekterved bevillingsmodtagelse, altså individuelle effekter hos virkemiddelmodtagerne.Størrelsen af samplene, som anvendtes i analyserne af hhv. indkomst- og stillingsef-fekter, varierer ift. den enkelte analyse. Undersøgelsen består af tre delanalyser: sand-synlighed for bevillingsmodtagelse og effekterne af bevillingsmodtagelse på hhv. ind-komst og karriere progression for hovedbevillingsmodtagere.I analysen af de bestemmende karakteristika for bevillingsmodtagelse fra forsknings-rådene anvendtes en logistisk model, hvor en række faktorers påvirkning på sandsyn-ligheden for at modtage en bevilling estimeres. I samplet til denne delanalyse indgikalle de bevillingsmodtagere og afviste ansøgere i perioden 2001-2008, for hvem dereksisterer komplette registerdata, i alt 3.925 observationer.I den anden del analyseredes effekten på bevillingsmodtagernes egen indkomst i åreneefter bevillingsmodtagelsen. Effektmålet er ændringen i indkomst fra ansøgningstids-punkt til tre år efter. Bevillingsmodtagere blev matchet med afviste ansøgere ift. enrække baggrundskarakteristika, så analysesamplet omhandler to grupper, som er sam-menlignelige på så mange variable som muligt på nær bevillingssucces. Følgende bag-grundskarakteristika blev anvendt til at finde matchsamplet til indkomstanalysen: Er-faring som forsker (år siden erhvervelse af Ph.d.-grad), ansøgningsår, beløbsstørrelseaf ansøgningen, indkomstniveau på ansøgningstidspunkt og om ansøgeren modtog enbevilling i perioden før (1995-2000).I den sidste del analyseredes karriereprogressionseffekter hos bevillingsmodtagerne.Analysetilgangen er den samme som ved analysen af indkomsteffekter, men effekt-målene var i dette delanalyse stigninger i forskerstillingsniveau i tiden fra ansøgnings-tidspunktet til 2010 (eller senest tilgængelige år forud for 2010)19. To effektmål blevanvendt, stigning i stillingsniveau og at blive professor, hvor det analyseres om bevil-lingsmodtagelse giver en højere sandsynlighed for at opnå disse typer karriereeffekt.
19 Effektmålene har et fast måletidspunkt, som er uafhængig af ansøgningstidspunktet, bortset fra, at an-søgningen skal være mindst 3 år før tidspunktet for sidste stillingsoplysning. Denne tilgang er valgt i stedetfor et måletidspunkt, som afhænger af bevillingsmodtagelsestidspunkt (fx stillingen 3 år efter ansøgnings-tidspunkt) på grund af det omfattende valideringsarbejde af data vedrørende stillingskategorierne.54
Evaluering af virkemidlet forskningsprojekter
Følgende baggrundskarakteristika blev anvendt til at finde matchsamplet: Erfaring somforsker (år siden erhvervelse af Ph.d.-grad), ansøgningsår, beløbsstørrelse af ansøgnin-gen, fagområde, indkomstniveau på ansøgningstidspunkt og om ansøgeren modtog enbevilling i perioden før (1995-2000).Effekten af bevillingen findes ved at identificere effektforskellen mellem bevillings-modtagere og sammenlignelige afviste ansøgere. Til matchning af forskere med oguden bevillinger anvendtes Sandsynlighedsscore-metoden, Propensity Score Matching(PSM). I praksis matches med den nærmeste naboobservation (målt på propensityscore værdi) med tilbagelægning af ubehandlede observationer. Effekten af bevillingen(Average Treatment Effect of the Treated, ATT) er beregnet som ændringen i forskellenmellem de to grupper, når den ene får behandling. Standardafvigelser på effektmåletbootstrappes, da de normalt beregnede standardafvigelser ikke tager højde for match-ningprocessen, PSM.Som led i følsomhedsanalyserne og for at få yderligere indsigt i effektsammenhæn-gene, var alle delanalyserne blevet genestimeret igennem regressioner på de matchedeanalysesampler og med inddragelse af andre faktorer, som kunne tænkes generelt atpåvirke effektmålet for alle (behandlede såvel som ubehandlede), og som samtidigkunne tænkes at sløre behandlingens indvirkning på effektmålene.Bibliometrisk effektundersøgelseDen bibliometriske undersøgelse har haft til formål at afdække, om der er bibliometri-ske effekter ved at få tildelt midler til et forskningsprojekt fra Det Frie Forskningsråd.Effekterne omfatter publikationsaktiviteten (mængde og kvalitet), citationsomfanget(mængde og kvalitet) samt et mål for den samlede gennemslagskraft pr. ansøger.Udvælgelsen er sket blandt førstegangsansøgere i 2002-2004. Derved kunne publikati-onsaktiviteten både måles før og efter ansøgningsåret. Der blev udvalgt 104 bevillings-modtagere og 104 afslagsmodtagere, fordelt ligeligt på de fem forskningsråd. Der blevvalgt at åbne to 4-årige vinduer, hhv. et vindue op til året for den første ansøgning ommidler til et forskningsprojekt og et tilsvarende vindue fra to år efter ansøgningsåret.På basis af informationer om hver udvalgt ansøger er publikationer og citationer frahver ansøger blevet identificeret i Scopus-databasen.Der benyttedes 6 indikatorer på publikationsaktivitet: Antal publikationer; antal pub-likationer korrigeret for antal forfattere (fx ved 3 forfattere, tæller publikationen som1/3); antal publikationer korrigeret for tidsskriftets gennemslagskraft (målt vha. cita-tioner til hvert tidsskrift for en given periode); antal citationer; antal citationer pr. pub-likation; og ”Crown indicator” – antal citationer ift. fagområdets gennemsnit.Følgende baggrundskarakteristika blev anvendt til matchning af bevillingsmodtagereog afviste ansøgere: Fagområde, alder ved bevillingsmodtagelse, køn, stillingskategori,forskeruddannelse, ansættelse v/statslig forskningsinstitution, tidligere bevillinger,ansøgningsår samt udlandsrelation.
Forsknings- og Innovationsstyrelsen
55
English summary
Background and objectives for the evaluationThe Council for Independent Research (Det Frie Forskningsråd, DFF) supports re-search activities based on the researchers’ own initiatives and under free competition,with the goal of enhancing the quality and internationalization of Danish research. Akey instrument of the Council is grants towards research projects. In 2008, 680 millionDKK (91 million euros) were awarded to small and large research projects, account-ing for 61 percent of total grants for the Council in that year. Given the size and im-portance of this support, it is essential to have a better understanding of how well thisfunding activity functions and its impacts.The Danish Centre for Studies in Research and Research Policy (CFA) of Aarhus Uni-versity was commissioned by the Danish Agency for Science, Technology and Innova-tion (FI) to conduct an evaluation of DFF’s research project grants for the period 2001– 2009. This period includes the reform of the research councils in 2004, reducing thenumber of individual councils from six (de seks statslige råd) to the current five20, (es-tablishment of a common Board for the Council for Independent Research) and estab-lishing a separate Council for Strategic Research (Det Strategiske Forskningsråd).The mandate for this evaluation as specified by FI was the following:“The evaluation shall contribute with knowledge on the funding of re-search project, especially – to the degree possible - on the performance ofsmaller and larger research projects. The objective of this evaluation is tocreate a better basis for prioritizing and developing the research council’sinstruments and to create visibility on the results of what constitute a sig-nificant part of research council grants.Specifically, the evaluation should answer the following questions:> What requirements are specified in the calls for applications of individual researchcouncils in this period concerning research projects and what impact have theserequirements had on the use of project grants and their outcomes?> What specific research activities were funded within research projects for thevarious research councils?> What are the results of the funding?The evaluation shall thus assess the use and outcomes of funded researchprojects. In connection to this evaluation results should be broken downby the size of project grants ... (and) according to individual researchcouncils. “The primary focus in the evaluation has been on the first and last tasks. First and fore-most, the objective in the evaluation has been to investigate (and document) the broadrange of ways that research projects can have an impact. Second, the evaluation exam-ines the role of the application process, from the design of calls for applications to theassessment and awarding procedures, and how it may have an important influence on
20 The five individual research councils under DFF are: Natural Sciences (FNU), Medical Sciences(FSS), Technology and Production Sciences (FTP), Social Sciences (FSE) and Humanities (FKK).56
Evaluering af virkemidlet forskningsprojekter
the impact of this funding program, both through grant recipients and those that havebeen declined. The role of the application process becomes even more important inthe face of increased competition for funds and declining acceptance rates. Finally, weexamine the allocation of funds within projects by examining the researcher composi-tion of research projects, including Ph.d. and post-doctoral scholarships.Following the mandate, two dimensions are set in focus throughout the evaluation;differences across the five individual councils and the size of projects. The questionof whether the council should focus on small or larger projects in its funding activitieshas been the subject of extensive debate. Furthermore, there has been a strong trendthough out the period in question towards the funding of larger research projects. Thisemphasizes the importance of having better knowledge of how impacts differ for smalland large projects and what their respective strengths and weaknesses are.
Evaluation design and methodThis main report summarizes the results of the evaluation. As further set out in themandate, the evaluation includes five background studies:> Desk research concerning: how calls for applications have evolved over theperiod and differences across individual research councils; and the production ofdescriptive statistics for applications and grants.> Questionnaire survey of both grant recipients and rejected applicants> Interviews with both grant recipients and members of individual research councils> Quantitative analysis of the effect of project grants on career performance,measured both by income and academic position> Bibliometrical analysis of the effect of project grants on publication activityThe evaluation thus addresses the main questions from a variety of angles and with theuse of both qualitative and quantitative methods: a detailed mapping of the applicationprocess and developments in applications and the receipt of grants; collection of sys-tematic data on a wide range of potential impacts; qualitative interviews that provide amore in-depth view of the application process and outcomes; and quantitative analysisthat relies on matching and difference in difference approaches to measure the impactof project grants on research performance.
Results and conclusionsThis main report groups results in three categories, for the researchers themselves, forsurrounding research environments and for research outputs. Effects for researchersinclude career effects, competences, autonomy and recognition. Broader effects forresearch environments include research collaboration, benefits for research institu-tions, benefits for junior researchers and for research based education. Finally, researchoutput is measured both in terms of quantity and the quality of research production.A first task for the evaluation was to define what ‘small’ and ‘large’ projects are. Theindividual research councils use different methods to classify large and small projects,which complicates analysis of research projects for DFF as a whole. Throughout theevaluation, we classify research grants according to three size classes: under 1 millionDKK (134 thousand euros), 1 to 1.5 million DKK, and over 1.5 million (200 thousandeuros) DKK. It should be pointed out that grant amounts considered in this evaluationinclude administrative overhead. In addition, we consider the distribution of applica-
Forsknings- og Innovationsstyrelsen
57
tions and grants according to the composition of applicants: individual projects, pro-jects with more than one participant from the same department and collaborative pro-jects involving more than one department. For the whole period 2001-2008, 56 percentof project grants were under 1 million DKK, 19 percent between 1 and 1.5 million,and 25 percent over 1.5 million. However, as we note below, the distribution of grantsby size has shifted considerably over the period, towards larger grants. In terms of par-ticipants, 25 percent of funded projects during 2001-2008 were individual projects, 43percent included researchers from the same department and 32 percent were collabora-tive from different departments.A substantial share of granted projects (and for that matter, also rejected applica-tions) included one or several Post docs or PhD scholarships. Shares vary consider-ably across individual councils, from over 80 percent of grants within Technology andProduction Sciences to 15 percent within Natural Sciences. However, these differ-ences should be seen mainly as a reflection of different funding practices (where somecouncils may primarily award such scholarships separately) and do not provide a fullpicture of the funding of Post docs or PhD scholarships overall. There are a number ofimplications here. First, there may be important ‘second generation’ effects of projectgrants on young researchers. A number of interviewees have in fact mentioned thatgranted projects provided them with an opportunity to recruit promising young stu-dents for a research career and that the project provided them with valuable expertise.However, proper analysis of ‘second generation’ effects would require first hand studyof the Post docs and PhD students themselves. It is also clear that any analysis of therole of DFF funding in promoting young researchers would need to include both Postdocs and/or PhD scholarships funded on an individual basis and those included as anintegrated part of research project grants. Related to this, it would be very valuableto register data on PhD’s and Post docs in the databases on project applications andgrants.Examination of the developments in success rates for project applications shows thatsuccess rates have gradually declined over the period from 2001-2008 and fell consid-erably in 2009. Success rates for research project applications range from 28 percentin 2001 to 33 percent in 2004 and down to 22 percent in 2008 and 12 percent in 2009.The evaluation identifies a number of factors behind these declines. First, applicationshave increased at a greater pace than funding resources. Second, the data shows a cleartrend in funding towards the support of larger research projects, with the consequencethat a larger share of applications is rejected. Third, a maximum of 10 percent inter-nal co-financing requirement was introduced in 2009, which in practice has greatlyreduced the co-financing by universities and other research institutions. While thepurpose of this rule was to reduce the burden on university resources of co-fundingof council grants, it also has the consequence that a smaller number of projects canreceive grant funding. Finally, and related to the above, more stringent rules were im-plemented concerning when research councils provide only partial funding of projectsinstead of the full applied amount. Again, this acts to reduce the number of projectsthat can be funded.Interviews with council members reveal strong concern for the current low level ofsuccess rates, that an success rate around 10 percent is problematic for the functioningof the funding system, given both the time and resources devoted to applications andtheir importance for many researchers.
58
Evaluering af virkemidlet forskningsprojekter
When considering the effects of grant funding, it is also important to include impactsfor applicants that do not receive funding. For a large share of rejected applicants,application work led either to new project applications or grants (39 percent) or newcollaborations with other researchers (32 percent). At the other end, 21 percent statedthat the rejection had a significant negative impact on their research career and for 11percent it was an important factor in their leaving research completely. Taking the lowsuccess rates into account, these results emphasize the value of making both the appli-cation and subsequent rejection process as useful as possible for applicants.Around half of the rejected projects were conducted with the use of alternative financ-ing, either in full or reduced form. Of these, about 1 in 4 relied solely on internal fund-ing while the rest were at least partially financed with external funds.Effects of grants for the researchers themselves were in general very positive. A num-ber of interviewees attributed very significant importance to receiving project grants,both for their career and their research. The grants were often given credit for makingsubsequent research projects possible, for establishing contacts with other researchersor groups, and for career advancement. Quantitative analysis also supports this. Wefind that grant recipients have a greater probability for career advancement than reject-ed applicants with similar background characteristics. For example, grant recipientsare 13 percent more likely to achieve a position as professor than rejected applicants.Additional aspects that were emphasized by interviewees were that grants providedboth autonomy to choose and structure as they deemed best and the necessary time andresources to focus in-depth on their research. Both aspects were argued by interviewedgrant recipients to have an important impact on the quality of their research.Recognition was also pointed out as a benefit of project grants by interviewees. Whileprestige and recognition has a value in itself for the individual researcher, it also hasimportant influence on future research opportunities, both for securing additionalfunding and collaborations with top researchers.Evaluation results indicate that new knowledge created within granted research pro-jects is channeled not just into new research results, but also into researchers’ teachingactivities. Over two thirds of surveyed grant recipients stated that their research projecthad an influence on the content of their teaching and a similar share felt that the pro-ject had improved their competences as a teacher. Impact was highest for teaching atthe masters and PhD level, and lower at the bachelors level.The bibliometrical analysis compared publication activity for grant recipients and re-jected applicants. The two groups were matched according to a range of backgroundcharacteristics (scientific field, age, gender, academic position, type of workplace,ex-ante (pre-2001) receipt of grants, and year of application, and research experience)and were compared according to changes in publication activity before and after grantapplication (difference in difference). Measures of number of articles, journal impactand citations were considered. In all cases, the increases in publications were largerfor grant recipients, though differences were only found to be significant for numberof articles weighted by number of authors (i.e. 3 authors – article counts as 1/3) andweighted by journal impact.
Forsknings- og Innovationsstyrelsen
59
A key focus of this evaluation is a comparison of the benefits of funding small versuslarge projects. This question is particularly relevant given the strong trend towards thefunding of larger and larger projects. In 2001, 65 percent of all project grants wereunder 1 million DKK (134 thousand euros), with 19 percent greater than 1.5 million(200 thousand euros). By 2009, the share of small projects had decreased from 65 per-cent to 16 percent, and the share of projects over 1.5 million DKK had increased from19 percent to 70 percent21. Knowledge on the relative benefits and effects of small andlarge projects can thus be used to assess this trend and whether there are any negativeconsequences of a shift away from the funding of smaller projects.The list below summarizes main results of the evaluation in comparing the benefitsof small and large project grants. One qualitative aspect that is worth highlighting isthat virtually all interviewees stressed the importance for their subsequent careers, andhence also the quality of their research, of simply having been awarded a project grantof any size from DFF. In addition, survey results from the estimation of total projectpublications produced rather striking results; the average number of peer-reviewed ar-ticles per million DKK granted was found to be substantially higher for small (under 1million DKK) projects, more than double that for large projects in 4 of the 5 councils.Though, it should also be noted that it is likely more difficult to accurately account forall publications for larger projects, which may lead to their underestimation.> Small projects often cited as ‘kick-starting’ research careers, leading to largerprojects and important research results.> Interviewees cite substantial career effects of DFF grant of any size for lessestablished researchers.> Large projects – potential for second generation effects for young researchers.> Small and large projects given equal importance by interviewees in establishingcollaborative relationships with other researchers.> Both small and large projects increase the probability of career progression.Probability slightly higher for large projects, suggesting the effects of leadershipand fundraising of a large project.> Number peer-reviewed articles per million kr. found (based on survey data) to besubstantially larger for projects under 1 million DKK.Are the results found in this evaluation unique to project funding by DFF or are theymore indicative of general funding effects? This is not really a question that is dealtwith directly in this evaluation, though some information was obtained from inter-views comparing the effects of funds from DFF with other funding agencies. To someextent, many of the effects found in this evaluation can be considered as reflecting theimportance of research funding in general and not DFF in particular. However, oneaspect that is specific to DFF funding and was also emphasized both in the survey andinterviews, was the freedom to design research projects on their own terms and ac-cording to what the researchers themselves believed to be best.
21 Overhead rates have increased for universities, from 20 percent in 2007 to 35 percent in 2008 and to44 percent in 2009. While this may have had some influence on the increase in grant amounts in the latteryears of the period, the overall trend towards larger project grants is still present after taking account ofchanges in overhead.60
Evaluering af virkemidlet forskningsprojekter
Forsknings- og Innovationsstyrelsen
61
