Uddannelses- og Forskningsudvalget 2014-15 (1. samling)
FIV Alm.del
Offentligt
1500700_0001.png
Åu
AARHUS
UNIVERSITY
BUSI
I".]ESS
AND SOCIAL
SCI EI..ICE$
DEPAR
MEF]T
OF POLITICAL SCIENCE AND GOVERNMFNT
Forskningspolitisk
kontor
Sty'relsen
for
Forskning
og
Innovation
Bredgade
4o
rz6o
København
K
Att.:
Kontorchef Johnny
K. Mogensen
Bemærkninger
til
Dr.phil
et
scient
Peder Olesen
Larsens
brev
til
Uddannel-
ses- og
forskningsminister
Sofie
Carsten Nielsen,
dateret
19.
januar
zor5
::ti::
På
foranledning
af
Forskningspolitisk kontor
fremsendes hermed bemærkninger
J;
::'J'Ji,'.
l,
n
"
ovennævnte brev relateret
til
evalueringen
af
Det Frie
Forskningsrådi
zot4.
til
Poricv
Niers
Mejrsoord
Dansk Center
for
Forskningsanalyse
er et
forskningsmiljø
ved
Institut for
Statskund-
Dote: 28
Jonuorv
2015
skab, School
of
Business
and
Social
Sciences
ved
Aarhus
Universitet.
Centret
er
in-
ternationalt
anerkendt
for
sin
forskning
inden
for
det
forsknings-, innovations-
og
vi-
t.'l;
+45 82r 658e5
deregående
uddannelsespolitiske område. Udover
forskningsaktiviteterne
varetager
3Jå!l
centret
evaluerings-
og
analyseopgaver
for offentlige myndigheder.
Igennem
de
sene-
r'lobile
Tel
:
+45
2o2eoo42
ste
år har centret leveret
studier
og
rådgir,'ning
til
rekvirenter
både i
udlandet
(herun-
::;"11:åt;jå:"tJ
.-
der OECD, EU,
NSF,
Riksdagen
i
Sverige,
Universitets-
og
høgskolerådet
i
Norge
og
Web:
cu dklen'lnm@cro
Norges
Forskningsråd)
og
i
Danmark (herunder
Social-
og
Integrationsministeriet,
sender's cVR
no:3r IIer03
DanskMagisterforening,
Danmarks
Forsknings-
og
Innovationspolitiske
Råd,
Ud-
dannelses-
og
Forskningsministeriet
og
særligt Styrelsen
for Forskning
og
Innovati-
centre
Director
on).
Centret har
en særdeles
selektiv tilgang
til
mpdighedsrettede
opgaver. Det er
altid
en
forudsætning
for
centrets
involvering,
at
opgaven
er
tæt
relateret
til
centrets
forsk-
ningsmæssige
kernekompetencer
og
profil,
at opgaven
kan
løses
forskningsbaseret
under
iagttagelse
af
almindelige
faglige procedurer
for kvalitetssikring,
og
at opgaven
stimulerer forskningsaktiviteten
ved centret,
f.eks.
ved
at
generere data, der kan an-
vendes
til
videnskabelig
analyse
og
publicering.
Centrets
tilgang
til
myndighedsrettede opgaver indebærer, at
centret
påtager
sig
et
almindeligt
ansvar
for,
at
kvaliteten
af
frembragte afrapporteringer
er
upåklagelig
og
i
overensstemmelse med feltets standarder,
herunder
at
studiets metoder,
forudsæt-
ninger
og
forbehold
er
tydeligt
formidlet. Dertil
påtager
centret
sig et
udvidet
ansvar
for
at
rådgive
rekvirenten
om,
hvilke konklusioner
og
policy-implikationer,
der
kan
uddrages
af
studiet,
herunder
tydeligt
at påpege
begrænsninger
i
udsigelseskraft
og
relevans.
Pose 1/9
Donish
Centre for
Studies
in
Reseorch
ond
Reseorch
Policy
Aorhus
University
Bortholins
A116
7
DK-8000 Aorhus
C
Denmork
Tel.:
+45 87165238
Fox:
+45 87164341
E-moil: [email protected]
http://ps.ou.dk/en
 PDF to HTML - Convert PDF files to HTML files
1500700_0002.png
f V
Å
AARHL.IS
uNrvERSrrY
BUSINFSS
ÅND SOCIAL
SCIET.iCES
TJFTARTMENT
OF POLiTICAL SCIENCE
AND
GOVERNIYFNT
Poge
2/9
Peder Olesen Larsens
brev
vedrører
evalueringen af Det Frie
Forskningsråd.
Evalue
ringen blev gennemført
af et
internationalt
panel
under
ledelse
af
Generalsekretær
for Volkswagenstiftung
Dr.
Wilhelm Krull.
Dansk Center
for
Forskningsanalyse
lev-
erede,
i
samarbejde med The Centre
for
Science and
Technology Studies (CWTS) ved
Universitetet
i
Leiden,
til
brug for
panelets arbejde
rapporten'Analyses
of
the
schol-
arly
and
scientific output
from
grants funded by
the
Danish Council
for Independent
Research
from
zoo5 to
zoo8'.
Rapporten baserer
sig
primært
på
bibliometriske
ana-
lyser men fremlægger
også
resultater
af
survey-
og
interviewbaseret dataindsamling.
Baggrundsstudiet blev
rekvireret
af
Uddannelses-
og
Forskningsministeriet
til
brug
for
Evalueringspanelet. For den
pågældende opgave
gjorde det sig
således gældende,
at
Ministeriet var
den
formelle rekvirent
mens Evalueringspanelet
var
den
intendere-
de
bruger
af
rapporten.
Opgaven er
i
alle henseender
i
overensstemmelse med centrets
tilgang
til
myndig-
hedsrettede
aktiviteter.
Opgavens
faglige
indhold
er
klart
inden
for
centrets
eksperti-
sefelt, arbejdet
er
udført i henhold
til
de
videnskabelige standarder
for feltet
og
opga-
ven
frembringer
ny
viden
og
data, der kan
anvendes
i
centrets
selvstændige
forsk-
ningsprogram.
Centrets ansvar
for kvalitet
i
afrapporteringen
er
i
allerhøjeste
grad
iagttaget,
og
studiets begrænsninger
er
beskrevet
detaljeret
i
rapporten.
Endelig
er
centrets udvidede ansvar
for
at rådgive
rekvirenten
(og
i
det
pågældende
tilfælde
den
intenderede
bruger)
om
fortolkning
af
resultater
og
deres
implikationer
blevet behø-
rigt
tilgodeset.
I
vedlagte
bilag
responderer
vi
på de
enkelte
kritikpunkter,
der fremføres
i
Peder
Ole-
sen Larsens
brev,
idet
vi
alene
forholder
os
til
de
kritikpunkter,
der
vedrører
Dansk
Center
for
Forskningsanalyses arbejde.
I
relation
til
Peder Olesen Larsens
primære
anfægtelse,
nemlig
citationsdatabasernes
ringe
dækning
af
humanistisk
og
sam-
fundsvidenskabelig
forskningsproduktion,
skal det
dog
allerede her bemærkes,
at
denne
problematik
er
fyldigt
dokumenteret
i
rapporten
og
diskuteret grundigt
på
møde
mellem rapportens hovedforfattere
og
Evalueringspanelet.
Peder Olesen
Lar-
sens
observation
er
ikke
uvæsentlig, men
dog
triviel
for
den
bibliometriske forskning
og
for forskningsevaluering,
der
inddrager
scientometriske
metoder.
Den
ringe
dæk-
ningsgrad
for humaniora
og
samfundsvidenskab betyder,
at
bibliometriske
analyser
ikke
bør
stå alene
i
evalueringssammenhæng.
I
den kontekst
bør
det
ligeledes
her
bemærkes,
at
centrets
rapport var
6t
element
i
det
samlede
dokumentationsgrundlag,
som Evalueringspanelet
baserede
sin evaluering
på.
Panelets
øxrige
dokumentati-
onsmateriale,
herunder
skriftlige
dokumenter
og
interviews gennemført
af
panelet
selv,
fremgår
af
Evalueringspanelets
rapport 'Evaluation
of
the
Danish Council
for
Independent
Research
-
Report
of
the
Evaluation
Panel'.
 PDF to HTML - Convert PDF files to HTML files
1500700_0003.png
^/v
ÅARHUS
UNIVERSITY
BUSINESS
AND
SOCIAL
SCIENCES
DEPARTMENT
OF POLITICAL SCIENCE
AND
GOVERNMENT
Medvenlig
hilsen,
Poge3/9
 PDF to HTML - Convert PDF files to HTML files
1500700_0004.png
v
AARHUS
UNIVERSITY
BUSiNF.9S
AND SOCIAL
SCIENCES
DEPARTMENT
OF
POLIT'ICAL
SCIENCE AND
GOVERNITlENT
Bilag:
Uddybende
kommentarer
til
de af
Peder
Olesen
Larsen
fremsatte
kritikpunkter
I
dette
bilag forholder
vi
os
mere uddybende
til
de
fremsatte
(POL)
Pose4/e
kritikpunkter
af den
bib-
liometriske
analyse
leveret
i rapporten
'Analyses of
the scholarly and
scientific
output
from
grants
funded
by
the
Danish Council
for
Independent
Research
from
2oo5
to
2oo8'
(DFF
rapporten)
.
Vi
adresserer
kun
de
forhold i
POL's
brev, der er
rettet mod
denne
rapport.
POL's
overordnede
kritik
er
rettet
mod
inkluderingen
af
humanisti-
ske,
samfundsvidenskabelige
og
til
dels
tekniske videnskabsområder
i
den
bibliome-
triske
analyse.
Det primære opdrag
til
den
bibliometriske
analyse
var
at
undersøge
citationsgennem-
slagskraften
af
tidsskriftsartikler
som
kunne
forbindes
med
en
DFF
bevilling
givet
i
perioden
2oo5
til
zoo8. Alle
fem
råd (FNU,
FSS,
FTP, FSE og
FKK)
skulle
inkluderes,
og
så
mange
tidsskriftsartikler
som
muligt
skulle
identificeres
i
den
internationale ci-
tationsdatabase Web of
Science.
De
velkendte
problemer,
dels
med
forskellig publice-
ringsadfærd
imellem
hovedområderne,
og dels
forskellige
dækningsgrader
af
tids-
skrifter
og
publikationstyper
i
citationsdatabaserne, bevirkede
at
en sekundær
publi-
kationsanalyse
også
blev foretaget.
På
baggrund
af
indrapporteringer
til
den danske
bibliometriske forskningsindikator fra zoog
til
zorz,
blev
også
tidskriftspublicerings-
adfærden
for
DFF
bevillingsmodtagerene undersøgt. Der er
altså
tale om to
typer
af
analyser:
r)
hvor
meget
tidskriftsartiklerne
er
blevet
citeret,
og
z)
omfanget
af
niveau
r
og
niveau
z
tidskriftspublicering
ifølge
den danske
bibliometriske forskningsindika-
tor.
Der
er
tale om to
forskellige
datasæt
med
et
vist overlap:
r) artikler
publiceret
i
internationale
tidsskrifter
indekseret
i
citationsdatabasen Web of
Science, og
z)
artik-
ler
i
tidsskrifter
inkluderet
i
den
danske
bibliometriske forskningsindikator.
De
bibliometriske
analyser
fungerer
som
dokumentation
for
6n
publiceringsaktivitet:
tidsskriftspublicering.
Det er evident,
at
resultaternes generelle
betydning
for
de
en-
kelte
områder
(og
dermed
råd)
skal
sættes
i
forhold
til
aktivitetens
omfang
og
dens
betydning for
den
videnskabelige
kommunikation indenfor
disse
områder.
Dette
for-
behold
er
særdeles
grundigt dokumenteret
i
rapporten,
specielt
i forbindelse
med
ci-
tationsanalyserne,
f.eks.
fra
side 56
til64,
herunder
specielt tabel 4.3 (side
Sg),
figu-
rerne
4.1 og
4.2,
side 69-74,
herunder
specielt
figur
4.9,
og
naturligvis i resultatafsnit-
tene,
konklusionen
(specielt side
86-9r hvor
den
manglende robusthed
for
FKK
pub-
likationerne
også
fremhæves)
og
resumeet.
Af
de samme årsager
er FKK
publikatio-
nerne
heller ikke underkastet
samme
komparative
analyser
som
publikationerne
fra
de
andre råd.
Det skal
dog
understreges,
at
uanset den
skønnede
værdi
af
resultaterne
set
i
forhold
til
rådenes
samlede
virke,
så
er
de
beregnede
indikatorer for
gennemslagskraft
og
den
dokumenterede
tidskriftspubliceringsadfærd valide
og
sammenlignelig,
dels
med den
internationale citeringsaktivitet indenfor
lignede områder,
og
dels den
generelle
tids-
skriftspubliceringsadfærd i forbindelse
med den
danske
bibliometriske
indikator.
 PDF to HTML - Convert PDF files to HTML files
1500700_0005.png
^/u
ååil,?l,,,
BUSIII.JTSS
AND SOCIAL
SCIENCES
DEPÅRTMENT
OI
POLiTiCAL
SCIEINCE
AND GOVERNI.IENi
Poge
5/9
Specifikke
kritifu
unkter
POL
side
z:
I forbindelse
med præsentation
af den
anvendte citationsdatabase
i
rapporten
påpeger POL at:
r)
"technical
sciences"
ikke
nærmes
som en
del
af
basen,
og
z)
at
det
ikke
er
nærmt at alle
tidsskrifter
er
engelsksprogede.
Svar
på
r:
POL henviser sandsynligvis
til
side
46
i
rapporten.
Det
er
korrekt,
at
vi
ikke eksplicit
nærrner
"technical
sciences",
sandsynligvis
fordi vi
har
tænkt
det som
værende
implicit
omfattet
af
"sciences".
De
tre områder
der
nærmes
"the
sciences,
the
social
sciences, and
the
arts and
humanities"
referer
til
de
tre citationsindekser
som
indgår
i
analyserne:
Science
Citation Index
(SCI),
Social Science
Citation Index
(SSCI)
og
Arts
&
Humanities Citation Index (A&HCI).
Tidskrifter
indenfor
de
tekni-
ske
videnskaber er
dækket
i
SCI.
Svar
på
z:
POLs
påstand om, at
alle
tidskrifter i
citationsdatabasen er engelskspro-
gede er
ikke helt korrekt.
Langt størstedelen
af
tidskrifterne
er
engelsksprogede, men
ikke
alle, det næststørste sprog
er
tysk.
POL
side z-3:
POL
påpeger
igen,
at
rapporten
ikke angiver,
at
citationsdatabasen
kun omfatter
engelsksprogede
artikler
og
forsætter med
et længere
oversat
citat
fra
rapporten omkring
de
generelt
lave
dækningsgrader
i
citationsdatabasen
indenfor
specielt
humaniora,
men
også dele af
samfundsvidenskaberne
og
konkluderer
at"fd]enne indledning
viser
først
og
fremmest,
at
der er store
problemer
ved
at
gen-
nemføre
den krævede
bibliometriske
analyse".
Svar:
Som nærmt
ovenfor
omfatter
databasen
ikke "udelukkende"
engelsksprogede
artikler,
men mere relevant, POL
synes
at
overse, at
de
bibliometriske
analyser
fak-
tisk
både
omfatter
citationsanalyser
og
publikationsanalyser
som
næ\,Tlt
i indlednin-
gen
til
dette
bilag,
og
at
publikationsanalyserne
er et
supplement/alternativ
til
citati-
onsanalyserne netop
på
grund
af
citationsdatabasens
problemer
med hensyn
til
dæk-
ningsgrader. Det er
dog
klart,
at
publikationsanalysen ikke
opvejer
for
det
faktum,
at
publiceringsadfærden
indenfor humaniora,
en
hel del
af
samfundsvidenskaberne
og
dele af
de
tekniske videnskaber
er
anerledes
end
de
traditionelle
tidsskriftsområder
de
natur-
og
medicinske videnskaber
-
hvilket
fremgår
tydeligt
i
rapporten.
 PDF to HTML - Convert PDF files to HTML files
1500700_0006.png
^/*
AARHUS
UNIVERSITY
BUSINTSS
AND SOCIAL
SC
NCES
DEPARTMENT
OF POLITICAL
SCIEi.]CE
AND
GOVERNMENT
POL side 3: I
et
oversat
citat fra
en
tidligere rapport
omhandlende
bibliometriske
analyser
af
tidsskriftspublikationer
tilknyttet
bevillinger fra
Danmarks
Grundforsk-
ningsfond
(forkert
dateret
af POL
til
januar
2o1S
-
rapporten udkom i
december
zor3),
også
forfattet
af CFA, nævnes
de
mest
"almindelige" publikationstyper
i citati-
onsdatabasen
og
hvilke
af disse som er
inddraget
i
de
bibliometriske
analyser,
og
det
fremhæves
af
forfatterne,
at
de
fravalgte
publikationstyper
i
almindelighed ikke inde-
holdervæsentlige
videnskabelige
bidrag.
POL antager
korrekt,
at
samme
fremgangs-
måde er anvendt
i
DFF
rapporten
(det
nævnes på side
+Z
i
DFF
rapporten),
men på-
peger
samtidig,
at
ovenstående
konstatering omkring
væsentlige
publikationstyper er
forkert
fordi
"'conference proceedings'
er den
fremherskende
publikationsform
in-
denfor
de
tekniske videnskaber
og
datalogi".
POL
fortsætter: "[s]elv
om
Thompson
Reuter
tilbyder
adgang
til
en database
om Conference Proceedings, er Conference
Proceedings
ikke
nær,'nt
eller omfattet
af den
bibliometriske
analyse ...".
Svar:
Det
er
korrekt,
at
konferenceartikler ikke
er
inkluderet
i
DFF analyserne,
hvil-
ket fremgår
tydeligt
af
rapporten.
Det er
også
korrekt,
at
konferenceartikler
er den
primære videnskabelige
kommunikationsform i
dele af
de
tekniske videnskaber
(ikke
nødvendigvis alle)
og
specielt
for
datalogi,
hvilket fremgår
endog meget
tydeligt
på
side 6o
i
DFF
rapporten, hvor
også
konsekvenserne
af at
udelukke
konferenceartik-
lerne
er påpeget.
Det er
også
korrekt,
at
Web of
Science
citationsdatabasen
indehol-
der
to
delindekser
som
omfatter
konferencesamlinger
publiceret fra zoo8
og
fremef-
ter.
Det
er desværre sådan,
at den nuværende
kvalitet
(og
dækningsgrad)
af disse
in-
dekser
indebærer,
at de
endnu
ikke
egner sig
til
valide
og
kvalitetssikrede citations-
analyser.
Derfor
er
de
ikke inkluderet
i
CWTS'berigede udgave
af
Web of
Science
som
er anvendt i
begge
analyser
og
danner
grundlaget for
CWTS' Leiden
Ranking
(r,r'wr.t'.leidenranking.ccm).
Til
gengæld
er det
også
korrekt,
når
vi
påpeger, at
forsk-
ningsartikler, oversigtsartikler
og
til
dels
letters
er
de
primære publikationstyper når
det
kommer
til
de dele af
citationsdatabasen der
omhandler
tidskrifter:
SCI, SSCI og
A&HCI.
Kun
disse
tre citationsindekser indgår
i
DFF analysen,
såvel som
analysen
af
Danmarks
Grundforskningsfond. Andre
tidskriftspubliceringsformer
spiller
næsten
ingen
rolle i
formidlingen
af
de
primære
forskningsresultater.
POL side 3:
POL
peger på, at
nogle "Centres of Excellence"
(CoE)
blev
fravalS i
ana-
lysen
af
Danmarks
Grundforskningsfond
på
grund
af deres
ringe dækningsgrad
i
Web
of
Science
og
slmes at
antyde,
at samme
fremgangsmåde skulle
være
foretaget
i
DFF
analysen.
Pose
6/e
Svar:
Opdraget tilsagde
at lave
analyser på alle fem råd, men det er
også
værd
at
be-
mærke,
at de
enkelte
CoEs
har
en
langt
større emnespecialisering,
f.eks.
datalogi eller
arbejdsmarkedsforhold,
som
muliggjorde
en
klar
afgørelse
i forhold
til
dækningsgra-
der
og
mulig
eksklusion. Dette er ikke nødvendigvis
tilfældet for
de
enkelte
forsk-
ningsråd
(analyseenheden)
som
generelt
er
langt
mere heterogene
i
deres
emnesam-
mensætning. Et råd som
FTP, som
i
princippet
dækker
de
tekniske videnskaber,
dækker mange emneområder,
og
har
en
ikke
ubetydelig
tidsskriftsproduktion.
I
DFF
analysen
er
der
identificeret
henved
11oo
artikler
i Web of
Science
for
den
undersøgte
periode.
 PDF to HTML - Convert PDF files to HTML files
1500700_0007.png
/*
å*il,'-',,,,
BIJSINF,SS
AND SOCIAL
SCIENCES
DEPARTMENT
OF POLI'IICAL 5CIEI..]CI AND
GOVERNMENT
PogeT/9
POL side 3:
Citationsanalyserne
i
DFF
rapporten
er
gennemført med
udgangspunkt
i
såkaldt
"heltælling"
af
publikationer
(full
counting).
POL
påpeger,
at
rapporten ikke
nævner "at
den
valgte tællemetode
favoriserer
små
lande med
stort
internationalt
samarbejde".
POL
fortsætter: "[s]om
begrundelse
for
at
bruge
whole counting
er an-
givet,
at
analysen
er
på
forskellige
aggregationsniveauer, men det har
ikke
noget med
tællemetoden
at gøre.
Derimod fortæller
det
indirekte,
at
en
artikels citationer kan
godskrives
to
af
de
fem
forskningsråd".
Svar:
Fremgangsmåder i
forbindelse
med
publikationstællinger indenfor
scientome-
trien
er
omdiskuteret.
Overordnet er der to fremgangsmåder,
"heltælling"
(full
coun-
ting)
og
"fraktioneret tælling" (fractional counting).
POL
har
i
en
række
artikler
selv
bidraget
til
debatten
og
argumenteret
for
anvendelsen
af
fraktioneret tælling.
POL's
konklusioner retter
sig
mod
landekomparationer.
Jesper
W.
Schneider har
også
bi-
draget
til
debatten,
og
dokumentret empirisk
de
forskelle
heltælling
og
fraktioneret
tælling
har
på
relative citationsindikatorer
ved
landekomparationer.
Disse
forhold
er
velkendte. Det er
dog
vigtigt
at påpege, at
der
ikke
er
konsensus
i
forskningslitteratu-
ren
omkring
6n
foretrukken
fremgangsmåde. Flere påpeger,
at
de
to
metoder
reelt
måler forskellige
forhold:
"bidrag" (heltælling)
og
"samarbejde"
(fraktioneret tælling).
Der
er gode
argumenter
både
for
og
imod
begge
tællemåder
og
oftest er det
den
kon-
krete
situation
der er afgørende
for
om
den ene
eller
anden eller
begge
bør
vælges.
Begrundelsen
for
valg
af
heltælling
i
DFF analysen
er
primært
hensynet
til
overskue-
lighed,
fordi
analyserne foretages
på
baggrund
af
forskellige
analyseenheder
og
på
forskellige
niveauer, eksempelvis
Danmark,
DFF,
de
enkelte
forskningsråd
og
emne-
områder.
POL påpeger, at
dette
forhold ikke
har noget med tællemetoden
at
gØre,
hvilket
vi
dog
ikke
er
helt
enige
i.
Hensynet
til
ensartethed
og en
forholdsvis ligefrem
fortolkning
af
publikationsvolumen
har vægtet
højest
i
den pågældende analyse.
Der-
til
kommer,
at
en
fremgangsmåde med
fraktioneret tælling
på
landeniveau (der er
andre måder
at
fraktionere
på,
eksempelvis
institutions-
og
forfatterniveauer)
vil, alt
andet lige,
kunne
påvirke
internationalt
orienterede emneområders gennemslags-
kraft
i
nedadgående
retning,
med andre ord, det omvendte
argument
af POL's.
Der
kan med andre
ord
argumenteres i
begge
retninger.
Men den mest indlysende
grund
til,
at
vi
ikke
nærner at "den valgte tællemetode
favoriserer
små
lande med
stort
in-
ternationalt
samarbejde" er det
faktum,
at
vi ikke
foretager
landekomparationer
i
analysen. Der sammenlignes udelukkende med andre
danske
benchmark
enheder
herunder
CoEs.
Det er
derfor
svært
at
se,
at
heltælling
skulle
være et stØrre
problem
i
DFF analysen.
Det
væsentligste hensyn man skal
have
in
mente ved anvendelse
af
heltælling
er,
at
indikatorværdierne
generelt
er
lidt
højere
end
ved
fraktioneret tæl-
ling.
Dette
er
der taget højde
for
i
fortolkningen
af
resultaterne. En
sidste
bemærk-
ning omkring publikationstælling
er,
at selvom
fraktioneret tælling måtte "favorisere"
små
lande
som
Danmark,
så
er
betydningen marginal. Danmark
er
blandt
de
S
-
6
højst performende lande
når
det
kommer
til
citationsgennemslagskraft
målt
på
Web
of
Science databasen
uanset om man vælger
heltælling
eller
fraktioneret tælling.
 PDF to HTML - Convert PDF files to HTML files
1500700_0008.png
^/u
ååffH1,,,
BU$INTSS
AND SOCIÅL
SCIEI..]CES
DEPARTMEI.]T
OF POLITICAL
SC
I..]CF
AND
GOVERNMENT
POL side
4:
POL nævner at
"[d]et
angives,
at citationsanalysen
er
baseret
pA
6g6S
unikke
tidsskriftsartikler
helt
eller delvist baseret
phto4zbevillinger.
49% af
pnbli-
kationerne
er
kn1'ttet
til
bevillinger
til
FNU,
3ooÅ
til
FSS, 16%
til
FTP,
40Å
til
FSE og
r%
til
FKK. Summen
af
procentsatserne er
rooo/o.
Det
rimer
ikke,
da
det
angives,
at
del
af
artiklerne
kan godskrives flere
forskningsråd,
tælles
den
to
gange.
Det
sande
antal
artikler,
som
danner grundlag
for
den
bibliometriske
analyse,
er
9946."
Svar:
Som
det
fremgår
flere steder
i
rapporten, blandt
andet
af
figur
3.r,
tabellerne
4.13
og
4.t4,
så.
indgår
der 6963
unikke
tidsskriftspublikationer i
den overordnede
ci-
tationsanalyse
af
DFF.
På
grund
af
heltælling
stiger
antallet
af
publikationer
på
råds-
og
bevillingsniveau
fordi
nogle
publikationer
kan krediteres
til
flere
bevillinger
og/eller forskningsråd.
Dertil
kommer,
at
postdoc-bevillingerne fra zoo6
skulle ana-
lyseres
både særskilt
og
samlet med
de
andre DFF
publikationer.
Dette betyder, at
det
samlede
publikationstal
stiger.
De
ovenfor
nærmte
procenttal
er
baseret
på
tabellerne
4.7
og
4.r4
og
inkluderer
alle
5
forskningsråd
plus
postdoc-bevillingerne, totalen
er
Trrt
ogdet
vil
sige, at
der er
r48 dubletter
(tabel 4.r3 viser
publikationstallene for rå-
dene
uden
postdoc-bevillingerne).
Det
er
klart,
at
den
relative
fordeling
af
artiklerne
er
en anelse
misvisende
fordi
z"/o
af disse er
dubletter.
Det er
dog
konsekvensen
af
valget
af
fuldtælling
og
har reelt ingen
betydning.
POL's
problemer
med
procenttalle-
ne
kan
slcyldes
en
formulering
på side
r57
i konklusionen,
der kunne
være
formuleret
mere
præcis
med hensl'n
til
totalen.
Det er
dog en
klar
misforståelse
når
POL
anfører
at
"
[d]et
sande
antal
artikler,
som
danner grundlag
for
den
bibliometriske
analyse,
er
3946".Som
det
blandet
andet
fremgår
af
figur
3.r,
så
dækker
tallet
3946 over
de
tids-
kriftsartikler
som
er
identificeret
i
databasen
tilknlttet til
den danske
bibliometriske
forskningsindikator.
Disse
artikler
omfatter
både
engelsk-
og
ikke
engelsksprogede
tidsskrifter
og
indgår i rappbrten
som en
selvstændig
publikationsanalyse
uafhængig
af
citationsanalyserne baseret
på de
6963
unikke
Web of
Science
artikler
(og
dublet-
terne).
Disse
misforståelser blev
påpeget
og
forklaret overfor
POL
ved mødet med Je-
sper
W.
Schneider den rz.
januar
zor5.
POL side 4:POLpåpeger,
at
det
lave
antal
tidsskriftspublikationer
for FKK (cirka
roo)
og
det
faktum,
at
der
ikke
er
tale om
en
repræsentativ stikprøve
betyder
at
be-
dømmelsen
af
FKK ikke giver
mening
(denne
holdning
gælder
antageligvis
også
for
FSE).
Pose
8/e
rapporten
og
diskuteret
grundigt
med Evalueringspanelet.
De
bibliometriske
analysers
formål
er
at
dokumentere,
mens
selve
bedømmelsen
er
panelets arbejde. Men det ændrer
ikke
på
det
fahum,
at
de
artikler,
der
rent faktisk
er
undersøgt,
har
en
gennemslagskraft
og
denne
er
sam-
menlignelig
med
tilsvarende
artikler i
databasen.
Svar:
Som
anført
ovenfor er
de
forbehold
nærryrt
i
POL side 5:
POL
skriver
at
"[d]e
dele af den
bibliometriske
analyse,
der
omfatter ak-
tiviteterne under
FKK, er
ikke
det
papir
værd
de
er skrevet på."
Og
forstsætter:
"[d]er
er meget stor
tvivl
om
konklusionerne
vedrørende
aktiviteterne under
FSE".
 PDF to HTML - Convert PDF files to HTML files
1500700_0009.png
^/w
ååil'N','*
BUSI}'JESS
AND SOCIAL
$CIENCES
DEP,ARTMFI.]f
OF POLITICAL SCIFNCE
AND
GOVERNMENT
Svar:
De
fem råds
forskellige former for afrapportering
af
forskningsresultater
er
grundigt
beskrevet
på side 56
til
65,
herunder
specielt
tabellerne
4.rtil4.g
og
figur
4.2. Her
fremgår tydeligt
størrelsen
af rådenes
tidsskriftspubliceringsaktivitet.
De
ef-
terfølgende
bibliometriske
analyser
af
de
identificerede
tidskriftsartikler
er
valide
men har
en række
begrænsninger
i forhold
til
at
kunne udsige noget om analyseen-
heden som helhed
i
de
tilfælde
hvor
tidsskriftspublicering ikke
er en
hovedaktivitet
i
forbindelse
med
den
videnskabelige
kommunikation.
Dette er
grundigt fremlagt
i
rapporten
og
diskuteret
med Evalueringspanelet.
Poqee/e