FOU, Alm.del - 2015-16 - Bilag 150: Kampflyforligsnotater, fra forsvarsministeren

Forsvarsudvalget 2015-16
FOU Alm.del Bilag 150
Offentligt

26. maj 2016

NOTAT 55: ANALYSEMETODE FOR TYPEVALGSGRUNDLAGET

Spørgsmål

Dette notat besvarer følgende spørgsmål jf. seneste møde i forsvarsforligskredsen:

”

Der bedes redegjort for analysemetoden for de kvalitative dele af typevalgsevalueringerne,

herunder anvendelsen og sammensætningen af ekspertpaneler

.”

Grundlag

Notatet beror på typevalgsgrundlagets evalueringsmodeller samt på Delphi-metoden, som er

en internationalt anerkendt model udviklet af konsulentfirmaet RAND.

Sagsfremstilling

Anvendelse af ekspertpaneler i typevalgsgrundlaget

På baggrund af tidligere evalueringsprocesser blev der i 2010 af eksterne konsulenter udar-

bejdet en rapport, hvori en række anbefalinger til typevalgsprocessen af nyt kampfly blev

identificeret. Heraf fremgår det, at de kvalitative karakterbedømmelser inden for hvert eva-

lueringsområde bør foretages af et panel af fageksperter. Det anbefales i rapporten, at pa-

nelerne med fordel kan anvende afstemning som metode til individuel karaktergivning sup-

pleret med drøftelser, der skal resultere i, at panelet i konsensus foretager en samlet karak-

tergivning eller rangering.

Bl.a. på baggrund heraf er anvendelse af ekspertpaneler valgt som primær metode til fast-

læggelse af kvalitative karakterer og rangeringer inden for typevalgsgrundlagets militærfag-

lige, strategiske og industrielle evalueringsområder. I den økonomiske evaluering har der

ikke været anvendt ekspertpaneler, hvilket skyldes evalueringsområdets kvantitative karak-

ter.

Delphi-metoden

Delphi-metoden er udviklet af RAND i 1950erne med henblik at kunne foretage vurderinger

og træffe kvalificerede beslutninger på områder med stor kompleksitet og usikkerhed, og

hvor der ikke kan fremanalyseres eller udregnes et objektivt og entydigt korrekt svar.

Delphi-metoden anvender et udvalgt panel af eksperter til at behandle et emne gennem en

kontrolleret proces. Hver paneldeltager rangordner eller afgiver karakterer individuelt med

en tilhørende begrundelse for karakteren eller rangordningen. Efterfølgende samles og

fremlægges resultaterne og vurderingerne i plenum. Herefter får de enkelte paneldeltagere,

på baggrund af de samlede argumenter og vurderinger, mulighed for at revidere deres vur-

deringer.

Processen er iterativt tilrettelagt med henblik på at give mulighed for, at deltagernes eksper-

tise og erfaring indgår i det samlede panels overvejelser og anbefalinger. Der gennemføres

iterationer, indtil der er opnået størst mulig grad af konsensus. Delphi-metoden bidrager til

at sikre, at argumentationen bag det endelige resultat er velbegrundet og sporbar, samt at

FOU, Alm.del - 2015-16 - Bilag 150: Kampflyforligsnotater, fra forsvarsministeren

udveksling af argumenter mellem eksperter undervejs gør det muligt for enkeltpersoner at

kvalificere deres holdninger til den belyste problemstilling.

Ekspertpanelernes sammensætning

Ekspertpanelerne har været forskelligt sammensat ud fra det specifikke evalueringsområde

og det pågældende emne, der er blevet behandlet. Generelt har fokus i panelsammensæt-

ningen været rettet mod faglig viden og ekspertise inden for det område, der skal behand-

les, således at karaktergivning og rangering er blevet foretaget på baggrund af ekspertvi-

den.

Forløbet af alle ekspertpaneler er grundigt dokumenteret, herunder gennem anvendelse af

lyd eller videooptagelser. Ligeledes har den eksterne kvalitetssikring deltaget som observa-

tører i alle paneler, der har involveret rangordning af kandidater og størstedelen af de øvri-

ge paneler. Oplæggene til ekspertpanelerne, herunder bl.a. panelerne sammensætning

samt dokumentation af stemmeafgivelser, sporbarhed af argumentation m.v. er efterfølgen-

de gennemgået af den eksterne kvalitetssikring.

I forbindelse med den militære evaluering har der været nedsat syv Delphi-paneler med

deltagelse af 40 eksperter fra Forsvarsministeriet, Værnsfælles Forsvarskommando, For-

svarsministeriets Materiel- og Indkøbsstyrelse og Fighter Wing Skrydstrup. Eksperterne var

bl.a. udvalgt på baggrund af deres indgående kendskab til og erfaringer med anvendelsen

og indsættelsen af kampfly, indkøb og vedligeholdelse af forsvarsmateriel samt internatio-

nalt samarbejde om kampfly. Eksperterne har bl.a. haft til formål at rangere kampflykandi-

daterne inden for overlevelsesevne og missionseffektivitet, fremtidssikring samt vurdere de

kvalitative risici ved hver kandidat med henblik på at sikre en struktureret, systematisk og

objektiv evaluering og rangering af kampflykandidaterne.

Inden for det strategiske evalueringsområde har der været nedsat tre forskellige ekspertpa-

neler. Panelerne havde deltagelse af 35 eksperter fra Udenrigsministeriet, Forsvarsministeri-

et, Værnfælles Forsvarskommando, Forsvarsministeriets Materiel- og Indkøbsstyrelse, den

danske delegation ved NATO, Københavns Universitet, Dansk Institut for Internationale Stu-

dier, Forsvarsakademiet og Flyvevåbnets Officersskole. Eksperterne blev udvalgt på bag-

grund af deres ekspertise, erfaring og viden om forsvars- og sikkerhedspolitiske forhold,

internationale organisationer (FN, NATO og EU), militærstrategiske forhold, internationale

operationer med kampfly, styrkeproduktion i kampflystrukturen samt uddannelses- og mate-

rielsamarbejde. I forbindelse med den strategiske evaluering blev Delphi-paneler anvendt til

at definere og fastlægge de strategiske kriterier og målepunkter, som kampflykandidaterne

skulle evalueres ud fra. Et Delphi-panel blev efterfølgende nedsat til at foretage den endeli-

ge vurdering og rangering af kandidaterne.

I den industrielle evaluering blev der anvendt to ekspertpaneler. Panelerne bestod af 13

eksperter fra Udenrigsministeriet, Forsvarsministeriet, Erhvervs- og Vækstministeriet, Er-

hvervsstyrelsen og Forsvarsministeriets Materiel- og Indkøbsstyrelse. Eksperterne var bl.a.

udvalgt på baggrund af deres erfaring og viden om forsvars- og sikkerhedspolitik, anskaffel-

ser af forsvarsmateriel og de relevante teknologiområder samt industri- og virksomheds-

samarbejde. Et ekspertpanel blev nedsat til indledningsvist at analysere og vurdere ud fra

en række fastsatte kriterier, om kandidaternes forslag til industrisamarbejdsinitiativer lå in-

den for rammerne af gældende lovgivning, hvortil der vil kunne stilles krav om industrisam-

arbejde. Efterfølgende blev et andet Delphi-panel nedsat, som havde til opgave at vurdere

SIDE 2/3

FOU, Alm.del - 2015-16 - Bilag 150: Kampflyforligsnotater, fra forsvarsministeren

og rangere kampflykandidaternes samlede pakker af industrisamarbejdsinitiativer i forhold til

deres understøttelse af væsentlige danske sikkerhedsinteresser.

Navnene på deltagerne i Delphi-panelerne er tidligere fremsendt til forligskredsen.

SIDE 3/3