UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Forsvarsudvalget 2015-16, Det Udenrigspolitiske Nævn 2015-16
FOU Alm.del Bilag 119, UPN Alm.del Bilag 226
Offentligt

Forsvarsministeriet

Nyt Kampfly Program

Ekstern kvalitetssikring

af beslutningsgrundlaget

for typevalg af Danmarks

kommende kampfly

22. maj 2015

Rapport

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Indholdsfortegnelse

Vurdering

Formål og tilgang

Beslutningsgrundlaget og dets tilblivelse

Strategiske forhold

Militære forhold

Økonomiske forhold

Industrielle forhold

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

1. Vurdering

I marts 2010 blev forsvarets kampflyanskaffelse stillet i bero med henvisning

til, at de eksisterende F-16-kampfly kunne anvendes længere end tidligere

forventet.

Med indgåelsen af Aftale på forsvarsområdet 2013-2017 blev partierne bag

aftalen enige om, at genoptage anskaffelsesprocessen med henblik på at

træffe beslutning om typevalg medio 2015. Det fremgår blandt andet af afta-

len, at typevalget alene danner grundlag for, at der kan indledes forhandlin-

ger med den valgte kandidat om en efterfølgende anskaffelse.

På den baggrund blev typevalgsprocessen genoptaget i marts 2013. Der blev

i den sammenhæng oprettet en programorganisation under Forsvarsministe-

riet

–

Nyt Kampflyprogram

–

til at forberede grundlaget for et typevalg og en

efterfølgende kontrahering og implementering. Programmet fik til opgave at

vurdere de kampflykandidater, der indgår i typevalgsprocessen, på fire ikke-

vægtede beslutningsfaktorer: strategiske, militærfaglige, økonomiske og in-

dustrielle forhold.

Med henblik på at sikre gyldighed, fuldstændighed, aktualitet og konsistens i

programmets evalueringer og analyser af kampflykandidaterne blev det end-

videre besluttet, at programmets processer og produkter skulle udsættes for

en uafhængig og uvildig kvalitetssikring.

Denne vurdering sammenfatter den eksterne kvalitetssikring af kampflypro-

grammets rapport vedrørende typevalg:

Typevalg af Danmarks kommende

kampfly

–

evaluering af Eurofighter, Joint Strike Fighter og Super Hornet

dateret 28. april 2015. Vurderingen er også sammenfattende for de evalue-

ringer og analyser, som rapporten hviler på.

Baggrund og opdrag

Forsvarsministeriet bad efter udbud i december 2013 Deloitte i samarbejde

med RAND Europe og bistået af QinetiQ og Vorderman Consultancy om at

forestå den eksterne kvalitetssikring af beslutningsgrundlaget for et typevalg

vedrørende nyt kampfly.

Kvalitetssikringsarbejdet har pågået siden, og vi har undervejs udtalt os om

kvaliteten af kampflyprogrammets evaluerings- og analysestrategier, informa-

tionsanmodningen til kandidaterne, de udarbejdede evalueringer og analyser

samt afslutningsvist den fremlagte rapport

Typevalg af Danmarks kommende

kampfly.

Som led i denne proces er vi, hvor relevant, kommet med konkrete

anbefalinger til forbedring af kampflyprogrammets evalueringer og analyser

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

med det formål at sikre, at kampflyprogrammets produkter lever op til kvali-

tetssikringskriterierne omtalt neden for.

Med udgangspunkt i forudsætningerne for programmets arbejde har vi lagt til

grund for den eksterne kvalitetssikring, at kampflyprogrammet har skullet

udarbejde et beslutningsgrundlag egnet til at understøtte en politisk beslut-

ning om et typevalg. Dermed har vi også lagt til grund, at kampflyprogram-

mets analyser og evalueringer af de tre kandidater skulle sikre den størst

mulige grad af sammenlignelighed og tilgodese væsentlige hensyn om lige-

behandling af kandidaterne.

Konkret er vores vurderinger af kampflyprogrammets produkter og det

samlede beslutningsgrundlag forankret i fem kvalitetskriterier:

1. Gyldigheden af de anvendte metoder, processer, analyser og informatio-

ner, og om disse er gennemskuelige og sporbare og underbygger de

konklusioner, der drages.

2. Fuldstændigheden af de anvendte metoder, processer, analyser og in-

formationer, i forhold til om dybden og bredden af disse er dækkende og

står i forhold til de konklusioner, der er draget.

3. Konsistensen af de anvendte metoder, processer og analyser, og om

disse indbyrdes er logisk sammenhængende og sikrer kandidaterne lige-

behandling.

4. Aktualiteten af beslutningsgrundlaget, og om det i alt væsentligt er base-

ret på tilgængelige informationer, der er relevante på det tidspunkt, hvor

beslutningen om typevalg forventes at blive taget.

5. Præsentationen af beslutningsgrundlaget, og om formidlingen af meto-

der, processer og analyser er forståelig og gengiver bagvedliggende do-

kumentation loyalt.

De løbende vurderinger af kampflyprogrammets produkter udgør grundlaget

for denne uafhængige udtalelse om det samlede beslutningsgrundlags kvali-

tet. Desuden har den trinvise proces, den tidlige involvering af ekstern kvali-

tetssikring og det systematiske samspil mellem kampflyprogrammet og den

eksterne kvalitetssikring gjort det muligt løbende at bidrage til forbedringer af

kampflyprogrammets produkter.

Beslutningsgrundlaget

Det samlede grundlag for kampflyprogrammets rapport

Typevalg af Dan-

marks kommende kampfly

udgøres af et omfattende kompleks af 190 doku-

menter og i alt cirka 5.000 sider. Hertil kommer kandidaternes svar på kamp-

flyprogrammets informationsanmodninger, resultater fra økonomisimuleringer

og databaser. Beslutningsgrundlaget i sin helhed har været genstand for den

eksterne kvalitetssikrings gennemgang.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Den fremlagte rapport gengiver i sammenfattet form resultaterne af fire

uafhængige evalueringer, indenfor hvilke de tre kandidater er rangordnet. Det

er i overensstemmelse med kommissoriet for kampflyprogrammets arbejde,

og enhver afvejning mellem de fire beslutningsfaktorer er derfor overladt til

den videre beslutningsproces.

Vi finder, at kampflyprogrammet med beslutningsgrundlaget for et typevalg

har anlagt et højt analytisk ambitionsniveau og tilvejebragt et omfattende

informationsgrundlag, der blandt andet består af ganske detaljerede informa-

tioner afgivet af kandidaterne. Vi finder beslutningsgrundlaget og de gennem-

førte analyser for omfattende og detaljerede og egnede til at underbygge et

typevalg. Det følger af anskaffelsesprocessens tilrettelæggelse, at større

præcision i vurderingen af den enkelte kandidat forventeligt først vil kunne

opnås gennem forpligtende forhandlingsdialog med den foretrukne kandidat.

Det foreliggende beslutningsgrundlag

–

og særligt opgørelsen af de forven-

tede levetidsomkostninger

–

tager afsæt i et opgavekompleks svarende til

den eksisterende F-16 struktur. Det sikrer blandt andet at et typevalg foreta-

ges på et ens grundlag for kandidaterne. Vi konstaterer, at kampflyprogram-

mets model for beregning af flyvetimebehov, stelbehov, levetidsomkostninger

og andre nøgletal også kan anvendes til beregninger i forhold til en given

økonomiske ramme, et givet antal stel eller et givet opgavekompleks.

Væsentlige forhold vedrørende anskaffelsen som finansiering, transition fra

F-16 til et nyt kampfly og hensynene vedrørende optimal forhandlingsposition

har ikke været omfattet af denne kvalitetssikring.

I det følgende præsenteres resultaterne af vores kvalitetssikring af de fire

beslutningsfaktorer.

Evaluering af strategiske forhold

Evalueringen af strategiske forhold rangordner de tre kandidater på baggrund

af en række strategiske og sikkerhedspolitiske kriterier, der alle tager afsæt i

den forventede sammensætning af brugernationer for hver kandidat. Evalue-

ringen er gennemført med inddragelse af et tværministerielt ekspertpanel.

Evalueringen er ikke baseret på informationer afgivet af kandidaterne, men

på nyere NATO-forsvarsplanlægningsdokumenter, landepolicies og officielle

dokumenter samt informationer tilvejebragt via danske repræsentationer.

Informationsindhentningen er sket i forbindelse med evalueringsprocessen,

og vi anser derfor grundlaget for at være så aktuelt, som det er muligt, henset

til de generelle usikkerheder, der knytter sig til den sikkerhedspolitiske udvik-

ling.

Vi finder, at evalueringen afspejler danske sikkerheds- og forsvarspolitiske

interesser og målsætninger, og at de politisk-strategiske og militærstrategiske

evalueringskriterier derfor er fuldstændige og gyldige.

De gennemførte kandidatspecifikke analyser følger kriterierne og har involve-

ret et tværministerielt ekspertpanel, der har rangordnet kandidaterne. Vi fin-

der tilgangen gyldig, ligesom detaljerede begrundelser, analyse af robusthe-

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

den i ekspertpanelets stemmeafgivelser og systematisk analyse af strategisk

usikkerhed bidrager til evalueringsresultaternes gyldighed og konsistens.

Endvidere har sammensætningen af ekspertpanelet ikke givet os anledning

til at anfægte panelets uafhængighed.

Samlet set hviler evalueringen af strategiske forhold på et analytisk stærkt

fundament og har en klar og entydig konklusion.

Evaluering af militære forhold

Evalueringen af militære forhold rangerordner kandidaterne i forhold til

kriterierne missionseffektivitet, overlevelsesevne, fremtidssikring og risici.

Kampflyprogrammets evalueringer af hver af disse faktorer er ganske omfat-

tende og er udarbejdet med inddragelse af flere ekspertpaneler.

Bedømmelsen af kandidaternes missionseffektivitet og overlevelsesevne har

fulgt en stringent og systematisk evalueringsstrategi med involvering af mili-

tære eksperter. Processen og bedømmelserne er dokumenteret, så begrun-

delser er sporbare og transparente. Det samme gælder betydningen af in-

formation fra andre kilder såsom flyvning i simulator og evalueringsflyvning.

Evalueringens fuldstændighed tilskrives anvendelsen af seks missionsscena-

rier, der er repræsentative for konfliktspektret, og dybden af de gennemførte

analyser af missionseffektivitets- og overlevelsesevnekæder.

Bedømmelsen af fremtidssikring følger på gyldig vis den valgte evaluerings-

strategi og de valgte vurderingskriterier. Ekspertpanelets bedømmelser er

transparente og gyldige og baseret på et fuldstændigt informationsgrundlag

og en konsistent anvendelse af forudsætninger. Vi konstaterer, at bedøm-

melsen af Eurofighter og Super Hornet de to fly imellem er følsom overfor

marginale ændringer i ekspertpanelets stemmeafgivelse.

Bedømmelsen af risici finder vi gyldig og konsistent. Endvidere bidrager de

tiltag til risikoidentifikation, som kampflyprogramemt har gennemført, til eva-

lueringens fuldstændighed. Bedømmelsen af kandidaternes risikoprofil er

todelt, hvor den ene del

–

de ikke-økonomiske risici

–

er formidlet i evaluerin-

gen af militære forhold, mens den anden del vedrørende de økonomiske risici

er formidlet i evalueringen af økonomiske forhold. Et samlet overblik over

kandidaternes risiko indebærer derfor en sammenstilling af de to evaluerin-

ger. Den eksterne kvalitetssikring vurderer, at kampflyprogrammet har fulgt

evalueringsmodellen i forbindelse med karaktergivning for ikke-kvantificerede

risici, og at ekspertpanelets processer vedrørende risikokaraktergivning er

forløbet i henhold til evalueringsmodellen. Den eksterne kvalitetssikring vur-

derer endelig, at resultatet af afstemningerne er gyldigt og konsistent.

Rangordningen af kandidaterne sker på baggrund af ekspertpanelernes

systematiske vurdering af kandidaterne. Vi finder panelernes vurderinger og

argumenter sporbare til bagvedliggende analyser og gyldige i forhold til de

valgte metoder og de anvendte informationer. Evalueringen er gennemført i

overensstemmelse med den valgte evalueringsstrategi, og vi konstaterer, at

kampflyprogrammet har opnået en høj grad af fuldstændighed i informations-

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

grundlaget. Endvidere har sammensætningen af ekspertpanelerne ikke givet

os anledning til at anfægte panelernes uafhængighed.

Vi finder, at der er lagt vægt på at behandle kandidaterne lige, blandt andet

ved at tilvejebringe et konsistent informationsgrundlag til brug for analyserne

og til brug for ekspertpanelernes bedømmelse af kandidaterne. Analyserne

hviler på både informationer fra kandidaterne og informationer indhentet un-

der flyvning i simulator og evalueringsflyvning, brugerinterview samt informa-

tion fra andre kilder. Vi finder anvendelse af information konsistent og konsta-

terer blandt andet, at panelernes bedømmelser af kandidaterne overvejende

er forankret i informationer fra kandidaterne. Vi finder desuden de anvendte

informationer aktuelle.

Den eksterne kvalitetssikring finder på baggrund af ovenstående samlet set,

at rangordningen af kandidaterne i den militærfaglige evaluering er under-

bygget og gyldig. Udfaldet af bedømmelsen er ganske entydig, herunder

særligt i forhold til kandidaternes evne til at løse opgaver i hele konfliktspek-

tret.

Evaluering af økonomiske forhold

Den økonomiske evaluering rangordner kandidaterne i forhold til de forven-

tede levetidsomkostninger og inddrager således omkostninger forbundet med

anskaffelse, drift og risici. Desuden behandler evalueringen forhold relateret

til usikkerhed og følsomhed.

Evalueringen består af to dele: evalueringen af kandidaternes levetidsom-

kostninger over en periode på 30 år og de analyser af operativ og logistisk

struktur, der udgør grundlaget for evaluering af de økonomiske konsekvenser

forbundet med dimensioneringen af kandidaternes strukturer.

Vores kvalitetssikring af strukturanalyserne og af evalueringen af økonomiske

forhold er blandt andet baseret på en nøje gennemgang af seks temaer, der

er udvalgt, fordi de har betydelig indvirkning på dimensioneringen af den

operative og logistiske struktur og dermed på levetidsomkostningerne.

Strukturanalyserne fremstår gyldige, fuldstændige og konsistente, ligesom vi

vurderer, at de er baseret på aktuelle informationer fra både kandidaterne og

andre kilder. Strukturanalyserne er et væsentligt bidrag til evalueringen af

økonomiske forhold, fordi de analyserer kandidaternes operative og logisti-

ske koncepter og omsætter disse til en dansk kontekst.

Evalueringen af økonomiske forhold har fulgt den valgte evalueringsstrategi.

Der er gennemført en rækkevis tilpasninger af omkostningsmodellen til resul-

taterne af strukturanalyserne. Vi anser disse ændringer som forbedringer,

afledt af kandidatspecifikke forhold eller gennemført med henblik på at sikre

ligebehandling.

Omkostningsmodellen, hvori dimensionerings- og levetidsomkostningsbe-

regninger er foretaget af kampflyprogrammet, er baseret på informationer

direkte fra kandidaterne, andre kilder samt omkostnings- og dimensione-

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

ringsvariable fra struktur- og risikoanalyserne. Vi finder, at anvendelsen af

data og beregninger i omkostningsmodellen er gyldig og foretaget konse-

kvent. Vi finder også, at sammenhængene mellem strukturanalyserne og

omkostningsanalyserne er håndteret konsistent og er formidlet, så de analy-

tiske sammenhænge bag beregningerne af kandidaternes levetidsomkost-

ninger er forståelige. Omkostningsmodellen er omfattende og inddrager alle

omkostnings- og dimensioneringsvariable med relevans for anskaffelse, drift

og risici.

Kampflyprogrammet har gennem tilgængelige kilder søgt at validere informa-

tioner fra kandidaterne. Disse valideringstiltag har bidraget til fuldstændighed

i fastlæggelsen af usikkerhedsintervallerne for særligt omkostningsdrivende

variable, herunder for eksempel pris per flystel, drifts- og vedligeholdelses-

omkostninger og forbrug af brændstof per flyvetime. De har endvidere bidra-

get til udarbejdelsen af en gyldig følsomhedsanalyse, der blandt andet be-

handler stellevetid, årlig produktion af flyvetimer og ændringer i forholdet

mellem simulator- og liveflyvetimer. Følsomhedsanalysen giver efter vores

vurdering et fuldstændigt billede af, hvordan ændringer i centrale antagelser

vil påvirke den økonomiske evaluering. Af hensyn til ligebehandling af kandi-

daterne er kandidaterne evalueret i forhold til en fast opgaveportefølje. Vi

konstaterer i den sammenhæng, at omkostningsmodellen også kan beregne

konsekvenser ved ændringer i opgaveporteføljen.

Vi finder, at den økonomiske evaluering er baseret på et aktuelt datagrund-

lag, idet det bemærkes, at datagrundlaget over tid kan blive uaktuelt, alt af-

hængigt af hvornår der træffes beslutning om typevalg. Evalueringen er vel-

struktureret og beskriver kort metoder og datakilder samt præsenterer de

vigtigste omkostningsfaktorer. Det giver en logisk forståelse af metoder og

datakilder, processen for beregning af levetidsomkostninger og den efterføl-

gende rangordning af kandidaternes levetidsomkostninger. Vi vurderer, at det

økonomiske grundlag for et typevalg er gyldigt og konsistent udtrykt i nutids-

værdi.

Vi konstaterer, at væsentlige risikoomkostninger er behandlet i omkost-

ningsmodellen. Vi finder, at de identificerede økonomiske risici er vurderet

konsekvent og fuldstændigt henset til de informationer, kampflyprogrammet

har fra kandidaterne eller selv har indhentet. Vi konstaterer også, at de for-

ventede økonomiske omkostninger, der er forbundet med disse risici, ikke

har betydning for rangordningen af kandidaterne i den økonomiske evalue-

ring.

Den eksterne kvalitetssikrings vurdering af evalueringen af økonomiske

forhold er udarbejdet af RAND Europe, da Deloitte har bistået kampflypro-

grammet med udviklingen af den anvendte model til beregning af levetids-

omkostninger.

Evaluering af industrielle forhold

Den industrielle evaluering rangordner kandidaterne efter, i hvilken udstræk-

ning producenternes tilbudte initiativer til industrisamarbejde tilgodeser væ-

sentlige sikkerhedspolitiske hensyn, der er operationaliseret i en række krite-

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

rier. Evalueringen er udarbejdet med inddragelse af et tværministerielt ek-

spertpanel.

Vi finder, at kampflyprogrammet har udviklet og anvendt en evalueringsmo-

del, der tager højde for, at der er indført nye retningslinjer, efter hvilke krav

om industrisamarbejde skal begrundes i hensynet til væsentlige nationale

sikkerhedsinteresser. Som følge heraf har hensyn til beskæftigelse, er-

hvervsudvikling og innovation ikke kunnet indgå i evalueringen. Videre finder

vi, at kampflyprogrammet har udarbejdet en evalueringsstrategi, hvor kandi-

daternes foreslåede initiativer til industrisamarbejde kan evalueres og sam-

menlignes på samme grundlag. Dermed har evalueringen håndteret det for-

hold, at kandidaterne er underlagt forskellige vilkår for industrisamarbejde.

Evalueringen af kandidaternes forslag til industrisamarbejde er gennemført

struktureret og systematisk samt på baggrund af en grundig, systematisk og

trinvis proces, hvor et tværministerielt ekspertpanel har bedømt kandidaterne

efter eksplicitte kriterier. Vi anser evalueringen som gyldig. Endvidere har

sammensætningen af ekspertpanelet ikke givet os anledning til at anfægte

panelets uafhængighed.

Evalueringen fremhæver en række usikkerheder, og vi har kunnet konstate-

re, at eksperterne i deres bedømmelse af kandidaterne har inddraget disse

usikkerheder. Flere af usikkerhederne kan henføres til vilkårene for industri-

samarbejde, der er forskellige for kandidaterne. For Super Hornet og Euro-

fighter gælder de administrative retningslinjer om industrisamarbejde, efter

hvilke den valgte leverandør kan pålægges krav om industrisamarbejde. For

Joint Strike Fighter gælder det såkaldte best value-princip, efter hvilket dan-

ske virksomheder skal konkurrere med virksomheder i andre partnerlande

om ethvert initiativ. Vi finder, at kampflyprogrammet på konsistent vis har

håndteret forskellene mellem kandidaterne og muliggjort sammenligning af

kandidaternes initiativer. Samtidig finder vi, som det også er omtalt i evalue-

ringen, at det i fortolkningen af evalueringsresultatet er vigtigt at anerkende

usikkerhedernes mulige indvirkning på den faktiske afvikling af industrisam-

arbejdet efter kontraktindgåelsen. Det er således den eksterne kvalitetssik-

rings vurdering, at omfanget af industrisamarbejde vil være særligt usikkert,

hvis Joint Strike Fighter vælges.

Konklusion

Kampflyprogrammets beslutningsgrundlag, der er sammenfattet i rapporten

Typevalg af Danmarks kommende kampfly,

tilvejebringer efter den eksterne

kvalitetssikrings vurdering et gyldigt, fuldstændigt, konsistent, aktuelt og vel-

formidlet grundlag for en politisk beslutning om et typevalg af Danmarks

kommende kampfly.

Vi finder på denne baggrund beslutningsgrundlaget egnet til en politisk be-

slutning om typevalg i forbindelse med et nyt dansk kampfly.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

22. maj 2015

Partner Thomas Riisom

Deloitte

Partner Gustav Jeppesen

Deloitte

President Hans Pung

RAND Europe

Partner Morten Egelund

Deloitte

Research Lead Dan Jenkins

RAND Europe

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Formål og tilgang

I marts 2010 blev forsvarets kampflyanskaffelse stillet i bero med henvisning

til, at de eksisterende F-16-kampfly kunne anvendes længere end tidligere

forventet.

Med indgåelsen af Aftale på forsvarsområdet 2013-2017 blev forligspartierne

enige om, at der skal træffes beslutning vedrørende typevalg for et ny kamp-

fly medio 2015, og at der til det formål skal tilvejebringes det bedst mulige

grundlag for en sådan beslutning.

Som følge heraf blev typevalgsprocessen genopstartet i marts 2013. I den

sammenhæng blev oprettet en programorganisation under Forsvarsministeri-

–

Nyt kampflyprogram

–

til at forberede typevalget.

Med henblik på at sikre analysernes gyldighed, fuldstændighed, aktualitet og

konsistens blev det besluttet, at udsætte programmets processer og produk-

ter for en uafhængig og uvildig ekstern kvalitetssikring. Denne rapport om-

handler alene kvalitetssikringen af beslutningsgrundlaget for et typevalg.

Kampflyprogrammet og anskaffelsesprocessen

Med genoptagelsen blev der indledt en omfattende replanlægning og

revitalisering af kampflyprogrammet, blandt andet baseret på erfaringerne

forud for berostillelsen. Der blev således etableret en helt ny programorgani-

sation forankret i Forsvarsministeriets departement, der blev anlagt en ambi-

tiøs og stringent programstyring, ligesom flere analysemetoder og analyse-

værktøjer er blevet opdateret.

Kampflyprogrammets proces frem mod beslutningsgrundlaget for et typevalg

har været tilrettelagt i fem faser som illustreret nedenfor, hvor produkterne fra

fase 1, 2, 4 og 5 har været forelagt den eksterne kvalitetssikring til vurdering,

inden den efterfølgende fase er påbegyndt.

Fase 1

Udvikling af

evaluerings-

strategier og

modelkompleks

Kvalitets-

sikring

Fase 2

Formulering af

informations-

anmodning

Fase 3

Informationsind-

hentning fra

kandidater og

kilder

Fase 4

Udarbejdelse af

analyser og

evalueringer

Fase 5

Udarbejdelse af

beslutnings-

grundlag

Vi finder, at denne trinvise proces og det systematiske samspil med den

eksterne kvalitetssikring har været nyttigt og har gjort det muligt for os løben-

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

de at kunne bidrage til at øge kvaliteten af kampflyprogrammets produkter og

minimere fejl og uklarheder.

Beslutningsgrundlaget og dets formål

Rammerne for kampflyprogrammets udarbejdelse af beslutningsgrundlaget

for et typevalg udgøres blandt andet af forsvarsforliget 2013-2017. Det har

været lagt til grund for kampflyprogrammets arbejde, at beslutningsgrundla-

get for et typevalg skulle evaluere kandidaterne i forhold til fire beslutnings-

faktorer: strategiske forhold, militære forhold, økonomiske forhold og industri-

elle forhold. Kampflyprogrammets analyse- og evalueringsarbejde har været

tilrettelagt i overensstemmelse hermed og ligeså kvalitetssikringsarbejdet.

Det er lagt til grund for den eksterne kvalitetssikring, at kampflyprogrammet

har skullet udarbejde et beslutningsgrundlag egnet til at understøtte en poli-

tisk beslutning om et typevalg. Dermed har vi også lagt til grund, at kampfly-

programmets analyser og evalueringer af de tre kandidater kan tilgodese

væsentlige hensyn til ligebehandling og den størst mulige grad af sammen-

lignelighed.

Det følger af anskaffelsesprocessens tilrettelæggelse at større præcision i

vurderingen af den enkelte kandidat forventeligt først vil kunne opnås gen-

nem forpligtende forhandlingsdialog med den foretrukne kandidat. Det fore-

liggende beslutningsgrundlag

–

og særligt opgørelsen af de forventede leve-

tidsomkostninger

–

tager afsæt i et opgavekompleks svarende til den eksiste-

rende F-16 struktur. Det sikre blandt andet at et typevalg foretages på et ens

grundlag for kandidater. Vi konstaterer, at kampflyprogrammets model for

beregning af flyvetimebehov, stelbehov, levetidsomkostninger og andre nøg-

letal også kan anvendes til beregninger i forhold til en given økonomiske

ramme, et givet antal stel eller et givet opgavekompleks.

Væsentlige forhold vedrørende anskaffelsen som finansiering, transition fra

F-16 til et nyt kampfly og hensynene vedrørende optimal forhandlingsposition

har ikke været omfattet af denne kvalitetssikring.

Beslutningsgrundlaget, der er dateret 28. april 2015, sammenfatter analyse-

og evalueringsresultater fra et samlet kompleks af 190 selvstændige doku-

menter omfattende i alt cirka 5.000 sider. Hertil kommer kandidaternes svar

på kampflyprogrammets informationsanmodninger, resultater fra økonomisi-

muleringer og databaser. Den eksterne kvalitetssikring har fået forelagt den-

ne dokumentation og har gennemgået samtlige dokumenter mindst én gang

og for mange dokumenters vedkommende flere gange.

Kvalitetssikringens opdrag og kriterier

Tilrettelæggelsen af den eksterne kvalitetssikring inddrager erfaringer fra

Deloittes involvering i det forudgående kampflyprogram, fra beslægtede kva-

litetssikringer i Norge og Holland og fra Deloittes kvalitetssikringspraksis in-

denfor andre ressortområder.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Den eksterne kvalitetssikring har tjent to formål. For det først at give en

uafhængig og ekstern vurdering af kvaliteten af de produkter, kampflypro-

grammet udarbejder, for at understøtte det fremlagte beslutningsgrundlag.

Der har således været tale om en analytisk og erfaringsbaseret vurdering af

beslutningsgrundlagets kvalitet baseret på klare kriterier. For det andet at

klarlægge, om det har været muligt yderligere at forbedre eller præcisere de

udarbejdede produkter indenfor de tidsmæssige og ressourcemæssige ram-

mer, der har været gældende for kampflyprogrammet og den eksterne kvali-

tetssikring.

Vores vurderinger af kampflyprogrammets produkter er forankret i fem

kvalitetskriterier. Det første kriterie,

gyldighed,

har fokuseret på kvaliteten af

de metoder, processer, analyser og informationer, kampflyprogrammet har

anvendt, og på, om disse er gennemskuelige og sporbare og underbygger de

konklusioner, der drages. Vores vurderinger af gyldighed har blandt andet

beroet på, om de valgte metoder indholdsmæssigt er sammenhængende

med de fastlagte beslutningsfaktorer, om metoder er operationaliseret til kon-

krete informationsbehov, og om analyser er gennemført i overensstemmelse

med de valgte metoder og de tilvejebragte informationer.

Det andet kriterie,

fuldstændighed,

har fokuseret på, om de anvendte

metoder, processer, analyser og informationer i henseende til dybde og

bredde var dækkende og stod i forhold til de konklusioner, der blev draget,

og som indgår i beslutningsgrundlaget. Vores vurderinger af fuldstændighed

har blandt andet beroet på analyser af, om alle forhold synes belyst, og om

alle relevante informationer synes tilvejebragt og anvendt af kampflypro-

grammet.

Kandidaterne i den danske kampflykonkurrence er i mange henseender

forskellige. Det tredje kriterie,

konsistens,

har derfor fokuseret på, om meto-

der, processer og analyser indbyrdes er logisk sammenhængende, sikrer

kandidaterne ligebehandling og i øvrigt er i overensstemmelse med de infor-

mationer, kampflyprogrammet har haft til rådighed. Vores vurderinger af kon-

sistens har derfor blandt andet beroet på analyser af, om kandidaterne er

blevet behandlet lige, og om kampflyprogrammets analyser har taget fornø-

dent hensyn til forskelle og ligheder mellem kandidaterne.

Det fjerde kriterie,

aktualitet,

har fokuseret på, om beslutningsgrundlaget i alt

væsentligt er baseret på tilgængelige informationer, der er relevante på det

tidspunkt, hvor beslutningen forventes at blive taget. Vores vurderinger af

aktualitet har forudsat, at informationer afgivet af kandidaterne er aktuelle på

det tidspunkt, de er afgivet, og 1-2 år frem. Information fra andre kilder har vi

vurderet konkret.

Beslutningsgrundlaget er forankret i et ganske omfattende kompleks af

dokumenter. Det femte kriterie,

præsentation,

har derfor fokuseret på, om

kampflyprogrammets formidling af metoder, processer og analyser er forståe-

lig og gengiver bagvedliggende dokumentation loyalt.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Kvalitetssikringsproces

Vores kvalitetssikringsarbejde er konkret foregået ved nøje at gennemgå

kampflyprogrammets dokumentkompleks for at vurdere, om kvaliteten tilgo-

deser de nævnte kriterier. Kvalitetssikringsarbejdet er foregået i tæt samspil

med kampflyprogrammet, og samtlige dele af dokumentkomplekset har såle-

des været drøftet.

Det panel, der har gennemgået dokumentkomplekset, har omfattet danske

og internationale specialister fra Deloitte, RAND Europe, QinetiQ og Vorder-

man Consultancy. Panelet har været sammensat, så det kompetencemæs-

sigt afspejler de operative, logistiske, økonomiske, strategiske og kommerci-

elle discipliner, som beslutningsgrundlaget behandler.

Vi har i tilrettelæggelsen af vores analyser og vurderinger anlagt en risikoba-

seret tilgang, hvor dele af dokumentkomplekset er gennemgået meget detal-

jeret gennem flere runder, mens andre dele er gennemgået overordnet. Den

tilgang har sikret, at kvalitetssikringsarbejdet har været dækkende for det

samlede beslutningsgrundlag, ligesom det har sikret ekstra fokus på de dele

af dokumentkomplekset, hvor vi kritisk-konstruktivt kunne bidrage til kvalitets-

forbedringer.

Den eksterne kvalitetssikrings analyser, vurderinger, tentative konklusioner

og eventuelle anbefalinger har været forelagt kampflyprogrammet til videre

foranstaltning og kommentering. Dialogen har givet anledning til, at kampfly-

programmet har ændret i beslutningsgrundlaget og dokumentkomplekset,

ligesom dialogen også har bidraget til, at vi har nuanceret vores vurderinger.

Sidstnævnte er primært sket ved kampflyprogrammets fremsendelse af sup-

plerende oplysninger til ekstern kvalitetssikring.

Den trinvise proces, hvor vi løbende har kvalitetssikret kampflyprogrammets

produkter, har skabt en hensigtsmæssig ramme for dialogen, og for at den

eksterne kvalitetssikrings betragtninger har kunnet nyttiggøres af kampfly-

programmet løbende og uden at bidrage til forsinkelse eller unødige tilbage-

løb.

Processen, den tidlige involvering af ekstern kvalitetssikring og det systema-

tiske samspil mellem kampflyprogrammet og den eksterne kvalitetssikring har

været nyttig og har gjort det muligt løbende at bidrage til forbedringer af

kampflyprogrammets produkter. Den eksterne kvalitetssikrings bidrag til for-

bedringer af kampflyprogrammets produkter har eksempelvis omfattet spar-

ring om:



Udvikling af en ny evalueringsstrategi for industri, der følger de ændrede

principper for krav til industrisamarbejde.

Styrkelse af den militære evalueringsstrategi, for så vidt angår vurde-

ringskriterier for fremtidssikring.

Anvendelsen af risici, usikkerhed, følsomhed og ekstern validering af

nøgleinformation i regi af evalueringen af økonomiske forhold.



Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly



Konsolidering af og overblik over antagelser.

Principper og bedste praksis for systematisk validering af informationer

afgivet af kandidaterne.

Yderligere kvantificering af risici med henblik på indarbejdelse i evalue-

ringen af økonomiske forhold.

Anvendelsen af følsomhedsanalyse til vurdering af robustheden af

stemmeafgivelse i ekspertpaneler.

Principper for formidling af evalueringsresultater, forudsætninger og kon-

ceptuelle valg.



Vi har gennem den trinvise proces oplevet stor modtagelighed i kampflypro-

grammet overfor sparring, der kunne bidrage til forbedringer, og har konsta-

teret, at de stillede forslag generelt er blevet implementeret.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

3. Beslutningsgrundla-

get og dets tilblivelse

Denne kvalitetssikring omhandler kampflyprogrammets rapport

Typevalg af

Danmarks kommende kampfly

–

evaluering af Eurofighter, Joint Strike Figh-

ter og Super Hornet

samt det omfattende kompleks af evalueringer og analy-

ser udarbejdet af kampflyprogrammet, der har dannet grundlag for rapporten.

Under ét karakteriseres dette dokumentkompleks som beslutningsgrundla-

get.

Dette kapitel redegør for beslutningsgrundlaget, dets struktur og tilblivelse og

udkommet af den eksterne kvalitetssikrings løbende kvalitetssikringsarbejde.

Omfang, struktur og sammenhænge

Beslutningsgrundlagets samlede omfang er som nævnt betydeligt og har i sin

helhed været genstand for den eksterne kvalitetssikrings gennemgang. Figu-

ren nedenfor illustrerer de væsentligste bestanddele af beslutningsgrundla-

get. Forud for udarbejdelsen af rapporten

Typevalg af Danmarks kommende

kampfly

har kampflyprogrammet udarbejdet fire selvstændige evaluerings-

rapporter om hver af de fire beslutningsfaktorer.

Beslutningsgrundlagets væsentligste bestanddele

Evalueringen af strategiske forhold rangordner de tre kandidater på baggrund

af en række strategiske og sikkerhedspolitiske kriterier, der alle tager afsæt i

den forventede sammensætning af brugernationer for hver kandidat. Evalue-

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

ringen er udarbejdet med inddragelse af et tværministerielt ekspertpanel.

Vores vurdering af denne evaluering er behandlet i kapitel 4.

En evaluering af militære forhold rangerordner kandidaterne i forhold til krite-

rierne missionseffektivitet, overlevelsesevne, fremtidssikring og risici. Kamp-

flyprogrammets evalueringer af hvert af disse kriterier er ganske omfattende

og er udarbejdet med inddragelse af flere ekspertpaneler. Vores vurdering af

denne evaluering er behandlet i kapitel 5.

Den økonomiske evaluering rangordner kandidaterne i forhold til de forven-

tede levetidsomkostninger og inddrager således omkostninger forbundet med

anskaffelse, drift og risici. Desuden behandler evalueringen forhold vedrø-

rende usikkerhed og følsomhed. Vores vurdering af denne evaluering er be-

handlet i kapitel 6.

Den industrielle evaluering rangordner kandidaterne efter, i hvilken udstræk-

ning producenternes tilbudte initiativer til industrisamarbejde tilgodeser væ-

sentlige sikkerhedspolitiske hensyn, der er operationaliseret i en række krite-

rier. Evalueringen er udarbejdet med inddragelse af et tværministerielt ek-

spertpanel. Vores vurdering af evalueringen er behandlet i kapitel 7.

Beslutningsgrundlagets struktur afspejler de fire beslutningsfaktorer, så disse

er uafhængige og entydige. Der er dog tilfælde, hvor der analytisk er visse

sammenhænge mellem de fire faktorer.

En større del af dokumentkomplekset omfatter analyser af operative, logisti-

ske og andre strukturelle forhold. Disse analyser har ikke til formål at rang-

ordne kandidaterne, men bidrager til at dimensionere en fremtidig kampfly-

struktur baseret på hver af de tre kandidater. Analyserne er derfor afgørende

for beregningen af de forventede levetidsomkostninger, ligesom de bidrager

til identifikationen af risici. Vores vurdering af disse analyser er behandlet i

kapitel 6 om den økonomiske evaluering.

Risici behandles i evalueringerne to steder, hvilket er velbegrundet. Evalue-

ringen af økonomiske forhold inddrager de risici, det har været muligt at om-

sætte til omkostninger enten til mitigering eller til en sandsynlighedsvægtet

økonomisk konsekvens. Evalueringen af militære forhold inddrage risici, som

det ikke har været muligt at omsætte til omkostninger. Et samlet overblik over

kandidaternes risiko indebærer derfor en sammenstilling af de to evaluerin-

ger.

Den strategiske evaluerings og den militære evaluerings kriterie om fremtids-

sikring deler det afsæt, at den forventede sammensætning af brugernationer

er meget væsentlig. Vi finder, at det er lykkedes for kampflyprogrammet at

undgå dobbeltevaluering ved at sikre, at kriterierne i den første evaluering er

strategiske, mens kriterierne i den anden er operationelle.

Kampflyprogrammets proces frem mod beslutningsgrundlaget for et typevalg

har som nævnt været tilrettelagt i en række faser, hvor produkterne løbende

har været forelagt den eksterne kvalitetssikring til vurdering.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Vi har derfor først udtalt os om kvaliteten af de evalueringsstrategier og ana-

lysemodeller, kampflyprogrammet har designet som afsæt for at formulere

informationsanmodninger til kandidaterne og andre kilder og som afsæt for at

gennemføre de nævnte evalueringer og analyser. Dernæst har vi udtalt os

om kvaliteten af kampflyprogrammets informationsanmodninger, inden disse

blev sendt til kandidaterne. Derefter har vi udtalt os om de udarbejdede eva-

lueringsrapporter, inden vi afslutningsvist udtaler os om det samlede beslut-

ningsgrundlag i denne rapport. De følgende afsnit sammenfatter vores vurde-

ringer fra de forudgående faser af kvalitetssikringsarbejdet.

Evalueringsstrategier og analysemodeller

Den eksterne kvalitetssikring gennemgik og vurderede kampflyprogrammets

evalueringsstrategier og analysemodeller fra januar 2014 til marts 2014.

De fire fastlagte beslutningsfaktorer anså vi for relevante og dækkende for en

sammenlignende analyse af kandidaterne. Vi fandt videre, at evalueringsstra-

tegierne for strategiske forhold, militære forhold, økonomiske forhold og indu-

strielle forhold samlet set udgjorde et gyldigt og fuldstændigt afsæt for kamp-

flyprogrammets forestående informationsindhentning og det efterfølgende

analyseprogram. De valgte modeller understøttede, som tilsigtet, at kandida-

terne kunne rangordnes.

Vi pointerede, at de valgte evaluerings- og analysemodeller var fleksible og

ville give kampflyprogrammet et vist råderum til at håndtere ændringsbehov,

der kunne opstå som følge af kandidaternes afgivne informationer og even-

tuelle mangler eller afvigelser i forhold til informationsanmodningerne.

I vores udtalelse pegede vi på en række forhold, der burde tages højde for i

det videre arbejde, men konkluderede samtidig, at de konstaterede forhold

ikke forhindrede, at kampflyprogrammet kunne fortsætte til næste fase og

færdiggøre informationsanmodningen til kandidaterne.

De forhold, vi havde fundet, og som kampflyprogrammet burde tage højde

for, handlede blandt andet om et bedre og mere konsolideret overblik over

typevalgsprocessens forudsætninger, større klarhed om sammenhænge

mellem evalueringsfaktorerne og klarhed over håndteringen af risici i regi af

den strategiske og den industrielle evaluering.

Strategien for evaluering af strategiske forhold blev udarbejdet i to trin, fordi

kampflyprogrammet først foretog en række analyser og sondringer for at

indkredse og derpå udvælge de relevante evalueringskriterier ved inddragel-

se af et ekspertpanel. Vi fandt denne tilgang positiv og konstaterede i en

opfølgende udtalelse, at de identificerede kriterier var gyldige og fuldstændi-

ge. Evalueringsstrategien forudsatte ikke, at kandidaterne afgav informatio-

ner.

Strategien for evalueringen af militære forhold omfattede flere delstrategier

for missionseffektivitet og overlevelsesevne, fremtidssikring og risici samt en

analysestrategi for operativ og logistisk struktur. Vi fandt disse gyldige og

fuldstændige og egnede som afsæt for den forestående informationsindhent-

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

ning og senere de forventede analyser. Vi fremhævde samtidig, at der i ope-

rationaliseringen af strategierne skulle fokuseres yderligere på den konkrete

tilrettelæggelse og styring af ekspertpaneler, en konsistent anvendelse og

evaluering af simulator- og liveflyvninger, en forsigtig anvendelse af brugerer-

faringer og klarhed over betydningen af usikkerhed om sammensætningen af

brugernationer i evalueringen af fremtidssikring.

Som led i vores vurdering af analysemodellerne for operativ og logistisk

struktur fandt vi indledningsvist, at sammenhængene til den økonomiske

evaluering konceptuelt og datamæssigt kunne præciseres, hvorefter kamp-

flyprogrammet justerede modellerne.

RAND Europe har varetaget kvalitetssikringen af den økonomiske evalue-

ringsstrategi, informationsanmodningen og selve evalueringen, da Deloitte

har bistået kampflyprogrammet med udviklingen af den anvendte model til

analyse af de forventede levetidsomkostninger.

Vi vurderede, at der var udviklet en gyldig tilgang til den økonomiske evalue-

ring, der muliggør gennemførelse af en fuldkommen og konsistent vurdering

af kandidaternes levetidsomkostninger. Vi fandt, at der blev anvendt en hen-

sigtsmæssig tilgang til validering af data, men pointerede også, at datavalide-

ring skulle have særlig opmærksomhed for at sikre gyldige data.

Evalueringsstrategien for de industrielle forhold blev i lighed med evalue-

ringsstrategien for den strategiske faktor udviklet i to trin som følge af juste-

ringer til en ny regulatorisk praksis for industrisamarbejde. Vi fandt, at den

udviklede strategi etablerede en metodisk og systematisk ramme for at vur-

dere, hvordan kandidaternes initiativer kan bidrage til den væsentlige sikker-

hedsinteresse.

Vi konstaterede, at tre af fire evalueringsstrategier inddrog ekspertpaneler i

vurderingen af informationer og rangordning af kandidaterne. Denne form for

bredere involvering af eksperter indenfor forskellige discipliner fandt vi posi-

tiv, men vi pointerede også, at kampflyprogrammet generelt måtte præcisere

den konkrete anvendelse af ekspertpanelerne, i forhold til hvilke informatio-

nen disse modtog i hvilken rækkefølge, og hvordan afstemninger skulle fore-

gå. Kampflyprogrammet udarbejdede herefter detaljerede drejebøger og

procesbeskrivelser og beskrev systematikker for stemmeafgivelser og be-

handling af resultater, hvilket betryggede os i, at ekspertpaneler kunne an-

vendes til vurdering af informationer.

Informationsindhentning og validering

Den eksterne kvalitetssikring gennemgik og vurderede kampflyprogrammets

informationsanmodning til kandidaterne fra 21. februar 2014 til 7. april 2014.

Anmodningen, der rummer næsten 950 spørgsmål over 1.000 sider, omfatter

generel information og bilag om operative forhold, logistik, fremtidssikring,

økonomi og industrisamarbejde. Vi gennemgik systematisk informationsan-

modningen og vurderede, om samtlige spørgsmål, antagelser og beskrivelser

tilgodeså kvalitetskriterierne om gyldighed, fuldstændighed, konsistens, præ-

sentation og aktualitet.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Vi fandt, at informationsanmodningen ville udgøre et omfattende og nuance-

ret grundlag for indhentning af informationer fra kandidaterne. Der var en

passende balance mellem præcision i spørgsmål og informationskrav på den

ene side og på den anden side fleksibilitet og rummelighed til, at løsninger,

der er optimale og unikke for den enkelte kandidat, kunne fremhæves.

Videre konstaterede vi, at der generelt var sporbarhed

–

og dermed gyldig-

hed

–

mellem evalueringsstrategierne og informationsanmodningen, men

konstaterede samtidig, at sporbarheden var nedsat, for så vidt angår struktu-

relle forhold. Det tilskrives dels analytisk kompleksitet, dels at strukturanaly-

serne hviler på flere forskellige informationskilder. Derfor betonede vi, at en

hensigtsmæssig informationsstyring, der omfattede processer for dokumenta-

tion af validering samt ændring og godkendelse af information, var nødven-

dig, når svar fra kandidaterne blev modtaget.

Da vi alene gennemgik informationsanmodningen til kandidaterne og ikke

lignende forespørgsler til andre informationskilder, kunne vi ikke fastslå, om

anmodningen var fuldstændig. Vi har efterfølgende haft mulighed for at vur-

dere datagrundlagets fuldstændighed i forbindelse med kvalitetssikringen af

de konkrete evalueringer og analyser.

Kampflyprogrammet sendte i april 2014 informationsanmodningen til de fire

kandidater, der havde tilkendegivet interesse i konkurrencen. Tre kandidater

valgte ved fristens udløb 21. juli 2014 at svare. Den eksterne kvalitetssikring

har ikke vurderet kvaliteten af de fremsendte svar. Vi har dog udtalt os om

den valideringspraksis, kampflyprogrammet havde etableret forud for modta-

gelsen af kandidaternes svar. Vores udtalelse er afgivet, før vi fik indsigt i

kandidaternes afgivne svar.

Programmets valideringspraksis indebar, at alle afgivne svar blev gennem-

gået og bedømt i forhold til troværdighed, overensstemmelse med spørgsmå-

lets indholds- og formatkrav samt anvendelighed. I tilfælde, hvor svar var

utilstrækkelige, fremsendte kampflyprogrammet opklarende spørgsmål til

kandidaterne. Bidrog de opfølgende spørgsmål ikke til tilstrækkelige svar, tog

kampflyprogrammet initiativ til egentlig dialog. Bidrog dette heller ikke til til-

strækkelige svar, afsøgte kampflyprogrammet derefter mulighederne for at

benytte information fra andre kilder.

Vi fandt det positivt, at kampflyprogrammet havde etableret en så systema-

tisk praksis for den indledende vurdering af kandidaternes svar og behovet

for valideringstiltag. Dermed kunne kampflyprogrammet demonstrere spor-

barhed mellem de informationer, kandidaterne afgav, og de ændringer, som

forskellige valideringstiltag ville afføde.

Videre fandt vi det positivt, at kampflyprogrammet fulgte en valideringsprak-

sis, der længst muligt fastholdt kandidaternes ansvar for informationernes

kvalitet og anvendelighed. Kun hvis det ikke var muligt ved kandidaternes

hjælp at opnå den fornødne kvalitet og anvendelighed, ville kampflypro-

grammet anvende information fra andre kilder.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Beslutningsgrundlagets evalueringer og analyser

Fra 21. november 2014 til 12. marts 2015 har vi kvalitetssikret kampflypro-

grammets evalueringer af strategiske, militære, økonomiske og industrielle

forhold. Vores vurderinger af disse fire evalueringer, der konsoliderer det

omfattende dokumentkompleks, er sammenfattet i de følgende fire kapitler.

Vores vurdering af kampflyprogrammets rapport

Typevalg af Danmarks

kommende kampfly

fremgår af denne kvalitetssikringsrapports indledende

vurderingskapitel.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Strategiske forhold

I den strategiske evaluering vurderes kandidaterne op imod et politisk-

strategisk og militærstrategisk perspektiv.

Den eksterne kvalitetssikring har i forbindelse med vurderingen af den stra-

tegiske evaluering gennemgået de analyser og evalueringer, der understøtter

den strategiske evaluering, samt gengivelsen af evalueringens resultater i

beslutningsgrundlaget

Typevalg af Danmarks kommende kampfly.

I overensstemmelse med den generelle metode for kvalitetssikring af kamp-

flyprogrammets produkter har vi vurderet, om evalueringen lever op til kvali-

tetssikringskriterierne vedrørende gyldighed, fuldstændighed og konsistens.

Vi har endvidere vurderet formidlingen af metoder, processer og analyser, og

om evalueringer og analyser hviler på et aktuelt datagrundlag.

Ved kvalitetssikringen af den strategiske evaluering har vi anlagt en risikoba-

seret tilgang, hvor udvalgte dele af det samlede dokumentkompleks stikprø-

vevis er gennemgået dybtgående. Evalueringskriteriet vedrørende Danmarks

sikkerhedspolitiske handlerum og fleksibilitet har af ekspertpanelets med-

lemmer været tillagt særlig vægt i den endelige rangordning af kandidaterne.

Derfor har vi for dette kriterie nøje gennemgået, om anvendelsen af informa-

tioner er gyldig og konsistent, og om der er sporbarhed fra de kandidatspeci-

fikke analyser over ekspertpanelets begrundelser for afstemningsresultaterne

til den samlede rangordning af kandidaterne. Vores detaljerede gennemgang

af det udvalgte kriterie har ikke givet anledning til at udvide den detaljerede

gennemgang til de øvrige evalueringskriterier.

Kampflyprogrammet udarbejdede i foråret 2014 ad to omgange en evalue-

ringsstrategi for den strategiske evaluering af kandidaterne. Den første versi-

on af den strategiske evalueringsmodel beskrev en overordnet metodisk

ramme og proces, herunder en beskrivelse af fremgangsmåde og sammen-

hænge mellem analyserne i evalueringsmodellen. Efterfølgende udarbejdede

kampflyprogrammet en operationaliseret strategisk evalueringsmodel primært

bestående af en udbygning af den oprindelige evalueringsmodel med evalue-

ringskriterier og målepunkter, udviklet ved inddragelse af et tværministerielt

ekspertpanel, samt en uddybende beskrivelse af metoden for rangordning af

kandidaterne.

Vi fandt på baggrund af den operationaliserede evalueringsstrategi, at evalu-

eringsstrategiens evalueringskriterier og målepunkter var egnede som grund-

lag for en både gyldig og fuldkommen evaluering af kandidaterne. Ligeledes

fandt vi, at den beskrevne rangordningsmetode fremstod struktureret og kun-

ne bidrage til at sikre veldokumenterede konklusioner. Endelig har vi konklu-

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

deret, at den beskrevne tilgang til analyse af kandidatscenarierne med efter-

følgende detaljering af grundlaget for den strategiske analyse kunne under-

støtte udarbejdelse af en fuldkommen evaluering af kandidaterne.

Evaluering af kandidaterne

Formålet med den strategiske evaluering er at vurdere de tre kandidater i

forhold til opfyldelse af overordnede danske forsvars- og sikkerhedspolitiske

målsætninger frem mod 2030.

Konkret har kampflyprogrammet indledningsvist indsamlet informationer af

sikkerheds- og forsvarspolitisk karakter om de nationer, der indgår i eller

potentielt forventes at indgå i kredsen af brugernationer for den enkelte kan-

didat. Det kandidatspecifikke informationsgrundlag er anvendt til analyse af

de enkelte brugernationer og dermed den enkelte kandidats samarbejdspo-

tentiale for Danmark set i et politisk-strategisk og et militærstrategisk per-

spektiv nu og frem mod 2030. Kampflyprogrammet har på den baggrund

udarbejdet tre kandidatspecifikke strategiske analyser, der udgør grundlaget

for evalueringen.

Selve evalueringen er udført af et ekspertpanel bestående af personer med

ekspertise og erfaring indenfor forsvarspolitiske, sikkerhedspolitiske og mili-

tærstrategiske forhold, NATO, EU, FN, operationer med kampfly mv. Eksper-

ternes evaluering er gennemført som en delphiproces, hvor ekspertpanelet

med afsæt i de otte evalueringskriterier og på baggrund af strategiske analy-

ser for hver af de tre kandidater har gennemført tre afstemningsrunder med

mellemliggende diskussioner.

Der blev desuden til brug for vurdering af evalueringsresultatets følsomhed

overfor strategiske risici identificeret samlet set 11 alternative strategiske

scenarier, der udfordrer de grundlæggende antagelser for den strategiske

analyse af kandidaterne. Denne tilgang blev introduceret i forbindelse med

forberedelse af evalueringen for at sikre en bedre hensyntagen til den usik-

kerhed, der naturligt er knyttet til vurderingen af ændringer i den politiske og

militære omverden for Danmark og dansk forsvar. Vi vurderede i forbindelse

med kvalitetssikringen af de gennemførte evalueringer, at ændringen var

gyldig.

Det er vores vurdering, at den strategiske evaluering afspejler danske

sikkerheds- og forsvarspolitiske interesser og målsætninger, idet evaluerin-

gen er baseret på de otte politisk-strategiske og militærstrategiske evalue-

ringskriterier, der er opstillet i evalueringsstrategien. Det blev i forbindelse

med den eksterne kvalitetssikring af den operationaliserede evalueringsstra-

tegi vurderet, at evalueringskriterierne afspejlede og var dækkende i forhold

til de relevante danske forsvars- og sikkerhedspolitiske målsætninger.

Vi vurderer endvidere, at de kandidatspecifikke analyser, der ligger til grund

for den strategiske evaluering, er udarbejdet i overensstemmelse med evalu-

eringsstrategien og i henhold til de otte politisk-strategiske og militærstrategi-

ske evalueringskriterier.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

De tre kandidatspecifikke analyser redegør via fodnoter for grundlaget for

analyserne, der omfatter brugernationernes nuværende og fremtidige for-

svars- og sikkerhedspolitiske planer og målsætninger. Analyserne er alle

struktureret i overensstemmelse med de opstillede evalueringskriterier, og

den eksterne kvalitetssikring har konstateret, at analyserne under evalue-

ringskriteriet om Danmarks sikkerhedspolitiske handlerum og fleksibilitet

afspejler det kandidatspecifikke informationsgrundlag. Vi anser derfor de

kandidatspecifikke analyser som gyldige og fuldstændige.

Det er på baggrund af en stikprøvevis gennemgang af dokumentationen fra

ekspertpanelets vurderinger af kandidaterne konstateret, at evalueringen er

gennemført i henhold til vurderingskriterierne, og at evalueringsrapporten og

beslutningsgrundlaget afspejler rationalerne bag de enkelte konklusioner om

rangordningen af kandidaterne. Dette gør sig desuden gældende i forhold til

ekspertpanelets indbyrdes vægtning af de opstillede kriterier i den samlede

rangordning af kandidaterne.

Det er konstateret, at der på trods af et ekspertpanel, der repræsenterer

meget forskellige baggrunde og interesser, er en begrænset varians i ek-

spertpanelets stemmeadfærd, og at rangordningen af kandidaterne under de

enkelte evalueringskriterier i høj grad er entydig. Rangordningen vurderes

derfor at være både gyldig og fuldstændig. Endvidere har sammensætningen

af ekspertpanelet ikke givet os anledning til at anfægte panelets uafhængig-

hed.

Grundlaget for de kandidatspecifikke analyser og dermed også den strategi-

ske evaluering er indsamlet af kampflyprogrammet umiddelbart forud for

evalueringen. Grundlaget omfatter nyere NATO-forsvarsplanlægningsdoku-

menter, landepolicies og officielle dokumenter samt informationer tilvejebragt

via relevante danske repræsentationer. Det vurderes på denne baggrund, at

evalueringen er baseret på et aktuelt grundlag.

Strategiske risici

De strategiske risici omfatter en række alternative scenarier, der udfordrer de

grundlæggende antagelser bag de kandidatspecifikke analyser, og betydnin-

gen for den samlede rangordning af kandidaterne er vurderet af ekspertpane-

let. På denne baggrund anses evalueringen af de strategiske forhold som

værende konsistent.

Vi har fundet det positivt, at kampflyprogrammet med den valgte tilgang til

analyse af strategiske risici ved hjælp af en række alternative scenarier på

gyldig vis har gjort det muligt at perspektivere, hvordan evalueringens resul-

tater påvirkes af den usikkerhed, der er forbundet med den forsvars- og sik-

kerhedspolitiske fremtid.

De alternative fremtidige scenarier, der ligger til grund for evalueringen af de

strategiske risici, vurderes at være fuldstændige. Dette skyldes, at de strate-

giske risici dels er identificeret af kampflyprogrammet i forbindelse med den

strategiske analyse af kandidaterne, dels er valideret og suppleret af ek-

spertpanelet.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Vi har ved vurderingen særligt lagt vægt på bredden og variansen i de identi-

ficerede scenarier og ekspertpanelets sammensætning.

På baggrund af de årstalsmæssige referencer til det kandidatspecifikke

informationsgrundlag og tidspunktet for indsamlingen af dette er det vores

vurdering, at grundlaget for de kandidatspecifikke analyser kan betragtes

som værende aktuelt.

Endelig har vi konstateret, at kampflyprogrammet i evalueringsrapporten for

den strategiske faktor i tilstrækkelig grad har gjort opmærksom på de be-

grænsninger, der vurderes at være gældende i forhold til den tidsmæssige

gyldighed af den strategiske evaluering.

Opsamling

På baggrund af afstemningsresultaterne og deltagernes kommentarer til

disse er det vores vurdering, at ekspertpanelets bedømmelse af de tre kan-

didater for den strategiske faktor er fuldstændig. Det er på baggrund af en

stikprøvevis gennemgang af dokumentationen fra ekspertpanelet konstateret,

at evalueringsrapporten afspejler rationalerne bag de enkelte konklusioner

om rangordningen af kandidaterne. Dette gør sig desuden gældende i forhold

til ekspertpanelets indbyrdes vægtning af de opstillede kriterier i den samlede

rangordning af kandidaterne.

De kandidatspecifikke analyser forholder sig til alle overordnede og underlig-

gende evalueringskriterier og udgør dermed et dækkende grundlag for eva-

lueringen. Sammensætningen af ekspertpanelet og dokumentationen af af-

stemningsresultater og rationaler vurderes at understøtte en dybde- og bred-

demæssig fuldstændighed i evalueringen på tværs af de forskellige evalue-

ringsområder. Sammensætningen af ekspertpanelet har ikke givet os anled-

ning til at anfægte panelets uafhængighed.

Det er konstateret, at der på trods af et ekspertpanel, der repræsenterer

meget forskellige baggrunde og interesser, er en begrænset varians i ek-

spertpanelets stemmeadfærd. Desuden er rangordningen af kandidaterne

under de enkelte evalueringskriterier i høj grad entydig. Det vurderes på

denne baggrund, at evalueringsresultaterne er gyldige. Resultatet af den

endelige afstemning i ekspertpanelet er gengivet i evalueringsrapporten, og

det vurderes på denne baggrund, at evalueringsrapporten i tilstrækkelig grad

afspejler eventuelle usikkerheder i resultaterne.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Militære forhold

Den militærfaglige evaluering er opdelt efter fire evalueringsområder, inden-

for hvilke kandidaterne rangordnes: missionseffektivitet, overlevelsesevne,

fremtidssikring og kandidatrisici.

Som led i kvalitetssikringsprocessen har den eksterne kvalitetssikring

gennemgået og vurderet det samlede dokumentkompleks indenfor hvert af

de nævnte evalueringsområder, ligesom vi har gennemgået den sammenfat-

tende

Evalueringsrapport om militærfaglige forhold

og gengivelserne af eva-

lueringsrapportens resultater i beslutningsgrundlaget

Typevalg af Danmarks

kommende kampfly.

Vi har foretaget vurderinger af kampflyprogrammets analyser og evalueringer

i deres helhed. I visse sammenhænge har vores gennemgang været særligt

uddybende.

Således har vi konkret analyseret sporbarhed, transparens og gyldighed for

missionsscenariet for Close Air Support (CAS) i sammenhæng med evalue-

ringen af missionseffektivitet og overlevelsesevne. Vores udvælgelse har

været risikobaseret, og vi har derfor valgt dette missionsscenarie, fordi udfal-

det af vurderingen for de tre kandidater er ganske forskellig og derfor forven-

tes at have forudsat indgående drøftelser i panelet.

Hertil kommer, at vi har vurderet evalueringen af kandidatrisiko i sin helhed

og foretaget stikprøvekontroller af konsistens i risikoidentifikation og risiko-

vurderinger.

Vi vurderer på den baggrund, at kvalitetssikringen er dækkende for samtlige

områder i den militærfaglige evaluering.

I overensstemmelse med den gennemgående metode for ekstern kvalitets-

sikring af kampflyprogrammets produkter har vi vurderet analysernes gyldig-

hed, fuldstændighed og konsistens. Vi har endvidere vurderet formidlingen af

metoder, processer og analyser, og om evalueringer og analyser hviler på et

aktuelt datagrundlag.

Evalueringerne indenfor det militærfaglige område hviler på henholdsvis en

integreret evalueringsstrategi for missionseffektivitet og overlevelsesevne og

særskilte evalueringsstrategier for fremtidssikring og kandidatrisiko.

I det følgende præsenteres resultaterne af den eksterne kvalitetssikring af de

evalueringer, der er udarbejdet på baggrund af analysestrategierne.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Missionseffektivitet og overlevelsesevne

Evalueringen af missionseffektivitet og overlevelsesevne har til formål at

belyse, hvor godt kandidaterne kan beskytte sig mod fjendtlige våbensyste-

mer, og hvor godt kandidaterne kan løse opgaver af varierende kompleksitet.

Den integrerede evalueringsstrategi for missionseffektivitet og overlevelses-

evne har været tilrettelagt sådan, at kandidaterne med udgangspunkt i analy-

seværktøjet kill- og livechain er blevet evalueret på tværs af seks missions-

scenarier, der varierer i forhold til blandt andet trusselsbillede og kompleksi-

tet. Kampflyprogrammet har på baggrund af oplysninger indhentet hos kan-

didaterne udarbejdet kill- og livechainanalyser for de enkelte missionsscena-

rier. Analyserne er efterfølgende blevet forelagt et ekspertpanel, der har sco-

ret kandidaternes missionseffektivitet og overlevelsesevne på en skala fra 1

til 5. Som led i evalueringen er der indhentet validerende oplysninger hos

brugere, ligesom der er gennemført simulator- og evalueringsflyvninger. Re-

sultaterne af disse valideringstiltag er blevet forelagt ekspertpanelet i forbin-

delse med scoringen af kandidaterne.

Det er den eksterne kvalitetssikrings vurdering, at kampflyprogrammet har

fulgt den detaljerede evalueringsstrategi for missionseffektivitet og overlevel-

sesevne og på det grundlag har udarbejdet en gyldig, fuldstændig og konsi-

stent evaluering af kandidaterne. Vores vurdering er blandt andet baseret på

den detaljerede gennemgang af missionsscenariet for Close Air Support

(CAS). Denne gennemgang har ikke indikeret behov for også at gennemgå

de fem øvrige missionsscenarier tilsvarende detaljeret.

Vores vurdering af gyldigheden af evalueringen af missionseffektivitet og

overlevelsesevne er overvejende forankret i, at kampflyprogrammet stringent

har fulgt evalueringsstrategien, herunder de beskrevne processer for tilveje-

bringelse af et ekspertpanels vurderinger af kandidaterne. Vi kan konstatere,

at disse processer og vurderinger er dokumenteret, så begrundelser er spor-

bare og transparente.

Evalueringens fuldstændighed tilskrives overvejende anvendelse af seks

missionsscenarier med tilhørende varianter, dybden af de gennemføre analy-

ser af missionseffektivitet og overlevelsesevne, der er baseret på omfattende

informationer fra kandidaterne, og den systematiske anvendelse af valide-

rende analyser. Vi finder, at det bidrager til fuldstændigheden, at de seks

missionsscenarier er repræsentative for hele konfliktspektret.

Endelig kan evalueringens konsistens tilskrives ekspertpanelets drøftelser og

afstemninger, hvor der er blevet lagt særlig vægt på

–

på tværs af kandida-

terne

–

at foretage konsistente vurderinger af kandidaternes evne til at møde

de definerede scenarier.

Evalueringen anser vi for aktuel, da den i al væsentlighed er baseret på in-

formationer afgivet af kandidaterne i svar på kampflyprogrammets informati-

onsanmodninger og opfølgende afklaringsspørgsmål.

100

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Fremtidssikring

101

Formålet med evalueringen af fremtidssikring er at vurdere, i hvilket omfang

kandidaterne som kampflykapacitet kan holdes operative og teknisk relevan-

te i hele driftsperioden. Evalueringen er målrettet operative forhold, tekniske

forhold og aftaleforhold, der kan have konsekvenser for kandidaternes evne

til at holde sig operative og teknisk relevante. På tværs af de tre temaer er

kandidaterne i evalueringen vurderet på i alt 13 kriterier. Evalueringsproces-

sen har været tilrettelagt sådan, at kampflyprogrammet på baggrund af in-

formationer fra kandidaterne har udarbejdet analyser af kandidaterne inden-

for de tre områder. Analyserne er herefter forelagt et delphipanel bestående

af ni militærfaglige eksperter, der har søgt at opnå enighed om at give hver

kandidat en score på en skala fra 1 til 5 indenfor hvert af de tre evaluerings-

områder. Kandidaternes samlede score indenfor fremtidssikring er beregnet

ved at tage det ikke-vægtede gennemsnit af kandidaternes scorer indenfor

de tre evalueringsområder.

Det er vores vurdering, at evalueringen af fremtidssikring følger evaluerings-

strategien. Kandidaternes egenskaber er analyseret sekventielt i forhold til

operative og tekniske forhold samt aftaleforhold. I overensstemmelse med

evalueringsstrategien er den endelige rangordning af kandidaterne baseret

på ekspertpanelets vurderinger og scoring af, i hvilket omfang kandidaterne

som kampflykapacitet kan holdes operative og teknisk relevante i hele drifts-

perioden. Kampflyprogrammet har sikret, at panelets vurderinger af kandida-

terne kan relateres til de 13 kriterier, så sammenhæng mellem kriterier og

vurderinger kan spores.

Kampflyprogrammet har i forbindelse med udarbejdelse af evalueringen

anvendt multiple valideringskilder og valideringsrunder, hvilket bidrager til at

skabe et validt datagrundlag og sikre konsistens i anvendelsen af data i eva-

lueringen af fremtidssikring. Det styrker endvidere evalueringens validitet og

fuldkommenhed, at det har været muligt at tilvejebringe et valideret og fuld-

komment datasæt, der udelukkende er bygget på informationer afgivet af

kandidaterne.

Det forhold, at data anvendt i evalueringen udelukkende er baseret på

validerede informationer fra kandidaterne afgivet i kandidaternes svar på

kampflyprogrammets informationsanmodninger og opfølgende afklarings-

spørgsmål, indebærer, at vi vurderer, at data anvendt i analysen kan betrag-

tes som værende aktuelle.

Den interne rangordning af kandidaterne Eurofighter og Super Hornet er

følsom overfor marginale ændringer i ekspertpanelets scoring af kandidater-

ne, hvilket er retvisende gengivet i evalueringen og i beslutningsgrundlaget

Typevalg af Danmarks kommende kampfly.

Vi vurderer endelig, at præsenta-

tionen af metoder, processer, analyser og udledningen af den endelige rang-

ordning af kandidaterne er formidlet tilstrækkeligt og forståeligt i beslutnings-

grundlaget såvel som i den militærfaglige evaluering.

102

103

104

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Kandidatrisiko

105

Evalueringen af kandidatrisiko har til formål at evaluere kandidaterne i forhold

til risici, der ikke er kvantificerbare eller kan afværges ved risikomitigerende

tiltag. Grundlaget for evaluering er risikoregistre, som kampflyprogrammet

har udarbejdet for hver enkelt kandidat. I risikoregistrene beskrives og kate-

goriseres risici indenfor det militære område i forhold til anskaffelse, drift,

missionseffektivitet, overlevelsesevne og fremtidssikring. Kampflyprogram-

met har overført kvantificerede risici til økonomimodellen, så disse kan indgå

i den økonomiske evaluering. Ikke-kvantificerbare risici er inddraget i den

militærfaglige evaluering af kandidatrisici. For de ikke-kvantificerede risici har

kampflyprogrammet efterfølgende udarbejdet risikoprofiler, hvor sandsynlig-

hed, konsekvens og nærhed for risici forbundet med hver enkelt kandidat er

illustreret. Rangordningen af kandidaterne er foretaget af et ekspertpanel, der

har vurderet hver enkelt kandidat per risikokategori på en karakterskala fra 1

til 5. På baggrund af karaktergivningen for samtlige risikokategorier er den

samlede risikokarakter for hver kandidat beregnet ved at tage gennemsnittet

af kandidatens scorer på tværs af risikokategorier.

Det er den eksterne kvalitetssikrings vurdering, at kampflyprogrammet har

foretaget de fornødne tiltag til at gennemføre en fuldstændig risikoidentifikati-

on. Risici er i overensstemmelse med evalueringsstrategien identificeret af

kampflyprogrammet som led i udarbejdelsen af de militærfaglige evalueringer

og strukturanalyserne. Kampflyprogrammet har endvidere løbende afholdt

risikoidentifikationsworkshops, anmodet kandidatproducenternes hjemlande

om indblik i deres risikoregistre og været i dialog med nationale og internati-

onale organisationer med erfaring fra anskaffelse og drift af komplicerede

militære systemer. På det nationale plan har kampflyprogrammet anvendt

erfaringer fra tidligere danske militære materielprojekter i form af Tårnfalken,

Daccis kommunikationssystem og EH101-helikopteranskaffelsen.

Den eksterne kvalitetssikring har foretaget en stikprøvekontrol af de begrun-

delser for risikoidentifikation, som kampflyprogrammet har dokumenteret i

kampflyprogrammets risikodatabase. Ved stikprøvekontrollen har vi konstate-

ret, at der for så vidt angår stikprøverne forefindes detaljerede begrundelser i

risikodatabasen for, hvorfor en række risici kun er relevante for én eller to

kandidater. Vores gennemgang har vist, at risikoidentifikationen på tværs af

kandidater er konsistent.

Den eksterne kvalitetssikring har endvidere foretaget en stikprøvekontrol af

de risikovurderinger, som kampflyprogrammet har dokumenteret i risikodata-

basen. Det er vores vurdering, at kampflyprogrammet har fulgt evaluerings-

modellen i forhold til risikovurderinger. Vores stikprøvekontrol betrygger os

således i, at der er gyldige og konsistente begrundelser for de foretagne risi-

kovurderinger. Vi vurderer desuden, at behandlingen af risici er sket på bag-

grund af et aktuelt datagrundlag.

106

107

108

Den eksterne kvalitetssikring vurderer, at kampflyprogrammet har fulgt

evalueringsmodellen i forbindelse med et ekspertpanels karaktergivning for

ikke-kvantificerede risici, herunder at resultatet af afstemningerne er gyldigt

og konsistent.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Endelig vurderer vi, at formidlingen af anvendte metoder, processer, analy-

sestrategier og resultater giver et godt overblik over fremgangsmåden for

evalueringen og evalueringsresultaterne

–

både i beslutningsgrundlaget og i

den militærfaglige evaluering.

Opsamling

109

Den eksterne kvalitetssikring vurderer på det foreliggende grundlag, at

evalueringerne af missionseffektivitet, overlevelsesevne, fremtidssikring og

kandidatrisici samt underliggende analyser er udarbejdet i overensstemmelse

med de respektive strategier for de enkelte områder. Vi finder, at ekspertpa-

nelernes vurderinger og argumenter er sporbare til de bagvedliggende vurde-

ringskriterier i evalueringsstrategierne, og at rækkevidden af panelets vurde-

ringer er gengivet retvisende og loyalt i det endelige beslutningsgrundlag. Vi

anser på den baggrund den militærfaglige evaluering som gyldig.

Vi kan konstatere, at kampflyprogrammet har gennemført alle evalueringer

og analyser beskrevet i evaluerings- og analysestrategierne indenfor det

militærfaglige område. Vi har endvidere ved gennemgang af evalueringer og

analyser konstateret, at kampflyprogrammet har opnået en høj grad af fuld-

stændighed i datagrundlaget. På den baggrund vurderer vi, at den militærfag-

lige evaluering kan betragtes som fuldstændig.

Det fremgår af evalueringer og analyser samt den bagvedliggende dokumen-

tation, at der i forbindelse med udarbejdelse af den militærfaglige evaluering

er lagt vægt på at behandle kandidaterne lige. Dette gælder i forhold til at

tilvejebringe et konsistent datagrundlag til brug for analyserne og ligebehand-

ling i forbindelse med ekspertpanelernes vurdering og scoring af kandidater-

ne under de fire evalueringsområder.

Datagrundlaget for evalueringer og analyser i den militærfaglige evaluering er

informationer oplyst af kandidaterne, information indhentet under flyvning i

simulator og under evalueringsflyvning, brugerinterview, F-16-referencedata,

informationer fra Forsvarets egne myndigheder og NATO. Vi har lagt til

grund, at data fra kandidaterne er aktuelle. Vores vurderinger af øvrige an-

vendte data er, at disse tilsvarende er aktuelle.

Beskrivelserne af anvendte metoder, processer, analyser og udledningen af

rangordningen af kandidaterne er udarbejdet, så læseren har mulighed for

om nødvendigt at dykke længere ned i evalueringer og analyser og opnå en

dybere forståelse af årsagerne til udfaldet af evalueringen.

Den eksterne kvalitetssikring finder på den baggrund, at rangordningen af

kandidaterne i den militærfaglige evaluering er underbygget og gyldig.

110

111

112

113

114

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Økonomiske forhold

115

Den økonomiske evaluering vedrører de levetidsomkostninger og økonomi-

ske konsekvenser, der er forbundet med anskaffelsen af kandidaterne.

Den økonomiske evaluering består af to dele: selve evalueringen af kandida-

ternes levetidsomkostninger forbundet med anskaffelse, drift, vedligeholdelse

og risici over en periode på 30 år og de analyser af operativ og logistisk

struktur, der udgør grundlaget for evaluering af de økonomiske konsekvenser

forbundet med dimensioneringen af kandidaternes strukturer. Kandidaterne

rangordnes alene på baggrund af de estimerede levetidsomkostninger, og

der foretages derfor ikke en særskilt evaluering af operativ og logistisk struk-

tur.

Den eksterne kvalitetssikring har gennemgået det samlede dokumentkom-

pleks, der ligger til grund for den økonomiske evaluering, herunder også

strukturanalyserne, og den omkostningsmodel, som de økonomiske bereg-

ninger er foretaget i.

116

Den eksterne kvalitetssikring af den økonomiske evaluering er foretaget med

udgangspunkt i en risikobaseret tilgang. Denne metode har til formål at forstå

og vurdere, om beregningerne af væsentlige omkostningsfaktorer er koncep-

tuelt udformet og gennemført korrekt, og om beregningerne og inputvariable

til omkostningsmodellen kan spores tilbage til oprindelige inputdata og er

gyldige i modellen. Samme tilgang er anvendt i forbindelse med kvalitetssik-

ringen af strukturanalyserne, der blandt andet har taget udgangspunkt i en

nøje gennemgang af seks udvalgte temaer, der er særligt relevante for di-

mensioneringen af kandidaternes strukturer.

Den risikobaserede tilgang indebærer, at kvalitetssikringen af den økonomi-

ske evaluering og strukturanalyserne hviler på dels en overordnet gennem-

gang af det samlede kompleks af bagvedliggende analyser, dels på en detal-

jeret gennemgang af seks temaer, som vi vurderer har betydelig indvirkning

på evalueringen af kandidaternes økonomi og dimensioneringen af den ope-

rative og logistiske struktur, herunder dimensionering af antallet af påkræve-

de piloter, omkostninger til forsyningstjeneste, antallet af påkrævede flystel,

forholdet mellem antallet af simulator- og liveflyvninger, forventet levetid per

flystel og piloternes træningsbehov. Der kan derfor være forhold i evaluerin-

gen og analyserne, som den eksterne kvalitetssikring ikke har identificeret.

Idet disse forhold er søgt minimeret ved at fokusere på områder, der har

betydelig indvirkning på kandidatomkostninger og dimensioneringen af kan-

didatstrukturer, vurderer vi kvalitetssikringen repræsentativ for det samlede

evaluerings- og analysekompleks.

117

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

118

I overensstemmelse med den gennemgående metode for ekstern kvalitets-

sikring af kampflyprogrammets produkter har vi vurderet analysekompleksets

gyldighed, fuldstændighed og konsistens. Vi har endvidere vurderet formid-

lingen af metoder, processer og analyser, og om evalueringer og analyser

hviler på et aktuelt datagrundlag.

Den økonomiske evaluering hviler dels på en evalueringsstrategi for den

økonomiske evaluering, der også forklarer opbygning af omkostningsmodel-

lens modelstruktur, dels på to særskilte analysestrategier for operativ struktur

og logistikstruktur.

I det følgende præsenteres resultaterne af den eksterne kvalitetssikring af

den evaluering og de analyser, der er udarbejdet på baggrund af analyse-

strategierne.

Analyser af operativ og logistisk struktur

119

120

121

Formålet med strukturanalyserne er at belyse dimensioneringen af henholds-

vis den operative struktur og den logistiske struktur, der knytter sig til hver af

de tre kandidater. Strukturanalyserne leverer et centralt bidrag til den øko-

nomiske evaluering, idet de:



Redegør konceptuelt for de beregningslogikker, kampflyprogrammets

omkostningsmodel anvender.

På baggrund af informationer fra kandidaterne og andre kilder begrunder,

hvilke konkrete dataværdier der indarbejdes i omkostningsmodellen og

dermed anvendes i den økonomiske evaluering.

Identificerer risici, der analyseres nøjere med henblik på at vurdere de

økonomiske konsekvenser.



122

Det fremgår af evalueringsstrategien for operativ struktur, at denne skal

tilvejebringe en analyse af antallet af operativt personel, flystel og flyvetimer,

der skal til for at understøtte de enkelte kandidater. Dimensioneringen tager

afsæt i en portefølje af opgaver, der skal kunne løses samtidigt, herunder

indsættelse i internationale operationer, varetagelse af det nationale afvis-

ningsberedskab, kvalificerende træningsflyvning, grundlæggende uddannel-

se af piloter og besætningsmedlemmer og genomskoling af piloter og besæt-

ningsmedlemmer.

Af evalueringsstrategien for logistiskstruktur fremgår det, at denne i sam-

menhæng med den operative struktur og flyvetimebehovet analyserer, hvil-

ken logistikorganisation der skal til for at understøtte de enkelte kandidater.

Endvidere fastlægges enhedsomkostninger forbundet med de vedligeholdel-

sesbehov, forsyningskoncepter, behov for infrastruktur og it mv., der er for-

bundet med de enkelte kandidater.

Strukturanalyserne er udarbejdet af kampflyprogrammet på grundlag af kan-

didaternes svar på enten kampflyprogrammets informationsanmodninger og

opfølgende afklaringsspørgsmål. Desuden har kampflyprogrammet anvendt

information fra andre kilder såsom forsvarets egne myndigheder eller NATO.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Endelig har kampflyprogrammet, hvor det har været vurderet nødvendigt,

anvendt erfaringer og referencedata fra Forsvarets brug af F-16.

Det er den eksterne kvalitetssikrings vurdering, at strukturanalyserne følger

analysestrategierne og er baseret på et valideret, fuldkomment og aktuelt

datasæt.

Som led i kvalitetssikringen af analyserne har vi foretaget en detaljeret gen-

nemgang af valget af operative og logistiske koncepter og løsninger for kan-

didaterne, herunder særligt i forhold til dimensionering af antallet af piloter,

initialanskaffelsen af flystel, omkostninger til forsyningstjeneste, anvendelse

af ratioer for simulator- og liveflyvninger, forventet levetid per flystel og pilo-

ternes træningsbehov.

På baggrund af den detaljerede gennemgang er det vores vurdering, at val-

get af operative og logistiske koncepter og løsninger i strukturanalysen er

gyldigt og fuldstændigt. Vi finder samtidig, at kampflyprogrammet har tilstræbt

–

og opnået

–

konsistens og sammenlignelighed mellem kandidaterne ved

dels at anvende referencedata, dels at fiksere forhold såsom den operative

opgaveportefølje og skønnet for, hvor mange flyvetimer den kandidatspeci-

fikke logistikorganisation skal kunne producere per stel per år.

123

Den eksterne kvalitetssikring finder, at valideringen af informationer fra

kandidaterne, der er anvendt i strukturanalyserne, har fulgt en systematisk

proces, der i sig selv bidrager til, at den eksterne kvalitetssikring betrygges i,

at kampflyprogrammet gyldigt og konsistent har afvejet, hvilke informationer

der er anvendt i strukturanalyserne og hvorfor. Vi finder, at dokumentation af

de overvejelser og forbehold, der har knyttet sig til beslutninger om at anven-

de referencedata i stedet for kandidatdata kunne være dokumenteret bedre i

flere delanalyser. Vi anerkender videre den betydelige indsats, der derved er

lagt i at tilvejebringe et så fuldstændigt informationsgrundlag som muligt for

hver kandidat, herunder blandt andet den udarbejdede redegørelse for vali-

deringsprocessen, hvoraf overblik over datakilder anvendt i de enkelte del-

analyser fremgår.

Den eksterne kvalitetssikring konstaterer, at der i strukturanalyserne er

indarbejdet tiltag, der sikrer datamæssig sporbarhed mellem kandidatdata,

analyserne af operationel struktur og logistikstruktur, omkostningsmodellen

og den økonomiske evaluering samt analysen af kandidatrisici. Videre aner-

kender vi, at der i den økonomiske evaluering er etableret et overblik, der på

et konceptuelt plan skaber den fornødne forståelse af sammenhængen mel-

lem valget af koncepter og løsninger i strukturanalyserne samt henholdsvis

omkostningsmodellens struktur og beregningsmetodik. Vi vurderer på denne

baggrund, at sammenhænge mellem analyserne er håndteret konsistent og

er formidlet til læseren, så det er muligt at spore de analytiske sammenhæn-

ge bag beregningerne af kandidaternes levetidsomkostninger.

Vi vurderer endelig, at strukturanalyserne er baseret på aktuel information fra

kandidater og andre kilder og dermed også kan forventes at være aktuelle,

hvis et typevalg foretages senest medio 2016.

124

125

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Den økonomiske evaluering

126

Formålet med den økonomiske evaluering er at sammenligne kandidaternes

levetidsomkostninger over en 30-årig periode.

Opgørelse af kandidaternes levetidsomkostninger er baseret på beregning af

kandidaternes nettonutidsværdi over den 30-årige periode ved hjælp af om-

kostningsmodellen. Konkret indebærer dette tilbagediskontering af fremtidige

årlige omkostninger for hver kandidat, så totalomkostninger kan præsenteres

i 2014-priser. Denne tilgang indebærer, at der indgår tre omkostningstyper i

den økonomiske evaluering og omkostningsmodellen. De tre omkostningsty-

per er:



Omkostninger til indkøb af nye kampfly.

Omkostninger relateret til drift, vedligeholdelse, ændringer og opdaterin-

ger af de nye kampfly.

Omkostninger forbundet med kvantificerbare risici.

127



128

Den eksterne kvalitetssikring vurderer, at den metode, der er anført i evalue-

ringsstrategien, stort set er blevet fulgt af kampflyprogrammet i forbindelse

med gennemførelsen af den økonomiske evaluering. Analysen af kandida-

ternes nettonutidsværdi har klart fulgt den strukturerede proces og metode,

der blev fremsat i evalueringsstrategien. Endvidere er beskrivelserne af,

hvordan data og forudsætninger vil blive anvendt i beregningen af levetids-

omkostninger og i den bredere økonomiske evaluering, blevet fulgt.

De afvigelser vi har konstateret mellem analyser og strategi skyldes ændrin-

ger til omkostningsmodellen afledt af analytiske muligheder eller begræns-

ninger forbundet med informationerne afgivet af kandidaterne. På baggrund

af vores særligt detaljerede gennemgang af udvalgte dele af strukturanaly-

serne finder vi disse ændringer har forbedret robustheden af og beregnings-

hastigheden i omkostningsmodellen. Disse vurderinger hviler blandt andet på

vores.

Et centralt bidrag til den økonomiske vurdering kommer fra omkostnings- og

dimensioneringsvariable fra struktur- og risikoanalyserne, der anvendes som

input i omkostningsmodellen. Den eksterne kvalitetssikring vurderer, at an-

vendelsen af data og omkostningsberegninger i omkostningsmodellen er

gyldig og er foretaget konsekvent.

Den eksterne kvalitetssikring vurderer, at den økonomiske evalueringsrapport

præsenterer anvendelsen af data og information og de gennemførte bereg-

ninger, så grundlaget for evalueringen er tilgængeligt og forståeligt for læse-

ren. Dette skyldes blandt andet de konceptuelle diagrammer i evalueringen,

der illustrerer, hvordan beregningerne er foretaget. Endvidere er rationalet

bag og baggrunden for rangordningen af kandidaterne i den endelige analyse

ligeledes formidlet forståeligt.

Evalueringsrapporten og de understøttende analyser er velstrukturerede og

beskriver kort metoder og datakilder og præsenterer de vigtigste omkost-

129

130

131

132

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

ningsfaktorer. Det giver læseren en logisk forståelse af metoder og datakil-

der, processen for beregning af levetidsomkostninger og den efterfølgende

rangordning af kandidaterne indenfor økonomi. Den eksterne kvalitetssikring

vurderer, at det økonomiske grundlag for et typevalg er gyldigt og konsistent

udtrykt i nutidsværdi.

133

Den eksterne kvalitetssikring konstaterer, at der som led i evalueringen af

kandidatrisiko i den militærfaglige evaluering i nogle tilfælde er overført væ-

sentlige omkostninger til mitigering af risici til omkostningsmodellen. Den

eksterne kvalitetssikring vurderer, at de økonomiske konsekvenser af de

risici, der er identificeret og evalueret i kampflyprogrammets risikoevaluering,

er konsekvent og fuldstændigt evalueret, i forhold til hvad kampflyprogram-

met har været i stand til på baggrund af de data, de har modtaget fra kandi-

daterne, og de valideringsoplysninger, der er indhentet ved hjælp af besøg

og aktiviteter gennemført som led i den militære evaluering. Den eksterne

kvalitetssikring konstaterer videre, at de økonomiske konsekvenser af disse

risici ikke har betydning for den endelige rangordning af kandidaterne i den

økonomiske evaluering.

Den eksterne kvalitetssikring vurderer, at de valideringstiltag, kampflypro-

grammet har foretaget, bidrager til fuldstændighed i fastlæggelsen af usik-

kerhedsintervallerne for de centrale omkostningsdrivende variable. Den eks-

terne kvalitetssikring vurderer endvidere, at kampflyprogrammet har foretaget

en gyldig følsomhedsanalyse af de centrale omkostningsdrivende variable til

understøttelse af den overordnede rangordning af kandidaterne. Den ekster-

ne kvalitetssikring finder endelig, at denne analyse giver et gyldigt billede af,

hvordan ændringer i centrale antagelser påvirker den økonomiske evalue-

ring. Af hensyn til ligebehandling af kandidaterne er kandidaterne evalueret i

forhold til en fast opgaveportefølje. Vi konstaterer i den sammenhæng, at

omkostningsmodellen også kan beregne konsekvenser ved ændringer i op-

gaveporteføljen.

Opsamling

134

Det er den eksterne kvalitetssikrings vurdering, at strukturanalyserne frem-

står gyldige, fuldstændige og konsistente, ligesom vi vurderer, at de er base-

ret på aktuelle informationer fra både kandidaterne og andre kilder.

Evalueringen af økonomiske forhold har fulgt den valgte evalueringsstrategi.

Der er gennemført en rækkevis tilpasninger af omkostningsmodellen til resul-

taterne af strukturanalyserne. Vi anser disse ændringer som forbedringer,

afledt af kandidatspecifikke forhold eller gennemført med henblik på at sikre

ligebehandling.

Vi finder, at anvendelsen af data og beregninger i omkostningsmodellen er

gyldig og foretaget konsekvent. Vi finder også, at sammenhængene mellem

strukturanalyserne og omkostningsanalyserne er håndteret konsistent og er

formidlet, så de analytiske sammenhænge bag beregningerne af kandidater-

nes levetidsomkostninger er forståelige.

135

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Vi finder, at den økonomiske evaluering er baseret på et aktuelt datagrund-

lag, idet det bemærkes, at datagrundlaget over tid kan blive uaktuelt, alt af-

hængigt af hvornår der træffes beslutning om typevalg.

Vi vurderer, at det økonomiske grundlag for et typevalg er gyldigt og konsi-

stent udtrykt i nutidsværdi. Evalueringen er velstruktureret og beskriver kort

metoder og datakilder samt præsenterer de vigtigste omkostningsfaktorer

–

ligesom vi finder, at evalueringens resultater er gengivet retvisende i det en-

delige beslutningsgrundlag.

Vi konstaterer, at væsentlige risikoomkostninger er behandlet i omkost-

ningsmodellen. Vi finder, at de identificerede økonomiske risici er vurderet

konsekvent og fuldstændigt henset til de informationer, kampflyprogrammet

har fra kandidaterne eller selv har indhentet. Vi konstaterer også, at de for-

ventede økonomiske omkostninger forbundet med disse risici ikke har betyd-

ning for rangordningen af kandidaterne i den økonomiske evaluering.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Industrielle forhold

136

I evalueringen af industrielle forhold vurderes kandidaterne i forhold til, i hvor

høj grad kampflyproducenternes forslag til samarbejde med dansk forsvars-

industri understøtter varetagelsen af danske sikkerhedsinteresser.

Som led i den eksterne kvalitetssikring har vi gennemgået evalueringen af

industrielle forhold, bagvedliggende analyser og evalueringer samt gengivel-

sen af resultaterne af evalueringen i beslutningsgrundlaget

Typevalg af

Danmarks kommende kampfly.

Konkret er kvalitetssikringen af dette område gennemført ved i overens-

stemmelse med den generelle metode for kvalitetssikring af kampflypro-

grammets produkter at vurdere, om samtlige analyser og evalueringen inden-

for dette område lever op til kvalitetssikringskriterierne vedrørende gyldighed,

fuldstændighed og konsistens. Vi har endvidere vurderet formidlingen af me-

toder, processer og analyser, og om evalueringer og analyser hviler på et

aktuelt datagrundlag.

Evalueringen af industrielle forhold hviler på en samlet evalueringsstrategi.

137

138

I det følgende præsenteres resultaterne af den eksterne kvalitetssikring af

den evaluering og de analyser, der er udarbejdet på baggrund af evalue-

ringsstrategien.

Evaluering af kandidaterne

139

Konkret har evalueringen af kandidaterne i forhold til industrielle forhold til

formål at vurdere, i hvor høj grad samarbejdsinitiativer foreslået af producen-

terne bag kandidaterne understøtter væsentlige danske sikkerhedsinteresser

vedrørende kampflyanskaffelsen.

Evalueringsstrategien for vurdering af kandidaterne i forhold til industrielle

forhold har været opdelt i fem trin:

1. Indsamling og validering af kandidaternes initiativer vedrørende industri-

samarbejde.

2. Kontrol af, om hvert initiativ lå indenfor afviklingsområdet for industrisam-

arbejde i overensstemmelse med EU-retten og danske retningslinjer her-

for. Kontrollen blev udført af en ekspertgruppe.

3. Opgørelse af kampflyproducenternes vurdering af de enkelte initiativers

relevans i forhold til at tilgodese væsentlige danske sikkerhedsinteresser.

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

4. Revurdering af de enkelte initiativers relevans i forhold til at tilgodese

væsentlige danske sikkerhedsinteresser. Revurderingen blev baseret på

otte kriterier og blev foretaget individuelt af en række eksperter.

5. Konsolideret vurdering af alle initiativernes relevans i forhold til at tilgo-

dese væsentlige danske sikkerhedsinteresser. Revurderingen blev base-

ret på samme otte kriterier og blev foretaget af et ekspertpanel.

140

Som led i evalueringen har Kammeradvokaten på kampflyprogrammets

foranledning vurderet, om det var berettiget at frasortere udvalgte initiativer til

industrisamarbejde, som kandidaterne har foreslået. Kammeradvokaten har

endvidere vurderet eventuelle procesrisici, der måtte være forbundet med

afviklingen af kandidaternes initiativer. Kammeradvokaten har desuden vur-

deret, hvordan kampflyprogrammet skulle håndtere konkrete samarbejdsiniti-

ativer fra Lockheed Martin, der ville være afsluttede inden den forventede

kontraktindgåelse i 2016, eller som ville strække sig henover det forventede

tidspunkt for kontraktindgåelse. Den eksterne kvalitetssikring tager Kammer-

advokatens vurderinger til efterretning og har derfor ikke selv vurderet forhold

vedrørende kontrol af afviklingsområdet eller eventuelle juridiske procesrisici.

Den eksterne kvalitetssikring kan konstatere, at alle procestrin i evaluerings-

strategien er fulgt. Vi kan endvidere konstatere, at processen er gennemført

på struktureret og systematisk vis. Vi anser det for en velstruktureret og vel-

dokumenteret evaluering af kandidaternes initiativer og disses relative bidrag

til den nationale sikkerhedsinteresse.

Den eksterne kvalitetssikring anerkender endvidere, at evalueringsstrategien

har været vanskelig at udvikle henset til de nylige stramninger af, hvad indu-

strisamarbejde må begrundes i, jævnfør tilpasningen af de danske retnings-

linjer til artikel 346, og at der dermed er et helt nyt grundlag for industrisam-

arbejde.

Evalueringsstrategien og den valgte evalueringsmodel med anvendelse af et

ekspertpanel har sikret en struktureret og systematisk vurderingsproces, hvor

eksperter ad flere omgange har vurderet kandidaternes forslag til initiativer,

og hvor afvigelser i eksperternes vurderinger er gjort til genstand for drøftel-

ser, inden en samlet vurdering af kandidaternes initiativpakker blev foretaget.

Sammensætningen af ekspertpanelet har ikke givet os anledning til at an-

fægte panelets uafhængighed.

Metoden og den strukturerede og systematiske tilgang giver et gyldigt grund-

lag for at vurdere kandidaternes bidrag til den nationale sikkerhedsinteresse

forhold til hinanden.

Metoden giver ikke, og er heller ikke tiltænkt at skulle

give, grundlag for at vurdere initiativernes

faktiske bidrag

til den nationale

sikkerhedsinteresse.

141

142

Evalueringen er overvejende baseret på informationer om initiativer, som

kandidaterne har foreslået i regi af kampflyprogrammets informationsanmod-

ninger. Disse informationer er blevet valideret, ligesom kampflyprogrammet

har forhørt sig om industriens forventninger til industrisamarbejde. Vi anser

på denne baggrund informationsgrundlaget for evalueringen som gyldigt og

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

baseret på data, der er aktuelle. Evalueringsrapporten

Typevalg af Danmarks

kommende kampfly

gengiver resultaterne fra den gennemførte analyse af

blandt forsvarsindustrien. Industrien blev ikke præsenteret for de samarbejds-

initiativer, kandidaterne har foreslået, og analysen udtrykker derfor alene

industriens forventninger. Gengivelsen af analysen finder vi relevant, da den

perspektiverende har suppleret kandidaternes forslag i det tværministerielle

ekspertpanels vurdering af kandidaternes samarbejdsinitiativer.

143

Den samlede evaluering af kandidaterne er

–

i tråd med evalueringsstrategi-

–

sket på basis af en samlet sammenvejning af kandidaternes initiativpak-

ker ud fra de styrker, som pakkerne er kendetegnet ved, og som er afdækket

ved hjælp af evalueringskriterierne i den forudgående proces.

Det er vores vurdering, at de væsentlige kvaliteter ved kandidaternes initia-

tivpakker er blevet udkrystalliseret i evalueringsprocessen og af eksperterne

er lagt til grund for den endelige vurdering og karaktergivning.

Usikkerheder og risici

144

Kandidaterne er underlagt forskellige vilkår for industrisamarbejde med

betydning for den faktiske afvikling af de initiativer, kandidaterne har forelagte

kampflyprogrammet. For Super Hornet og Eurofighter gælder de administra-

tive retningslinjer om industrisamarbejde, efter hvilke den valgte leverandør

kan pålægges krav om industrisamarbejde. For Joint Strike Fighter gælder

det såkaldte best value-princip, efter hvilket danske virksomheder skal kon-

kurrere med virksomheder i andre partnerlande om ethvert initiativ. Disse

forskellige vilkår er af kampflyprogrammet håndteret ved at opstille en evalu-

eringsmodel, hvor kandidaternes egne forslag til initiativer til industrisamar-

bejde evalueres og sammenlignes på samme grundlag

–

nemlig de initiativer

til industrisamarbejde, som kandidaterne selv har valgt at foreslå. I vores

vurdering af kampflyprogrammets evalueringsstrategi for industri har vi fundet

den valgte evalueringsmodel konsistent og gyldig.

Best value-princippet afføder som nævnt en særlig usikkerhed forbundet med

de initiativer, der er foreslået af Lockheed Martin, og giver en risiko for indu-

strisamarbejdets omfang ved et typevalg af Joint Strike Fighter. Vi finder det

positivt, at evalueringsrapporten omtaler denne og andre usikkerheder. Vi

anerkender videre, at disse usikkerheder er indgået i ekspertpanelets afvej-

ninger for og imod kandidaternes initiativer. Således er usikkerheden ved de

initiativer, der er foreslået af Lockheed Martin, blevet drøftet og vurderet af

ekspertpanelet, og det er således indgået i ekspertpanelets scoring af kandi-

daterne. Det er konkret sket i sammenhæng med evalueringskriterierne om

volumen, modenhed og realiserbarhed.

Vi finder, som det også er omtalt i kampflyprogrammets evaluering, at der

som følge af best value-princippet bør udvises forsigtighed i fortolkningen af

evalueringsresultatet henset til, at det er usikkert, hvilket industrisamarbejde

der vil blive tale om, og hvor omfattende samarbejdet vil være, hvis Joint

Strike Fighter vælges.

145

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Opsamling

146

Vi kan konstatere, at den evalueringsmodel, der er specificeret i strategien,

er fulgt, og at processen er gennemført på struktureret og systematisk vis. Vi

finder dermed, at kampflyprogrammet i overensstemmelse med evaluerings-

strategien har udarbejdet en konsistent, gyldig og fuldstændig evaluering af

kandidaternes initiativer til industrisamarbejde, herunder at resultaterne af

evalueringen er gengivet retvisende i beslutningsgrundlaget.

Endvidere finder vi, at evalueringen giver et konsistent grundlag for at

vurdere kandidaterne i forhold til hinanden og således rangordne kandidater-

ne i forhold til, hvordan disses forslag til industrisamarbejde relativt tilgodeser

væsentlige nationale sikkerhedsinteresser.

Vi konstaterer, at kampflyprogrammet i evalueringen omtaler en række

usikkerheder forbundet med kandidaterne. Vi konstaterer også, at eksperter-

ne i deres bedømmelse af kandidaterne har inddraget disse usikkerheder.

Flere af disse usikkerheder kan henføres til vilkårene for industrisamarbejde

som nævnt indledningsvist i dette afsnit. Vi finder, at kampflyprogrammet på

konsistent vis har håndteret forskellene mellem kandidaterne og har mulig-

gjort sammenligning af kandidaternes initiativer. Samtidig finder vi, at det i

fortolkningen af evalueringsresultatet er vigtigt at anerkende usikkerhedernes

mulige indvirkning på den faktiske afvikling af industrisamarbejdet efter kon-

traktindgåelsen. Det er den eksterne kvalitetssikrings vurdering, at indholdet i

og omfanget af industrisamarbejde vil være særlig usikkert, hvis Joint Strike

Fighter vælges.

147

148

Nyt Kampfly Program

Ekstern kvalitetssikring af beslutningsgrundlaget

UPN, Alm.del - 2015-16 - Bilag 226: Brev fra forsvarsministeren om regeringens indstilling om nye kampfly

Om Deloitte

Deloitte leverer ydelser indenfor revision, skat, consulting og financial advisory til både offentlige og private virksomheder i en lang række brancher.

Vores globale netværk med medlemsfirmaer i mere end 150 lande sikrer, at vi kan stille stærke kompetencer til rådighed og yde service af højeste

kvalitet, når vi skal hjælpe vores kunder med at løse deres mest komplekse forretningsmæssige udfordringer. Deloittes cirka 210.000

medarbejdere arbejder målrettet efter at sætte den højeste standard.

Deloitte Touche Tohmatsu Limited

Deloitte er en betegnelse for Deloitte Touche Tohmatsu Limited, der er et britisk selskab med begrænset ansvar, og dets netværk af

medlemsfirmaer. Hvert medlemsfirma udgør en separat og uafhængig juridisk enhed. Vi henviser til

www.deloitte.com/about

for en udførlig

beskrivelse af den juridiske struktur i Deloitte Touche Tohmatsu Limited og dets medlemsfirmaer.