URU, Alm.del - 2012-13 - Bilag 92: Dansk resumé af evaluering af Danida Fellowship Programme

EvaluEringrEsuméEvalueringen af Danida FellowshipProgramme (DFP) blev iværksat medhenblik på at vurdere resultaterne afprogrammets kursus- og uddannelses-aktiviteter. Disse aktiviteter rettersig mod at bidrage til udvikling ogkapacitetsopbygning for partnerins-titutioner i de lande, Danida samarbej-der med. Som en del af evalueringener DFP’s interne organisering ogkapacitet til at kunne levere træningaf høj kvalitet også blevet vurderet.Evalueringen dækker perioden 2008-2012 og omfatter dermed implemente-ringen af DFP’s strategi for 2011-13og samarbejdsaftalen med Udenrigs-ministeriet for 2010-12. Evalueringener baseret på litteraturstudier, spørge-skemaundersøgelser og landestudieri Ghana og Uganda samt på kompara-tive analyser af de lignende program-mer i Holland og Sverige. Evalueringener foretaget af det britiske konsulent-firma Oxford Policy Management.

2012.05idet Udenrigsministeriet ikke længereer repræsenteret i DFC’s bestyrelse.På baggrund af en anbefaling i et reviewfra 2008 har DFC udarbejdet en strategifor DFP og der er siden sket fremskridti implementeringen af strategien, somhar særlig fokus på styrkelse af sam·arbejdet med sydbaserede uddannelses·institutioner. Ambassaderne ser dettesom en positiv udvikling, der bl.a. kædessammen med en vis reduktion af deoverordnede udgifter til uddannelses·aktiviteter. Samtidig er den hørings·proces, der sigter mod at sikre atkursusaktiviteterne er relevante seti forhold til ambassadernes oplevelseaf behov, blevet styrket. Der er desudensket fremskridt i udviklingen af etmonitorerings· og evalueringssystemfor DFP, selvom dette endnu ikke erfuldt implementeret og der genereltpeges på behov for et øget fokus påde overordnede resultater af DFP.Endelig peger evalueringen på behovetfor, at Udenrigsministeriet sikrerudviklingen af en overordnet politikfor DFP.

Overordnede konklusionerDanida Fellowship Programme (DFP),der siden 1990 har været administreretaf Danida Fellowship Centre (DFC)udbyder ifølge evalueringen trænings·aktiviteter, som kursusdeltagerne anserfor yderst relevante i forhold til deresbehov og som de er i stand til at anvendei deres arbejde. DFP værdsættes aforganisationerne i de Danida·støttedeprogrammer og de fleste af de ambassa·der der har deltaget i evalueringen synesgenerelt, at DFP bidrager positivt tilmålsætningerne i dansk udviklings·samarbejde. Det vurderes, at kurserne ervelforberedte og der anvendes relevantemetoder i kurserne. Ledelsen af DFP sesgenerelt som god, særligt i forbindelsemed kursusudvælgelse, design ogimplementering og både kursusudbydereog ambassader vurderer, at ledelsenaf DFP er blevet forbedret siden denseneste evaluering fra i 2001.I de seneste år er DFC’s uafhængighedaf Udenrigsministeriet blevet styrket,

DelkonklusionerStørre fokus på efterspørgselIkke mindst siden DFP·evalueringeni 2001 har der været fokus på at sikre,at DFP blev mere efterspørgselsdrevet,og dette er også en central målsætningi den nuværende samarbejdsaftale medUdenrigsministeriet. Mellem 2007·2011er der næsten sket en fordobling afdeltagermåneder når det gælderskræddersyede kurser, som er bestiltog finansieret af specifikke Danida·programmer og som derfor i sagensnatur er efterspørgselsdrevne. Disseudgør dog kun 5,8 procent af de samledetræningsmåneder og er dermed fortsaten mindre del af DFP’s samlede kursus·udbud. Evalueringen konkluderer derfor,at DFC’s nuværende set·up er afhængigaf de enkelte træningsrådgiveres evnetil at identificere de væsentligste behovog omsætte det til udbudte kurser.Øget samarbejde med SydEt centralt emne for strategien 2011·13har været at øge samarbejdet medsydbaserede uddannelsesinstitutioner.DFC har her ifølge evalueringen hoved·sageligt fokuseret på udvikling afnye kurser i relativt fagligt stærkesyd·baserede uddannelsesinstitutioner,som i forvejen er involveret i DFP. DFCvurderer selv, at de mangler de ressour·cer og instrumenter det ville kræve atforetage en mere omfattende vurderingaf de nationale kursusbehov og/ellerstøtte en mere omfattende kapacitets·opbygning af sydbaserede uddannelses·institutioner.

De sydbaserede uddannelsesinstitutio·ner, som indgår i evalueringen, hari forvejen en relativ stor kapacitet ogDFP har derfor været i stand til at byggevidere på deres eksisterende viden ogomdømme. Udenrigsministeriet har ikkeformuleret en målsætning for, i hvor højgrad DFP forventes at bidrage til kapaci·tetsopbygning for sydbaserede uddan·nelsesinstitutioner. Evalueringenanbefaler, at den relative vægtning afdenne mulige målsætning set i forhold tilandre mulige målsætninger for program·met fremover tydeliggøres. Ifølgeevalueringen ser et større samarbejdemed sydbaserede uddannelsesinstitu·tioner ud til at styrke effektivitetenog resultaterne, men den manglendesystematiske information om effekterneaf den igangværende omlægning gørdet vanskeligt at sige noget endegyldigtherom.Behov for en samlet resultatrammeEvalueringen fremhæver, at Udenrigs·ministeriet ikke har formuleret resultat·målsætninger for DFP eller klargjort,hvilken rolle DFP spiller i relation tilUdenrigsministeriets øvrige kapacitets·udvikling og målsætningerne i danskudviklingssamarbejde. DFP’s førstestrategi blev udviklet i 2010 og inde·holder ikke et direkte fokus på resultater.Udenrigsministeriets samarbejdsaftalemed DFC indeholder ikke resultatmålfor effekter såsom adfærdsændringerog organisationsudvikling på baggrundaf kurserne. Evalueringen finder detproblematisk, at Udenrigsministerietikke har formuleret en politik elleren resultatramme, hvorunder DFC kanpåtage sig ansvaret for at skabe resulta·ter – også på disse mere overordnedeniveauer.Ifølge evalueringen mener DFC ikke selv,at de har mandat eller kapacitet til atvære ansvarlig for resultaterne afundervisningen udover det konkretelæringsudbytte af kursusaktiviteterne.Evalueringen fremhæver her, at DFC somen selvstændig institution principielt kanvære ansvarlig for at sikre klarhed over,

hvilke resultater der opnås med detildelte ressourcer. I praksis vil sam·arbejde med ambassader og Danida·programmer dog altid være en forudsæt·ning når det gælder mere overordnederesultater – ud over den enkelte kursistslæringsudbytte. Dette gælder ogsåudvælgelsesprocessen hvor der børtages højde for, om de organisatoriskeog institutionelle betingelser er til stedefor at deltagerne kan drage nytte aftræningen. Indsamling af denne typeinformation kan ikke sikres tilstrækkeligtaf enkeltstående undersøgelser, somf.eks. nærværende evaluering – menkræver en systematisk involvering helevejen gennem forløbet af de organisa·tioner, som kursusdeltagerne kommerfra. Det forventes at studier, der serpå mere overordnede resultater, vil indgåsom en del af det nye monitorerings·system, men der er endnu ikke gennem·ført sådanne undersøgelser.Evalueringen finder, at monitorering ogevaluering, udover selvevaluering, af DFPhar været mangelfuld, hvilket gør detvanskeligt at sammenligne udgiftsni·veauet med resultaterne – og dermed isidste ende tage stilling til programmetseffektivitet. Manglen på systematiskinformation om adfærdsændring ogorganisationsudvikling gør det eksem·pelvis vanskeligt mere konkret atvurdere, om arbejdet igennem syd·baserede uddannelsesinstitutionerhar styrket effektiviteten af DFP.Evalueringen vurderer dog, at effektivite·ten af DFP sandsynligvis vil kunnestyrkes, hvis træningsaktiviteternesammenkædes mere direkte medDanida·programmerne og de nationaleog sektorspecifikke kapacitetsudvik·lingsprocesser. Dette skal gerne kombi·neres med at der afsættes flere ressour·cer til at udvælge kursusdeltagerne oginddrage partnerorganisationerne samttil at udvide og styrke opfølgningsaktivi·teterne, for bedre at følge om og hvordanden nye viden får praktisk betydning forde organisationer, deltagerne kom fra.

Afslutningen af DFP’s nuværendestrategiperiode skaber en åbning for atadressere disse problemer. Evalueringenfremhæver i den sammenhæng nødven·digheden af, at Udenrigsministerietudvikler en overordnet politik medtilhørende resultatramme for DFP,som udgangspunkt for en grundigstrategirevision.Styrket samarbejdemed ambassaderneAmbassaderne mener generelt ikke, atde har tilstrækkelig viden eller ressour·cer til at involvere sig i en proaktiv procesmed lokale organisationer for at sikreeller måle de videre resultater afkursusaktiviteterne for de involveredeorganisationer. Ambassaderne oplyserdesuden, at de har modtaget begrænsetinformation fra DFC omkring deltagernespræstation på kurserne.Evalueringen konkluderer, at opnåelseaf læringsresultater – udover selveuddannelsesaktiviteterne – forudsætteret øget samarbejde mellem DFC,ambassaderne og Danida·programmer·ne. Motivationen og interessen hosDanida·rådgiverne og DFP’s kontakt·personer på ambassaderne kan ifølgeevalueringen være af afgørendebetydning for måden DFP fungerer på,eksempelvis når det gælder dialogenmed de organisationer, kursisternekommer fra.Evalueringen konkluderer desuden, atsåfremt en større andel af DFP’s budgetvar knyttet direkte til de Danida·støttedeprogrammer i partnerlandene ville detgive et større fokus på, hvordan budget·tet blev brugt og derfor et større engage·ment i både overvejelserne omkringkursusindhold og hvordan læringenefterfølgende kan bruges i organisatio·nerne. Evalueringen viser dog også, atkun få ambassader mener, at en størreandel af DFP’s budget bør kontrolleresaf programmer og ambassader.

Større fokus på opfølgningDFC lægger hovedvægten på kursus·design, implementering og informations·systemer, inklusiv monitorerings· ogevalueringsmetoder, som dog til datonæsten udelukkende har fokuseret pådeltagernes selvevaluering af kursus·aktiviteter og læring. DFC har i praksiskun begrænset mulighed for at under·søge potentielle ansøgeres egnethed,herunder partnerorganisationernesmuligheder for at skabe de rette betin·gelser for organisationsudvikling. DFChar som nævnt ikke foretaget en syste·matisk opfølgning af kurserne for atvurdere i hvilket omfang de har bidragettil adfærdsændringer og organisations·udvikling.Der har været en meget lille involveringaf DFC i kursusopfølgning og kontaktmed de organisationer som har leveretkursusdeltagere. Landestudierne fraUganda og Ghana fremhæver imidlertid,at den organisatoriske gennemslagskrafter større og lettere at få øje på, såfremtder fastholdes et engagement med etstørre antal deltagere fra de sammeorganisationer over længere tid.Mulighederne for at opnå bæredygtigeresultater vil ifølge evalueringen ikkemindst kunne forbedres gennem enstyrkelse af opfølgningsprocessen(f.eks. gennem netværksdannelse,ressourcer til implementering af aftaltehandlingsplaner og i nogle tilfældeyderligere træning) og gennem atfokusere på uddannelse i forhold tilspecifikke organisationer for at opnåen ”kritisk masse” af færdigheder samtsikre at betingelserne for succes erstørst mulige.

AnbefalingerEvalueringen indeholder en rækkekonkrete anbefalinger:•Udenrigsministeriet bør formulereen politik, som skal danne grundlagfor forberedelsen af den næsteDFP·strategi. Politikken skal klargøreforholdet mellem DFP·aktiviteterog Udenrigsministeriets overordnedemålsætninger om kapacitetsudviklingsamt ansvarsfordelingen mellem DFC,ambassaderne, Danida·programmerneog de forskellige afdelinger, herunderressourcespørgsmål. Den bør ogsåvære retningsgivende for program·mets overordnede målsætninger ogtyper af aktiviteter.•Udenrigsministeriet skal i samarbejdemed DFC udvikle en nærmere beskri·velse af målsætningerne for program·met (en resultatramme). Denneresultatramme skal identificere deforventede resultater af kapacitets·udviklingen på forskellige niveauersamt klargøre forudsætninger ogansvar for forskellige interessenteri forhold til at sikre, at de ønskederesultater opnås og er veldokumen·terede, og at det kan undersøges omprogrammet fungerer som forventet.•Den nye politik og den nye resulta·tramme for DFP’s bør være en rette·snor for udviklingen af den fremtidigestrategi for DFP og indarbejdes i denfremtidige samarbejdsaftale medUdenrigsministeriet. DFCs uafhængig·hed og ansvar for at opnå de aftalteresultater og for implementeringindenfor den aftalte ramme børfastholdes.

DaniDas kommentarerDanida finder, at evalueringen er kommetmed en række gode observationer oganbefalinger.Det er meget positivt, at evalueringenkonkluderer, at administrationen af DFPer god, og at kurserne er godt tilrettelagtog udført.Evalueringen konkluderer også, atudbyttet af kurserne er vigtigt og nyttigtfor kursisterne i deres daglige arbejdeog for deres karrierer, men desværre harevalueringen ikke været i stand til atvurdere udviklingsudbyttet af kursernefor de organisationer kursisternekommer fra, eller for udviklingsresul·taterne i kursisternes hjemlande.DFP har ikke løbende sikret systematiskinformation, der muliggør sådannevurderinger. Evalueringen konkludererheller ikke på hvorvidt DFPs uddannel·sestilgang, der primært retter sig modindivider/kursister, er den mest effektivei forhold til at opnå de ønskede udvik·lingsresultater i Danidas prioritetslande,eller om en tilgang rettet mod organisa·tioner fremfor mod individer ville væremere hensigtsmæssig.Danida er enig med evalueringen i atder er behov for, at Danida udarbejderen politik for sammenhængen mellemDanidas politikker og målsætninger forkapacitetsopbygning på den ene sideog det fremtidige fellowship program påden anden side. Politikken skal fungeresom en rettesnor for den fremtidigefellowship program strategi, for densoverordnede målsætninger og typeraf aktiviteter. Overvejelser om hvilketniveau (organisation eller individ)indsatsen skal rettes imod vil dannebaggrund for politikken. Definitionenaf roller, ansvar og ressourcetildelingi forhold til Danida Fellowship program·mer skal afklares i forbindelse medudviklingen af den nye kapacitets·opbygningspolitik.Danida er enig i, at der skal udvikles enresultatramme for fellowship program·met. Den skal identificere de forventedekapacitetsudviklingsresultater påforskellige niveauer samt tydeliggøreforudsætninger og ansvar for forskelligeinteressenter i forhold til at sikre, at deønskede resultater opnås og er veldoku·menterede, og at det kan undersøgesom programmet fungerer som forventet.Implementeringen af monitorerings·og evalueringssystemet skal skabegrundlag for den fremtidige resultat·rapportering med særligt fokus pådokumentation af adfærdsændringog organisationsudvikling.Danida vil indgå i en dialog med DFC omde anbefalinger, der er rettet mod DFC,nemlig om: i) de praktiske mulighederfor at engagere sig mere direkte iopfølgningen af uddannelsesaktivi·teterne og sikre, at der afsættes denødvendige ressourcer hertil; ii) sam·arbejdet med ambassaderne og Danida·programmerne omkring opfølgnings·aktiviteter; iii) udvikling af redskabersom hjælp til en systematisk forbe·redelse og vurdering af DFP·ansøgningeri relation til organisationernes behov fororganisationsudvikling og for at kunneredegøre for de opnåede resultaterog iv) en udvidelse af puljen af poten·tielle kursusudbydere for at styrkekonkurrencesituationen omkring udgifterog kvalitet og i nogle tilfælde tilskyndetil innovation i gennemførslen, særligti lyset af det forsat øgede samarbejdemed sydbaserede træningsinstitutioner.

www.evaluering.dk