AMU, Alm.del - 2009-10 - Bilag 118: Evalueringer, der er gennemført i regi af programmet for evaluering af kommunalreformen, fra beskæftigelsesministeren

IndledningBaggrundFormål med evalueringenEvalueringens datagrundlagLæsevejledningHovedkonklusion og anbefalingerHovedkonklusionerAnbefalingerJobcentrenes vurdering af Resultatrevisionen som styrings- ogplanlægningsredskabStyrker ved ResultatrevisionenUdpegede problemområder ved ResultatrevisionenOpsamlende vurderingDe beskæftigelsespolitiske aktørers vurdering af ResultatrevisionensanvendelighedDe kommunale arbejdsmarkedsudvalgBeskæftigelsesregionerneDriftsregionerneDe regionale beskæftigelsesrådDe lokale beskæftigelsesrådOpsamlende vurderingUdarbejdelses- og godkendelsesprocessenRolle- og ansvarsfordelingProcessenOffentliggørelse af skabelonenRessourceforbrugOpsamlende vurdering

BaggrundResultatrevisionener sammen medBeskæftigelsesplan og Jobindsatsredskaber iden beskæftigelsespolitiske indsats, som skal understøtte jobcentrenes arbejde.Redskaberne afspejler og understøtter den nye styringsmodel for jobcentrene, somtrådte i kraft 1. januar 2007.Intentionen med styringsmodellen er, at styring, planlægning og opfølgning på be-skæftigelsesindsatsen skal foregå på en mere ensartet måde på tværs af jobcentreog på tværs af den statslige og kommunale del1.I den sammenhæng harResultatrevisionentil formål at skabe et overblik over opnå-ede resultater og effekter af beskæftigelsesindsatsen i jobcentret samlet set og for-delt på stat og kommune. Dette med henblik på at målrette informationen til demyndigheder, der er ansvarlige for forskellige dele af indsatsen. Samtidig er revisio-nens formål at producere et fælles udgangspunkt og referenceramme for dialog mel-lem arbejdsmarkedets parter, lokale politikere og forvaltningen, når jobcentrets be-skæftigelsesindsats er til debat2.Derfor udarbejdes Resultatrevisionen efter en fælles skabelon for alle jobcentre, derfølger op på samme syv hovedområder – heraf de tre ministermål. Tilsammen givermålene oplysninger om, hvordan det går med beskæftigelsesindsatsen i jobcentrene.Resultatrevisionen kan siges både at have en bagudrettet og fremadrettet funktion. IResultatrevisionen skal der ses en afsluttende status for, hvilke resultater jobcentre-ne nåede i det forudgående år. Denne status skal samtidig bruges fremadrettet somdel af det strategiske afsæt for formulering af nye mål i beskæftigelsesindsatsen ogsom afsæt til planlægning og budgettering af beskæftigelsesindsatsen.Jobcentrene har i sommeren 2008 udarbejdet deres første Resultatrevision for ind-satsåret 2007.

Formål med evalueringenFormålet med evalueringen af Resultatrevisionen er at undersøge, om Resultatrevisi-onen opfylder sit formål og om kvaliteten af produktet er i orden. Dette sker ved atundersøge, om Resultatrevisionen understøtter og skaber overblik over beskæftigel-sesindsatsen i jobcentrene. Evalueringen har endvidere til formål at afdække, om derer behov for justeringer af Resultatrevisionen.Første fase af evalueringen havde fokus på Resultatrevisionens konkrete indhold,dvs. de udvalgte målinger, data m.v. Anden fase af evalueringen, som afrapporteresi nærværende rapport, har fokus på Resultatrevisionens effektivitet som styrings- ogplanlægningsværktøj.

Evalueringens datagrundlagEvalueringsdesignet er udviklet således, at samtlige aktører med relation til Resultat-revisionen er blevet inddraget. Således har undersøgelsen inddraget repræsentanterfra jobcentre, repræsentanter fra drifts- og beskæftigelsesregioner, repræsentanterfra de regionale (RBR) og de lokale beskæftigelsesråd (LBR) samt repræsentanter frakommunale arbejdsmarkedsudvalg.Aktørerne er blevet inddraget gennem fokusgrupper og interviews med henblik på atafdække, i hvilket omfang de benytter Resultatrevisionen, hvordan de benytter den,og om den i sin udformning understøtter deres planlægning, styring og opfølgning påbeskæftigelsesindsatsen.Undersøgelsen blev indledt med 5 eksplorative interviews med repræsentanter frajobcentre, LBR samt drifts- og beskæftigelsesregioner. Indsigter herfra er benyttet itilrettelæggelse af den efterfølgende dataindsamling.FokusgrupperDer er blevet gennemført to fokusgrupper med repræsentanter fra jobcentre overhele landet samt en række kvalitative interviews med de andre aktører. Der blevsåledes afholdt én fokusgruppe i København og én i Århus.Der var et stort fremmøde til fokusgrupperne. I København deltog 27 repræsentan-ter fra jobcentre i Region Hovedstaden og Region Sjælland, mens der i Århus deltog28 personer fra jobcentre i de tre jyske regioner. Det var hovedsageligt jobcenter-chefer fra både den statslige og kommunale del, som deltog. I alt var 41 ud af 91jobcentre repræsenteret i fokusgrupperne.Temaerne som dannede udgangspunkt for diskussionerne var følgende:

Fokusgrupperne etablerede et forum, hvor repræsentanter fra jobcentre kunne dis-kutere anvendelighed og erfaringer med udarbejdelsen af Resultatrevisionen. Fokus-grupperne viste sig at være en god måde at få jobcentrene til at drøfte Resultatrevi-sionens anvendelighed og ikke mindst afvejning af Resultatrevisionens styrker ogsvagheder. Samtidig gav fokusgrupperne et godt afsæt til drøftelse af jobcentrenesønsker til justeringer og forbedringsforslag.Kvalitative interviewsDe resterende aktører er inddraget gennem kvalitative interviews. Her blev derspurgt ind til brugen af og erfaringer med Resultatrevisionen ud fra spørgerammermålrettet til de forskellige aktørers roller i forbindelse med Resultatrevisionen.Der er i alt gennemført 34 interviews med en bred geografisk spredning. Interviewe-ne er fordelt således:•6 personer fra de kommunale arbejdsmarkedsudvalg•8 personer fra beskæftigelsesregionerne•8 personer fra driftsregionerne•4 personer fra de regionale beskæftigelsesråd (RBR)•8 personer fra de lokale beskæftigelsesråd (LBR)

LæsevejledningRapporten er inddelt i fire kapitler.Ikapitel 2præsenteres hovedkonklusioner og anbefalinger.Kapitel 3indeholder en gennemgang af jobcentrenes erfaringer med og vurderingeraf Resultatrevisionen som styrings-, opfølgnings-, og planlægningsredskab. Førstbeskrives de oplevede styrker ved Resultatrevisionen og dernæst de problemområ-der og forbedringspotentialer, som fremhæves. Kapitlet afrundes med et opsamlendeog vurderende afsnit.Ikapitel 4gennemgås erfaringer og vurderinger af Resultatrevisionen ud fra de øvri-ge parters perspektiv. Det drejer sig drifts- og beskæftigelsesregionerne, RBR, LBRsamt de kommunale arbejdsmarkedsudvalg.

HovedkonklusionerDet overordnede billede er, at respondenterne generelt synes, at Resultatrevisions-skabelonen indeholder relevante og centrale målinger, som tilsammen giver et godtoverblik over udviklingen på beskæftigelsesområdet. Resultatrevisionen samler enrække centrale oplysninger om udviklingen i beskæftigelsesindsatsen i jobcentrenefor både den statslige og kommunale del. Overordnet set er det Rambøll Manage-ments vurdering, at Resultatrevisionen i høj grad yder det nødvendige overblik overbeskæftigelsesindsatsen i jobcentrene.Endvidere fremhæves det af medlemmer fra arbejdsmarkedsudvalgene, at den poli-tiske behandling af Resultatrevisionen har resulteret i øget ejerskab og fælles op-mærksomhed på de beskæftigelsespolitiske udfordringer, fx i byrådet.Jobcentrene er generelt åbne over for konceptet. De udtrykker således, at det ersundt at stoppe op én gang om året og tage helikopterblikket på, og de mener, at enrevision eller en status for året er et naturligt led i årshjulet.Med hensyn til anvendeligheden af Resultatrevisionen vurderer respondenterne dog,at Resultatrevisionen på mange måder ikke fungerer hensigtsmæssigt. Jobcentrenevurderer således, at Resultatrevisionen ikke i tilstrækkelig grad er anvendelig somstyrings-, opfølgnings- og planlægningsredskab i den nuværende form, og menerikke at udbyttet og anvendeligheden står mål med de ressourcer, der lægges i udar-bejdelsen. Flere jobcentre oplever desuden lav grad af interesse fra LBR og arbejds-markedsudvalgene og stiller på den baggrund spørgsmålstegn ved, hvem Resultatre-visionen er tiltænkt. Mange udtrykker, at de gerne ser Resultatrevisionen afskaffet.De andre aktører er ikke nær så kritiske som jobcentrene, men udtrykker dog nogleaf de samme kritikpunkter. Det vedrører blandt andet aktualiteten af data og opgø-relsesmetoderne, der anvendes. Arbejdsmarkedsudvalgene er generelt dem, der ermest positive over for Resultatrevisionen.Det er Rambøll Managements vurdering, at de forbehold, som særligt jobcentreneudtrykker, hovedsageligt skyldes følgende faktorer:1) At formålet med Resultatrevisionen er uklart, herunder at det er uklart, hvadresultatrevisionen bruges til på centralt hold2) At udarbejdelse af Resultatrevisionen er ressourcekrævende, særligt for demindre jobcentre

3) At godkendelsesproceduren er langvarig og uhensigtsmæssig4) At opgørelserne i Resultatrevisionen er uaktuelle, og at nogle af målingerneopgøres uhensigtsmæssigt5) At målinger i Resultatrevisionen er forskellig fra de målinger, der løbendefølges op på og afrapporteres internt i jobcentrene og i beskæftigelsesregio-nerne.Formål uklartI forhold til at anvende Resultatrevisionen som styrings- og planlægningsredskablægger jobcentrene stor vægt på, at revisionen ikke kan bruges til styring af indsat-sen. Dertil er Resultatrevisionen alt for uaktuel og for overordnet. Styring af indsat-sen kræver således løbende overvågning og løbende justeringer.Derudover nævnes følgende kritikpunkter i forhold til anvendeligheden af Resultat-revisionen som input i den fremadrettede beskæftigelsesplanlægning:1) Resultatrevisionen indeholder ikke væsentlig ny viden2) Resultatrevisionen giver ikke indsigt i, hvilken proces og indsats der liggerbag tallene3) Resultatrevisionen følger ikke op på de lokale mål i beskæftigelsesplanen.Det er Rambøll Managements vurdering, at kritikken i et vist omfang skyldes, atformålet med Resultatrevisionen ikke er klart. Eksempelvis er Resultatrevisionen ikketænkt som et styringsredskab i forhold til den daglige/løbende styring af indsatsen,og hensigten med Resultatrevisionen er heller ikke at følge op på de lokale mål i be-skæftigelsesplanen.Formålet med Resultatrevisionen er at give et overblik over centrale målinger, somviser, hvordan det er gået det seneste år, og som viser, hvilken retning udviklingengår. Dette med henblik på at kunne opdage eventuelle faresignaler og potentielleindsatsområder for det kommende år. Resultatrevisionen er således ikke en revisionaf alle processer, forudsætninger eller aktiviteter i jobcentrene, men en revision af fåcentrale resultater, som kan sammenlignes på tværs af jobcentrene. Det er RambøllManagements indtryk, at en del af jobcentrenes kritik skyldes, at de har en forvent-ning om at anvende Resultatrevisionen til mere specifikke formål, end den er til-tænkt.Rolle- og ansvarsfordeling mellem aktørerne er uklarEvalueringen viser, at ansvars- og rollefordelingen i forbindelse med Resultatrevisio-nen ikke er klar, hvilket er med til at forstærke jobcentrenes usikkerhed om, hvemder reelt bruger Resultatrevisionen.Særligt driftsregionerne er usikre på, hvad deres rolle i forbindelse med godkendelseaf Resultatrevisionen er, og de efterspørger kriterier for, hvornår en Resultatrevisionkan vurderes at være god nok. Desuden oplever de vanskeligheder ved alene atskulle forholde sig til den statslige del, eftersom den statslige og kommunale del på

flere områder er integreret. I godkendelsesprocessen har de primært vurderet for-men og i mindre grad indholdet.LBR udtrykker generelt tilfredshed med at være inddraget i processen, men har kun imeget begrænset grad anvendt deres høringsret.Beskæftigelsesregionerne og de regionale beskæftigelsesråd har ingen formel rolle igodkendelsen af Resultatrevisionen, men skal inddrage revisionen i deres opfølgningog overvågning af beskæftigelsesindsatsen i regionen. Resultatrevisionen bliver såle-des inddraget i dialogen med jobcentrene, men dog kun som supplement til regio-nernes egne opgørelser.Nogle jobcentre efterlyser mere systematisk opfølgning på Resultatrevisionen fracentralt hold. Dette med henblik på at sikre sammenhæng i beskæftigelsesindsatsensamt sikre videndeling og erfaringsudveksling mellem jobcentrene. Det er RambøllManagements vurdering, at opfølgningen på Resultatrevisionen i beskæftigelsesregi-onerne er vigtig i forhold til at styrke revisionen som udgangspunkt for en fællesdialog om beskæftigelsesindsatsen og i forhold til at legitimere ressourceforbruget,der anvendes i forbindelse med udarbejdelse af den.RessourceforbrugRessourceforbruget, der anvendes i forbindelse med udarbejdelse af Resultatrevisio-nen, varierer mellem jobcentrene. Det er dog Rambøll Managements indtryk, at dergenerelt bruges mange ressourcer på at kommentere Resultatrevisionen. Særligt demindre jobcentre, som kun har begrænset akademisk arbejdskraft til rådighed, ople-ver, at udarbejdelsen af Resultatrevisionen er en tung opgave.Udarbejdelses- og godkendelsesprocedureGodkendelsesproceduren bidrager til det forholdsvis store ressourceforbrug. Proce-duren betyder, at Resultatrevisionen dels skal forhåndsgodkendes i driftsregionen,dels skal forelægges arbejdsmarkedsudvalget inden den sendes til høring i LBR. Det-te for at sikre, at Resultatrevisionen ikke ændres væsentligt, efter at LBR har afgivetderes bemærkninger. På baggrund af høringen sendes Resultatrevisionen til endeliggodkendelse i driftsregionen og fremlægges desuden endnu engang for arbejdsmar-kedsudvalget, før den sendes til godkendelse i kommunalbestyrelsen.Godkendelsesproceduren medfører, at jobcentrene skal bruge meget tid på at tilretteResultatrevisionen på baggrund af de indkomne kommentarer. Derudover er god-kendelsesproceduren med til at trække processen i langdrag, hvilket betyder, at dengodkendes for sent til at kunne indgå i udformningen af beskæftigelsesplanen for2009.Et tredje væsentligt aspekt er, at godkendelsesproceduren hæmmer samarbejdetmellem den statslige og den kommunale del, eftersom den statslige og kommunaledel skal godkendes af forskellige instanser og på forskellige tidspunkter.

Flere respondenter giver desuden udtryk for, at det er uhensigtsmæssigt, at skabe-lonen til Resultatrevisionen offentliggøres, inden jobcentrene har haft lejlighed til atkommentere den. De ukommenterede tal kan misforstås og give anledning til, atjobcentret afkræves svar, før de har forholdt sig til den.Målinger kan misfortolkesI midtvejsevalueringen blev der foretaget en dybtgående undersøgelse af Resultatre-visionens konkrete indhold dvs. de udvalgte målinger, opgørelsesmetoder m.v. Derblev på den baggrund udarbejdet konkrete forslag til justeringer.Ikke alle de foreslåede justeringer er blevet implementeret, hvorfor jobcentrene iforbindelse med nærværende evaluering har taget nogle af problemerne op igen. Forjobcentrene er det afgørende, at data i Resultatrevisionen er aktuelle og genkendeli-ge, og at opgørelsesmetoderne er relevante i forhold til det, som tallene skal vise. Enoversigt over de justeringsforslag, som er kommet frem i denne omgang, fremgår afbilag 1.Manglende systematisk opfølgning af målingerne i Resultatrevisionen over åretDer synes at være en manglende sammenhæng mellem Resultatrevisionens målin-ger og de målinger, som foretages og anvendes til opfølgning af indsatsen over året.Det skyldes, dels at statusrapporterne ikke er blevet leveret til tiden og desudenvurderes at bygge på forældede data, dels at andre målinger udgør fokus i dialogenmed beskæftigelsesregionerne. Det vedrører blandt andet resultatoversigten, udar-bejdet af AMS, og nøgletalsrapporterne, udarbejdet af Beskæftigelsesregionerne.Målingerne i disse rapporter afviger fra Resultatrevisionen dels på aktualiteten i data,dels på opgørelsesmetoderne. I de fleste jobcentre indgår nøgletalsrapporterne ogresultatoversigten i dialogen mellem jobcentrene og beskæftigelsesregionen og vide-reformidles sammen med jobcentrenes egne opgørelser og opfølgning af de lokalemål til det politiske niveau.

AnbefalingerDet er Rambøll Managements vurdering, at en del af kritikken bunder i, at det erførste gang, Resultatrevisionen udarbejdes. Det har således krævet meget energi atforstå og analysere målinger og ikke mindst at skulle forklare de beskæftigelsespoli-tiske parter sammenhængen mellem Resultatrevisionens målinger og de målinger,som de normalt præsenteres for.Samtidig er det værd at fremhæve, at jobcentrenes oplevelse af, at udbyttet ikkestår mål med de anvendte ressourcer, er en central konklusion, som bør tages tilefterretning. Flere jobcentre foreslår at afskaffe Resultatrevisionen, hvilket bakkesop af nogle af beskæftigelsesregionerne. Helt overordnet bør det derfor overvejes,hvorvidt og hvorfor man ønsker at bevare Resultatrevisionen. Det er helt afgørendefor Resultatrevisionens fremtidige anvendelse og funktion, at formålet er klart ogforståeligt for de involverede parter.

Evalueringen viser, at følgende elementer fungerer godt og derfor bør fastholdes:•Ideen med at stoppe op i starten af året og reflektere over sidste års indsatser fornuftig og bidrager til at holde fokus på centrale elementer i beskæfti-gelsesindsatsen.•Skabelonen indeholder relevante og centrale målinger, som tilsammen giveret dækkende billede af udviklingen på beskæftigelsesområdet. Det er Ram-bøll Managements vurdering, at målingerne som udgangspunkt skal bevares,og at der ikke skal suppleres med yderligere målinger. Dette for at bevareenkeltheden og overskueligheden af Resultatrevisionen.•Den politiske behandling i de kommunale arbejdsmarkedsudvalg har genereltmedført ejerskab til og fælles opmærksomhed på de beskæftigelsespolitiskeudfordringer, hvilket vurderes som en positiv effekt af Resultatrevisionen.Tabellen nedenfor indeholder en oversigt over indsatsområder, som Rambøll Mana-gement på baggrund af evalueringen vurderer, kan styrke kvaliteten og anvendelig-heden af Resultatrevisionen.AnbefalingerFormålet med Resultat-revisionen bør tydeliggøresog formidlesOperationalisering af anbefalinger•Tydeliggørelse af, hvem der har nytte af Resultatrevisionen.•Tydeliggørelse af sammenhængen mellem Resultatrevisionen ogBeskæftigelsesplanen.•Dementering af, at Resultatrevisionen skal bruges til dag-lig/løbende styring.•Resultatrevisionen bør indgå som en central del af beskæftigel-sesregionernes dialog med jobcentrene.•Systematisk opsamling af gode erfaringer med henblik på atstyrke erfarings- og videndeling mellem jobcentrene.•Ændring af procedurerne således, at visse parter (eks. LBR ogdriftsregionen) orienteres om Resultatrevisionen frem for atskulle afgive bemærkninger eller godkende Resultatrevisionen.•Ensretning af procedurerne og deadline for godkendelse af hen-holdsvis den statslige og kommunale del.•Uddybende forklaringer på opgørelsesmetoder og læsning afgrafer og tabeller i selve skabelonen.•Ændring af tidspunktet for offentliggørelse af skabelonen såle-des, at jobcentrene får mulighed for at forholde sig til resultaterinden den offentliggøres.•Gennemgang af midtvejsevalueringens anbefalinger og bilag 1med henblik på at imødekomme behovene for justering af vissemålinger og opgørelsesmetoderUdbydende forklaringer på målingernes opgørelsesmetoder,metodiske usikkerheder og mulige fortolkninger. Dette gældersærligt besparelsespotentialet.Uddybende forklaringer på formålet med klyngerne.Sikre overensstemmelse mellem de løbende opgørelser i resul-tatoversigten og Resultatrevisionen.

Anbefaling 1: Tydeliggørelse og formidling af formålet med ResultatrevisionenDet anbefales, at Arbejdsmarkedsstyrelsen tydeliggør og formidler formålet medResultatrevisionen. I vejledningen fra marts 2008:Resultatrevision – hurtigt overblikover sidste års indsats,fremgår blandt andet, at Resultatrevisionen skal bruges somet styringsredskab. Det er i den forbindelse vigtigt at understrege, at Resultatrevisi-onen ikke kan og bør være udgangspunkt for den daglige/løbende styring. Det erligeledes vigtigt at understege, at Resultatrevisionen kun har fokus på få, men cen-trale resultater og derfor skal suppleres med andre og mere dybtgående opgørelserog ikke mindst jobcentrenes forklaringer på udviklingstendenserne. Derudover er detRambøll Managements vurdering, at det vil være nyttigt at præcisere den primæremålgruppe for Resultatrevisionen. Her kunne Resultatrevisionens nytteværdi for delokale politikere blandt andet fremhæves.I forhold til klyngesammenligningen er der ligeledes behov for at tydeliggøre formå-let hermed. Klyngeinddelingen er alene etableret for at sikre det mest valide sam-menligningsgrundlag, og det er vigtigt at formidle dette. Det fremgår af vejledningenfra marts 2008, at jobcentrene skal lære af jobcentrene i klyngerne, hvilket er medtil at understøtte forestillingen om Resultatrevisionen som læringsredskab.Anbefaling 2: Styrkelse af opfølgning på Resultatrevisionen fra centralt holdDet anbefales, at Resultatrevisionen i højere grad følges op i beskæftigelsesregio-nernes dialog med jobcentrene. Dette med henblik på at sikre sammenhæng i be-skæftigelsesindsatsen og sikre en effektiv styring af indsatsen.Flere jobcentre efterspørger desuden spredning af erfaringer for at blive klogere på,hvad der ligger bag gode resultater. De mener, at dette er en opgave, som Arbejds-markedsstyrelsen og beskæftigelsesregionerne bør have ansvaret for. På den bag-grund bør det overvejes at foretage en mere systematisk indsamling og analyse afgode erfaringer. Dette kunne evt. gøres ved at forpligte de forskellige parter til atlevere dokumentation og information inden for forskellige områder eller ved ativærksætte analyser af særlige områder.Anbefaling 3: Smidiggørelse af udarbejdelses- og godkendelsesprocessenResultatrevisionen skal igennem mange led fra offentliggørelsen af skabelonen imarts til offentliggørelse af den kommenterede og godkendte Resultatrevision i juni.Det bør overvejes, om processen kan effektiveres. Det kunne eksempelvis ske ved atændre procedurerne således, at visse parter (eks. LBR og driftsregionerne) blot ori-enteres om Resultatrevisionen frem for at skulle afgive bemærkninger eller godken-de Resultatrevisionen. Det bør i denne forbindelse undersøges, hvorvidt det er muligtat ensrette procedurerne og deadlines for henholdsvis den statslige og kommunaledel. En optimering af processen vil dels reducere ressourceforbruget, dels gøre pro-cessen kortere, hvilket vil have den fordel, at Resultatrevisionen i højere grad kanindgå i arbejdet med udarbejdelse af Beskæftigelsesplanen.En yderligere ting, som kan gøre udarbejdelsesprocessen lettere for jobcentrene erat supplere skabelonen med uddybende forklaringer på, hvordan man skal læse gra-

ferne og tabellerne, samt hvilke forhold man skal være opmærksom på. Eksempelvisbør det overvejes at indføre en beskrivelse af, hvordan besparelsespotentialet eropgjort samt fortolkningsmuligheder. Derudover bør det overvejes at ændre proce-duren således, at jobcentre der har indgået forpligtende samarbejde, udarbejder énfælles Resultatrevision frem for to separate.Det anbefales også, at skabelonen først offentliggøres,efterat jobcentrene har haftlejlighed til at forholde sig til resultaterne. Dette vil spare jobcentrene for at brugeressourcer på at afgive kommentarer, før Resultatrevisionen er blevet drøftet med derelevante parter i jobcentret.Anbefaling 4: Forbedring af målingerDet er afgørende, at målingerne, som fremgår af Resultatrevisionen, opleves somgenkendelige og relevante. Det bør derfor undersøges, hvorvidt det er muligt at imø-dekomme de behov til ændringer, som aktørerne har fremlagt. Der henvises her tilmidtvejsevalueringen og bilag 1. Det bør desuden undersøges, hvorvidt det er muligtat skabe større sammenhæng mellem målingerne opgjort i eksempelvis resultatover-sigten og i Resultatrevisionen.Det er desuden vores vurdering, at uddybende forklaringer til tabellerne og målingeri skabelonen vil medvirke til at skabe større gennemsigtighed. Eksempelvis vil detvære brugbart og tidsbesparende for nogle jobcentre, hvis der i skabelonen blev til-føjet en forklaring på, hvorfor nogle tal vil ændre sig over tid pga. efterreguleringer.Yderligere kan det overvejes at skrive en udbydende forklaring om beregning ogfortolkningsmuligheder af besparelsespotentialet samt forklaring om klyngebegrebet,således det er klart, hvilke kriterier klyngerne er inddelt efter. Formidlingen af opgø-relsen af besparelsespotentialet er essentiel, hvis jobcentrene skal anvende målingeni den fremadrettede planlægning af beskæftigelsesindsatsen.Anbefaling 5: Løbende opgørelser af Resultatrevisionens fokusområderDet er ikke hensigtsmæssigt, at beskæftigelsesregionens kvartals- og månedsrap-porter ikke stemmer overens med målinger i Resultatrevisionen. Det er derfor Ram-bøll Managements anbefaling, at der gøres en indsats for at bringe overensstemmel-se mellem de løbende opgørelser og Resultatrevisionens opgørelse. Det drejer sigdels om de specifikke mål, dels om opgørelsesmetoderne.Der er to muligheder i denne forbindelse. Enten at tilpasse Resultatrevisionen deeksisterende opgørelser, eksempelvis resultatoversigten evt. med nogle justeringer,eller at sikre, at statusrapporter leveres til tiden og med up-to-date data, og at deindgår systematisk i beskæftigelsesregionens dialog med jobcentrene. Det er voresvurdering, at der hurtigst muligt skal tages stilling til, hvordan der sikres sammen-hæng mellem de løbende opgørelser og Resultatvisionens opgørelser, eftersom detvil have betydning for opfølgning af beskæftigelsesindsatsen og resultaterne i inde-værende år.

Styrker ved ResultatrevisionenDer er generelt enighed blandt jobcentrene om, at Resultatrevisionen skaber et godtoverblik over det foregående års resultater. Der er ligeledes enighed om, at de syvområder, som Resultatrevisionen omhandler, er centrale og relevante indsatsområ-der for jobcentrene.Jobcentrene forstår grundtanken og intensionen med Resultatrevisionen og udtryk-ker, at det er sundt at stoppe op en gang om året og tage helikopterblikket på. Nog-le beskriver således, at den har givet anledning til refleksion og drøftelser på et mereoverordnet plan.Samtidig er der blandt flere jobcentrene en positiv modtagelse afen ensartet og tværgående skabelon, som skaber et samlet overblik over samtligejobcentre i landet, som kan bruges til benchmarking.De mindre jobcentre udtrykker desuden, at Resultatrevisionen bidrager med et sam-let overblik, som ville være ressourcekrævende for dem selv at udarbejde. På denmåde kan revisionen være en hjælp til at etablere en viden i de små jobcentre, derellers ikke var blevet tilvejebragt.

Udpegede problemområder ved ResultatrevisionenSelvom jobcentrene finder, at Resultatrevisionen har en anvendelighed ud fra oven-stående, er der en række problematikker omkring redskabet, som mindsker anven-deligheden i forhold til styring og planlægning af den fremadrettede beskæftigelses-indsats. Flere fremhæver, at de gerne ser Resultatrevisionen helt afskaffet.En generel kritik går på, at Resultatrevisionen er uegnet som styringsredskab. Flerejobcentre er således yderst skeptiske, såfremt Resultatrevisionen er tænkt som etstyringsredskab. Det pointeres, at styringen af indsatsen kræver konstant opfølgningog overvågning af udviklingen for at kunne justere og målrette indsatsen løbende.Derudover fremhæves en række problematikker i forhold til kvaliteten af Resultatre-visionen og anvendeligheden af den som input til den fremadrettede planlægning,hvilket gennemgås nedenfor.3.2.1Resultatrevisionen har sit eget livJobcentrene beskriver, at Resultatrevisionen er løsrevet i forhold til den løbende op-følgning af indsats, som foretages over året. Det fremhæves desuden, at sammen-hængen mellem Resultatrevisionen og Beskæftigelsesplanen er fraværende, hvilketifølge jobcentrene er problematisk.

En væsentlig kritik er således, at indsatsområderne i Resultatrevisionen ikke er ioverensstemmelse med dem, som jobcentrene følger op på i løbet af året. Når sta-tusrapporterne, der burde levere de kvartalsvise opfølgninger på de centrale mål,ikke leveres og desuden bygger på forældet data, benytter jobcentrene andre målin-ger til opfølgning i løbet af året. Det drejer sig eksempelvis om resultatoversigten ogbeskæftigelsesregionens nøgletalsrapporter samt egne rapporter baseret på Jobind-sats.dk og egne data. Rapporterne indeholder dels forskellige typer målinger, delsopgøres data på forskellig vis i de forskellige rapporter.Uoverensstemmelser i opgørelsesmetoderne medfører, at jobcentrene skal brugekræfter på at analysere og forklare politikere og arbejdsmarkedets parter, hvorfortallene i Resultatrevisionen ikke er i overensstemmelse med de tal, som de tidligerehar fået præsenteret. Jobcentrene skal med andre ord bruge tid på at bearbejde Re-sultatrevisionens resultater, så de kan sammenlignes og forstås i forhold til de resul-tater, som ellers er blevet formidlet.Flere nævner, at de månedlige resultatoversigter og Beskæftigelsesregion Hovedsta-den & Sjællands nøgletalskoncept er meget brugbare, og at Resultatrevisionen burdelægge sig op heraf, således at omfanget og antallet af målinger i videst mulige om-fang stemmer overens og supplerer hinanden i stedet for at modarbejde hinanden –ved fx at kræve en betydelig mængde ekstra tid for at forklare evt. uoverensstem-melser eller lignende.Derudover fremhæves, at det er problematisk, at Resultatrevisionen er løsrevet fraBeskæftigelsesplanen. Mange jobcenterchefer forstår begrebet revision som en op-følgning af, hvorvidt de fastsatte mål er nået. Dette er dog ikke tilfældet med Resul-tatrevisionen, da den ikke følger op på de lokale mål i Beskæftigelsesplanen. Flerevurderer på den baggrund, at det ville være mere logisk at følge op på Beskæftigel-sesplanens mål.En tredje ting, der påpeges i forbindelse med Resultatrevision anvendelighed sominput til den strategiske planlægning af beskæftigelsesindsatsen, er, at Resultatrevi-sionen ikke bidrager med væsentlig ny viden. Mange fremhæver, at det synes sværtat indarbejde Resultatrevisionen sammen med alle de øvrige forskellige produktions-og analyseværktøjer, som findes i jobcentrene. Udover de forskellige kvartalsrappor-ter og andre ledelsesinformationspapirer, der udarbejdes i Jobcentrene udarbejderbeskæftigelsesregionerne også nøgletalsrapporter m.m. Flere fremhæver, at det ersvært at se, hvad Resultatrevisionen bidrager med i forhold til de eksisterende sy-stemer.Det får flere jobcentre til at udtrykke, at ressourcerne, som anvendes i forbindelsemed udarbejdelse af Resultatrevisionen, ikke står mål med udbyttet. Dette baseresblandt andet også på, at flere jobcentre oplever en manglende interesse i Resultat-revisionen fra LBR og udvalgene.

3.2.2Data og opgørelsesmetoderEn kritik som udtrykkes af stort set alle jobcentrene er, at Resultatrevisionen er foruaktuel til at kunne bruges som input i planlægningen af beskæftigelsesindsatsen.Data, som fremgår i Resultatrevisionen, er for gamle til at kunne bruges som inputtil den fremadrettede planlægning. Når Resultatrevisionen udarbejdes, findes dernyere data fra forskellige kilder, som er nødvendige at supplere med for at få et kor-rekt billede af situationen.Det fremhæves, at Resultatrevisionen bliver bagudrettet, fordi den præsenteres påbaggrund af tal, der er ældre, end dem politikerne senest har stiftet bekendtskabmed. Derfor kræver Resultatrevisionen mere forklaring i forhold til politikerne, derogså kender de nyere tal. Det gør, at jobcentrene oplever, at dialogen med politikereog andre eksterne parter omkring Resultatrevisionen ofte drejer sig om at forklaredata bagudrettet, og her sker det, at Resultatrevisionen kun i mindre grad anvendessom fælles udgangspunkt for den fremadrettede dialog.Jobcentrene oplever stadig, at metoden bag målingerne kan skabe et misvisendebillede i forhold til den reelle situation. Det gælder særligt sammenligning i klynger-ne, besparelsespotentialet samt manglende opgørelse af de absolutte tal. Dertilkommer, at nogle målinger ikke viser udviklingen i løbet af året, hvilket kan give etmisvisende billede af, hvor man bør sætte ind, da man ikke kan se, hvordan udvik-lingen på det senere har været. Desuden fremhæves, at nogle af de procentvise æn-dringer baseres på meget små populationer, hvilket kan give et misvisende billede afsituationen, fordi det et baseret på tilfældigheder. Der henvises til bilag 1, som leve-rer en oversigt over de problemområder, der er blevet nævnt i forbindelse med nær-værende slutevaluering.En generel bekymring fra jobcentrene er, at udenforstående, der ikke kender til må-lingernes usikkerhed, kan risikere at lægge for meget i tallene. Når de tal, der benyt-tes i Resultatrevisionen, er uaktuelle i forhold til planlægningstidspunktet, og når desamtidig opgøres på metoder, som kan misforstås, er det med til at forstærke, atjobcentrene skal bruge tid på bagudrettede forklaringer. Nogle oplever derfor, atResultatrevisionen giver mere anledning til, at de skal forsvare sig end til at drøfteden fremadrettede indsats. Dette hænger også sammen med den forholdsvis langegodkendelsesprocedure, som medfører, at det bliver nødvendigt at forholde Resultat-revisionens målinger til den seneste udvikling.Flere jobcentre er desuden skeptiske over for brugen af klyngerne som sammenlig-ningsgrundlag. Det skyldes, dels at der i mange jobcentre er tradition for at sam-menligne egen indsats og resultater med jobcentre i omegnen, dels at klyngesam-menligningen ikke fordrer til videndeling og samarbejde mellem jobcentrene.Både politikere og jobcentre kan have svært ved at forholde sig til en kommune, deikke kender særlig godt, og som de ikke samarbejder med til dagligt. I forhold til atlære af jobcentre med gode resultater fremhæves, at der kan være meget stor for-skel på, hvilken type indsats et stort jobcenter kan iværksætte sammenlignet med et

Opsamlende vurderingDet er Rambøll Managements overordnede indtryk, at tilbagemeldingerne fra job-centrene tyder på, at formålet med Resultatrevisionen ikke er klart formidlet. Formå-let med Resultatrevisionen er således ikke at give jobcentrene et redskab til dendaglige styring af indsatsen.Det er værd at fremhæve, at jobcentrene ikke ser Resultatrevisionen som tilstrække-ligt anvendelig i den fremadrettede beskæftigelsesplanlægning, hvilket umiddelbarter overraskende, eftersom det er et af de væsentligste formål med Resultatrevisio-nen.En af årsagerne synes at være, at jobcentrene ser det som problematisk at revisio-nen ikke følger op på Beskæftigelsesplanernes lokale mål. Igen er det vores vurde-ring, at formålet med Resultatrevisionen er uklart, eftersom dens funktion er at giveet generelt overblik over beskæftigelsesindsatsen og på den måde bidrage med vi-den, som måske ellers ville være overset.En væsentlig problematik, som Rambøll Management hæfter sig ved, er fraværet afløbende opfølgning på indsatsområderne i Resultatrevisionen. Når der ikke foretagesopfølgning på indsatsområder over året, bliver Resultatrevisionen en løsrevet del afden generelle opfølgnings- og planlægningsindsats. En del af forklaringen på denmanglende sammenhæng ligger i, at beskæftigelsesregionerne udgiver rapporter,som ikke stemmer overens med indsatsområderne i Resultatrevisionen, og desudenopgøres data i disse rapporter anderledes end i Resultatrevisionen. Dette skaberforvirring og ikke mindst behov for uddybende analyser af og forklaringer på, hvorfortallene ikke stemmer overens. På den måde bliver drøftelserne om Resultatrevisio-nen af meget teknisk karakter og med risiko for mere tilbageskuende end fremadret-tet perspektiv.Med hensyn til data og opgørelsesmetoder, som anvendes i Resultatrevisionen, erdet Rambøll Managements vurdering, at tallenes genkendelighed og relevans er af-gørende for anvendelsen af Resultatrevisionen. Jobcentrenes indvendinger mod nog-le af opgørelsesmetoderne synes at være fornuftige i forhold til at sikre, at målinger-ne bliver mere præcise i forhold til de udviklingstendenser, som præsenteres. Der-udover er det vores vurdering, at en forklaring af, hvorfor nogle tal vil ændre sigover tid, kan være med til at sikre større gennemskuelighed. Det skal bemærkes, atslutevalueringen primært har forholdt sig til Resultatrevisionen som styrings- og

De beskæftigelsespolitiske aktørers vurdering af Resultat-revisionens anvendelighedEt vigtigt formål med Resultatrevisionen er, at den skal fungere som fælles referen-cepunkt for de forskellige parter på beskæftigelsesområdet. Det drejer sig forudenjobcentrene om drifts- og beskæftigelsesregionerne, RBR, LBR og de kommunalefagudvalg.Parterne har forskelligt ansvar og roller i forhold til Resultatrevisionen. Alle parter eransvarlige for at følge op på resultaterne, dvs. reflektere over effekterne og resulta-terne af jobcentrets indsats i det foregående år. LBR skal have Resultatrevisionen ihøring og afgive bemærkninger til kommentarerne, hvorefter rapporten skal god-kendes af kommunalbestyrelsen og driftsregionen. Beskæftigelsesregionen og RBRskal inddrage Resultatrevisionen i deres arbejde med at overvåge beskæftigelsesind-satsen i regionen.I dette kapitel analyseres brugen og anvendeligheden af Resultatrevisionen set udfra forskellige aktørers perspektiver.

De kommunale arbejdsmarkedsudvalgKommunalbestyrelsen skal – forud for vedtagelsen af budgettet for det kommendeår – drøfte Resultatrevisionen for den samlede beskæftigelsesindsats i jobcenteret oggodkende den kommunale del af Resultatrevisionen. Forud for godkendelse af Resul-tatrevisionen behandles Resultatrevisionen i arbejdsmarkedsudvalgene, som indstil-ler Resultatrevisionen til godkendelse.De kommunale arbejdsmarkedsudvalg ser, ligesom jobcentrene, at Resultatrevisio-nen er anvendelig, idet den skaber et overblik over centrale indsatsområder og giveranledning til at stoppe op én gang om året og reflektere over indsatser og ressour-cer. Samtidig oplever de, at det giver noget at kunne forholde sig til en sammenlig-ning mellem egne resultater og andres.De fleste af de adspurgte ser en fornuftig sammenhæng mellem Resultatrevisionenog Beskæftigelsesplanen, hvor der i den fremadrettede planlægning indarbejdes ind-satser, som bl.a. arbejdet med Resultatrevisionen har givet anledning til. Dette poin-teres særligt af de medlemmer, som har deltaget i en temadag om både Resultatre-visionen og Beskæftigelsesplanen, arrangeret af jobcentret med deltagelse af LBR ogudvalget.Halvdelen af de adspurgte mener, at den politiske behandling i kommunen har givetejerskab og fælles opmærksomhed på de beskæftigelsespolitiske udfordringer, fx ikommunalbestyrelsen.

4.1.1Udpegede problemområder og forbedringspotentialerGenerelt udtrykker de lokale politiker ikke i samme grad frustration over Resultatre-visionens anvendelighed som jobcentrene. De fleste oplyser, at jobcentrene er godetil at udarbejde Resultatrevisionen, så den serverer et politikervenligt overblik.Samtidig er arbejdsmarkedsudvalgene generelt godt opdateret på beskæftigelsesom-rådet – både fra jobcentrene og fra beskæftigelsesregionen. For dem betyder det, atResultatrevisionens oversigt ikke er helt ny viden, men opsummering af den viden,de i et eller andet omfang allerede har.Der er dog nogle problemer i forhold til udvalgets anvendelse af Resultatrevisionen,som beskrives nedenfor.Fagudvalgene oplever, ligesom jobcentrene, at data i Resultatrevisionen er for uak-tuelle til, at de alene bidrager til den fremadrettede beskæftigelsesplanlægning. Fag-udvalgene oplever også, at det er nødvendigt at supplere tallene i Resultatrevisionenmed nyere data for at opnå aktuel anvendelighed lige nu. Dette sørger jobcentrenefor.Resultatrevisionen er ikke direkte anvendelig i sin udformning, men skal sættes ind ien større sammenhæng, der ekspliceres over for politikerne. I nogle tilfælde behøverpolitikerne en uddybning af metoden bag målingerne, mens de i andre tilfælde harbehov for at få uddybende viden for at forstå, hvad der er sket på et givent område,og hvad der kan gøres bedre. De fremhæver, at jobcentrene er gode til at sørge fordette.Samtlige respondenter mener, at Resultatrevisionens anvendelighed er mindre god,fordi den ikke har en klar sammenhæng med de opfølgninger, der sker i løbet afåret. Dette er i overensstemmelse med jobcentrenes oplevelse. De adspurgte med-lemmer af arbejdsmarkedsudvalgene savner, at der løbende følges op på målingernei Resultatrevisionen, fx kvartalsvist.Ligesom jobcentrene udtrykker fagudvalgene, at klyngerne ikke bidrager til denfremadrettede indsats. De fleste ønsker at kunne drage nytte af klyngerne gennemnetværksudveksling, men idet udvalgsmedlemmerne ikke har et særligt kendskab tilde andre kommuner i klyngerne, opnår klyngerne ikke at bidrage til den fremadret-tede beskæftigelsesindsats gennem netværk.Nogle medlemmer opfatter klyngesammenligningen som direkte misvisende, da deikke oplever at have samme ressourcer til rådighed, som nogle af de kommuner, desammenlignes med. Det betyder, at de heller ikke kan drage nytte af at sammenlig-ne sig med andre, da de ikke mener, der er et rimeligt sammenligningsgrundlag.

Det generelle billede fra beskæftigelsesregionerne er en positiv indstilling til koncep-tet omkring Resultatrevisionen. Samtlige respondenter udtrykker, at Resultatrevisio-nen har et anvendelsespotentiale, fordi den skaber overblik over centrale mål, ogfordi det er brugbart at kunne sammenligne indsatser.Beskæftigelsesregionerne ser dog ikke Resultatrevisionen som direkte anvendelig fordem. Derfor har de fleste kun orienteret beskæftigelsesrådet gennem enten et skrift-ligt eller et mundtligt resume af samtlige resultatrevisioner i regionen.I forhold til brugen af Resultatrevisionen som dialogværktøj har den kun i meget lilleomfang indgået som baggrund for dialog med jobcentrene.4.2.1Udpegede problemområder og forbedringspotentialerNår beskæftigelsesregionerne ikke tager Resultatrevisionen i anvendelse, skyldes detproblemer, som ligner dem både jobcentrene og udvalgene udtrykker. Beskæftigel-sesregionerne peger på følgende problemer i forhold til deres anvendelse:Resultatrevisionen er baseret på uaktuelle data og giver meget lidt ny viden. Detteer samme problematik, som jobcentrene og udvalgene fremsætter. Men hvor de toaktører har suppleret Resultatrevisionen med nyere data, benytter beskæftigelsesre-gionerne stort set ikke Resultatrevisionen i deres arbejde. I stedet udarbejder dederes egne opfølgninger, som fx egne nøgletalsrapporter og resultatoversiger.Beskæftigelsesregionerne påpeger, at Resultatrevisionen er for overordnet og derforikke specifik nok i forklaringerne og ikke omfattende nok i indholdet til at kunne ståalene som dialogredskab mellem jobcentrene og regionerne. Ligesom jobcentrene ogudvalgene henvises der til, at Resultatrevisionen mangler mere forklaring på indsats,prioriteringer og ressourcer bag tallene. Når dette mangler, kan beskæftigelsesregio-nerne ikke bruge den som udgangspunkt for dialog i forbindelse med den fremadret-tede planlægning.Det er beskæftigelsesregionernes overordnede vurdering, at Resultatrevisionen erblevet overhalet af andre og mere anvendelige opgørelser og rapporter. Derfor fårResultatrevisionen kun en plads som supplement til beskæftigelsesregionens egnetal. Stort set alle de adspurgte fremhæver, at de godt kunne være foruden resultat-revisionerne.

direkte trækker på data fra revisionerne eller refererer til tal derfra i planerne.Alligevel mener driftsregionerne ikke, at Resultatrevisionen er et egentligt styrings-værktøj for dem, bl.a. fordi det opleves, at der er behov for mere viden omkringindsatser og prioriteringer, end det som Resultatrevisionen leverer. Dette stemmeroverens med samtlige andre af aktørers oplevelse af Resultatrevisionen.4.3.1Udpegede problemområder og forbedringspotentialerDriftsregionerne oplever, ligesom samtlige andre aktører, at Resultatrevisionens an-vendelighed i forhold til den fremadrettede planlægning er begrænset på grund aftallenes uaktualitet. Det betyder, at data må suppleres med andre og mere opdate-rede tal. I den forbindelse nævner halvdelen af driftsregionerne samme problematik,som jobcentrene gør opmærksom på, nemlig at man ved brug af Resultatrevisionenrisikerer at blive for tilbageskuende og dvæle for meget ved gamle tal.I forhold til Resultatrevisionens anvendelighed som input til beskæftigelsesplanlæg-ningen oplever driftsregionerne, ligesom jobcentrene, at der er problemer i forhold tilbesparelsespotentialet. Halvdelen af driftsregionerne stiller direkte spørgsmålstegnved validiteten af besparingspotentialet, hvilket også er den generelle indsigt fra deandre aktører i undersøgelsen.Derudover efterlyser nogle af driftsregionerne, ligesom jobcentrene, muligheden forbedre at kunne se udviklingen inden for det seneste år. Andre repræsentanter fradriftsregionerne udtrykker forvirring over klyngebegrebet, og hvilket sammenlig-ningsgrundlag der ligger til grund for klyngedannelsen. Samtidig udtrykker de også,at klyngerne bør skabe netværk, og at det skaber forvirring, at dette ikke opnås påbaggrund af den måde, de præsenteres på.Driftsregionerne udtrykker generelt forvirring omkring deres egentlige rolle i god-kendelsesproceduren. Alle har brugt meget energi på processen og på at få kørtgodkendelsen ind som en del af deres arbejde. Over halvdelen af de adspurgte ud-trykker, at de er lidt usikre på, hvad der er godt nok til at blive godkendt af dem. Fornogle har det betydet, at de har brugt meget tid på at afstemme internt i driftsregio-nen i forhold til kvalitetskrav for de forskellige resultatrevisioner, som de får ind.Andre har tolket rollen således, at de ikke skal vurdere kvaliteten, men basere god-kendelse på om jobcentrene har forholdt sig til resultaterne og kommenteret til-strækkeligt herpå.

De regionale beskæftigelsesrådResultatrevisionen skal ligesom i beskæftigelsesregionens arbejde indgå i det regio-nale beskæftigelsesråds overvågning af regionens beskæftigelsesindsats.De regionale beskæftigelsesråd afviger ikke meget i forhold til de andre aktører ideres oplevelse af anvendeligheden Resultatrevisionen. Halvdelen af de adspurgterepræsentanter fra RBR ser en fordel i, at Resultatrevisionen fokuserer på relevanteog centrale områder på beskæftigelsesområdet. Det nævnes i forlængelse heraf, atdet er en styrke, at Resultatrevisionen etablerer et enkelt og generelt forståeligtsammenligningsgrundlag for jobcentrene.Hos nogle RBR indgår Resultatrevisionen som supplement til deres kvartalsopfølg-ninger i jobcentrene, dvs. som del af udgangspunktet for dialog mellem RBR og job-centrene. De repræsentanter fra RBR, der anvender Resultatrevisionen, gør op-mærksom på, at den ikke kan stå alene, men at den altid skal følges op af dialogmed jobcentrene.4.4.1Udpegede problemområder og forbedringspotentialeSelvom de adspurgte fra RBR beskriver, at Resultatrevisionen kan være brugbar inogle sammenhænge, så peger de også på problemer i forhold til Resultatrevisionensanvendelighed. På grund af problemerne gør halvdelen af de adspurgte opmærksompå, at de faktisk slet ikke anvender Resultatrevisionen. De anvender udelukkendederes egne opfølgninger.De, der ikke anvender Resultatrevisionen, påpeger, at den til tider har et sværtsprog, i forhold til at den skal bruges som orienteringsmateriale. De påpeger også, atdata er for uaktuelle i forhold til at levere relevant viden, samt at de generelt fårmere ud af at følge op på regionens indsats.De repræsentanter fra RBR, der anvender Resultatrevisionen som supplement tilderes egne redskaber, peger på, at klyngesammenligningen ikke er i overensstem-melse med deres fokus på regionens indsats. De mener ikke, at klyngerne er anven-delige i forhold til deres opfølgning af indsatsen og resultaterne i regionens jobcent-re.Derudover udtrykker RBR, ligesom flere andre respondenter, mistillid i forhold tiludregning af besparingspotentialet.

De lokale beskæftigelsesrådDe lokale beskæftigelsesråd skal have Resultatrevisionen til høring. De har såledesmulighed for at afgive bemærkninger hertil, inden den bliver endeligt godkendt afhenholdsvis driftsregionen og kommunalbestyrelsen.De adspurgte repræsentanter fra LBR beskriver forskellige grader af inddragelse iforbindelse med udarbejdelse og godkendelse af Resultatrevisionen. Således er situ-ationen, at nogle LBR allerede har været meget inddraget i forbindelse med udarbej-delse af Resultatrevisionen, mens andre først har set den i forbindelse med dereshøring. Halvdelen har haft bemærkninger til Resultatrevisionen, der primært harværet udtrykt som kommentarer.Når LBR beskriver Resultatrevisionens anvendelighed i forhold til deres arbejde, erde positive aspekter af den meget i lighed med de andre aktørers beskrivelse.Undersøgelsens respondenter fra LBR beskriver således, ligesom repræsentanter frade andre aktørgrupper, at Resultatrevisionen er anvendelig i forhold til at skabe etoverblik over centrale indsatsområder, og den giver anledning til at stoppe op ogreflektere over indsatser og ressourcer. Samtidig opleves det, også i lighed med deandre aktørgrupper, at det er en fordel at kunne sammenligne resultater af beskæf-tigelsesindsatsen med andres resultater.Omkring halvdelen af de adspurgte LBR-

repræsentanter oplyser, at Resultatrevisionen indgår som del af grundlaget forden lokale beskæftigelsesplanlægning for det næste år.4.5.1Udpegede problemområder og forbedringspotentialerLBR påpeger også en række problemer ved Resultatrevisionen, der påvirker densanvendelsesmuligheder negativt. Det hænger sammen med, at Resultatrevisionenheller ikke af LBR opfattes som en rapport, der reelt leverer meget ny viden. Lige-som arbejdsmarkedsudvalgene beskriver LBR, at jobcenteret løbende holder demopdateret omkring udvikling og resultater, og at de således har en løbende dialogmed centeret omkring beskæftigelsessituationen. Derfor mener LBR, at aktualiteten iResultatrevisionen opnås gennem deres kontakt med jobcenteret, der supplerer Re-sultatrevisionens data godt, men at aktualiteten og den nye viden derfor ikke kom-mer fra Resultatrevisionen. I den forbindelse nævner halvdelen af de adspurgte, atResultatrevisionen ikke anvendes tilstrækkeligt fremadrettet, men at den snareregiver anledning til en bagud skuende drøftelse.I forhold til Resultatrevisionens anvendelighed for LBR’s funktion i beskæftigelsessy-stemet har nogle af de adspurgte gjort opmærksom på, at Resultatrevisionen mang-ler anvendelsesmuligheder på de områder, hvor der skal følges op på lokale indsat-ser, og hvor opfølgningen skal bringes i spil over for den fremadrettede planlægninginden for områder, der har karakter af lokal udfordring.Over halvdelen udtrykker, at sproget i Resultatrevisionerne kan være vanskeligt atforstå. Særligt for de nyvalgte kan det være tungt stof. Derfor ønsker nogle, at der

kan produceres en pixibogsudgave, der på en mere kontant måde skærer ind til be-net og gør resultaterne og overblikket lettere tilgængeligt.Halvdelen af de adspurgte føler heller ikke, at det bidrager til Resultatrevisionensanvendelighed at blive sammenlignet i klyngerne. De opfatter ikke klyngesammen-ligningen som retvisende og vil hellere sammenlignes med kommuner af sammestørrelse eller med kommuner, der ligger tættere på geografisk. Nogle oplyser, at deslet ikke bruger klyngesammenligningen, men at de i stedet kigger på, hvordan deligger i forhold til nabokommunerne. De få personer, der ikke stiller spørgsmålstegnved klyngernes sammenligning, savner videndeling mellem klyngerne.

Opsamlende vurderingDet overordnede billede er, at respondenterne generelt synes, at Resultatrevisionenskaber et godt overblik over de centrale indsatsområder. Det er naturligvis relevantfor de fleste at indhente yderligere og mere detaljerede oplysninger omkring de en-kelte indsatsområder i Resultatrevisionen, hvilket også er ideen med Resultatrevisio-nen.På trods af at Resultatrevisionen giver et fornuftigt overblik over beskæftigelsesind-satsen, fremhæver de forskellige aktører også problemer med Resultatrevisionen,som minder meget om jobcentrenes kritik. Det drejer sig hovedsageligt om følgendeaspekter:•••••Resultatrevisionen bidrager ikke med væsentlig ny videnData er for uaktuelle til at anvende i den fremadrettede planlægningManglende sammenhæng med de opfølgninger, der sker i løbet af åretKlyngesammenligningen bidrager ikke til tværkommunalt samarbejdeIkke tilstrækkelig specifik i forhold til forklaring af indsats, prioritering ogressourcer bag tallene.

Interviewene med aktørerne viser, at brugen af Resultatrevisionen varierer væsent-ligt. De kommunale arbejdsmarkedsudvalg er mest positive i deres vurdering af an-vendeligheden af Resultatrevisionen og giver således udtryk for, at den har skabtstørre ejerskab og forståelse af beskæftigelsesindsatsen og de fremadrettede udfor-dringer på området. LBR er også forholdsvis positive, om end de finder sproget van-skeligt tilgængeligt og mener, at der mangler målinger på den lokale indsats.Beskæftigelsesregionerne og de regionale beskæftigelsesråd er de aktører, der an-vender Resultatrevisionen mindst i deres arbejde. Hovedårsagen er, at de selv fore-tager løbende målinger og sammenligninger, som de tager udgangspunkt i i over-vågningen og opfølgningen af beskæftigelsesindsatsen i jobcentrene. Såfremt Resul-tatrevisionen skal udgøre et fælles udgangspunkt eller referenceramme for dialogenom beskæftigelsesindsatsen, er det umiddelbart problematisk, at beskæftigelsesregi-onerne ikke anvender Resultatrevisionen i større grad.

Rolle- og ansvarsfordelingEvalueringen viser, at der er en vis uklarhed blandt aktørerne om deres respektiveroller og ansvar i forbindelse i Resultatrevisionen.Jobcentrenes og kommunalbestyrelsens rolle er forholdsvis klar ifølge respondenter-ne. Derimod er der usikkerhed om, hvilken rolle beskæftigelsesregionerne og de re-gionale beskæftigelsesråd har, ud over at de skal offentliggøre resultatrevisionerne.Fraværet af en formel rolle i forbindelse med Resultatrevisionen får nogle jobcentretil at udtrykke tvivl om, hvorvidt Resultatrevisionen overhovedet bliver brugt på cen-tralt hold.Driftsregionerne udtrykker enstemmigt, at de har været usikre på, hvad der ligger i,at de skal godkende den statslige del af Resultatrevisionen. Der er generelt tvivl om,hvornår revisionerne er gode nok til at blive godkendt. Driftsregionerne har på bag-grund heraf valgt at fokusere på formen snarere end indholdet. Det vil sige, at job-centrene har forholdt sig til resultater snarere end til indholdet af kommentarerne.Dette bekræftes af de statslige jobcenterchefer, der har oplevet, at driftsregionernehar fokuseret på mindre detaljer, så som kommaer, skrifttype osv. Både driftsregio-nerne og jobcentrene har derudover i nogle tilfælde oplevet, at driftsregionen harhaft vanskeligt ved kun at forholde sig til den statslige del i Resultatrevisionen, daforklaringerne og kommentarerne ofte er integreret og derved vedrører både denstatslige og kommunale del.Med hensyn til LBR’s rolle udtrykker nogle jobcentre, at LBR ikke har meget input tilResultatrevisionen og derfor også kun i meget begrænset anvender deres høringsret.

Som illustreret er processen lang, eftersom mange parter skal inddrages. Resultatre-visionen bliver med jobcentrenes ord sendt meget frem og tilbage i systemet. Detbetyder blandt andet, at der bruges forholdsvis mange ressourcer på processen.Derudover fremhæver nogle jobcentre, at godkendelsesprocessen ikke fremmersamarbejdet mellem den statslige og kommunale del, eftersom de to dele skal god-kendes af to forskellige instanser og på to forskellige tidspunkter.En tredje følgevirkning af den lange proces, som fremhæves af mange jobcentre, er,at Resultatrevisionen godkendes for sent i forhold at blive inddraget i arbejdet medBeskæftigelsesplanen. Tiden mellem revisionen og Beskæftigelsesplanen skaber pro-blemer, fordi jobcentrene allerede er gået i gang med beskæftigelsesplanlægningenfør den kommenterede og gennemarbejdede Resultatrevision er klar.

Offentliggørelse af skabelonenEn del jobcentre fremhæver, at det er uhensigtsmæssigt, at skabelonen offentliggø-res, inden jobcentrene har haft lejlighed til at forholde sig til resultaterne. Mangeoplever at skulle bruge uforholdsmæssig meget tid på at forklare omverdenen talle-nes rette sammenhæng. Når Resultatrevisionen i marts måned offentliggøres førjobcentrenes kommentering og den politiske behandling, kan det føre til misforståel-ser, fordi nogle eksterne parter har fortolket tallene uden at kende jobcentreneskommentarer og forklaringer.Driftsregionerne støtter op om denne pointe og udtrykker, at det kan være proble-matisk for jobcentrene, når deres ukommenterede resultater offentliggøres, inden dehar været igennem en politisk bearbejdning. De ukommenterede tal har betydet, atnogle har dannet sig et misvisende billede af situationen, før den politiske debat reelter gået i gang.

RessourceforbrugDet fremgår af de adspurgte jobcentre, at ressourcebruget i forbindelse med udar-bejdelse af Resultatrevisionen varierer meget. Nogle jobcentre bruger relativt få res-sourcer, da de primært ser det som en teknisk skrivebordsøvelse. Andre bruger rela-tivt mange ressourcer, dels på at forstå og analyse tallene, dels på drøftelser af tal-lene på ledelsesniveau og politisk niveau.Særlig de mindre jobcentre oplever at bruge mange ressourcer på at udarbejde Re-sultatrevisionen. Det skyldes særligt, at de mindre jobcentre ikke kan trække påakademisk arbejdskraft i samme grad, som de større jobcentre kan. Samtidig ud-trykker nogle, at skabelonen er en hjælp, eftersom det ville tage lang tid selv at fo-retage analyserne og etablere baggrund for sammenligning med andre kommuner.

Opsamlende vurderingDet er Rambøll Managements vurdering, at de fleste aktører, der indgår i udarbej-delses- og godkendelsesprocessen bruger mange ressourcer på Resultatrevisionen.Sammenholdes dette med at særligt jobcentre ikke finder Resultatrevisionen anven-delig i forhold til planlægning og opfølgning, rejser spørgsmålet sig, om der er enrimelig fordeling mellem anvendte ressourcer og det reelle udbytte.Det er vores vurdering, at processen kan og bør optimeres. Dette kan blandt andetgøres ved at undersøge, om der er mulighed for at afbureaukratisere processen vedeksempelvis at lade LBR få Resultatrevisionen til orientering frem for til høring ellerundersøge muligheden for, at den statslige del kan godkendes af samme instansersom den kommunale del.En optimering af processen vil samtidig betyde, at Resultatrevisionen kunne godken-des tidligere og dermed få en større rolle i fastlæggelse af indsatsområder i Beskæf-tigelsesplanen.Derudover er det vores vurdering, at det ville spare jobcentrenes tid, hvis de fik lej-lighed til at forholde sig til skabelonen, inden den offentliggøres.

Bilag 1: Målinger og opgørelsesmetoderI midtvejsevalueringen (efteråret 2007) blev der foretaget en dybtgående undersø-gelse af Resultatrevisionens konkrete indhold, dvs. de udvalgte målinger, opgørel-sesmetoder m.v.Nedenfor er angivet en oversigt over de problemer, som er blevet taget op af re-spondenterne i forbindelse med nærværende evaluering. Oversigten kan betragtessom et supplement til midtvejsevalueringen.Emne for målingForskellig metode bag målingerneProblemområde•Der ønskes i større grad sammenlignelige tidstabellerpå tværs af målinger og figurer i Resultatrevisionen.•Der ønskes bedre sammenhæng mellem Resultatrevi-sionen og Jobindsats.dk. Når tal trækkes fra jobind-sats.dk, er de anderledes, end dem der fremgår i Re-sultatrevisionen. Det skaber forvirring, og der børderfor gøres opmærksom på, at tallene er dynamiske.•Det opfattes generelt som misvisende at udregne be-sparelsespotentialet ved at sammenligne gennemsnit-lig varighed af afsluttede forløb (jf. KL’s generelle kri-tik af besparelsespotentialet)•Betyder statistisk usikkerhed. Dette kan give et mis-visende billede af de reelle ændringer og kan betyde,at selv små bevægelser kan give store procentviseudsving.•Savner, at samtlige målinger viser udviklingen gen-nem året, og ikke blot en sammenligning af resultaterfor en enkel måned over to forskellige år. En enkeltmåned er ikke nødvendigvis repræsentativ for de øv-rige 11 måneder. Dette gælder særligt for ministe-rens mål vedrørende ’ungemålet’.•Jobcentrene oplever klyngesammenligningen sommisvisende, da de ikke mener at have samme res-sourcer til rådighed, som dem der sammenlignesmed.•Politikerne ønskes sammenligning mellem kommuner,der ligger i umiddelbar geografisk nærhed.•I nogle tilfælde ønskes der uddybende data og målin-ger i de enkelte tabeller.•Der ønskes særligt målinger af førtidspension.•Der ønskes særligt målinger på rettidighed i forholdtil sygedagpenge, og at rettidighedsmålingerne ogsåinkluderer de ikke-arbejdsmarkedsparate.

Bilag 2: Oversigt over styrker og svagheder ved Resultatre-visionenNedenstående tabeller viser resultaterne af de adspurgte respondenters erfaringerog vurderinger af Resultatrevisionen. Resultaterne er præsenteret for hver aktørtypeog opdelt på følgende fire emneområder:1.Internt brug.De enkelte aktørers brug af Resultatrevisionen i forhold til re-vision af beskæftigelsesindsatsen, planlægning af den fremadrettede indsatssamt løbende opfølgning til brug for styring.2.Proces.Aktørernes deltagelse i den politiske og forvaltningsmæssige procesi forbindelse med udarbejdelse af Resultatrevisionen. Det indebærer elemen-ter som timing, godkendelses- og udarbejdningsprocessen samt ressource-forbrug i forbindelse hermed.3.Dialog og samarbejde.Her ses på interaktionen mellem aktørerne og omResultatrevisionen fører til andre effekter i form af øget og bedre dialog ogsamarbejde mellem forskellige enheder og aktører.4.Målinger.Specifikke målinger samt beskrivelser og forklaringer i Resultatre-visionen, vurderet ud fra kvalitet, validitet, brugbarhed mv.For hvert emneområde er der angivet konklusioner på aktørernes erfaringer og vur-deringer i forhold til Resultatrevisionens anvendelighed. Konklusionerne er formule-ret som udsagn, der enten udtrykker styrker eller svagheder ved Resultatrevisionensanvendelighed.For hvert udsagn indikerer den efterfølgende tekst i kursiv, hvor udbredt den pågæl-dende opfattelse har været for den givne aktørgruppe. Der opereres med fire kate-gorier:•Samtligeaf de adspurgte er enige i udsagnet•Størstedelenaf de adspurgte er enige i udsagnet•Ca. halvdelenaf de adspurgte er enige i udsagnet•Under halvdelenhar udtrykt enighed i indsigten.

Dialog og samarbejdeStyrkerResultatrevisionen kanfungere som et instrumentfor integration mellem statog kommune (underhalv-delen)Godt for politikere, da derskabes samlet indsigt ijobcentrenes statslige ogkommunale del(underhalvdelen)SvaghederSavner klarhed over hvemder skal bruge resultatre-visionen. Hvem er dialo-gen rettet mod?(samtlige)Kan ikke bruges som bag-grund for samarbejde medandre kommuner i klyn-gen, da man ikke kenderdem godt nok (omkringhalvdelen)Savner mere kvalitativbeskrivelse af, hvad denbedste i sammenligningengør(underhalvdelen)Potentielt godt kommuni-kationsværktøj med politi-kere og LBR. Men misfor-ståelse kan opstå, da dataikke er sammenligneligemed andre tilgængeligedata på området(ca.halvdelen)Enkelte opfatter Resultat-revisionen som kontrolin-strument fra staten, andretil brug for LBR(underhalvdelen)

MålingerStyrkerFå målinger skaber et godtoverblik(samtlige)Det er relevante målinger(samtlige)SvaghederMetode er ikke konsistent.Resultaterne kan diskuteres(samtlige)Små populationer betyderstatistisk usikkerhed. Savnerangivelse af absolutte tal(samtlige)Besparelsespotentialet ermisvisende(størstedelen)Savnes, at nogle målingerviser udvikling i løbet af året,dvs. gennemsnittet i åretsmåneder(størstedelen)Ønsker, at samtlige målinger irapporten er sammenligneli-ge, ved at der benyttes sam-me periode for dem alle(størstedelen)Generel mistro til metodenbag klyngerne(størstedelen)Klyngerne giver ikke meningfor politikerne(ca.halvdelen)Savner overensstemmelse igrunddata ml. Resultatrevisi-onen og kilder fra fx AMS(ca.halvdelen)Savner måling af rettidighedift. SDP, at rettidighed inklu-derer ikke-arbejdsmarkeds-parate, samt at revisionen le-verer måling af førtidspension(ca.halvdelen)

DriftsregionerneInternt brugStyrkerLeverer ikke ny viden,men samler viden som bi-drager til refleksion overindsatser(samtlige)Kan se at Resultatrevisio-nen er input til Beskæf-tigelsesplanerne(halvdelen)Godt at kunne sammen-ligne jobcentrene(underhalvdelen)SvaghederKan ikke bruges til styring,da data er for gamle. Der-for suppleres revisionenaltid med andre data(samtlige)Har haft en omfattendekoordinering internt mht.fælles godkendelsesniveaufor kvalitet og form(størstedelen)Risikerer at blive for tilba-geskuende(ca.halvdelen)Stor forskel i kvalitet mel-lem jobcentrene, hvor job-centre med akademisk ar-bejdskraft leverer resultat-revisioner med højest kva-litet(underhalvdelen)

Dialog og samarbejdeStyrkerDriftsregionen opnår dialogog samarbejde med job-centrene, bl.a. gennemworkshops og undervisningmht. resultatrevisionerneskvalitet og form(samtlige)SvaghederOplever at det er en udfor-dring at etablere samarbej-de mellem stat og kommu-ne – både i jobcentrene ogmellem driftsregionen ogLBR(underhalvdelen)Ser ikke, at Resultatrevisi-onen fører til dialog medandre end de statslige ak-tører(underhalvdelen)Nogle har oplevet mang-lende samarbejde mellemstat og kommune i jobcent-rene, hvilket gør godken-delsesprocessen meget om-fattende(underhalvdelen)Klyngerne fordrer ikke net-værk – det sker i stedet in-den for regionen(underhalvdelen)

MålingerStyrkerGodt og lettilgængeligt sprog(samtlige)SvaghederBesparingspotentialet ermisvisende(ca.halvdelen)Mangler fokus på processenog udviklingen bag tallene,så der opnås indsigt i, hvadder virker(underhalvdelen)Savner i nogle tilfælde må-linger der kan vise udviklingi løbet af året(underhalvdelen)Mangler bilagstabeller ombaggrundsvariable(underhalvdelen)Data skal kommenteres –ellers bliver de misforstået(underhalvdelen)Små populationer betyderstatistisk usikkerhed(underhalvdelen)Varighed af afsluttede forløber svær at forstå(underhalvdelen)Forvirring omkring klynger-nes udregning samt forvent-ning om, at de bør bruges tilnetværk(underhalvdelen)

De regionale beskæftigelsesrådInternt brugStyrkerNogle mener, at den leve-rer et overskueligt ogsammenligneligt værktøjfor de forskellige jobcentreinden for specifikke områ-der. Skal dog suppleresmed nyere tal og dialog(ca.halvdelen)SvaghederNogle RBR bruger slet ikkerevisionen, fordi data erforældede(ca.halvdelen)Der savnes bedre sam-menhæng mellem beskæf-tigelsesplanlægning ogResultatrevision(ca.halvdelen)Kan ikke bruges til styring– der kræves en oftere op-følgning(ca.halvdelen)Mangler fokus på procesog prioritering bag tallene(ca.halvdelen)Styrker…SvaghederRBR er generelt ikke ind-draget i udarbejdelsespro-cessen(samtlige)Har ikke særlig indsigt iprocessen, men opfatterprocessen som meget om-fattende i forhold til ud-byttet(underhalvdelen)

De lokale beskæftigelsesrådInternt brugStyrkerResultatrevisionen indgårsammen med de andredata, som LBR bliver fore-holdt(samtlige)Nogle benytter den i for-bindelse med beskæftigel-sesplanlægningen, menden suppleres altid medandre data(ca.halvdelen)SvaghederLeverer ikke ny viden,men samler kendt viden(samtlige)Behov for løbende opfølg-ning over for jobcentrene.Resultatrevisionen er ikketilstrækkelig mht. tid ogtal. Er for bagud skuende(ca.halvdelen)Mangler indsigter omkringden lokale beskæftigelses-indsats, og derfor kan denikke bruges som styring(underhalvdelen)Mere fokus på processenbag tallene, så der opnåsindsigt i, hvad der virker(underhalvdelen)Styrker…SvaghederStor variation i LBR’s ind-dragelse i processen. Be-tyder stor variation i deresdeltagelse i den politiskeproces ud fra revisionen.Nogle LBR mener, at manskal være meget nede itallene for at kunne delta-ge i processen, og det for-mår de ikke.(underhalvdelen)