BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Beskæftigelsesudvalget 2020-21
BEU Alm.del Bilag 364
Offentligt

Seks ugers jobrettet uddannelse

EFFEKTANALYSE

En kvantitativ analyse af hvorvidt uddannelsesindsatsen

Seks ugers

jobrettet uddannelse

fører til øget beskæftigelse

April 2021

Viden og Analyse / Malte Dahl Jacobsen (MDJ) og Amalie Starcke Thorsen (ASTH)

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

SAMMENFATNING

Seks ugers jobrettet uddannelses (herefter 6UJU) er en ordning, der giver ufaglærte og faglærte

dagpengemodtagere samt dagpengemodtagere med korte videregående uddannelser, der samtidig har en

erhvervsfaglig uddannelse,

ret

til op til seks ugers uddannelse i form af kurser, som fremgår af en

landsdækkende positivliste.

6UJU har til formål at understøtte et kompetenceløft og styrke muligheden for varig beskæftigelse for

målgruppen. Uddannelse og uddannelsesvejledning er kerneelementer i den danske beskæftigelsesindsats, og

uddannelse som vej til beskæftigelse fik en central rolle med beskæftigelsesreformen fra 2014. Som et

resultat af reformen, trådte ordningen i kraft 1. januar 2015. 6UJU udspringer af den tidligere ordning

Seks

ugers selvvalgt uddannelse.

Med

”Trepartsaftale

om tilstrækkeligt og kvalificeret arbejdskraft i hele Danmark og praktikpladser” (2016)

blev der indført en karensperiode, så retten først kunne benyttes efter fem ugers ledighed. Karensperioden

blev indført med effekt fra 1. marts 2017. Dog blev der samtidig udført et midlertidigt forsøg i 2017 og 2018

med undtagelse for karens ved visse kurser, hvor der forventes mangel på arbejdskraft.

Dette analysepapir består dels af en

deskriptiv analyse

af 6UJU påbegyndt i perioden 1. januar 2015 til 1.

marts 2020, og dels af en

effektanalyse

af 6UJU med fokus på beskæftigelseseffekter for kursusdeltagerne.

Formålet med den deskriptive del er at beskrive karakteristika for ledige, der har deltaget i 6UJU i perioden

2015 til 2020. Denne gruppe sammenlignes med både den indsatsgruppe og en potentiel kontrolgruppe, som

er afsættet i effektanalysen. Dermed belyser den deskriptive analyse også, hvorvidt indsatspersonerne, som

der er belyst effekter for i den efterfølgende effektanalyse, afspejler den typiske bruger af ordningen, samt

hvorvidt gruppen, der anvendes som en

potentiel

sammenligningsgruppe, ligner indsatsgruppen.

Formålet den efterfølgende effektanalyse er at undersøge, hvorvidt 6UJU øger

beskæftigelsen

blandt ledige

dagpengemodtagere (både på kort og langt sigt) samlet set hhv. for forskellige undergrupper. I analysen

undersøges en nedslagsperiode fra 1. april 2017 til 1. marts 2018. I denne nedslagsperiode er der

–

med visse

undtagelser

–

effektueret en femugers karensperiode, således at ledige først kan påbegynde et forløb efter

fem ugers ledighed. I alt indgår 13.896 personer i effektanalysen, hvoraf halvdelen har modtaget et 6UJU-

forløb, mens den anden halvdel indgår som kontrolgruppe.

Det skal bemærkes, at effektanalysen af 6UJU udelukkende belyser effekten af uddannelsestilbuddet på

beskæftigelse. Uddannelsesindsatser kan have gavnlige effekter for deltagerne på parametre som ikke

undersøges i denne analyse samt på længere sigt, herunder eksempelvis muligheden for brancheskifte, et

mere generelt kompetenceløft af arbejdsstyrken eller effekter på deltagernes livsstil etc.

Resultater fra den beskrivende analyse

Opsummerende viser resultater fra den beskrivende analyse, at:



Hovedparten af 6UJU-forløbene er påbegyndt inden for de første 4 måneders ledighed.



Der er en overvægt af deltagere i 6 ugers jobrettet som er

faglærte

(omkring 60 pct.), mens

ufaglærte

(30 pct.) samt ledige med en

kort videregående uddannelse, der samtidig har en erhvervsuddannelse

(10 pct.) udgør et mindretal.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen



Der er relativt stor spredning i

kursernes varighed.

Et typisk forløb varer 6 uger, men en stor del

deltager i kortere forløb af 3-5 dages varighed. Der er imidlertid betydelig usikkerhed omkring

forløbsvarighed på grund af kommunale forskelle i registreringen af kurser.

Der er en lille overvægt af

mandlige

deltagere, da ca. seks ud af ti kursusdeltagere er mænd.

Angående spørgsmålet om hvorvidt indsatspersoner i effektanalysen samt den potentielle kontrolgruppe ligner

den typiske 6UJU-deltager, viser den beskrivende analyse følgende:



Indsatsgruppen i effektanalysen afspejler den typiske bruger af 6UJU på centrale variable, herunder

køn, civilstand, geografisk fordeling og alder.



Der er færre med en kort videregående plus en erhvervsfaglig uddannelse i indsatsgruppen

sammenlignet med den typiske bruger, ligesom der også er lidt færre med en anden etnisk baggrund

end dansk i indsatsgruppen.



Den potentielle kontrolgruppe afspejler indsatsgruppen på køn, etnicitet og demografisk fordeling.



Der er en overvægt af unge og ufaglærte i den potentielle kontrolgruppe sammenlignet med

indsatsgruppen.

Sammenfattende viser analysen, at den indsatsgruppe, som effektevaluering tager afsæt i, er repræsentativ for

den typiske bruger af 6UJU. Derudover viser analysen, at den potentielle kontrolgruppe adskiller sig fra

indsatsgruppen på enkelte variable, som det er nødvendigt at håndtere i effektanalysen. Dette er dog

uproblematisk, da matchingen sikrer sammenlignelig mellem indsatsgruppen og den endelige kontrolgruppe.

Resultater af effektanalysen

Effektanalysen sammenligner den gennemsnitlige akkumulerede beskæftigelsesgrad for indsats- og

kontrolgruppen i perioder på hhv. et halvt år, et år, halvandet år og to år fra indsatsens start. Udfaldet angiver

således den gennemsnitlige andel af uger i beskæftigelse fra indsatsstart til målepunktet.

Effekten

af deltagelse

i 6UJU er defineret som forskellen i den gennemsnitlige akkumulerede beskæftigelsesgrad siden forløbsstart.

Med andre ord forskellen i den gennemsnitlige andel af måleperioden, som deltagere i 6UJU er i beskæftigelse,

sammenholdt med kontrolgruppen.

Ved at vurdere effekter på både kort og længere sigt, er det muligt også at belyse effekterne af indsatsen i en

periode, hvor

fastholdelseseffekter

–

det faktum at indsatsen i en vis grad fastholder deltagerne i ledighed

–

en mindre faktor. Såfremt deltagelsen i et uddannelseskursus styrker tilknytningen til arbejdsmarkedet, har

indsatsen en såkaldt positiv

programeffekt.

I det omfang at programeffekterne over en længere periode opvejer

de indledende negative fastholdelseseffekter, vil der være en samlet positiv effekt, en såkaldt

nettoeffekt.

Det

skal dog bemærkes, at der med den lange tidshorisont følger større usikkerhed omkring resultaterne, særligt

fordi 6UJU er en relativt kortvarig indsats.

Sammenlagt konkluderer effektanalysen følgende:



Indsatsgruppen har i gennemsnit 5,5 pct. point

lavere

beskæftigelse end kontrolgruppen i det første

halve år efter indsatsstart, svarende til knap halvanden uges beskæftigelse. Der er således en signifikant

fastholdelse i ledighed som følge af deltagelse i indsatsen.



Set over et år fra indsatsstart, er der fortsat en signifikant negativ nettoeffekt på knap 2 pct. point,

svarende til en uges beskæftigelse.



Set over halvandet år er forskellen i akkumuleret beskæftigelsesgrad udlignet, og de to grupper har

identiske beskæftigelsesgrader.



Målt over to år fra indsatsstart har indsatsgruppen en akkumuleret beskæftigelsesgrad, som er knap 1

pct. point højere end kontrolgruppen, men denne forskel er

ikke

signifikant.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Resultaterne afspejler, at der på kort sigt er betydelige negative nettoeffekter af 6 ugers jobrettet uddannelse,

hvor borgeren fastholdes i ledighed. I det første halve år er deltagergruppen mindre i arbejde end

kontrolgruppen. Efter det første halve år er deltagergruppen i gennemsnit lidt mere i arbejde end

kontrolgruppen, men den lille positive forskel skal vare over en længere periode for at indhente det indledende

negative efterslæb, og den akkumulerede forskel udlignes således først efter halvandet til to år.

Resultaterne er i tråd med en tidligere analyse af 6UJU i den forstand, at der også tidligere er fundet negative

effekter af indsatsdeltagelse efter et år. Nærværende analyse udvider imidlertid tidshorisonten, hvilket

modererer den samlede fortolkning af indsatsens betydning. Det flugter med forskningen, som peger på, at

undersøgelser af uddannelseseffekter oftere indikerer positive effekter når tidshorisonten er lang (Metrica,

2020). Det skal imidlertid gentages, at 6UJU er en relativt kortvarig indsats, hvorfor de langsigtede effekter er

forbundet med en vis usikkerhed.

Endelig gennemføres også en effektanalyse af perioden

forud

for 1. marts 2017 for at vurdere, om

karensperioden har haft en positiv betydning for effekterne af ordningen. Analysen er baseret på de samme

metodiske valg som hovedanalysen. De negative effekter i analysen før karensperioden er større og mere

længerevarende sammenlignet med perioden efter indførslen af fem ugers karens. Samlet set indikerer

resultaterne, at indførslen af karensperioden har været gavnlig vurderet på ordningens effekter på

beskæftigelsesgraden. Det skal dog bemærkes, at der i analysen ikke tages højde for, om der kan være andre

forskelle i mellem de to tidsperioder, som kan have indflydelse på forskellen i resultaterne.

Heterogene effekter

For at belyse om 6UJU virker bedre for nogle grupper end andre, bryder analysen resultaterne ned på tværs af

baggrundsvariable, herunder køn, herkomst, uddannelsesbaggrund, alder og anciennitet i dagpengesystemet.

Det skal bemærkes, at der med subgruppeanalyserne følger en vis usikkerhed.

Analysen viser følgende:



Efter halvandet og to år, er der signifikante, positive effekter for mænd på hhv. 2 og knap 3

procentpoint.

Indsatsen

fungerer

tilsyneladende

for

mandlige

deltagere,

mens

beskæftigelseseffekterne synes at udeblive for kvindelige deltagere, hvor der findes større signifikante

negative effekter.



Effekterne adskiller sig

ikke

betydeligt på tværs af deltagernes alder.



Effekterne er lige store for faglærte og ufaglærte deltagere i ordningen.



På lang sigt er der positive effekter for personer, som påbegynder 6UJU inden for de første tre

måneders dagpengeanciennitet. Således er der en signifikant positiv effekt på 2,3 pct. point efter to år.



Endelig er der antydningen af en mere positiv effekt for ledige med anden etnisk baggrund end dansk.

Denne gruppe er dog så lille, at estimatet er behæftet med betydelig usikkerhed og ikke signifikant.

Det er bemærkelsesværdigt, at effekten er

markant

mere positiv for mandlige deltagere. En mulig forklaring

kan være, at mandlige 6UJU-deltagere gennemsnitligt deltager i andre typer af kurser end kvindelige deltagere.

Data har desværre ikke en kvalitet, der gør det muligt at observere effekterne på tværs af de specifikke

kursustyper.

Metode og centrale antagelser i effektanalysen

Primært fordi risikoen for falsk positive resultater øges med antallet af analyser, og sekundært fordi stikprøvestørrelsen er mindre.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Effektanalysen tager afsæt i den statistiske metode

matching,

som identificerer en kontrolgruppe, der ikke har

deltaget i et 6UJU-forløb, men på observerbare karakteristika er sammenlignelig med indsatsgruppen. Da man

ikke kan observere, hvordan borgerens beskæftigelse udvikler sig i den kontrafaktiske situation, hvor borgeren

ikke

deltager i et 6UJU-forløb, er det nødvendigt at finde en sammenlignelig kontrolgruppe, dvs. en gruppe af

personer med samme adfærd som deltagerne i 6UJU i perioden forud for indsatsen. Metoden matcher hver

enkelt indsatsperson med en

”tvilling” i kontrolgruppen,

som ligner dem så meget som muligt ud fra det

tilgængelige data, herunder geografisk placering, demografi, uddannelse, forudgående løn og

beskæftigelsesgrad samt lokal ledighed. En eventuel forskel mellem indsats- og kontrolgruppens beskæftigelse

skyldes derfor ikke forskelle på disse observerbare variable, og tilskrives deltagelse i 6UJU.

En vigtig antagelse for at vi kan estimere kausale effekter baseret på matching-metoden er, at der ikke er

afgørende

uobserverbare

forskelle på indsats- og kontrolgruppen, som kan påvirke, hvem der modtager

indsatsen. Det er selvsagt en hård antagelse, men med de omfattende registerdata vurderes det, at analysen

kommer så tæt på, som det er muligt. Dertil kommer, at matching-metodens troværdighed er betydeligt højere

hvis det, som her, er muligt at observere de enkelte individer over tid. En central faktor for at efterleve

antagelsen beror på, at grupperne er identiske på observerbare karakteristika. Derudover betinges der også på,

at kontrolgruppen er ledige ved indsatsgruppens start i 6UJU-forløbet, for at sandsynliggøre at kontrolgruppen

faktisk kunne have indgået i et 6UJUforløb på det pågældende tidspunkt.

Centrale bemærkninger i forbindelse med matchingen:



Det er muligt at finde gode matches til langt størstedelen af de personer, der i nedslagsperioden

deltager i et 6UJU-forløb. Således bevares en stor andel af indsatsgruppen i det endelige sample,

hvilket styrker repræsentativiteten.



Såkaldte balancetest viser, at de to grupper er godt balancerede, dvs. tilnærmelsesvist identiske på alle

baggrundskarakteristika målt før indsatsen.



Centralt for analysen er det, at 6UJU er en dynamisk indsats, som påbegyndes på vilkårlige tidspunkter

i de lediges forløb, hvilket der tages højde for i matchingen. Indsatspersoner og deres respektive

matchede kontrolpersoner har altid tilnærmelsesvis samme indplacering i dagpengesystemet og mindst

samme dagpengeanciennitet når indsatspersoner påbegynder 6UJU.



På baggrund af det omfattende registerdata, som indgår i matchingen, kan det rimeligvis antages, at

der

ikke

er udtalte uobserverbare forskelle mellem indsats- og kontrolgruppe, om end det uundgåeligt

er en risiko.

Sammenfattende resulterer matchingen i en stor stikprøve som er godt balanceret på et stort antal

baggrundsvariable. Med andre ord ligner indsats- og kontrolpersoner hinanden, hvilket sandsynliggør, at vi

kan estimere middelrette kausale effekter af indsatsen.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

1. INDLEDNING

Seks ugers jobrettet uddannelse (6UJU) er en rettighed for ufaglærte og faglærte dagpengemodtagere samt

dagpengemodtagere med korte videregående uddannelser, der samtidig har en erhvervsfaglig uddannelse.

Ordningen giver ledige i målgruppen mulighed for at tilmelde sig kurser fra en landsdækkende positivliste.

Kurserne må maksimalt have seks ugers varighed. Deltagelse i ordningen skal finde sted inden for de første 9

måneders sammenlagt ledighed for personer, der er fyldt 25 år, og inden for de første 6 måneders

sammenlagt ledighed for personer, der er under 25 år.

Det er a-kassen, der bevilliger seks ugers jobrettet uddannelse for ledige dagpengemodtagere. De 6 ugers

uddannelse opgøres i timer og kan tages i sammenhæng eller opdeles i flere perioder. Under uddannelsen

modtager deltagere deres individuelt beregnede dagpengesats.

1.1 Ordningens historik og opbygning

Den tidligere ordning med

Seks ugers selvvalgt uddannelse,

blev indført med arbejdsmarkedsreformen i

1999. Efter reformen kunne forsikrede ledige selv vælge op til 6 ugers uddannelse i dagpengeperioden.

Med beskæftigelsesreformen fra 2014 blev ordningen omlagt til

seks ugers jobrettet uddannelse.

Den nye

ordning trådte i kraft 1. januar 2015. Den primære begrundelse for omlægningen var at målrette

beskæftigelsesindsatsen, da analyser af den tidligere ordning (bl.a. Rambøll 2011) havde vist, at ordningen

var med til at fastholde personer i ledighed og dermed ikke havde den tilsigtede virkning.

Med

”Trepartsaftale om tilstrækkeligt og kvalificeret arbejdskraft i hele Danmark og praktikpladser”

fra

august 2016 blev ordningen justeret således, at retten til 6UJU fra 1. marts 2017, som udgangspunkt opnås

efter fem ugers ledighed (karensperioden). Forud for denne ændring havde forsikrede ledige ret til et

uddannelsesforløb fra første ledighedsdag. Derudover blev kursusvalget i ordningen gjort mere fleksibelt i

forbindelse med trepartsaftalen i 2016. Endelig blev der indført et midlertidigt forsøg i 2017 - 2018 med

undtagelse for karens ved visse kurser, hvor der forventes mangel på arbejdskraft.

I sin nuværende form har ordningen således været gældende siden 1. marts 2017, hvor karensperioden trådte

i kraft. Senest er der fra 1. august 2020 til og med 2021 med

”Aftale om ekstraordinært løft af ledige”

indført

et forsøg med undtagelse for karens for ca. 70 kurser inden for områder, hvor der forventes mangel på

arbejdskraft. Disse ændringer har ikke betydning for denne analyses datagrundlag.

Det er a-kasserne, der træffer afgørelse om retten til uddannelsen, mens jobcentrene i kommunerne står for

rådgivning og vejledning om valg af uddannelsestype fra en landsdækkende positivliste. Positivlisten

afgrænser, hvilke kurser det er muligt at tage og skal sikre reelt jobrettede kursustilbud. De 6 ugers

uddannelse opgøres i timer og kan tages i sammenhæng eller opdeles i flere perioder. Under uddannelsen

modtager deltagere deres individuelt beregnede dagpengesats.

1.2 Analysens opbygning

Dette analysepapir belyser beskæftigelseseffekterne af deltagelse i 6UJU efter indførslen af karensperioden

på fem uger. Analysepapiret præsenterer først en

deskriptiv analyse

af 6UJU med udgangspunkt i perioden d.

1. januar 2015 til 1. marts 2020 med fokus på at beskrive karakteristika for brugerne af ordningen. Dernæst

præsenteres en

effektanalyse,

som belyser ordningen i perioden efter indførelsen af karensperioden, dvs. fra

d. 1 marts 2017. Papiret er opdelt som følger: Afsnit 2 præsenterer relevant litteratur og tidligere studier.

Afsnit 3 uddyber analysens datagrundlag og metodiske valg. Den deskriptive analyse præsenteres i afsnit 4,

mens resultaterne fra effektanalysen præsenteres i afsnit 5.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

2. LITTERATURGENNEMGANG OG EVALUERINGER AF ORDNINGEN

I litteraturen varierer indsatser til ledige væsentligt både i forhold til kontekst, indhold og varighed, og det er

derfor en udfordring at finde indsatser, som er direkte sammenlignelige med 6UJU i Danmark. Fokus er

derfor hovedsageligt på meta-studier, som identificerer samlede effekter af uddannelsesindsatser og

tendenser på tværs af litteraturen. Der præsenteres også to danske studier, som specifikt omhandler retten til

6UJU og selvvalgt uddannelse i Danmark

Metrica ved Michael Rosholm og Michael Svarer har på vegne af Beskæftigelsesministeriet gennemført en

metaanalyse som opsummerer dansk og international forskning om uddannelseseffekter for

arbejdsmarkedsparate ledige. Metaanalysen viser opsummerende, at et flertal af studier (60 pct.) finder, at en

uddannelsesindsats

øger arbejdsmarkedstilknytningen.

De øvrige 40 pct. fordeler sig omtrent ligeligt ml. enten

at have en

signifikant negativ effekt

eller

ingen signifikant effekt

på arbejdsmarkedstilknytningen. I en dansk

kontekst er der imidlertid markant færre positive effekter af uddannelses- og opkvalificeringsindsatser både

relativt til lande, vi typisk sammenligner os med (eksempelvis Sverige eller Tyskland), og lande med væsentligt

anderledes arbejdsmarkeder (eksempelvis USA eller lande i Sydeuropa).

Rapporten påpeger, at en potentiel forklaring på de færre positive danske resultater kan skyldes en særlig

intensiv og samtalebaseret grundindsats, hvormed effekten af en specifik uddannelsesindsats

–

for at opnå

positive effekter i Danmark

–

skal overgå effekten af den generelle grundindsats. Effekten på

arbejdsmarkedstilknytningen adskiller sig hverken systematisk eller signifikant på baggrund af den lediges

køn, alder, etnicitet eller ledighedsperiode. Både den valgte

analysemetode

til at undersøge effekter samt den

valgte

tidshorisont,

hvor effekterne undersøges, påvirker resultaterne. Bl.a. ses flest positive resultater ved

studier med en længere tidshorisont, hvor effekterne undersøges 5 år og mere efter påbegyndt indsats. Dette

viser også, at uddannelsesindsatser typisk har negative fastholdelseseffekter, og at nettoeffekten påvirkes

relativt mindre af denne indledende fastholdelse i takt med, at effekterne vurderes over længere tidsperioder.

Ordningen med 6UJU er særskilt blevet evalueret i en rapport af Finansministeriet i 2018. Rapporten belyser

ordingen før de seneste justeringer trådte i kraft (2. kvartal af 2015), dvs. for en periode, hvor forsikrede

ledige havde ret til et uddannelsesforløb fra første ledighedsdag (FM, 2018). Analysen sammenligner

indsats- og kontrolgruppen ét år efter indsatsstart og peger på, at afgangen fra ledighed for indsatsgruppen er

signifikant lavere i perioden umiddelbart efter uddannelsesstart. Dertil konkluderer analysen, at den negative

fastholdelseseffekt ikke bliver opvejet på sigt.

Endvidere har en evaluering af den tidligere ordning med

seks ugers selvvalgt uddannelse

vist, at ordningen

var med til at fastholde personer i ledighed og dermed ikke havde den tilsigtede positive virkning på

deltagernes beskæftigelsesgrad (Rambøll 2011). Også denne analyse sammenligner beskæftigelsesgraden i

en periode på ca. et år efter uddannelsesstart for en deltager- og kontrolgruppe.

Opsummerende viser den eksisterende litteratur

ikke

stærke indikationer på, at vi kan forvente signifikante

positive effekter for deltagere i 6UJU. Omvendt kan indførslen af karensperioden i 2017 have reduceret de

negative fastholdelseseffekter af ordningen, ligesom der er grund til at udvide tidshorisonten for at belyse

effekter ud over en etårig periode, jf. bl.a. Metrica (2019).

3. DATA OG METODE

Effekten

af deltagelse i 6UJU på en udfaldsvariabel

–

eksempelvis beskæftigelsesgrad

–

kan udtrykkes som

forskellen mellem en persons beskæftigelsesgrad, når personen deltager i 6UJU sammenlignet med, hvad

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

beskæftigelsesgraden ville have været, hvis personen ikke deltog i 6UJU. Da det kontrafaktiske udfald for

personer, der har modtaget et 6UJU-forløb er ukendt, vurderes beskæftigelseseffekten af indsatsen ved at

sammenligne den akkumulerede beskæftigelsesgrad i en periode efter indsatsen for deltagere i ordningen

(indsatsgruppe) med en sammenlignelig gruppe, som ikke deltager i ordningen (kontrolgruppe).

Udfordringen ved at sammenligne grupper af ledige med henblik på at identificere en indsatseffekt af 6UJU

er bl.a., at der kan være forskelle mellem de sammenholdte grupper ud over deres deltagelse i indsatsen, der

påvirker hvem der får tildelt indsatsen, og således påvirker den observerede beskæftigelsesgrad. Denne

udfordring håndteres for så vidt muligt ved at gennemføre en

matching

forud for selve effektanalysen. Ved

matching, beskrevet i detaljer i næste afsnit, identificeres en sammenlignelig kontrolgruppe, som afspejler

indsatsgruppen på alle relevante observerbare baggrundsvariable. Således identificeres for hver indsatsperson

en ”tvilling” som ikke har modtaget indsatsen. Effekterne

vurderes i den efterfølgende periode i op til 24

måneder fra hvert individ indtræder i et 6UJU-forløb.

3.1 Data

Analyserne baserer sig på data fra DREAM samt oplysninger om højeste fuldførte ordinære uddannelse,

civilstatus samt forældreskab fra registre fra Danmarks Statistik. DREAM-registret indeholder oplysninger

om alle danskere på ugeniveau, der i en given uge har offentlige overførsler. Registeret indeholder

oplysninger for individuelle overførsler på ugebasis fra 1991 og opdateres løbende. DREAM-databasen

indeholder individspecifikke oplysninger om bl.a. køn, alder, etnicitet, ledighedshistorik samt a-

kassemedlemsskab.

3.2 Afgrænsning af indsatsgruppe og potentiel kontrolgruppe

Indsatsgruppen defineres som alle personer, der påbegynder et 6UJU-forløb i perioden 1. april 2017 til den 1.

marts 2018. Denne afgrænsning frasorterer alle, der påbegynder et 6UJU-forløb før 1. april 2017, hvilket

sikrer, at indfasningen af karensperioden er fuldt effektueret. Det skal bemærkes, at indsatspersonerne kan

påbegynde et dagpengeforløb

forud

for denne periode, men 6UJU-forløbet skal påbegyndes i perioden (men

ikke nødvendigvis afsluttes i perioden).

Udvælgelsen af en egnet kontrolgruppe forløber i to trin ved at indføre en række betingelser, som skal

overholdes for at en kontrolperson kan matches med en given indsatsperson. Denne strategi er inspireret af

tidligere analyser på beskæftigelsesområdet, herunder evalueringen af jobrotation (Sørensen & Arendt 2014)

samt evalueringen af voksen- og efteruddannelsesindsatsen (Bolvig, Kristensen & Skipper 2017).

Først identificeres en grundpopulation baseret på tre betingelser. Hvert individ skal

(i)

have modtaget

dagpenge i en given uge i perioden 1. april 2017 til 1. marts 2018, så de kan kobles med indsatsgruppen i

dette tidsrum,

(ii)

have mindst fem ugers dagpengeanciennitet

, og endelig

(iii)

være ufaglært, faglært eller

have en kort videregående uddannelse kombineret med en erhvervsfaglig uddannelse, som reglerne

foreskriver.

Dernæst identificeres en

potentiel kontrolgruppe,

som en delmængde af grundpopulationen. Centralt for

analysen er det, at 6UJU er en dynamisk indsats, som påbegyndes på vilkårlige tidspunkter i de lediges forløb.

Da både konjunkturer og forudgående ledighed kan have betydning for kommende beskæftigelse, er det

afgørende at tage højde for dette forhold. I den potentielle kontrolgruppe indgår derfor individer, som er

påbegyndt ledighed på samme tidspunkt og har samme dagpengeanciennitet som en given person i

Svarende til karensperioden.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

indsatsgruppen. Dermed skelner analysen ikke alene imellem, om en person deltager i 6UJU eller ej, men også

hvor langt inde i ledighedsforløbet og kalenderåret 6UJU påbegyndes. Dertil skal en given kontrolperson være

ledig

–

og dermed reelt have mulighed for at påbegynde et 6UJU-forløb

–

på samme tidspunkt som en given

indsatsperson påbegynder 6UJU.

Endelig har den potentielle kontrolgruppe ikke tidligere deltaget i et 6UJU-

forløb.

3.3 Matching af indsats- og kontrolpersoner

Med afsæt i de identificerede indsatspersoner og den potentielle kontrolgruppe gennemføres en såkaldt

matching.

Matching sigter mod at approksimere et randomiseret forsøg ved at identificere kontrolpersoner,

som samlet set skaber balance (eller overensstemmelse) i baggrundskarakteristika mellem indsats- og

kontrolgruppen, så de to grupper ligner hinanden så meget som muligt, før indsatsgruppen gør brug af 6UJU.

Denne analyse kombinerer

eksakt matching,

der sikrer fuldstændig sammenlignelighed på givne karakteristika,

med en

propensity score matching estimator,

som modellerer sandsynligheden for at deltage i ordningen,

baseret på en række observerbare karakteristika (jf. uddybende beskrivelse i bilag 1).

Eksakt matching sikrer, at hver indsatsperson matches med en potentiel kontrolperson som har samme

indplaceringstidspunkt,

samme

dagpengeanciennitet

og er

ledig på indsatstidspunktet.

Dertil matches eksakt

på

køn

aldersgrupper,

da disse variable vurderes at være centrale for anvendelsen af 6UJU. Derudover

matches hver enkelt deltager med en kontrolperson, som har samme

forventede sandsynlighed for deltagelse i

6UJU,

baseret på de resterende baggrundsvariable. Som det fremgår af Bilag 4, performer denne matching-

model bedre end en række alternativt specificerede matching-modeller.

Forud for matching indgår 7.935 personer i indsatsgruppen, mens 104.807 unikke individer indgår i den

potentielle kontrolgruppe. Efter matchingen indgår 13.896 (fordelt på 6.948 i hhv. indsats- og kontrolgruppe).

Det er værd at bemærke, at nærværende analyser bygger på et markant større datasæt end den tidligere analyse

af 6UJU som betragtede et kortere tidsinterval (2.083 personer i indsatsgruppen) (FM, 2018).

Dagpengeancienniteten er inddelt i fire-ugers intervaller mens indplaceringstidspunktet er opdelt i seksugers-intervaller.

Kontrolpersoner skal være ledige på samme tidspunkt som en given indsatsperson påbegynder 6UJU +/- 14 dage.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Boks 1

Metode: Matching

I denne analyse anvendes en kombination af

Exact matching

Propensity Score Matching

til at udvælge

en kontrolgruppe der ligner indsatsgruppen.

Ved

Exact matching

betinges på at kontrolgruppen skal ligne indsatsgruppen helt præcist. Denne analyse

betinger på at personer i indsats- og kontrolgruppe skal have indplacering i dagpengesystemet i samme

seksugers periode, mindst samme anciennitet i dagpengesystemet målt i antal uger, lige lang tid mellem

indplaceringstidspunktet og start i indsats, samme køn og samme alder i intervaller af 10 år.

Propensity Scoren beregner hver persons sandsynlighed for at modtage indsatsen, ud fra de resterende

karakteristika, som

ikke

indgår i den eksakte matching. Først estimeres alle personers sandsynlighed for at

modtage indsatsen, og herefter matches personer fra indsatsgruppen med personer fra den potentielle

kontrolgruppe, som har den samme sandsynlighed (eller den tættest på) for at modtage indsatsen. De

matchede personer, som ikke har modtaget en indsats, udgør den endelige kontrolgruppe. Det skal

bemærkes, at der kun anvendes unikke kontrolpersoner i analysen

–

med andre ord kan samme

kontrolperson ikke matches til to indsatspersoner.

3.4 Centrale antagelser og forbehold

Ved en succesfuld matching, kan effekten af indsatsen estimereres ved at sammenligne de to grupper på

relevante udfaldsmål. En forudsætning for, at estimaterne kan tolkes som middelrette kausale effekter, er, at

matchingen betinger på alle faktorer, der simultant påvirker beslutningen om deltagelse i 6UJU. Det er

selvsagt en hård antagelse, men med de omfattende registerdata vurderes det, at analysen kommer så tæt på,

som det er muligt. Dertil kommer, at matching-metodens troværdighed er betydeligt højere hvis det, som her,

er muligt at observere de enkelte individer over tid, da uobserverede karakteristika således kan opfanges i

tidligere perioders observationer.

Da målet med matchingen er at opnå en identisk (balanceret) fordeling af baggrundsvariable i den matchede

indsats- og kontrolgruppe, er en central kvalitetssikring en diagnosticering af, hvorvidt de anvendte

baggrundsvariable adskiller sig på tværs af de to grupper. I bilag 2. rapporteres en række mål for balance i

det matchede data på alle baggrundsvariable inkluderet i matchingen. Konkret præsenteres både

visualiseringer af fordelingen af baggrundsvariable for hhv. indsats- og kontrolgruppen og differencen

mellem den standardiserede middelværdi for alle kontrolvariable for hhv. indsats- og kontrolgruppen.

Opsummerende viser balancetestene, at matchingen er særdeles vellykket, jf. Bilag 2.

3.5 Udfaldsmål og effektanalyse

På baggrund af matchingen gennemføres en effektanalyse, som belyser den samlede effekt af ordningen.

Analysen er inspireret af tidligere effektanalyser på beskæftigelsesområdet, herunder evalueringen af

voksen- og efteruddannelsesindsatsen (Bolvig, Kristensen & Skipper 2017).

Den samlede effekt af ordningen på beskæftigelsen opgøres ved hjælp af den

gennemsnitlige akkumulerede

beskæftigelsesgrad

fra indsatsstart og over tidsforløb på hhv. et halvt år, et år, halvandet år og to år. Udfaldet

er defineret som antal uger i beskæftigelse ud af det samlede antal uger i perioden og tager dermed højde for,

Eksempelvis er foregående års arbejdsmarkedstilknytning eller indkomst for den enkelte ledige givetvis et godt mål for ellers uobserverbare

karakteristika så som motivation for at arbejde og evner.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

at personer kan gå ind og ud af beskæftigelse. Dette udfaldsmål belyser omfanget af beskæftigelse ved ikke

bare at måle

en ledig kommer i arbejder, men også om beskæftigelsen er

vedvarende.

Det skal bemærkes, at kontrolgruppen i praksis modtager en blanding af andre aktive tilbud, og at der derved

ikke evalueres på en fuldt isoleret effekt af 6UJU vis-à-vis ingen indsats. Det er en del af den danske

beskæftigelsespolitik, at der gives beskæftigelsesindsatser med en relativ høj frekvens, og det er ikke muligt

at sortere personer fra, som modtager andre tilbud, uden at have en meget lille sammenligningsgruppe tilbage.

Denne hypotetiske gruppe, uden beskæftigelsesindsats i løbet af dagpengeforløbet, ville desuden

sandsynligvis være selekteret, da der er en vis pligt til at deltage i aktive tilbud under et dagpengeforløb.

Effekten skal altså ikke nødvendigvis ses i forhold til fravær af indsatser, men til en række ledighedsforløb,

som ofte involverer alternative indsatser.

Det vil altså sige, at det i analysen

ikke

muligt at måle effekten af

6UJU op i mod ingen indsats, da kontrolpersonen på et senere eller tidligere tidspunkt kan modtage en anden

indsats, dog

ikke

på det tidspunkt, hvor indsatspersonen påbegynder indsats.

4. BESKRIVENDE ANALYSE

Det følgende kapitel belyser først en række karakteristika ved ordningen. Herefter belyses, hvad der

karakteriserer de ledige, som i perioden 1. januar 2015 til 1. marts 2020 har valgt at benytte sig af retten til

6UJU. Denne gruppe sammenlignes med både indsatsgruppen og den potentielle kontrolgruppe, som

effektanalysen tager afsæt i. Formålet med sammenligningerne er dels at undersøge, om personerne som

indgår i effektanalysen afspejler den typiske 6UJU-deltager, dels om de afspejler gruppen af potentielle

kontroller, som også potentielt kunne være blevet tilbudt et 6UJU-forløb.

4.1 Hvor længe varer et typisk 6UJU-forløb og er der afbrydelser

I DREAM-databasen registreres aktiviteter på ugeniveau, hvorfor det er vanskeligt at give et præcist svar på

længden af kurserne. Deltager en person eksempelvis i seks dages kursusaktivitet fordelt over tre uger, vil

kursuslængden være registreret som sammenlagt tre uger

–

og dermed umulig at adskille fra 15 dages

kursusaktivitet fordelt på tre uger. Dertil kommer, at der er ganske stor variation i den måde 6UJU-forløbene

registreres på tværs af kommuner.

Med det forbehold in mente, viser Figur 1 fordelingen af længden af 6UJU-forløb. Det skal bemærkes, at

forløbene kan være afbrudt af uger på dagpenge el. lignende. Derfor vil 6 ugers uddannelse eksempelvis godt

kunne strække sig over en længere periode, hvilket også illustreres i figuren. Det fremgår endvidere, at knap

en fjerdedel deltager i 6UJU-forløb af maksimalt to ugers varighed. I denne gruppe vil der også være

personer, der deltager i kurser af en eller to dages varighed.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

FigurFejl!

Ingen tekst med den anførte typografi i dokumentet.

Længden på 6UJU-forløb påbegyndt i perioden 2015-2020

30%

25%

20%

15%

10%

10 11 12 13 14 15 16 17 18 19+

Uger

Kilde: DREAM og egne beregninger.

4.2 Hvornår i dagpengeforløbet anvendes 6UJU?

Størstedelen af 6UJU-forløbene påbegyndes inden 6 måneders (24 ugers) dagpengeanciennitet, med den

hyppigste påbegyndelse efter fem til ti ugers ledighed, jf. Figur 2. Det skal bemærkes, at det i perioden 2015

til marts 2017 var tilladt at påbegynde 6UJU allerede fra første dags ledighed, hvilket blev benyttet af

sammenlagt 1.783 personer svarende til 10 pct. af deltagerne i hele perioden. For dagpengemodtagere, der er

fyldt 25 år, skal 6UJU, som nævnt, finde sted inden for de første 9 måneders sammenlagt ledighed og inden

for de første 6 måneders sammenlagt ledighed for personer, der er under 25 år. Dette afspejles også i Figur 2

nedenfor, hvor det ses, at deltagere over 25 år generelt har længere dagpengeanciennitet, når de påbegynder

6UJU.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Figur 2

Dagpengeanciennitet ved påbegyndelse af 6UJU angivet i uger

Ældre end 25 år

7,0%

6,0%

5,0%

4,0%

3,0%

2,0%

1,0%

0,0%

9,0%

8,0%

7,0%

6,0%

5,0%

4,0%

3,0%

2,0%

1,0%

0,0%

26 27<

Anm.: Påbegyndelse af 6UJU fordelt på dagpengeanciennitet. Kilde: DREAM og egne beregninger. Population udgøres af personer der påbegynder

et 6UJU-forløb i perioden fra 2015-2020.

4.3 Karakteristik af 6UJU-deltagere, indsatsgruppen og potentielle kontroller

I hele perioden er der i alt 17.798 personer som har deltaget i et 6UJU-forløb. Af Tabel 1 fremgår, at der er

en lille overvægt af mænd, idet de udgør 58,5 pct. af deltagerne. 83,1 pct. af deltagerne har en etnisk dansk

baggrund. Fordelingen på tværs af alder viser, at ganske få deltagerne i 6UJU er 25 år eller yngre, men at

deltagerne i 6UJU-forløb i øvrigt fordeler sig jævnt på tværs af aldersgrupper. Flest deltagere (28,1 pct.) er i

aldersgruppen 46-55 år, mens der er ca. lige mange i aldersgrupperne 26-35 år, 36-45 år og +55-årige.

Som tidligere nævnt, giver tre forskellige uddannelsesbaggrunde den ledige ret til at deltage i et 6UJU-

forløb. Knap 60 pct. af deltagerne i 6UJU har en

faglært

baggrund, mens knap en tredjedel er

ufaglærte.

Endelig er der ganske få deltagere med en

kort videregående samt erhvervsfaglig uddannelse.

Geografisk er

omkring en fjerdel af alle 6UJU-forløb tildelt i region Hovedstaden.

uger

25 år eller yngre

uger

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Tabel 1 viser også, at indsatsgruppen

–

de 6.948 personer som indgår i effektanalysen

–

overordnet set er

repræsentative for den typiske 6UJU-deltager. To forskelle er værd at bemærke. For det første er der færre

individer i indsatsgruppen, som har en kort videregående uddannelse inkl. en erhvervsfaglig uddannelse

sammenlignet med deltagere i ordningen i hele perioden. For det andet er indsatsgruppen i effektanalysen

kendetegnet ved, at der er lidt flere etniske danskere (90 pct.) sammenlignet med deltagere i hele perioden

(83,1 pct.). Som det senere bemærkes i effektanalysen, er det imidlertid ikke afgørende for de overordnede

konklusioner af analysen.

Den potentielle kontrolgruppe er overordnet set sammenlignelig med indsatsgruppen. Den største forskel er

at finde på deltagernes uddannelsesbaggrund, idet der i den potentielle kontrolgruppe er ca. lige mange

ufaglærte og faglærte, mens der i indsatsgruppen er en overvægt af faglærte (63 pct.).

Tabel 1. Fordeling på udvalgte karakteristika

6UJU-deltagere

2015-2020

Kvinder

Gift/partner

Børn

Uddannelsesbaggrund

Ufaglært

Faglært

KVU. inkl. erhvervsfaglig

Alder

<= 25 år

26-35 år

36-45 år

46-55 år

> 55 år

Etnisk dansk

RAR

Hovedstaden

Bornholm

Fyn

Sjælland

Sydjylland

Østjylland

Vestjylland

Nordjylland

24,3 pct.

0,6 pct.

8,9 pct.

14,3 pct.

16,8 pct.

15,7 pct.

5,3 pct.

13,9 pct.

9 pct.

22,4 pct.

21,9 pct.

28,1 pct.

18,6 pct.

83,1 pct.

29,1 pct.

60,2 pct.

10,7 pct.

41,5 pct.

42,6 pct.

40,5 pct.

Indsatsgruppe

(april 2017

–

marts

2018)

46,5 pct.

40,7 pct.

39 pct.

Potentiel

kontrolgruppe

46 pct.

32 pct.

34 pct.

33,3 pct.

63 pct.

3,7 pct.

48,3 pct.

48,7 pct.

3 pct.

9,5 pct.

22 pct.

21 pct.

28,3 pct.

19,1 pct.

90 pct.

17,6 pct.

29 pct.

18,2 pct.

20,6 pct.

14,5 pct.

88,9 pct.

26,6 pct.

0,5 pct.

9,3 pct.

15 pct.

15,4 pct.

5,4 pct.

13,4 pct.

27 pct.

0,5 pct.

9,2 pct.

14,7 pct.

15 pct.

5 pct.

14 pct.

Kilde: DREAM, og Danmarks Statistiks registre BOERN og UDDA, samt egne beregninger.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

4.4. Sammenfatning af den beskrivende analyse

Sammenfattende kan det ud fra den beskrivende statistik konkluderes, at der er relativt stor spredning i

kursernes varighed.

Et typisk forløb varer 6 uger, men en betydelig andel deltager i kortere forløb. Hovedparten

af 6UJU-forløbene er påbegyndt inden for de første 16 ugers ledighed. Generelt afspejler indsatsgruppen i

effektanalysen den typiske bruger af 6UJU. Der er imidlertid færre med en KVU + erhvervsfaglig uddannelse

i indsatsgruppen sammenlignet med den typiske bruger, ligesom der også er lidt færre med en anden etnisk

baggrund end dansk i indsatsgruppen. Dette får imidlertid ikke betydning for den overordnede fortolkning af

effektanalysen.

Den potentielle kontrolgruppe afspejler indsatsgruppen på køn, etnicitet og demografisk fordeling, men

deltagere i 6UJU afviger fra den potentielle kontrolgruppe på enkelte områder, som det er nødvendigt at tage

højde for, i den endelige udvælgelse af kontrolgruppe. Særligt er der en overvægt af unge og ufaglærte i den

potentielle kontrolgruppe sammenlignet med indsatsgruppen. Dette er uproblematisk, da matchingen

identificerer en endelig kontrolgruppe, som afspejler indsatsgruppen.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

5. EFFEKTANALYSE

I dette afsnit præsenteres resultaterne af effektanalysen. Resultaterne præsenteres både samlet og på tværs af

en række subgrupper, for at belyse, om 6UJU er særligt gavnlig for specifikke grupper af ledige.

Indledningsvist skal det bemærkes, at i alt 13.896 personer indgår i analysen efter matchingen, fordelt på

6.948 i hhv. indsats- og kontrolgruppen. Helt centralt for analysen er det, at de to grupper er tilnærmelsesvist

identiske på observerbare karakteristika, hvilket underbygges af bilag 2.

Boks 2

Effekttyper og tidshorisont

Effekterne måles på forskellige tidspunkter efter påbegyndt deltagelse i 6UJU og i op til 24 måneder

efter. Udviklingen i effekter over tid er interessant, fordi aktive indsatser typisk giver en negativ effekt

i perioden lige efter og under aktivering, en såkaldt

fastholdelseseffekt,

som skyldes at borgeren

fastholdes i dagpenge mindst i den tidsperiode, som indsatsen varer.

Effekterne efter endt kursusdeltagelse, såkaldte

programeffekter

–

som typisk vil være positive - skal

derfor opveje den negative fastholdelseseffekt for at opnå en langsigtet positiv effekt. De langsigtede

effekter som tager højde for både fastholdelses- og programeffekter kaldes for

nettoeffekten.

Såfremt

den indledende fastholdelseseffekt er stor nok, vil det nødvendigvis kræve en længere tidshorisont før

eventuelle positive programeffekter resulterer i positive effekter målt på akkumuleret

beskæftigelsesgrad (nettoeffekt).

Det skal bemærkes, at 6UJU består af relativt korte kurser sammenlignet med mange andre

uddannelsestilbud. Derfor kan det diskuteres, hvorvidt analysen kan identificere effekter af ordningen

efter to år. På den ene side er uddannelse, eksempelvis i form af et svejsebevis, en varig gevinst, som

kan komme deltagerne i ordingen til gavn over lang tid. En længere tidshorisont har da også tidligere

været anvendt ifm. videnskabelige artikler, som belyser effekten af korte uddannelsesindsatser

(Metrica, 2020). Omvendt er det afgørende, at uddannelseseffekterne er en gevinst forholdsvist tidligt

efter indsatsstart, og at de ikke indtræder lang tid efter ordningens afslutning.

For at kaste lys over, hvornår de potentielle gevinster forbundet med ordningen indtræffer,

afrapporteres beskæftigelsesgrader for kontrol- og indsatsgruppen i 13-ugersintervaller (i tilgift til de

akkumulerede beskæftigelsesgrader). Derved er det muligt at belyse, om eventuelle programeffekter

forbundet med ordningen indtræffer kort tid efter deltagernes anvendelse af 6UJU, og om denne

forskel er konstant de efterfølgende perioder (hvilket styrker troen på en opkvalificerende effekt

relateret til ordningen) eller øges lang tid efter indsatsen har fundet sted (hvilket alt andet lige vil give

anledning til en vis skepsis om gruppernes sammenlignelighed).

5.1 6UJU fastholder borgeren i ledighed på kortere sigt, men har en marginal positiv nettoeffekt på lang sigt

For den samlede gruppe viser analysen som forventet en signifikant negativ nettoeffekt et halvt år efter

påbegyndt deltagelse, hvilket indikerer, at der er en fastholdelse ved indsatsen. Indsatsgruppens

gennemsnitlige akkumulerede beskæftigelsesgrad er 5,5 procentpoint lavere end kontrolgruppens et halvt år

efter påbegyndt indsats. Denne negative nettoeffekt går imod nul over tid, men et år efter indsatsstart, er der

fortsat en signifikant negativ effekt på ca. 2 procentpoint.

Efter halvandet år er de to grupper på samme niveau, mens der to år efter indsatsens begyndelse er en lille

positiv effekt på knap 1 procentpoint. Denne forskel er signifikant på et 10-pct konfidensniveau. Estimatet er

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

dermed på grænsen af, hvad der konventionelt tolkes som en effekt, der er forskellig fra nul. Samlet set er

der altså negative effekter på kort sigt, og antydningen af en lille positiv effekt på lang sigt.

Tabel 2. Effekten af 6UJU på den gennemsnitlige beskæftigelsesgrad

Gennemsnitlig beskæftigelsesgrad (akkumuleret)

�½ år

Indsatsgruppe

-0,055***

(0,005)

1 år

-0,017**

(0,006)

1�½ år

-0,0001

(0,006)

2 år

0,009

(0,006)

Anm.: * angiver 5 pct. signifikans niveau, ** angiver 1 pct. signifikans niveau, *** angiver 0,1 pct. signifikans niveau. Standardfejl er angivet i

parentes.

= 13.896

Kilde: DREAM og egne beregninger.

For at illustrere effekterne, visualiserer Figur 2 den akkumulerede gennemsnitlige beskæftigelsesgrad for hhv.

indsats- og kontrolgruppe i perioder over �½, 1, 1�½ og 2 år. Både indsats- og kontrolgruppens

beskæftigelsesgrad øges, men som allerede beskrevet, er indsatsgruppens beskæftigelsesgrad først på højde

med kontrolgruppen efter halvandet år, mens beskæftigelsesgraden for indsatsgruppen er marginalt højere efter

to år.

Figur 2. Gennemsnitlig beskæftigelsesgrad i fire nedslagstidspunkter fra indsatsstart.

Konfidensintervaller omkring punktestimaterne angiver 95 pct. signifikans niveau.

= 13.896. Kilde: DREAM og egne beregninger

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Endelig viser Figur 3 beskæftigelsesgraden målt i otte 13-ugers intervaller for hhv. indsats- og

kontrolgruppen.

Hver søjle i figuren illustrerer dermed beskæftigelsesgraden i 13-ugers uden hensyn til

beskæftigelsesgraden i forrige interval. Figuren viser, hvordan begge gruppers beskæftigelse gradvist øges

fra indsatsstarten og de første 65 uger. Herefter er beskæftigelsesgraden tæt på konstant for begge grupper,

men indsatsgruppen er på et lidt højere niveau sammenlignet med kontrolgruppen. 6UJU efterlader så at sige

et lille positivt aftryk, men det er som allerede bemærket ikke stort nok til, at det manifesterer sig i en

signifikant effekt i den gennemsnitlige akkumulerede beskæftigelsesgrad over to år.

Figur 3. Beskæftigelsesgrad målt i 13-ugers intervaller fra indsatsstart og to år frem.

Kilde: DREAM og egne beregninger.

5.2 Heterogene effekter

–

effekter for subgrupper

Dette afsnit præsenterer en række subgruppeanalyser for at belyse, om 6UJU fungerer forskelligt afhængigt

af lediges karakteristika som køn, uddannelsesbaggrund og lignende. Det skal bemærkes, at med

gennemførslen af et stort antal subgruppeanalyser, fordelt på små grupper, følger en risiko for at finde

såkaldt

falsk positive

estimater

–

dvs. statistisk signifikante effekter, der reelt skyldes tilfældig variation.

Resultaterne skal derfor tolkes med dette forbehold in mente. Bilag 3 uddyber de øvrige metodiske

overvejelser bag gennemførslen af subgruppeanalyserne.

Det skal bemærkes, at figuren ikke viser, om der er signifikante forskelle mellem de to grupper. Det skal ligeledes bemærkes, at

beskæftigelsesgraden, som tidligere nævnt, er målt som antal uger i beskæftigelse ud af det samlede antal uger i perioden.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Samlet set er der negative nettoeffekter det først halve år for alle subgrupper. På længere sigt er der

imidlertid en række interessante forskelle i estimaterne. Som det fremgår af Tabel 4, har indsatsen signifikant

positive effekter for

mandlige

deltagere. En sammenligning af mandlige indsatspersoner med mandlige

kontrolpersoner viser, at indsatsgruppens beskæftigelsesgrad er på niveau med kontrolgruppens allerede et år

efter indsatsstart, og efter halvandet og to år er der signifikante positive effekter på hhv. 2,1 og 2,7

procentpoint. For

kvinderne

gælder det modsatte billede: Her er effekten af indsatsen signifikant negativ efter

både halvandet og to år.

En potentiel forklaring på forskellen i effektretninger på tværs af køn kunne være, at mandlige deltagere i

gennemsnit anvender andre og mere effektive kurser ift. jobmålretning sammenlignet med kvindelige

deltagere. Bilag 3 illustrerer, at der er indikationer på at der er en positiv programeffekt, som indtræder

relativt hurtigt efter indsatsstart. Som tidligere bemærket, er det desværre ikke muligt at identificere de

specifikke kurser, som indsatsgruppen har deltaget i.

Tabel 4 viser ligeledes resultaterne separat for

faglærte

ufaglærte,

mens gruppen med

kort videregående

uddannelse inklusiv erhvervsuddannelse

er så lille, at estimaterne ikke afrapporteres. Effekterne af 6UJU er

tilnærmelsesvist identiske på tværs af deltagernes uddannelsesbaggrund.

På tværs af deltagernes

etniske baggrund,

indikerer resultaterne, at indsatsen fungerer bedre for deltagere

med ikke-dansk herkomst (herunder efterkommere). Denne gruppe er imidlertid lille og estimaterne derfor

behæftet med større usikkerhed, hvorfor estimatet da heller ikke er signifikant.

Endelig viser Tabel 4, at der to år fra indsatsstart er signifikante positive effekter for gruppen som

påbegynder 6UJU

inden for de første 3 måneder

af deres ledighedsforløb. Bilag 3 illustrerer, at der også her

er indikationer på, at en positiv programeffekt indtræder relativt hurtigt efter indsatsstart. Det skal også

bemærkes, at effekterne ikke varierer på tværs af civilstand, forældreskab og tidligere indkomst, og derfor

ikke afrapporteres her.

En alternativ måde at separere effekterne på kursustype er ved at belyse effekterne på tværs

af a-kasse-medlemskab,

men disse subgrupper er små og

estimaterne derfor upræcise.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Tabel 4

Effekter for forskellige grupper

Andel i 6UJU

I alt

100 pct.

�½ år

Samlede effekter

-0,055***

(0,005)

Køn

Kvinder

Mænd

46,5 pct.

53,5 pct.

-0,083***

(0,008)

-0,031***

(0,008)

Uddannelse

Faglært

Ufaglært

63 pct.

-0,059***

(0,007)

-0,045***

(0,009)

Herkomst

Dansk

Anden

90,1 pct.

9,9 pct.

-0.056***

(0.006)

-0.035

(0.016)

Alder

<26 år

26-35 år

36-45 år

46-55 år

+55 år

9,5 pct.

22 pct.

21 pct.

28,3 pct.

19,1 pct.

-0.022

(0.017)

-0.066***

(0.011)

-0.069***

(0.012)

-0.057***

(0.010)

-0.034**

(0.012)

-0,053***

(0,008)

-0.056***

(0.007)

0.016

(0.018)

-0.032**

(0.012)

-0.024**

(0.012)

-0.022*

(0.010)

-0.003

(0.013)

-0,004

(0,008)

-0.029***

(0.008)

0.022

(0.018)

-0.010

(0.012)

-0.005

(0.012)

-0.004

(0.010)

0.008

(0.013)

0,013

(0,008)

-0.013

(0.008)

0.024

(0.018)

0.006

(0.012)

0.002

(0.012)

0.009

(0.010)

0.013

(0.013)

0,023**

(0,008)

-0.004

(0.008)

-0.019**

(0.006)

0.006

(0.017)

-0.002

(0.006)

0.018

(0.018)

0.008

(0.006)

0.026

(0.017)

-0,019**

(0,007)

-0,013

(0,010)

-0,003

(0,007)

0,004

(0,010)

0,007

(0,007)

0,014

(0,010)

-0,048***

(0,008)

0,008

(0,008)

-0,028***

(0,008)

0,021**

(0,008)

-0,014

(0,008)

0,027***

(0,009)

-0,017**

(0,006)

-0,0001

(0,006)

0,009

(0,006)

1 år

1�½ år

2 år

31,2 pct.

Dagpengeanciennitet v. indsatsstart

Under12 uger

Over 12

47,1 pct.

52,9 pct.

Anm.: * angiver 5 pct. signifikans niveau, ** angiver 1 pct. signifikans niveau, *** angiver 0,1 pct. signifikans niveau. Standard fejl er angivet i

parentes. N=13.896. Kilde: DREAM og egne beregninger.

Som tidligere nævnt, er der en række usikkerheder forbundet med registreringen af kursernes længde. Dertil

kommer, at ledigheden i et eller andet omfang er påvirket af selve indsatsen, hvilket kan skabe et bias i

resultaterne.

Der indgår derfor ikke analyser af effekterne, fordelt på længden af 6UJU.

5.3 Sammenligning med resultater af 6UJU-indsatsen før karensperioden

Indførslen af karensperioden på fem uger fra marts 2017, har potentielt reduceret fastholdelsen forbundet

med indsatsen, idet der kan forventes en højere grad af negativ fastholdelse når ordningen anvendes i de

første ugers ledighed. Derfor gennemføres også en effektanalyse af perioden

forud

for 1. marts 2017

–

mere

Ved at betinge på en variabel som følger

efter

indsatsen

–

og dermed er påvirkelig af indsatsen

–

følger en risiko for såkaldt

post treatment bias.

Dette kan påvirke estimaterne i både positiv og negativ retning.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

præcist 1. marts 2016 til 1. marts 2017. Analysen følger præcis de samme metodiske valg som ovenstående

analyse.

Samlet set indikerer resultaterne, at indførslen af karensperioden har været gavnlig for den gennemsnitlige

effekt på beskæftigelsesgrad. De negative effekter i analysen før karensperioden er

større

mere

længerevarende

sammenlignet med perioden

efter

indførslen af fem ugers karens.

Mere konkret viser analysen af perioden op til indførslen af karens en signifikant negativ nettoeffekt på 7

pct. point efter 6 måneder, samt en signifikant negativ effekt på 3,4 pct. point et år fra indsatsstart. Den

negative effekt er hhv. 1,5 og 1,7 pct. point højere, sammenlignet med hovedanalysen. Efter halvandet år er

der fortsat en signifikant negativ effekt (sammenlignet med nul-effekt i hovedanalysen), og efter to år en

insignifikant negativ effekt på 0,6 pct. point (modsat en lille positiv effekt på 0,9 i hovedanalysen, der dog

ikke er signifikant). Resultatet fremgår i detaljer af bilag 5. Det skal dog bemærkes, at der i analysen ikke

tages højde for, om der kan være andre forskelle i mellem de to tidsperioder, som kan have indflydelse på

forskellen i resultaterne.

5.4 Robusthedstjek

I matchingen er der mulighed for at justere på parametre som påvirker balancen og antallet af matches,

eksempelvis hvor mange og hvilke variable der matches eksakt. I bilag 4 rapporteres en række

robusthedstjek som undersøger om resultaterne er sensitive over for forskellige valg i forbindelse med

matchingen. Overordnet er resultaterne fra de forskellige modeller enslydende, hvilket indikerer, at

hovedresultatet er robust for variationer i specifikation af matching-modellen.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Litteratur

Arendt, N. Jacob og Sørensen, L. Kenneth (2014):

Effekter af ansættelse som jobrotationsvikar.

KORA.

Finansministeriet (2018):

Baggrundspapir til Økonomisk Analyse af den Aktive Beskæftigelsesindsats.

Frederiksson, P., og Johansson, P. (2008):

Dynamic Treatment Assignment: The Consequences for

Evaluations Using Observational Data.

Journal of Business & Economic Statistics, 26(4), pp. 435-445.

Iacus, Stefano M., Gary King, and Giuseppe Porro. "cem: Coarsened exact matching."

R package version

(2016): 17.

Imai, K., King, G. and Stuart, E.A., 2008. Misunderstandings between experimentalists and observationalists

about causal inference.

Journal of the royal statistical society: series A (statistics in society), 171(2),

pp.481-

502.

Stuart, Elizabeth A., Gary King, Kosuke Imai, and Daniel Ho. "MatchIt: nonparametric preprocessing for

parametric causal inference."

Journal of statistical software

(2011).

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

BILAG 1. Uddybende beskrivelse af matching-strategi

Matching

betegner en række metoder til at identificere en sammenlignelig gruppe af individer i henholdsvis

indsats- og kontrolgruppe. Matching anvendes dermed til at udvælge en kontrolgruppe, som ligner

indsatsgruppen mest muligt baseret på observerbare karakteristika.

I analysen anvendes en kombination af eksakt og propensity score matching. Et eksakt match på en given

variabel sikrer, at en given indsatsperson og dennes matchede kontrolperson er fuldstændig identiske.

Dermed sikres perfekt balance mellem indsats- og kontrolgruppen, hvilket er ideelt. Forudsætningen for at

matche eksakt på flere baggrundsvariable er derfor, at der for et givent individ i indsatsgruppen skal eksistere

et individ i kontrolgruppen med præcis samme værdier på de variable, der matches eksakt. Hvis det ikke er

muligt at finde en sammenlignelig kontrolperson, frasorteres indsatspersonen, hvilket er uhensigtsmæssigt af

hensyn til både ekstern validitet og samplestørrelse. Således eksisterer et trade-off mellem at matche eksakt

på flest mulige variable og bevare så mange individer i indsatsgruppen som muligt (Imai et al. 2008).

Analysen følger anbefalingerne i Iacus et al., 2016 og stratificerer enkelte centrale variable i kategorier, som

efterfølgende matches eksakt. Eksempelvis matches eksakt på en aldersvariabel, der forinden er stratificeret i

intervaller af ti år. Derved kan der maksimalt være 10 års forskel mellem to individer i et matchet par.

I kombination med eksakt matching anvendes en

propensity score matching estimator.

Estimatoren

modellerer sandsynligheden for at deltage i ordningen på baggrund af information om

baggrundskarakteristika. Således matches hver enkelt deltager med en ikke-deltager, som har samme

forventede sandsynlighed for deltagelse i 6UJU baseret på de resterende baggrundsvariable, som indgår i

matchingen. Hver indsatsperson matches med én kontrolperson. Dette gøres ved brug af 1:1 Nearest

Neighbor algoritmen, som matcher én indsatsperson med én kontrolperson, som ligger tættest på

indsatspersonen i det en-dimensionelle rum, som er udgjort af deres propensity score.

Fakta om gennemførsel af matchingen:



Matchingen gennemføres i statistikprogrammet R med pakken MatchIt.



Personer matches på baggrund af distancen mellem deres propensity score. Denne findes ved brug af

Nearest Neighbour algoritmen.



Caliper er i Nearest Neighbor defineret som en andel af standardafvigelsen af propensity scoren. I

den valgte model er caliper specificeret som 0,1.



Der anvendes Ratio=1, så hver indsatsperson kun matches med én kontrolperson.

Oversigt over variable samt anvendelse i matching

Variabel

Køn

Alder

Beskrivelse

Indikatorvariabel. Tager værdien 1

hvis kvinde

Kategoriseret i følgende intervaller

"18 til 30", "30 til 40", "40 til 50",

”50-60”, ”60+”

Indikatorvariabel for samlivsstatus.

Tager værdien 1 hvis gift.

Indikatorvariabel. Tager værdien 1

hvis forælder.

Bemærkning

Matchet eksakt

I balancetestene undersøges balancen

på alder uden kategorisering.

Civilstatus

Børn

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Variabel

Etnicitet

Geografisk placering

Uddannelse

Startperiode

Dagpengeanciennitet

Ledighed på kommunalt niveau

Beskæftigelsesgrad

Indkomst

a-kasse

Beskrivelse

’1’ for Etnisk dansk, ’2’ for

Indvandrer fra

vestligt land, ’3’ for

Efterkommer fra vestligt land, ’4’ for

Indvandrer fra ikke vestligt land

samt ’5’ Efterkommer fra ikke

vestligt land.

RAR-områder:

Hovedstaden, Bornholm, Fyn,

Sjælland, Østjylland, Vestjylland,

Nordjylland

Indikatorvariabel for kategorierne

ufaglært, faglært samt

kortvideregående +

erhvervsuddannelse.

Variabel, der angiver hvilken

periode dagpengeforløb påbegyndes

(femugers intervaller).

Variabel, der angiver

dagpengeanciennitet før 6UJU

påbegyndes. For kontrolgruppen

angives dagpengeanciennitet som

minimumslængde ved

sammenligningstidspunktet med

indsatspersonen.

Variablen angiver ledighed mellem

0-1 på kommunalt niveau

Beskæftigelsesgrad 3 år forud for

indplacering

Variablen angiver indkomst i en to-

årig periode op til indplacering.

Indikatorvariabel som angiver

medlemskab af de ni største a-kasser

samt ”anden”.

Bemærkning

I subgruppeanalysen er variabel

rekodet til en dikotom variabel

(Etnisk dansk/ikke etnisk dansk)

Indgår som betingelse i

afgrænsningen af potentiel

kontrolgruppe

Der foretages eksakt matching på

denne variabel.

Der foretages eksakt matching på

denne variabel.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Bilag 2. Balance

For at vurdere om matchingen fungerer efter hensigten, gennemføres en række balancetests. Tabel B2 a)

præsenterer differencen mellem den standardiserede middelværdi (SMD) for alle baggrundsvariable for hhv.

indsats- og kontrolgruppen. I litteraturen vil man ofte betragte matchingen som succesfuld, hvis SMD ikke

overstiger 0,2, mens en mere konservativ grænse er 0,1 (Stuart, 2010, Zubizarreta & Keele, 2017).

Det matchede datasæt er balanceret på alle kontrolvariable med en SMD <0,1 bortset fra indkomst, hvor

differencen mellem den standardiserede middelværdi mellem de to grupper er en smule over 0,1.

Gennemsnitsindkomst forud for indsatsen er marginalt højere i kontrolgruppen sammenlignet med

indsatsgruppen. For alle andre variable overstiger differencen mellem den standardiserede middelværdi

mellem de to grupper ikke 0,1. I bilag B2 b) præsenteres distributioner af variablene for hhv. indsats- og

kontrolgruppen.

Det har tidligere været udbredt at anvende t-test som balance-diagnostik. Det er imidlertid udeladt af denne

analyse, da det vurderes at være en uhensigtsmæssig metodik til at diagnosticere ubalancer (se eksempelvis

Imai et al., 2008).

t-test

er sensitiv ift. samplestørrelse og en reduktion i data vil således føre til flere insignifikante test. Dermed kan

t-testen

indikere at

balancen forbedres, selvom det omvendte reelt er tilfældet.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Før matching

Potentiel kontrol

Kvinder

Børn (mean (SD))

Civilstand (mean (SD))

Alder (mean (SD))

Etnisk dansk (mean (SD))

Indvandrer vestlig (mean (SD))

Efterkommer, vestlig (mean (SD))

Indvandrer, ikke-vestlig (mean (SD))

Efterkommer, ikke-vestlig (mean

(SD))

Akasse_HK (mean (SD))

Akasse_aka (mean (SD))

Akasse_krist (mean (SD))

Akasse_3f (mean (SD))

Akasse_mag (mean (SD))

Akasse_funk (mean (SD))

Akasse_ca (mean (SD))

Akasse_fag (mean (SD))

Akasse_selv (mean (SD))

Akasse_anden (mean (SD))

rar_nordjyl (mean (SD))

rar_vestjyl (mean (SD))

rar_oestjyl (mean (SD))

rar_sydjyl (mean (SD))

rar_fyn (mean (SD))

rar_sjael (mean (SD))

rar_bornholm (mean (SD))

Ledig i kommune, andel (mean (SD))

Indkomst, foregående (mean (SD))

ufaglært (mean (SD))

faglært (mean (SD))

KVU + erhvervserf, (mean (SD))

Foregående besk,grad (mean (SD))

104807

0,46 (0,50)

0,34 (0,47)

0,32 (0,47)

38,79 (12,75)

0,89 (0,32)

0,03 (0,16)

0,00 (0,06)

0,05 (0,23)

0,03 (0,17)

0,11 (0,31)

0,04 (0.19)

0,09 (0,29)

0,13 (0,34)

0,01 (0,10)

0,06 (0,24)

0,01 (0,11)

0,05 (0,21)

0,05 (0,22)

0,45 (0,50)

0,12 (0,32)

0,05 (0,23)

0,17 (0,38)

0,12 (0,33)

0,09 (0,29)

0,14 (0,34)

0,03 (0,01)

263645,60

(187379,87)

0,50 (0,50)

0,47 (0,50)

0,03 (0,17)

0,61 (0,31)

Indsats

7935

0,54 (0,50)

0,39 (0,49)

0,41 (0,49)

43,33

(12,06)

0,90 (0,30)

0,02 (0,14)

0,00 (0,05)

0,06 (0,24)

SMD

Kontrol

Efter macthing

Indsats

6948

0,50 (0,5)

0,39 (0,49)

0,40 (0,49)

43,15 (12,06)

0,90 (0,30)

0,02 (0,14)

0,00 (0,05)

0,06 (0,24)

0,02 (0,14)

0,16 (0,37)

0,00 (0,03)

0,12 (0,32)

0,21 (0,41)

0,00 (0,02)

0,04 (0,18)

0,00 (0,04)

0,07 (0,25)

0,34 (0,47)

0,14 (0,34)

0,05 (0,22)

0,16 (0,36)

0,15 (0,35)

0,09 (0,29)

0,15 (0,36)

0,00 (0,07)

0,03 (0,01)

SMD

0,150

0,106

0,170

6948

0,50 (0,5)

0,40 (0,49)

0,42 (0,49)

0,011

0,035

0,011

0,025

0,019

0,013

0,012

0,020

0,023

0,012

0,001

0,058

0,014

0,003

0,013

0,049

0,047

0,009

0,003

0,006

0,029

0,003

0,002

0,006

0,016

0,365 43,02 (12,19)

0,042

0,044

0,004

0,022

0,90 (0,29)

0,02 (0,13)

0,00 (0,06)

0,06 (0,23)

0,02 (0,13)

0,15 (0,36)

0,00 (0,04)

0,12 (0,32)

0,19 (0,39)

0,00 (0,02)

0,03 (0,18)

0,00 (0,03)

0,07 (0,25)

0,08 (0,27)

0,36 (0,48)

0,13 (0,34)

0,05 (0,23)

0,15 (0,36)

0,14 (0,34)

0,09 (0,29)

0,15 (0,36)

0,01 (0,07)

0,03 (0,01)

318336

(185103)

0,34 (0,47)

0,62 (0,49)

0,04 (0,19)

0,73 (0,25)

0,02 (0,14) 0,073

0,16 (0,37)

0,00 (0,03)

0,12 (0,32)

0,22 (0,42)

0,00 (0,02)

0,03 (0,18)

0,00 (0,03)

0,07 (0,25)

0,32 (0,47)

0,14 (0,35)

0,05 (0,22)

0,15 (0,36)

0,09 (0,29)

0,15 (0,36)

0,00 (0,07)

0,03 (0,01)

301527,91

(165910,22)

0,31 (0,46)

0,65 (0,48)

0,03 (0,18)

0,72 (0,25)

0,160

0,270

0,094

0,232

0,135

0,127

0,136

0,087

0,171

0,257

0,062

0,010

0,043

0,091

0,005

0,041

0,035

0,029

0,214

0,379

0,364

0,028

0,395

298261 (166508) 0,114

0,33 (0,47)

0,64 (0,48)

0,03 (0,18)

0,71 (0,26)

0,029

0,041

0,032

0,065

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

B2. b). Visualisering af balance

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Bilag 3. Subgruppeanalyser

Subgruppeanalyser medfører en risiko for, at der identificeres signifikante forskelle mellem indsats- og

kontrolgruppen som reelt kan tilskrives tilfældig variation

–

såkaldt falsk positive resultater. Derfor skal

disse analyser tolkes med en vis forsigtighed. Det skal bemærkes, at alle gennemførte subgruppeanalyser

også præsenteres eller nævnes i papiret.

Der er med andre ord ikke udeladt subgruppeanalyser blot fordi de

viser insignifikante resultater.

Dertil eksisterer særskilte udfordringer ved at gennemføre subgruppeanalyser på variable, der ikke er

matchet eksakt. Ved at se på en undergruppe af data hvor der kun inkluderes en given subgruppe

–

eksempelvis ufaglærte

–

vil balancen på baggrundvariable potentielt blive skæv, og indsats

–

kontrolgruppen dermed usammenlignelig. For at håndtere dette problem, er der gennemført balancetes i

forbindelse med alle subgruppeanalyser. Generelt viser disse, at der er acceptabel balance mellem indsats- og

kontrolgruppen.

Bilag 3.1. Effekter i subgruppeanalyserne

I analysen identificeres positive effekter for mandlige deltagere i ordningen samt for deltagere, der

påbegynder deres forløb inden for de første tre måneders ledighed. Figurerne nedenfor præsenterer

resultaterne for disse grupper i 13-ugers intervaller (mandlige deltagere i Figur 3a og deltagere som

påbegynder ordningen tidligt i ledighedsforløbet i Figur 3b).

Som det fremgår af figurerne, overhaler indsatsgruppen tidligt kontrolgruppen fsva. angår beskæftigelse i de

respektive perioder, hvorefter den positive forskel er nogenlunde konstant. Dette indikerer, at forskellen kan

tolkes som en gevinst relateret til deltagelse i ordningen.

Eksempelvis bemærkes, at effekterne ikke varierer på tværs af civilstand, forældreskab og tidligere indkomst, og derfor ikke er afrapporteret.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Figur 3a. Beskæftigelsesgrad målt i 13-ugers intervaller fra indsatsstart og to år frem

(mandlige deltagere)

Figur 3b. Beskæftigelsesgrad målt i 13-ugers intervaller fra indsatsstart og to år frem

(deltagere som påbegynder 6UJU inden for de første tre måneders ledighed)

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Bilag 4. Robusthedstjek

Tabel B.4

Robusthed: Sammenligning af forskellige modeller

Variable der

matches eksact på

Model 1

Køn,

Alder (interval af 10 år),

Køn,

Alder (interval af 10 år),

Indkomst (interval af 20.000),

Herkomst

Køn,

Alder (interval af 10 år),

Indkomst (interval af 20.000),

Herkomst,

RAR

Køn,

Alder (interval af 10 år),

Indkomst (interval af 20.000),

Herkomst,

A-kasse

Antal observationer

efter matching

Ubalancerede

variable

Effekt af 6UJU på

beskæftigelsesgrad

Et halvt år: -0,055***

Et år: -0,017 **

Halvandet år: -0,001

To år: 0,009

Et halvt år: -0,059***

Et år: -0,021

Halvandet år: -0,002

To år: 0,005

Et halvt år: -0,06***

Et år: -0,023

Halvandet år: -0,006

To år: 0,001

Et halvt år: -0,053***

Et år: -0,019

Halvandet år: 0,001

To år: 0,01

Indsatsgruppe: 6948 obs.

Indkomst (SMD: 0,11)

Kontrolgruppe: 6948 obs.

Model 2

Indsatsgruppe: 5783 obs.

Kontrolgruppe: 5783 obs.

Model 3

Indsatsgruppe: 5512 obs.

Kontrolgruppe: 5512 obs.

Model 4

Indsatsgruppe: 4317 obs. Indkomst (SMD: 0,12)

Kontrolgruppe: 4317 obs. Alder (SMD: 0.13

Anm.:

* angiver 5 pct. signifikans niveau, ** angiver 1 pct. signifikans niveau, *** angiver 0,1 pct. signifikans niveau.

Kilde: DREAM, Danmarks Statistik og egne beregninger.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Bilag 5. Sammenligning med analyse af 6UJU før indførelse af karensperioden

Tabel B5 a). opsummerer resultaterne af analysen af 6UJU i året op til indførslen af karensperioden (1. marts

2017). Analysen er udført på præcis samme måde som hovedanalysen (efter indførslen af karens). Dermed

gives der et sammenligningsgrundlag af ordningen på hver side af perioden for at vurdere, hvorvidt

indførslen af karensperioden har haft betydningen for ordningens effekt på brugernes beskæftigelsesgrad.

Samlet set er de negative effekter i analysen før karensperioden

større

mere længerevarende

sammenlignet med hovedanalysen (perioden

efter

indførslen af fem ugers karens), jf. Tabel B5 a). Analysen

viser, at der i perioden før karens er en negativ nettoeffekt 7 pct. point efter et halvt år, mens den negative

effekt efter et år er 3,4 pct. point. Dermed er den negative effekt hhv. 1,5 pct. point og 1,7 pct. point højere

sammenlignet med hovedanalysen. Efter halvandet år er der fortsat en signifikant negativ effekt

(sammenlignet med nul-effekt i hovedanalysen), og efter to år en insignifikant negativ effekt på 0,6 pct. point

(modsat en lille positiv effekt på 0,9 i hovedanalysen).

Tabel B5 a). Effekten af 6UJU på beskæftigelsesgraden i perioderne hhv. før og efter 1. marts 2017

�½ år

1 år

1�½ år

2 år

Før karens

Indsatsgruppe

-0.070

***

(0.005)

-0.034

***

(0.005)

-0,017**

(0,006)

-0.017

***

(0.005)

-0,0001

(0,006)

-0.006

(0.005)

0,009

(0,006)

Efter karens:

Indsatsgruppe

-0,055***

(0,005)

Anm.: * angiver 5 pct. signifikans niveau, ** angiver 1 pct. signifikans niveau, *** angiver 0,1 pct. signifikans niveau. Standardfejl er angivet i

parentes.

= 14.438 før karens.

= 13.896 efter karens

Kilde: DREAM og egne beregninger.

BEU, Alm.del - 2020-21 - Bilag 364: Orientering om offentliggjorte evalueringer i serviceeftersynet af uddannelsesindsatsen

Tabel B5 b) opsummerer balancetesten for analysen af ordningen forud for 6UJU. Som det fremgår af

tabellen, er der også i denne analyse balance på baggrundsvariablene i analysen.

B5 b) balancetest

Kontrol

Kvinder

7219

0.50 (0.50)

Indsats

7219

0.50 (0.50)

SMD

0.001

Børn (mean (SD))

0.42 (0.49)

0.40 (0.49)

0.041

Civilstand (mean (SD))

0.41 (0.49)

0.40 (0.49)

0.002

Alder (mean (SD))

42.81 (12.03)

42.89 (12.02)

0.006

Etnisk dansk (mean (SD))

42.81 (12.03)

42.89 (12.02)

0.006

Indvandrer vestlig (mean (SD))

0.91 (0.29)

0.90 (0.30)

0.020

Efterkommer, vestlig (mean (SD))

0.02 (0.13)

0.02 (0.14)

0.017

Indvandrer, ikke-vestlig (mean (SD))

0.00 (0.04)

0.00 (0.05)

0.021

Efterkommer, ikke-vestlig (mean (SD))

0.06 (0.23)

0.001

Akasse_HK (mean (SD))

0.01 (0.12)

0.02 (0.13)

0.018

Akasse_aka (mean (SD))

0.14 (0.35)

0.15 (0.36)

0.026

Akasse_krist (mean (SD))

0.00 (0.02)

0.001

Akasse_3f (mean (SD))

0.13 (0.34)

0.13 (0.33)

0.014

Akasse_mag (mean (SD))

0.21 (0.41)

0.23 (0.42)

0.051

Akasse_funk (mean (SD))

0.00 (0.02)

0.014

Akasse_ca (mean (SD))

0.03 (0.18)

0.002

Akasse_fag (mean (SD))

0.00 (0.04)

0.004

Akasse_selv (mean (SD))

0.07 (0.26)

0.07 (0.25)

0.015

Akasse_anden (mean (SD))

0.06 (0.25)

0.07 (0.25)

0.007

rar_nordjyl (mean (SD))

0.35 (0.48)

0.32 (0.47)

0.048

rar_vestjyl (mean (SD))

0.13 (0.34)

0.008

rar_oestjyl (mean (SD))

0.05 (0.23)

0.06 (0.23)

0.013

rar_sydjyl (mean (SD))

0.14 (0.35)

0.15 (0.35)

0.002

rar_fyn (mean (SD))

0.15 (0.36)

0.16 (0.37)

0.022

rar_sjael (mean (SD))

0.10 (0.30)

0.015

rar_bornholm (mean (SD))

0.16 (0.37)

0.15 (0.36)

0.015

Kvinder

0.00 (0.07)

0.01 (0.08)

0.015

Ledig i kommune, andel (mean (SD))

0.03 (0.01)

0.003

Indkomst, foregående (mean (SD))

179617.94 (135971.31) 176452.43 (126651.42) 0.024

ufaglært (mean (SD))

0.31 (0.46)

0.30 (0.46)

0.034

faglært (mean (SD))

0.66 (0.47)

0.67 (0.47)

0.033

KVU + erhvervserf, (mean (SD))

0.03 (0.17)

0.001

Forudgående besk,grad (mean (SD))

0.70 (0.26)

0.69 (0.27)

0.055