Beskæftigelsesudvalget 2020-21
BEU Alm.del Bilag 184
Offentligt
2338687_0001.png
Kvantitativ evaluering af
jobpræmieordningerne for langtidsledige
2017-2019
December 2020
Michael Rosholm og Michael Svarer
Metrica Aps
1
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0002.png
INDHOLDSFORTEGNELSE
1.
2.
3.
RESUME
INTRODUKTION
JOBPRÆMIEORDNINGERNE
Brug af jobpræmieordningerne
3
4
5
7
4.
METODE
effektmål
Propensity Score Matching
9
11
11
5.
DATA
Afgrænsning af grupperne
Beskrivelse af de snævre mål- og kontrolgrupper
12
13
14
6.
7.
RESULTATER, KONTANTHJÆLPSGRUPPEN
RESULTATER, DAGPENGEGRUPPEN
Konsekvenser for de offentlige finanser
18
22
25
8.
9.
REFERENCER
APPENDIKS
Appendiks A: Hvem modtager jobpræmien blandt de berettigede?
26
27
27
Appendiks B: Udfordringer i forbindelse med anciennitetskravet og Regression discontinuity
analyser
29
9.2.1
9.2.2
9.2.3
Kort om Regression Discontinuity Design
Kontanthjælpsgruppen
Dagpengegruppen
29
31
33
36
38
Appendiks C: Metode og balanceplot
Appendiks D: Anciennitetsberegning og placebo udvælgelse
2
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0003.png
1.
RESUME
I denne rapport evalueres effekten af to jobpræmieordninger, der var målrettet henholdsvis
langtidsledige dagpengemodtagere m. fl. og langtidsledige kontanthjælpsmodtagere m.fl.
1
Ordningen har i en 2-årig periode fra 1. april 2017 til 31. marts 2019 givet langtidsledige et ekstra
økonomisk incitament til at finde og fastholde beskæftigelse.
Jobpræmieordningen har været anvendt af relativt mange personer. I gruppen af ledige
kontanthjælpsmodtagere m. fl. er der godt 50.000 personer, der har modtaget jobpræmie. De har i
gennemsnit modtaget ca. 13.500 kr., hvilket betyder, at der er udbetalt i omegnen af 675 mio. kr. til
kontanthjælpsmodtagere m. fl. For dagpengemodtagere m.fl. er der ca. 6.150 personer, der har
modtaget jobpræmie. De har i gennemsnit modtaget knap 25.000 kr. i perioden, hvilket giver en
samlet udbetaling på ca. 154 mio. kr. Alt i alt har ordningen således medført jobpræmieudbetalinger
for tæt på 830 mio. kr. over den 2-årige periode, hvor ordningen eksisterede. Disse tal er baseret på
analysepopulationen og afviger en smule fra de faktisk udbetalte beløb.
Den kvantitative effektevaluering viser, at der
ikke er signifikante beskæftigelseseffekter for
gruppen af kontanthjælpsmodtagere
m. fl.,
men at der er en
signifikant positiv
beskæftigelseseffekt for dagpengemodtagere
m. fl. I sidstnævnte gruppe har de personer, der
kunne modtage jobpræmien således en højere beskæftigelsesgrad end sammenlignelige ledige, der
ikke kunne modtage jobpræmien. Den højere beskæftigelsesgrad findes både i de to år, hvor
jobpræmieordningen løber, og efter udløb af jobpræmieordningen. Modtagere af
jobpræmieordningen fastholder således deres højere beskæftigelsesgrad efterfølgende. Der måles
10 måneder efter ophør af jobpræmieordningen, og det er således uvist om den positive
beskæftigelseseffekt fortsætter efter de 10 måneder.
Den positive beskæftigelseseffekt for dagpengemodtagere bidrager til,
at jobpræmieordningen for
dagpengemodtagere m. fl. giver et positivt bidrag til de offentlige finanser på i gennemsnit 12.474
kr. pr. person på jobpræmieordningen.
Det generelle resultat for gruppen af langtidsledige kontanthjælpsmodtagere m. fl. er således, at
jobpræmieordningen ikke øger deres beskæftigelsesomfang. Dette resultat er sammenfaldende med
en tidligere dansk jobpræmieordning målrettet samme målgruppe. I den tidligere ordning var
størrelsen af jobpræmieordningen mindre. Denne analyse viser således, at selv ved en markant
højere jobpræmieordning, er det øgede økonomiske incitament for gruppen af langvarige
1
De to grupper af ledige beskrives mere detaljeret senere i rapporten.
3
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0004.png
kontanthjælpsmodtagere mv. ikke tilstrækkeligt til at øge beskæftigelsesomfanget for gruppen som
helhed.
2.
INTRODUKTION
Formålet med denne rapport er at undersøge effekten af to jobpræmieordninger, der var målrettet
henholdsvis langtidsledige dagpengemodtagere m. fl. og langtidsledige kontanthjælpsmodtagere
m.fl.
2
Ordningen har i en 2-årig periode fra 1. april 2017 til 31. marts 2019 givet langtidsledige et
ekstra økonomisk incitament til at finde beskæftigelse.
Jobpræmieordningen har medført, at ledige, der opfylder nogle specifikke
ledighedsanciennitetskrav, har kunne få en ekstrabetaling på 10% af deres lønindkomst op til et
månedligt max beløb på 2.500 kr. i den pågældende periode.
Formålet med ordningen er således at tilskynde personer, der har været uden beskæftigelse i
længere tid, til at finde beskæftigelse og til at fastholde denne beskæftigelse. Motivationen for at
give et tilskud er således at øge målgruppens tilknytning til arbejdsmarkedet og gennem øget
beskæftigelseserfaring at fastholde personen på arbejdsmarkedet og i beskæftigelse også efter, at
jobpræmieordningen udløber.
Jobpræmieordningen har været populær i den forstand, at relativt mange personer har modtaget en
jobpræmie i perioden. I gruppen af ledige kontanthjælpsmodtagere m. fl. er der godt 50.000
personer, der har modtaget jobpræmie. De har i gennemsnit modtaget ca. 13.500 kr., hvilket
betyder, at der er udbetalt i omegnen af 675 mio. kr. til kontanthjælpsmodtagere m. fl. For
dagpengemodtagere m.fl. er der ca. 6.150 personer, der har modtaget jobpræmie. De har i
gennemsnit modtaget knap 25.000 kr. i perioden, hvilket giver en samlet udbetaling på ca. 154 mia.
kr. Alt i alt har ordningen således medført jobpræmieudbetalinger for tæt på 830 mio. kr. over den
2-årige periode, hvor ordningen eksisterede. Disse tal er baseret på analysepopulationen og afviger
en smule fra de faktisk udbetalte beløb.
Der har tidligere været to midlertidige jobpræmieordninger i Danmark. Den første var en
jobpræmieordning for enlige forsørgere, der gjaldt i perioden 1. 1. 2011 til 31. 12. 2012, og den
anden var en jobpræmieordning for langtidsledige kontanthjælpsmodtagere, der gjaldt fra 1. 6. 2012
til 31. 5. 2014. Begge ordninger er evalueret af Kolodziejczyk & Arendt (2017) og de finder, at der
ikke er nogen statistisk signifikante effekter på hverken beskæftigelse eller lønindkomst for nogle af
2
De to grupper af ledige beskrives mere detaljeret senere i rapporten.
4
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0005.png
ordningerne. Der er således ikke noget der tyder på, at de tidligere ordninger har bidraget til at
forbedre beskæftigelsestilknytningen for de relevante målgrupper.
Effekterne fra de danske erfaringer med jobpræmieordninger står i modsætning til erfaringer fra
andre lande. I en rapport til Beskæftigelsesministeriet finder Simonsen & Skipper (2016) således, at
der, baseret på 28 udenlandske evalueringer af jobpræmielignende ordninger, er overvejende
positive beskæftigelseseffekter.
De positive udenlandske erfaringer har således motiveret de to jobpræmieordninger, der evalueres i
denne rapport. I forhold til de tidligere jobpræmieordninger adskiller de nuværende sig ved at have
en bredere målgruppe og en større jobpræmie, der dermed øger det økonomiske incitament til at
opnå beskæftigelse.
Rapporten er organiseret som følger. I 3. afsnit præsenteres de to jobpræmieordninger, der forløb I
2017 til 2019. Herefter diskuteres i 4. afsnit metodeovervejelser i forhold til at kvantificere om
jobpræmieordningerne har påvirket de langtidslediges arbejdsmarkedstilknytning. I afsnit 5
præsenteres datagrundlaget for analysen og i afsnit 6-7 vises evalueringens hovedresultater for
henholdsvis kontanthjælpsgruppen og dagpengegruppen.
3.
JOBPRÆMIEORDNINGERNE
Der blev iværksat to jobpræmieordninger i april 2017. En for langtidsledige kontanthjælpsmodtagere
m. fl. (kontanthjælpsgruppen) og en for langtidsledige dagpengemodtagere (dagpengegruppen).
Begge ordninger var aktive i en 2-årig periode fra 1. april 2017 til og med 31. marts 2019, og der
kunne udbetales en skattefri jobpræmie til langtidsledige, som fandt beskæftigelse. Jobpræmien
udgjorde 10 pct. af indkomsten fra ordinær beskæftigelse og selvstændig virksomhed. Der kunne
udbetales jobpræmie for op til 18 kalendermåneder i jobpræmieperioden Der var et månedligt loft
på 2.500 kroner for jobpræmieudbetalingerne. Dvs. en person kunne maksimalt opnå 45.000 kroner
i jobpræmie over den toårige periode.
Da jobpræmieordningen gjaldt fra 1. 4. 2017 til 31. 3. 2019 var det maksimale beløb en
jobpræmiemodtager kan modtage aftagende i tidspunktet, hvor personen fandt beskæftigelse. Det
er illustreret i figur 2.1.
5
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0006.png
Figur 2.1: Størrelsen af den maksimale samlede jobpræmie, hvis personer opnår beskæftigelse fra
et givet tidspunkt og perioden ud
De to målgrupper beskrives neden for og vil i det følgende blive refereret til som
kontanthjælpsgruppen og dagpengegruppen, selvom de inkluderer andre ydelsestyper end
kontanthjælp og dagpenge.
Målgruppen for kontanthjælpsgruppen
er for det første defineret ved, at den i uge 48 i 2016 helt
eller delvist
1. modtog uddannelseshjælp eller kontanthjælp, herunder modtog uddannelseshjælp eller
kontanthjælp under forrevalidering efter lov om aktiv socialpolitik,
2. modtog ressourceforløbsydelse under ressourceforløb eller ressourceforløbsydelse under
jobafklaringsforløb eller modtog løn under jobafklaringsforløb, hvis arbejdsgiveren modtog
refusion fra kommunen efter lov om aktiv socialpolitik,
3. modtog revalideringsydelse efter lov om aktiv socialpolitik,
4. modtog ledighedsydelse efter lov om aktiv socialpolitik,
5. modtog sygedagpenge fra kommunen efter lov om sygedagpenge eller modtog løn under
sygefravær, hvis arbejdsgiveren modtog sygedagpengerefusion fra kommunen, eller
6. var ansat med løntilskud efter kapitel 12 i lov om en aktiv beskæftigelsesindsats i
forlængelse af modtagelse af en af de i nr. 1-5 nævnte ydelser.
Endvidere skulle et
anciennitetskrav
være opfyldt om, at de i mindst 47 uger ud af 52 uger i
perioden fra og med uge 50 i 2015 til og med uge 48 i 2016 helt eller delvis har modtaget en eller
flere af følgende ydelser m.v.:
1. Integrationsydelse, uddannelseshjælp eller kontanthjælp, herunder uddannelses- eller
kontanthjælp under forrevalidering efter lov om aktiv socialpolitik,
2. ressourceforløbsydelse under ressourceforløb, ressourceforløbsydelse under
jobafklaringsforløb eller løn under jobafklaringsforløb, hvis arbejdsgiveren modtog refusion
fra kommunen efter lov om aktiv socialpolitik,
6
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0007.png
3. revalideringsydelse efter lov om aktiv socialpolitik,
4. ledighedsydelse efter lov om aktiv socialpolitik,
5. sygedagpenge fra kommunen efter lov om sygedagpenge eller løn under sygefravær, hvis
arbejdsgiveren modtog sygedagpengerefusion fra kommunen,
6. arbejdsløshedsdagpenge, feriedagpenge eller midlertidig arbejdsmarkedsydelse efter lov om
arbejdsløshedsforsikring m.v.,
7. kontantydelse efter lov om kontantydelse eller
8. løn til personer, der umiddelbart efter at have modtaget en eller flere ydelser efter §§ 2 eller
3 er blevet ansat med løntilskud efter kapitel 12 i lov om en aktiv beskæftigelsesindsats.
Målgruppen for dagpengegruppen
var for det første defineret ved, at den i uge 48 i 2016 helt eller
delvist
1. modtog arbejdsløshedsdagpenge eller feriedagpenge efter lov om arbejdsløshedsforsikring
m.v.,
2. modtog midlertidig arbejdsmarkedsydelse efter lov om arbejdsløshedsforsikring m.v.,
3. modtog kontantydelse efter lov om kontantydelse eller
4. var ansat med løntilskud efter kapitel 12 i lov om en aktiv beskæftigelsesindsats i
forlængelse af modtagelse af en af de i nr. 1-3 nævnte ydelser.
Endvidere skulle et
anciennitetskrav
være opfyldt om at de i mindst 71 uger ud af 78 uger i perioden
fra og med uge 24 i 2015 til og med uge 48 i 2016 helt eller delvis har modtaget en eller flere af
følgende ydelser m.v.:
1. Arbejdsløshedsdagpenge, feriedagpenge eller midlertidig arbejdsmarkedsydelse efter lov om
arbejdsløshedsforsikring m.v.,
2. kontantydelse efter lov om kontantydelse,
3. sygedagpenge fra kommunen efter lov om sygedagpenge eller løn under sygefravær, hvis
arbejdsgiveren modtog sygedagpengerefusion fra kommunen, eller
4. løn til personer, der umiddelbart efter at have modtaget ydelser efter § 3 er blevet ansat
med løntilskud efter kapitel 12 i lov om en aktiv beskæftigelsesindsats.
Anciennitetsberegningen, som var lagt til grund for vurderingen af, om anciennitetskravet om at
indgå i en af målgrupperne var opfyldt, blev foretaget af STAR i juni 2017.
BRUG AF JOBPRÆMIEORDNINGERNE
I tabel 3.1 fremgår hvor mange i de to grupper, der henholdsvis opfyldte kravene til at modtage
jobpræmie, hvis de opnåede beskæftigelse, og hvor mange der rent faktisk modtog en
jobpræmiebetaling i løbet af den relevante periode. Endvidere angives den gennemsnitlige
jobpræmiebetaling for de personer, der på et tidspunkt har modtaget jobpræmie.
7
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0008.png
Tabel 3.1: Brug af Jobpræmieordningerne
Antal der opfyldte krav til jobpræmie
Antal jobpræmiemodtagere
Gennemsnitlig jobpræmiebeløb (kr.)
Kontanthjælpsgruppen
147.532
50.899
13.579
Dagpengegruppen
7907
6136
24.981
Det fremgår af tabel 3.1, at jobpræmieordningerne har været anvendt af relativt mange personer. I
gruppen af ledige kontanthjælpsmodtagere m. fl. er der godt 50.000 personer, der har modtaget
jobpræmie. Det svarer til knap 35% af de berettigede. Modtagerne har i gennemsnit fået ca. 13.500
kr., hvilket betyder, at der er udbetalt i omegnen af 675 mio. kr. til kontanthjælpsgruppen. For
dagpengegruppen er der ca. 6.150 personer, der har modtaget jobpræmie. Det svarer til knap 78%
og de har i gennemsnit modtaget knap 25.000 kr. i perioden, hvilket giver en samlet udbetaling på
ca. 154 mio. kr. Alt i alt har ordningen således medført jobpræmieudbetalinger for tæt på 830 mio.
kr. over den 2-årige periode, hvor ordningen eksisterede.
Der er således en langt større andel af personer i dagpengegruppen, end i kontanthjælpsgruppen,
der har modtaget en jobpræmie, og de har gennemsnitligt modtaget en væsentlig højere samlet
jobpræmie.
Dette billede bekræftes af figur 3.1 og 3.2, der viser fordelingen af forbruget af de to ordninger.
Figur 3.1: Fordeling af brug af jobpræmieordningen for kontanthjælpsgruppen
Antal måneders brug
Udbetalt jobpræmie
.3
.2
Hyppighed
.1
Hyppighed
0
0
5
10
Antal måneders jobpræmie
15
20
0
0
.1
.2
.3
10000
20000
30000
Jobpræmie, DKK
40000
Anm: Figurerne viser antal måneders brug opgjort i måneder og udbetalt jobpræmie for personer, der har
modtaget jobpræmie.
For kontanthjælpsgruppen ses, at ca. 30% af dem, der modtog jobpræmiebetalinger, modtog
jobpræmien i de maksimale antal uger.
8
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0009.png
Figur 3.2: Fordeling af brug af jobpræmieordningen for dagpengegruppen
Antal måneders brug
Udbetalt jobpræmie
.15
Hyppighed
0
5
10
Antal måneders jobpræmie
15
20
.4
.5
Hyppighed
.2
.3
0
.1
0
0
.05
.1
10000
20000
30000
Jobpræmie, DKK
40000
Anm: Figurerne viser antal måneders brug opgjort i måneder og udbetalt jobpræmie for personer, der har
modtaget jobpræmie.
For dagpengegruppen ses, at næsten 50% af dem, der modtog jobpræmiebetalinger, modtog
jobpræmien i de maksimale antal uger, og at ca. 12%, af dem der modtog jobpræmiebetalinger,
modtog det fulde beløb på 45.000 kroner i løbet af de 2 år ordningen eksisterede.
I tabel A.1 og A.2 i Appendiks A er der lavet en analyse af hvilke karakteristika, der kendetegner de
personer, der har modtaget jobpræmieordningen blandt målgruppen. For kontanthjælpsmodtagere
er der en statistisk signifikant positiv sammenhæng mellem at modtage jobpræmien og
karakteristika som at være gift, højere uddannelsesniveau, højere tidligere beskæftigelsesgrad og at
være arbejdsmarkedsparat kontanthjælpsmodtager. Der er ikke overraskende, at disse faktorer
samvarierer med sandsynligheden for at finde beskæftigelse og dermed kvalificere sig til
jobpræmien. For dagpengemodtagere er der også en positiv sammenhæng mellem at modtage
jobpræmie og uddannelsesniveau og tidligere beskæftigelsesgrad.
4.
METODE
Formålet med denne evaluering er at give et kvantitativt bud på, hvorvidt jobpræmieordningerne
har øget de lediges arbejdsmarkedstilknytning. Da kriteriet for at modtage ordningen er et
ledighedsanciennitetskrav, er det oplagt at tage udgangspunkt i om en ledig enten opfylder eller ikke
opfylder dette krav og sammenligne beskæftigelsessituationen for de to grupper, som henholdsvis
lige præcis opfylder og ikke opfylder anciennitetskravet. Dette vil således typisk foregå i et såkaldt
regression discontinuity design. Det er endvidere denne metode, som Kolodziejczyk & Arendt (2017)
har anvendt til at evaluere de tidligere danske jobpræmieordninger.
Som det fremgår af afsnit 5.1 (og uddybet yderligere i Appendiks B) er der en række
dataudfordringer, der bevirker, at denne metode ikke er velegnet som evalueringsstrategi. Det
gælder således, at der er store forskelle på de to grupper, som befinder sig på hver sin side af
anciennitetskravet.
9
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0010.png
Det er valgt at tage udgangspunkt i den oprindelige ide med at fokusere på ledige, der har en
Iedighedsanciennitet tæt på de respektive grænser for at være berettiget til at modtage jobpræmie,
men at foretage evalueringen på baggrund af et propensity score matching design.
For at implementere propensity score matching designet defineres
forskellige målgrupper.
a.
’Kontanthjælpsgruppen’:
De som skal opfylde kvalifikationskravet på mindst 47 ugers ydelse
inden for de seneste 52 uger; fra uge 50 2015 til uge 48 2016.
b.
’Dagpengegruppen’:
De som skal opfylde kvalifikationskravet på mindst 71 ugers ydelse
inden for de seneste 78 uger; fra uge 24 2015 til uge 48 2016.
For hver målgruppe defineres herefter en delmængde af målgruppen af personer, som er tæt ikke at
opfylde kvalifikationskriteriet, nemlig de der har 47-49 og 71-75 ugers ydelse (for henholdsvis
kontanthjælpsgruppen og dagpengegruppen) –
de snævre målgrupper.
Tilsvarende defineres to
snævre kontrolgrupper
af personer, som er tæt på at opfylde kvalifikationskriteriet, med
henholdsvis 44-46 og 66-70 ugers ydelse i uge 48 2016.
Den snævre målgruppe
er dannet på baggrund af en anciennitetsberegning foretaget i juni 2017, og
nogle af disse har i vores genberegnede anciennitetsmål en anciennitet som ligger uden for
henholdsvis intervallerne 47-49 uger og 77-75 uger. Tilsvarende findes der personer med 47-49
ugers anciennitet i vores genberegning, som ikke var i målgrupperne i juni 2017.
For at illustrere de mulige designs og løsninger, som er i spil, tages udgangspunkt i figur 4.1
herunder, som viser henholdsvis timingen af forskellige aspekter af jobpræmieordningen og
størrelsen af det økonomiske incitament.
Figur 4.1: Timingen af jobpræmieordningens elementer
Figur 4.1 viser længst til venstre de to forskellige
kvalifikationsperioder
for ”kontanthjælpsgruppen”
og ”dagpengegruppen”.
Kontrolperiode 1
afspejler en periode, hvor de kvalificerede kan afgå til
beskæftigelse
uden at vide, at de er berettigede til jobpræmie
fra 1. april 2017. Det vil sige, at i denne
periode er der ikke nogen grund til at deltager- og sammenligningsgruppen skulle opføre sig
forskelligt med hensyn til afgang til beskæftigelse.
Herefter kommer
forsøgsperioden,
som inddeles i
to delperioder;
en periode med fuldt incitament
og en periode, fra 1. oktober 2017, hvor det økonomiske incitament til at finde beskæftigelse (den
maksimalt opnåelige jobpræmie) falder lineært, se figur 2.2.
10
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0011.png
I
kontrolperiode 2
er der igen ikke noget ekstra incitament til at påtage sig beskæftigelse for de
snævre målgrupper. Der kan dog stadig være en effekt på andelen som har opnået beskæftigelse, vi
vil blot ikke forvente at se nogen effekt på afgang til beskæftigelse, da der som nævnt ikke er nogen
forskel på incitamentet til at påtage sig beskæftigelse i de to grupper.
EFFEKTMÅL
Der analyseres effekter på to mål for beskæftigelsesgraden. Beskæftigelsesgraden stammer fra
DREAM registret og er en beregning af det månedlige beskæftigelsesomfang opgjort i timer i forhold
til en måneds fuldtidsarbejde. Beskæftigelse tælles som måneder, hvor personen enten er i ordinær
beskæftigelse eller er i et fleksjob.
De valgte udfaldsmål er defineret som følger:
1. Akkumuleret beskæftigelse i jobpræmieperioden er gennemsnittet af de 24 månedlige
beskæftigelsesgrader i perioden fra og med april 2017 til og med marts 2019.
2.
Akkumuleret beskæftigelse efter jobpræmieperioden er gennemsnittet af de 10 månedlige
beskæftigelsesgrader i perioden fra og med april 2019 til og med januar 2020.
PROPENSITY SCORE MATCHING
PSM-metoden er en statistisk metode, som identificerer en sammenligningsgruppe af personer, som
på basis af alle relevante karakteristika, der kan findes i de administrative registre, tilnærmelsesvist
har samme beregnede sandsynlighed for at være berettiget til jobpræmie-ordningen som
deltagerne, men som ikke var det. Herved sikres også, at deltagergruppen og
sammenligningsgruppen tilnærmelsesvist balancerer på de anvendte observerbare karakteristika.
Ved at sammenligne de valgte udfaldsmål blandt deltagerne i jobpræmieordningen med den
konstruerede sammenligningsgruppe opnås et mål for effekten af at være omfattet af
jobpræmieordningen.
Metoden har visse fordele, men også en række udfordringer. Fordelene er, at metoden er relativt
enkel at anvende, og at den intuitivt giver mening; der dannes en matchet sammenligningsgruppe,
som på alle observerbare karakteristika minder om deltagergruppen.
Dens ulemper består i, at validiteten af effektanalysen er afhængig af, at data om alle de forhold,
som påvirker selektionsprocessen og den afhængige variabel, kan inkluderes i den statistiske
analyse.
3
Kun herved kan der dannes en tilstrækkeligt god sammenligningsgruppe. Oftest vil kun
Dette kaldes i litteraturen blandt andet ’selection
on observables’,
’the
conditional independence assumption’
eller ’unconfoundedness’.
3
11
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0012.png
nogle af de faktorer, som er medvirkende til, at nogle personer deltager i indsatsen og andre ikke
gør, være observerbare. For flere detaljer om den anvendte metode henvises til Appendiks C.
5.
DATA
Til analysen anvendes data om målgrupperne leveret fra STAR, DREAM data, samt data fra Danmarks
Statistisk forskerserviceordning vedrørende højst fuldført uddannelse, forudgående indkomst og
uddannelse.
Analysen skal som nævnt foretages separat for to forskellige grupper, herefter kaldet
kontanthjælpsgruppen
og
dagpengegruppen.
Hver af disse to grupper er af STAR inddelt i en
målgruppe,
som via deres ydelseshistorik er omfattet af jobpræmieordningen, og en
residualgruppe,
som ikke er omfattet.
Til indeværende analyse anvendes data om målgrupperne leveret fra STAR, DREAM data, samt data
fra Danmarks Statistisk forskerserviceordning vedrørende højst fuldført uddannelse forudgående
indkomst og uddannelse.
Data for målgrupperne indeholder de personer, som ifølge STAR var omfattet af
jobpræmieordningen. Data omfatter personernes pseudonymiserede identifikationskode hos
Danmarks Statistik, information om, hvilken af målgrupperne de tillhørte, samt den i juni 2017
beregnede anciennitet.
Målgrupperne havde, som nævnt oven for, en anciennitet på mindst 47 ud af de seneste 52 uger for
kontanthjælpsgruppen og på mindst 71 ud af de seneste 78 uger for dagpengegruppen. For begge
grupper gjaldt, at de skulle opfylde ydelseskravet i uge 48, 2016.
Residualgrupperne udgøres derfor af personer, som enten ikke opfyldte ydelseskravet eller
anciennitetskravet. Til brug for analyserne dannes to sammenligningsgrupper, som opfyldte
ydelseskravet, men hvis anciennitet var for lav til at være omfattet af jobpræmieordningen.
Der er derfor foretaget en vurdering af om ydelseskravet er opfyldt, samt en genberegning af
ancienniteten for alle personer i DREAM. Denne genberegning viste, at nogle personer i
residualgrupperne faktisk opfyldte både ydelses- og anciennitetskravet og således burde have været
omfattet af jobpræmieordningen (men altså ikke var det). Samtidig viste den, at nogle personer i
målgrupperne ikke opfyldte et (eller begge) krav og således ikke burde have været omfattet af
jobpræmieordningen (men altså var det).
Således var der for målgrupperne medtaget personer, som i uge 48 2016 helt eller delvist var
overgået til andre ydelser, på trods af at disse ikke var omfattet på grund af ydelseskravet. Ydermere
var algoritmen bag den oprindelige anciennitetsberegning fra 2017 ikke blevet gemt, og hverken vi
eller STAR har været i stand til at genskabe den oprindelige anciennitetsberegning eller
opgørelsesmetoden for vurdering af ydelseskravet. Diskrepansen skyldes efter al sandsynlighed, at
de anvendte oplysninger om ydelser og indkomst opdateres (og overskrives) hver måned. Der vil
derfor være borgere, som på baggrund af de oprindeligt anvendte oplysninger om indkomst og
12
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0013.png
ydelser var en del af målgruppen, men som ikke er det med de opdaterede oplysninger. I Appendiks
D er beskrevet, hvordan anciennitets-genberegningen er foretaget.
AFGRÆNSNING AF GRUPPERNE
Målgruppen
omfatter herefter, for kontanthjælpsgruppen og dagpengegruppen, den delmængde af
personer i den oprindelige målgruppe, som, på baggrund af DREAM data opfylder både
ydelseskravet i uge 48 2016 og anciennitetskravet. Endvidere afgrænses målgruppen i de første
analyser til de personer, som har en anciennitet på henholdsvis 47-49 uger og 71-75 uger i
kontanthjælpsgruppen og dagpengegruppen. Denne gruppe kaldes herefter
den snævre målgruppe.
Sammenligningsgruppen
omfatter herefter, for kontanthjælpsgruppen og dagpengegruppen, de
personer i DREAM, som opfyldte ydelseskravet i uge 48 2016, men som ikke opfyldte
anciennitetskravet. Endvidere afgrænses sammenligningsgruppen i de første analyser til de
personer, som har en anciennitet på henholdsvis 44-46 uger og 66-70 uger i kontanthjælpsgruppen
og dagpengegruppen. Denne gruppe kaldes herefter
den snævre sammenligningsgruppe.
De resulterende snævre målgrupper og sammenligningsgrupper for kontanthjælpsgruppen og
dagpengegruppen har herefter et antal observationer opdelt på ugentlig anciennitet som vist i tabel
1.
Tabellen viser for det første, at der, selv for disse snævert udvalgte grupper, er et tilstrækkeligt stort
antal personer til at kunne foretage plausible statistiske analyser. For det andet viser tabellen, at der
er nogle få i de snævre målgrupper, som egentlig ikke opfyldte ydelseskravet, og derfor ikke burde
have været omfattet af jobpræmieordningen. For kontanthjælpsgruppen drejer det sig om 169
personer og for dagpengegruppen 70 personer. For det tredje ses, at der er relativt mange i de
snævre sammenligningsgrupper, som faktisk opfyldt anciennitetskravet og derfor egentlig burde
have været omfattet af jobpræmieordningen. For kontanthjælpsgruppen drejer det sig om 1742
personer og for dagpengegruppen er det 999 personer.
Endelig viser tabellen, at hvis vi opgør antallet af personer i kontanthjælpsgruppen, som har 44-46
ugers anciennitet og 47-49 ugers anciennitet, så finder vi meget overraskende, at det drejer sig om
henholdsvis 6845 og 9779 personer. Der er altså flere personer med 47-49 ugers anciennitet end
med 44-46 uger. Grunden til at dette er overraskende – og foruroligende for analyserne – er
følgende: Hvis de alle var blevet kontanthjælpsmodtagere på samme tidspunkt ville en almindelig
afgang tilsige, at der var færre tilbage på ydelsen efter 49 uger end efter 44 uger, men her ser vi det
omvendte. Hvis vi regner baglæns fra uge 48, 2016, indser vi, at den snævre målgruppe har
påbegyndt deres kontanthjælpsforløb lige omkring uge 1 2016, mens den snævre
sammenligninsgruppe har påbegyndt deres kontanthjælpsforløb senere i januar. Dette kunne
indikere, at der er en større tilgang til kontanthjælp omkring uge 1 end senere i januar. Det er i sig
selv ikke noget problem, men hvis det indebærer at grupperne, som vi vil se, har forskellig
sammensætning, så udgør det et problem for analyserne.
13
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0014.png
Tabel 5.1: De snævre mål- og sammenligningsgrupper
Kontanthjælpsgruppen
Anciennitet, uger
Den snævre
sammenligningsgruppe
44
2995
45
1804
46
1877
47
590
48
673
49
479
Opfyldte anciennitetskravet for gruppen
6676
I alt
8418
Dagpengegruppen
Anciennitet, uger
Den snævre
sammenligningsgruppe
66
784
67
697
68
621
69
634
70
646
71
315
72
238
73
183
74
147
75
116
Opfyldte anciennitetskravet for gruppen
3382
I alt
4381
Den snævre målgruppe
41
28
100
1739
3035
3263
8037
8206
Den snævre målgruppe
5
3
8
19
35
428
678
984
1067
1111
4268
4338
Note: De sorte tal angiver de personer, som opfyldte begge krav til at være i den snævre mål- eller
sammenligningsgruppe, mens de røde tal angiver personer, som opfyldte ydelseskravet, men havde en
anciennitet til at være i den ’modsatte’ gruppe.
For dagpengegruppen ses et tilsvarende problem: Her er der i grupperne med 66-70 ugers
anciennitet og 71-75 ugers anciennitet henholdsvis 3452 og 5267 personer. Hvis vi foretager den
samme baglæns beregning finder vi, at den snævre målgruppe har påbegyndt deres ledighedsforløb
juni 2015, mens den snævre sammenligningsgruppe har påbegyndt deres forløb i juli eller primo
august 2015. Igen kan dette være et problem, hvis det også indebærer forskellig sammensætning af
grupperne. I Appendiks D er denne problemstilling uddybet yderligere.
BESKRIVELSE AF DE SNÆVRE MÅL- OG KONTROLGRUPPER
I tabel 5.2 vises beskrivende statistik for den snævre mål- og sammenligningsgruppe for
kontanthjælpsgruppen, svarende til de 8418+8206 personer i øverste panel af tabel 5.1. Vi
inkluderer ’non-compliers’, altså de personer, som formelt ikke opfyldte kravet om at indgå i deres
respektive gruppe (personerne bag de røde tal i tabellen), idet disse personer vil indgå i de statistiske
analyser.
Der er ikke store forskelle på de to grupper, når det kommer til køn, alder, etnicitet, civilstand eller
foregående branchetilknytning. Til gengæld har sammenligningsgruppen en smule mere uddannelse
14
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0015.png
end målgruppen. Når det kommer til historikken er der imidlertid endog meget store forskelle
mellem de to grupper; således har målgruppen et væsentligt lavere beskæftigelsesomfang end
sammenligningsgruppen, især de seneste år inden uge 48, 2016. Hvis de ydelser, som indgår i
anciennitetsberegningen, akkumuleres 3 og 6 år tilbage (i stedet for som 1 år i
anciennitetsberegningen), så ses det også, at målgruppen har tilbragt væsentligt længere tid på disse
ydelser end sammenligningsgruppen. Med hensyn til indkomst, så har målgruppen haft en lavere
lønindkomst i 2015 end sammenligningsgruppen, mens der i perioden 2010-14 ikke var nogen
forskel. Også med hensyn til, hvilken ydelse grupperne befandt sig på i uge 48, 2016, er der stor
forskel. I målgruppen er aktivitetsparate kontanthjælpsmodtagere overrepræsenteret (16
procentpoints flere end i sammenligningsgruppen), mens sygedagpengemodtagere er
overrepræsenteret i sammenligningsgruppen (17 procentpoints flere end i målgruppen). Der er
således signifikant flere sygedagpengemodtagere og signifikant færre aktivitetsparate
kontanthjælpsmodtagere i sammenligningsgruppen end i målgruppen.
15
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0016.png
Tabel 5.2: Beskrivende statistik for kontanthjælpsgruppen, opdelt på den snævre mål- og
sammenligningsgruppe
Den snævre
Den snævre
sammenligningsgruppe
målgruppe
Mand
48,3
46,3
Alder, år
39,8
40,4
Vestlig indvandrer/efterkommer
3,3
3,6
Ikke vestlig indvandrer/efterkommer
22,2
20,8
Gift
33,8
29,4
Ingen uddannelse efter folkeskolen
43,8
49,0
Gymnasiel
7,4
6,6
Faglært (ref)
30,0
29,7
Kort videregående uddannelse
3,2
3,1
Mellemlang videregående uddannelse
10,8
7,8
Lang videregående uddannelse
4,8
3,8
Beskæftigelsesgrad seneste år
23,8
10,0
Beskæftigelsesgrad 1-2 år siden
35,2
23,0
Beskæftigelsesgrad 2-3 år siden
36,5
29,2
Beskæftigelsesgrad 3-4 år siden
36,8
30,5
Beskæftigelsesgrad 4-5 år siden
37,7
32,1
Beskæftigelsesgrad 5-6 år siden
38,9
33,9
Anciennitet seneste 3 år, uger
86,9
108,5
Anciennitet seneste 6 år, uger
135,4
178,5
Branche landbrug, skovbrug, fiskeri
0,8
1,1
Branche industri, råstof, forsyning
7,9
6,5
Branche bygge-anlæg
4,8
4,4
Branche handel og transport
19,4
21,7
Branche information og kommunikation
1,4
1,3
Branche finans og forsikring
0,9
0,5
Branche ejendoms
0,9
1,1
Branche Erhvervsservice
11,2
12,8
Branche offentlig
26,4
26,0
Branche kultur
2,8
3,2
Branche anden
3,1
3,7
Branche mangler (ingen beskæftigelse)
20,5
17,8
Lønindkomst 2015, DKK
191.800
155.839
Gennemsnitlig lønindkomst 2010-2014, DKK
201.380
204.915
Arbejdsmarkedsparat kontanthjælpslignende
25,0
23,1
ydelse
Aktivitetsparat kontanthjælpslignende ydelse
32,9
48,9
Ressourceforløb
1,2
2,5
Jobafklaring
9,7
11,4
Sygedagpenge
31,3
14,2
I tabel 5.3 vises den tilsvarende beskrivende statistik for den snævre målgruppe og
sammenligningsgruppe i dagpengegruppen. Der er igen ingen store forskelle, når det kommer til
køn, alder, etnicitet, civilstand, uddannelse, foregående branchetilknytning eller a-kasse
medlemskab.
16
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0017.png
Tabel 5.3: Beskrivende statistik for dagpengegruppen, opdelt på den snævre mål- og
sammenligningsgruppe
Den snævre
Den snævre
sammenligningsgruppe
målgruppe
Mand
41,6
41,8
Alder, år
43,6
44,7
Vestlig indvandrer/efterkommer
9,7
8,0
Ikke vestlig indvandrer/efterkommer
13,8
17,2
Gift
40,2
42,7
Ingen uddannelse efter folkeskolen
20,5
22,7
Gymnasiel
5,9
5,7
Faglært (ref)
38,1
34,6
Kort videregående uddannelse
5,4
7,1
Mellemlang videregående uddannelse
14,7
14,1
Lang videregående uddannelse
15,4
15,9
Beskæftigelsesgrad seneste år
13,8
6,9
Beskæftigelsesgrad 1-2 år siden
37,0
25,6
Beskæftigelsesgrad 2-3 år siden
61,5
66,7
Beskæftigelsesgrad 3-4 år siden
59,3
63,2
Beskæftigelsesgrad 4-5 år siden
55,6
58,4
Beskæftigelsesgrad 5-6 år siden
53,8
56,9
Anciennitet seneste 3 år, uger
89,2
96,1
Anciennitet seneste 6 år, uger
118,5
124,2
Branche landbrug, skovbrug, fiskeri
1,1
0,7
Branche industri, råstof, forsyning
8,4
10,3
Branche bygge-anlæg
2,7
2,2
Branche handel og transport
23,0
21,9
Branche information og kommunikation
3,2
3,6
Branche finans og forsikring
1,6
2,9
Branche ejendoms
1,1
1,5
Branche Erhvervsservice
17,3
17,0
Branche offentlig
31,5
29,3
Branche kultur
3,7
4,5
Branche anden
3,3
3,8
Branche mangler (ingen beskæftigelse)
3,1
2,3
Lønindkomst 2015, DKK
219.418
191.977
Gennemsnitlig lønindkomst 2010-2014, DKK
326.472
416.926
Journalistik, Kommunikation, Sprog
1,8
2,1
Socialpæd. Landsdæk.
1,6
1,2
3F
18,5
16,7
FOA
8,9
7,4
Danmarks Læreres Fælles
1,3
1,3
Det Faglige Hus
5,6
5,1
Metalarbejdernes
2,3
1,8
Nærings- og Nydelsesmiddelarbejdernes
0,8
1,0
El-fagets
0,2
0,2
Byggefagenes a-kasse
0,6
0,2
HK/Danmarks
10,8
12,3
Min A-kasse
3,4
4,0
Ledernes
2,5
2,7
17
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0018.png
Teknikernes
Kristelig
Danske Sundhedsorg.
Børne- og U.pæd. Landsd.
Frie funktionærer
Akademikernes
Magistrenes
Funktionærer og Tjenestemænds Fælles
Selvstændige Erhvervsdrivende
CA
1,7
11,8
1,0
3,4
1,5
6,4
3,8
4,7
5,0
2,4
2,0
11,1
0,5
2,8
1,7
6,8
3,6
5,9
6,3
3,2
Til gengæld ses igen store forskelle i arbejdsmarkedshistorikken. Således har målgruppen et markant
lavere beskæftigelsesomfang end sammenligningsgruppen de seneste to år, men til gengæld mere
beskæftigelse 3-6 år forud for uge 48, 2016. Optæller vi anciennitetsopgørelsen over 3 og 6 år på
samme måde som det blev gjort over 78 uger i selve anciennitetsberegningen, så har målgruppen
lidt mere anciennitet i begge opgørelser end sammenligningsgruppen, forskellen er dog ikke nær så
markant som for kontanthjælpsgruppen. Med hensyn til indkomst, så har målgruppen naturligt nok
lidt lavere lønindkomst end sammenligningsgruppen i 2015 på grund af deres højere anciennitet,
men for perioden 2010-14 ligger deres gennemsnitlige lønindkomst ca. 90.000 kr. højere pr år end
sammenligningsgruppens. Det er interessant, at der er så store forskelle på de to grupper. Det er
formentlig, som allerede nævnt, bestemt af samme sæsonmæssige forskelle, som giver anledning til
det store udsving i antallet med anciennitet over og under 71 uger.
6.
RESULTATER, KONTANTHJÆLPSGRUPPEN
I tabel 6.1 vises de to afhængige variable, nemlig beskæftigelsesgraden i de 24 måneder, hvor det
var muligt at få en jobpræmie (april 2017-marts 2019) og beskæftigelsesgraden i de 10 efterfølgende
måneder (april 2019-januar 2020). Det rapporteres også, hvor stor en del af målgruppen, som har
fået en jobpræmie, og størrelsen af den gennemsnitlige jobpræmie for de, som har modtaget den.
Det ses, at der er store forskelle i beskæftigelsesgraden til målgruppens ugunst. Målgruppen har
således en beskæftigelsesgrad, som er 5,5%-points lavere end sammenligningsgruppens (se også
figur B2 i appendiks B). Det virker umiddelbart som et meget stort fald, som formentlig kan henføres
til sammensætningseffekterne som diskuteret i afsnit 5 og Appendiks B. Tabellen angiver også
andelen, som har opnået beskæftigelse (0/1) i jobpræmieperioden. Denne svarer nogenlunde til
andelen, som har modtaget en jobpræmie.
Tabellen viser også omfanget af modtagelse af jobpræmie. Omkring halvdelen af personerne i den
snævre målgruppe i kontanthjælpsgruppen har modtaget en jobpræmie, og disse har i gennemsnit
modtaget DKK 16.731, svarende til en fuld jobpræmie i knap 7 måneder.
Ser vi i stedet på alle personer i målgruppen, det vil siger alle med en anciennitet på 47 uger eller
mere, så er der 147.532 personer i den fulde målgruppe. Af disse har noget færre, nemlig godt og vel
en tredjedel, modtaget jobpræmie, og de som har modtaget en jobpræmie har i gennemsnit
modtaget DKK 13.579, svarende til ca. 5,5 måneders fuld jobpræmie.
18
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0019.png
Tabel 6.1:
Afhængige variable for kontanthjælpsgruppen, procent.
Den snævre
sammenligningsgruppe
23,3
59,8
Den snævre
målgruppe
17,8
51,8
Beskæftigelsesgrad april 2017-marts 2019
Andel der opnår beskæftigelse april 2017-marts
2019
Beskæftigelsesgrad april 2019-januar 2020
Har modtaget jobpræmie, procent
Beløb, jobpræmie, hvis modtaget, DKK
Beskæftigelsesgrad april 2017-marts 2019
Andel der opnår beskæftigelse april 2017-marts
2019
Beskæftigelsesgrad april 2019-januar 2020
Har modtaget jobpræmie, procent
Beløb, jobpræmie, hvis modtaget, DKK
26,9
21,7
-
50,1
-
16.731
Hele sammenlignings- Hele målgruppen
gruppen (N=16.488)
(N=147.532)
24,9
10,0
60,3
35,7
28,5
13,5
34,5
13.579
Problemet med at anvende et RD design opstår, fordi den beregnede anciennitet – the running
variable – indebærer diskontinuiteter i antal borgere og borgernes øvrige karakteristika lige omkring
tærskelværdien, som vist i tabel 5.2 og 5.3. Derfor har vi, som nævnt, valgt i stedet at anvende en
propensity score matching strategi, hvor vi matcher på alle variable i tabel 5.2. Bemærk, at den
genberegnede anciennitet som allerede nævnt ikke indgår i matchingen, da den netop adskiller mål-
og sammenligningsgruppen. Til gengæld matches på både detaljeret beskæftigelseshistorik og
ancienniteten beregnet 3 og 6 år tilbage i tid. Vi inkluderer alle personer i tabel 5.1 i matchingen.
Som tidligere nævnt er matching bias lille, og plot af propensity scores for umatchede og matchede
grupper er vist i figur C1 i appendiks C. Hovedresultaterne fra propensity score matching analysen på
den snævre mål- og sammenligningsgruppe er vist i tabel 6.2.
Tabel 6.2: Effekter af jobpræmieordningen estimeret ved propensity score matching på
kontanthjælpsgruppen med 44-49 ugers genberegnet anciennitet
Koefficient
Standardfejl
Effekt i indsatsperioden
-0,02
0,61
Effekt april 2019-januar 2020
-0,36
0,75
Note: Koefficienter angivet med
fed
er statistisk signifikante på 5% niveau.
Der findes ingen overordnede effekter af at være omfattet af jobpræmieordningen hos
kontanthjælpsgruppen. Fortolkningen af koefficienterne er, at effekten i indsatsperioden reducerer
beskæftigelsesgraden med 0,02 procentpoints. Bemærk at de insignifikante effekter ikke skyldes
manglende statistisk styrke, idet standardfejlene på de estimerede effekter også er ganske små.
Figur 6.1 viser udviklingen i beskæftigelsesgrader for henholdsvis målgruppen og den matchede
kontrolgruppe.
19
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0020.png
Figur 6.1: Beskæftigelsesgrader for målgruppe og matchede sammenligningsgruppe
Det fremgår af figur 6.1, at de to grupper har meget parallelle forløb for beskæftigelsesgraderne.
Endvidere ses, at beskæftigelsesomfanget i begge grupper er relativt beskedent i de 3 år hvor
målgrupperne følges. De når således ikke meget over en månedlig gennemsnitlig beskæftigelsesgrad
på 20 procent.
I tabel 6.3 vises resultaterne fra matching estimationen, hvor populationen gradvist indskrænkes og
udvides omkring tærskelværdien. Vi har også forsøgt at estimere effekten for den fulde population
af målgruppen, inkluderende alle de med 52 ugers anciennitet eller mere, men her kan vi ikke opnå
tilstrækkeligt god match-kvalitet, hvorfor disse resultater ikke er rapporteret.
Tabel 6.3: Effekter af jobpræmieordningen estimeret ved PSM for forskellige populationer af
borgere
Effekt i indsatsperioden
Effekt april 2019-januar 2020
Koefficient
Standardfejl
Koefficient
Standardfejl
46-47 ugers anciennitet
-1,69
1,13
-2,60
1,38
45-48 ugers anciennitet
-0,57
0,81
-0,22
1,00
44-49 ugers anciennitet*
-0,02
0,61
-0,36
0,75
43-50 ugers anciennitet
-0,69
0,56
-0,38
0,70
42-51 ugers anciennitet
0,38
0,50
0,80
0,63
Note: Koefficienter angivet med
fed
er statistisk signifikante på 5% niveau. *Denne række viser benchmark
resultaterne fra tabel 6.2.
Tabellen viser, at der stadig er små og insignifikante effekter af jobpræmieordningen, selv når
målgruppen og sammenligningsgruppen indskrænkes eller udvides symmetrisk omkring
tærskelværdien.
20
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0021.png
For at undersøge resultaternes robusthed har vi foretaget et par robustheds tests. Først har vi
undersøgt effekten, hvis analysen udelukkende baseres på ’nytilkomne’ kontanthjælpsmodtagere,
defineret som kontanthjælpsmodtagere med 44-49 ugers anciennitet, men som derudover ikke har
været på kontanthjælp de seneste tre år. Her findes heller ingen signifikante effekter. Dernæst har vi
prøvet at estimere effekten i placebo-udvælgelsen et år tidligere. Hvis der her findes effekter, som
afviger markant fra effekten for indsatsperioden kunne det antyde at vi har et særligt
selektionsproblem for indsatsperioden. Vi finder ingen signifikante effekter for placebogruppen. Den
estimerede effekt er endvidere meget tæt på nul, som den gerne skulle være da der ikke var nogen
intervention i placebogruppen.
I tabel 6.4 vises de estimerede effekter opdelt på undergrupper. Følgende undergrupper analyseres:
Mænd og kvinder, personer med ikke-vestlig baggrund og dansk eller vestlig baggrund, personer
under 40 og personer på 40 eller derover, personer som maksimalt har færdiggjort folkeskolen og
personer som har uddannelse efter folkeskolen, personer som er gifte eller i registreret partnerskab
og personer som hverken er gift eller i registreret partnerskab, og arbejdsmarkedsparate
kontanthjælpsmodtagere og de øvrige grupper slået sammen (vi har også prøvet at underopdele
gruppen af ikke-arbejdsmarkedsparate yderligere uden at det ændrer på resultaterne). Her
anvendes borgere med mellem 44 og 49 ugers anciennitet til matchingen.
Det overordnede indtryk er, at der er mange insignifikante effekter. Der findes dog to signifikante
effekter, en negativ effekt på 2 procent for mænd og en positiv effekt på 4 procent for personer med
ikke-vestlig baggrund. Vi kan dog ikke udelukke at disse signifikante effekter skyldes en ’winners
curse’; når et datamateriale opdeles i tilstrækkeligt mange undergrupper vil nogle af dem – af rent
tilfældige årsager – vise større effekter end andre. Hvis disse er tilstrækkeligt store bliver de også
statistisk signifikante. Vi kan ikke vurdere om de fundne signifikante effekter er reelle eller skyldes
en ’winners curse’.
I Skipper og Simonsen (2016) gennemgås en række internationale studier for jobpræmielignende
ordninger. I andre lande er disse typisk målrettede kontanthjælpslignende ledige. Her findes der
mere positive effekter end i denne og den tidligere danske evaluering (se
Kolodziejczyk, C. og J. N.
Arendt, 2017). Der findes i denne litteratur endvidere, at effekterne typisk er større for personer
med en anden etnisk baggrund end det pågældende lands og for enlige forsørgere. Den positive
effekt for personer med ikke-vestlig baggrund er således konsistent med resultaterne fra den
internationale litteratur. Det er ikke muligt at undersøge effekter opdelt på børn, da der ikke er
information om børn i de anvendte data.
21
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0022.png
Tabel 6.4: Effekter af jobpræmieordningen estimeret ved PSM, opdelt på undergrupper
Effekt i indsatsperioden
Effekt april 2019-januar 2020
Koefficient
Standardfejl
Koefficient
Standardfejl
Kvinder
0,91
0,76
0,29
0,97
Mænd
-0,21
0,87
-2,06
1,02
Ikke-vestlig baggrund
Dansk el. vestlig baggrund
Alder under 40
Alder 40 eller ældre
Folkeskolen eller mindre
Mere end folkeskolen
Gift eller partnerskab
Ikke gift eller partnerskab
Arbejdsmarkedsparat
Ikke arbejdsmarkedsparat
1,29
-0,03
0,60
-0,27
-1,17
0,53
-0,04
-0,24
-0,73
0,67
1,17
0,66
0,80
0,82
0,78
0,86
1,11
0,67
1,39
0,60
3,81
-0,57
-0,77
-0,07
-1,54
0,86
1,36
-0,74
0,43
0,09
1,36
0,83
1,05
0,99
0,99
1,03
1,28
0,84
1,76
0,77
Note: Koefficienter angivet med
fed
er statistisk signifikante på 5% niveau.
7.
RESULTATER, DAGPENGEGRUPPEN
I tabel 7.1 vises gennemsnit for de afhængige variable og modtagelse af jobpræmie. To forhold er
især værd at bemærke. Det ses for det første, at beskæftigelsesgraden er væsentligt højere for
dagpengegruppen end for kontanthjælpsgruppen, hvilket var forventeligt. Således er
beskæftigelsesgraden for dagpengegruppen 43-46 procent, og over 80 procent har fundet
beskæftigelse i løbet af indsatsperioden. For det andet er det værd at bemærke, at forskellen
mellem målgruppen og sammenligningsgruppen i beskæftigelsesgraden også her er til målgruppens
ugunst, om end forskellen er mindre end for kontanthjælpsgruppen. Endelig ses, at godt tre
fjerdedele af gruppen har fået udbetalt jobpræmie, og de som har fået en jobpræmie har
gennemsnitligt modtaget ca. DKK 25.000, svarende til 10 måneders fuld jobpræmie.
22
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0023.png
Tabel 7.1: Afhængige variable for dagpengegruppen, procent
Den snævre
sammenligningsgruppe
45,9
85,1
49,1
Den snævre
målgruppe
44,2
81,1
Beskæftigelsesgrad april 2017-marts 2019
Andel der opnår beskæftigelse april 2017-marts
2019
Beskæftigelsesgrad april 2019-januar 2020
Har modtaget jobpræmie, procent
Beløb, jobpræmie, hvis modtaget, DKK
Beskæftigelsesgrad april 2017-marts 2019
Andel der opnår beskæftigelse april 2017-marts
2019
Beskæftigelsesgrad april 2019-januar 2020
Har modtaget jobpræmie, procent
Beløb, jobpræmie, hvis modtaget, DKK
46,8
77,4
25.357
Hele sammenlignings- Hele målgruppen
gruppen (N=8864)
(N=7907)
45,9
43,1
85,4
80,0
49,7
45,8
77,6
24.981
Note: Koefficienter angivet med
fed
er statistisk signifikante på 5% niveau.
I propensity score matching analysen matches på alle variable i tabel 5.3. Bemærk igen, at den
genberegnede anciennitet ikke indgår i matchingen, da den netop adskiller mål- og
sammenligningsgruppen. Til gengæld matches på både detaljeret beskæftigelseshistorik og
ancienniteten beregnet 3 og 6 år tilbage i tid. Som tidligere nævnt er matching bias lille, og plot af
propensity scores for umatchede og matchede grupper er vist i nederste panel af figur C1 i
appendiks C. Hovedresultaterne fra propensity score matching analysen på den snævre mål- og
sammenligningsgruppe er vist i tabel 7.2.
Tabel 7.2: Effekter af jobpræmieordningen estimeret ved propensity score matching på
dagpengegruppen med 66-75 ugers genberegnet anciennitet
Koefficient
Standardfejl
Effekt i indsatsperioden
2,75
1,17
Effekt april 2019-januar 2020
3,90
1,33
Note: Koefficienter angivet med
fed
er statistisk signifikante på 5% niveau.
Vi finder en signifikant positiv effekt på beskæftigelsesgraden af jobpræmieordningen for den
snævre målgruppe i dagpengegruppen. Effekten er på knap 3 procentpoints, hvilket skal
sammenholdes med en gennemsnitlig beskæftigelsesgrad i den matchede sammenligningsgruppe på
omkring 41 procent. I perioden efter jobpræmieordningen er ophørt er effekten steget til knap 4
procentpoints, hvilket indikerer at de personer, som finder job som følge af ordningens økonomiske
incitament, lykkes med at fastholde deres beskæftigelse, også når det økonomiske incitament er
bortfaldet.
I figur 7.1 vises udviklingen i beskæftigelsesgrader for henholdsvis målgruppen og den matchede
kontrolgruppe.
23
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0024.png
Figur 7.1: Beskæftigelsesgrader for målgruppe og matchede sammenligningsgruppe
Figur 7.1 viser, at målgruppen har en større beskæftigelsesgrad gennem hele den undersøgte
periode. Forskellen mellem de to kurver indsnævres i løbet af perioden, men når ikke at samles eller
krydse. Der kan således godt være en fortsat positiv effekt af jobpræmieordningen også efter den
observerede periode.
I tabel 7.3 viser vi effekterne på beskæftigelsesgraden, når observationsvinduet omkring
tærskelværdien på 71 ugers anciennitet gradvis indsnævres og udvides.
Tabel 7.3: Effekter af jobpræmieordningen estimere ved PSM for forskellige populationer af
borgere
Effekt i indsatsperioden
Effekt april 2019-januar 2020
Koefficient
Standardfejl
Koefficient
Standardfejl
70-71 ugers anciennitet
0,90
2,73
3,93
3,21
69-72 ugers anciennitet
2,70
1,86
5,73
2,15
68-73 ugers anciennitet
1,21
1,40
2,90
1,66
67-74 ugers anciennitet
2,67
1,24
4,10
1,49
66-75 ugers anciennitet*
2,75
1,17
3,90
1,33
65-76 ugers anciennitet
2,41
1,11
2,16
1,37
64-77 ugers anciennitet
2,60
1,05
2,54
1,24
63-78 ugers anciennitet
1,74
1,12
1,17
1,31
Note: Koefficienter angivet med
fed
er statistisk signifikante på 5% niveau. *Denne række viser benchmark
resultaterne fra tabel 7.2.
De positive effekter er til stede for alle afgrænsninger, om end de ikke altid er statistisk signifikante.
Det generelle billede er dog, at der findes positive effekt på mellem 2 og 3 procentpoints i
indsatsperioden og på omkring 4 procentpoints efter indsatsperioden.
24
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0025.png
Vi har også her foretaget et antal robusthedsanalyser. Fokus på dagpengemodtagere med 66-75
ugers anciennitet, men ingen yderligere ledighed inden for de seneste tre år giver insignifikante og
lidt lavere effekter. Estimationer i placebogruppen (som opfylder anciennitetskravet et år tidligere)
viser ingen effekt.
I tabel 7.4 er effekterne opdelt på undergrupper. Her findes kun signifikant effekt for en enkelt
gruppe, nemlig de som er gift eller i registreret partnerskab. Igen må vi advare mod overfortolkning
af disse undergruppe resultater på grund af ’winners curse’ problematikken.
Tabel 7.4:
Effekter af jobpræmieordningen estimeret ved PSM, opdelt på undergrupper.
Effekt i indsatsperioden
Effekt april 2019-januar 2020
Koefficient
Standardfejl
Koefficient
Standardfejl
Kvinder
-0,12
1,52
0,28
1,86
Mænd
3,06
1,80
2,22
2,36
Ikke-vestlig baggrund
Dansk el. vestlig
baggrund
Alder under 40
Alder 40 eller ældre
Folkeskolen eller mindre
Mere end folkeskolen
Gift eller partnerskab
Ikke gift eller partnerskab
4,05
2,48
2,83
1,32
1,40
2,14
3,33
1,49
0,90
2,25
0,76
1,40
4,01
1,60
1,75
1,57
2,65
1,32
1,69
1,50
1,39
2,13
-2,33
1,01
3,84
0,89
2,01
1,74
3,33
1,55
1,95
1,96
Note: Koefficienter angivet med
fed
er statistisk signifikante på 5% niveau.
KONSEKVENSER FOR DE OFFENTLIGE FINANSER
Baseret på de fundne effektmål foretages her en økonomisk konsekvensberegning af
jobpræmieordningen for de offentlige finanser. Beregningen tager afsæt i, at der er øgede
skatteindtægter af den ekstra beskæftigelse som jobpræmien medfører, og at der er sparede
udgifter til dagpenge. Derudover medregnes det tilbageløb, der opstår ved det ændrede forbrug om
jobpræmieordningen påvirker. Der ses udelukkende på de direkte konsekvenser for de offentlige
finanser. Beregningerne medtager ikke administrationsudgifter eller evt. sparede udgifter til
aktiveringsindsats, ligesom det privatøkonomiske tab i form af lavere fritid heller ikke medregnes.
Effekten af jobpræmieordningen er oven for målt på den månedlige beskæftigelsesgrad. Den kan
omregnes til timer ved at benytte, at den månedlige arbejdstid i DREAM er 160,33 timer. Desuden
antages, at den gennemsnitlige årsløn for en dagpengemodtager er DKK 379.000 og at det
månedlige dagpengeniveau er DKK 19.083. Der anvendes en gennemsnitsskat på arbejdsindkomst på
35,4 procent, en gennemsnitsskat for dagpengemodtagere på 29,2 procent og for tilbageløb
anvendes en sats på 23 procent.
I de 24 måneder, hvor jobpræmieordningen er gældende, er der en gennemsnitlig effekt på
beskæftigelsesgraden på 2,75 procentpoint. Det svarer til 4,4 timer pr. måned med mere
25
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0026.png
beskæftigelse og mindre dagpengeforbrug. Omregnet til effekt på de offentlige finanser i forhold til
sparede udgifter efter tilbageløb giver det med oven for nævnte antagelser en
gennemsnitsbesparelse på DKK
17.339
pr. person. Der er udbetalt i gennemsnit DKK 19.626 pr
måned til personerne i målgruppen (0,774 x 25.357). Efter tilbageløb giver det en udgift på DKK
15.112
pr. person. Dvs. i løbet af jobpræmieperioden har der været en positiv effekt på de offentlige
finanser på DKK
2.227
pr. person. Dertil kommer der en positiv effekt på beskæftigelsen efter
jobpræmieperiodens ophør. Den positive effekt i de 10 måneder, der måles i denne evaluering, giver
et positivt bidrag til de offentlige finanser på DKK
10.247
pr. person. Dvs. samlet over de 34 måneder
der evalueres på, er det et
positivt bidrag til de offentlige finanser fra jobpræmieordningen på DKK
12.474 kr. pr dagpengemodtager
på jobpræmieordningen.
Det er uklart om den positive effekt fortsætter efter måleperiodens udløb. I det omfang den gør vil
det naturligvis bidrage til at forsøge det positive afkast af ordningen for dagpengemodtagere.
8.
REFERENCER
Hansen m.fl. (2013), Evaluering af jobpræmieordningen for enlige forsørgere, Rapport til
Beskæftigelsesministeriet
Kolodziejczyk, C. og J. N. Arendt, 2017, Effekter af to jobpræmieordninger for ledige, rapport fra KORA.
Simonsen, M. & L. Skipper, 2016, Økonomiske incitamenter for ikke-forsikrede ledige – en litteraturoversigt,
rapport til Beskæftigelsesministeriet.
26
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0027.png
9.
APPENDIKS
APPENDIKS A: HVEM MODTAGER JOBPRÆMIEN BLANDT DE
BERETTIGEDE?
I de nedenstående tabeller vises resultater fra en lineær regressionsmodel af sandsynligheden for at
modtage en jobpræmieudbetaling blandt de ledige, der var berettiget til det.
Tabel A.1: Sammenhæng mellem baggrundsvariable og sandsynligheden for at modtage
jobpræmie, kontanthjælpsgruppen.
Variabel
KoefficientStd. dev.
Mand
0,0041
0,0108
Alder, år
-0,0036
0,0005
Vestlig indvandrer/efterkommer
-0,0186
0,0277
Ikke vestlig indvandrer/efterkommer
-0,0749
0,0137
Gift
0,0533
0,0127
Gymnasiel
0,0254
0,0210
Faglært
0,0638
0,0128
Kort videregående uddannelse
0,0751
0,0301
Mellemlang videregående uddannelse
0,0822
0,0210
Lang videregående uddannelse
0,0893
0,0277
Beskæftigelsesgrad seneste år
0,4779
0,0291
Beskæftigelsesgrad 1-2 år siden
0,0237
0,0403
Beskæftigelsesgrad 2-3 år siden
0,0662
0,0273
Beskæftigelsesgrad 3-4 år siden
0,0176
0,0278
Beskæftigelsesgrad 4-5 år siden
0,0498
0,0280
Beskæftigelsesgrad 5-6 år siden
0,0144
0,0258
Anciennitet seneste 3 år, uger
-0,0001
0,0003
Anciennitet seneste 6 år, uger
0,0002
0,0001
Branche landbrug, skovbrug, fiskeri
0,0797
0,0684
Branche industri, råstof, forsyning
0,0787
0,0525
Branche bygge-anlæg
0,0901
0,0544
Branche handel og transport
0,0980
0,0499
Branche information og kommunikation
0,0675
0,0655
Branche finans og forsikring
0,1717
0,0851
Branche Erhvervsservice
0,0901
0,0507
Branche offentlig
0,0509
0,0499
Branche kultur
0,1011
0,0562
Branche anden
0,0740
0,0552
Branche mangler (ingen beskæftigelse)
-0,1114
0,0508
Lønindkomst 2015, DKK
0,0000
0,0000
Gennemsnitlig lønindkomst 2010-2014, DKK
0,0000
0,0000
Arbejdsmarkedsparat kontanthjælpslignende ydelse
0,2558
0,0135
Ressourceforløb
-0,2442
0,0331
Jobafklaring
-0,1239
0,0198
Sygedagpenge
0,0529
0,0182
Anm: Sandsynligheden for at modtage jobpræmie er estimeret i en lineær sandsynlighedsmodel. Koefficienter
med fed angiver signifikant forskellig fra 0 på et 95% signifikansniveau.
27
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0028.png
Tabel A.2: Sammenhæng mellem baggrundsvariable og sandsynligheden for at modtage
jobpræmie, dagpengemodtagere.
Variabel
Mand
Alder, år
Vestlig indvandrer/efterkommer
Ikke vestlig indvandrer/efterkommer
Gift
Gymnasiel
Faglært (ref)
Kort videregående uddannelse
Mellemlang videregående uddannelse
Lang videregående uddannelse
Beskæftigelsesgrad seneste år
Beskæftigelsesgrad 1-2 år siden
Beskæftigelsesgrad 2-3 år siden
Beskæftigelsesgrad 3-4 år siden
Beskæftigelsesgrad 4-5 år siden
Beskæftigelsesgrad 5-6 år siden
Anciennitet seneste 3 år, uger
Anciennitet seneste 6 år, uger
Branche landbrug, skovbrug, fiskeri
Branche industri, råstof, forsyning
Branche bygge-anlæg
Branche handel og transport
Branche information og kommunikation
Branche finans og forsikring
Branche ejendoms
Branche Erhvervsservice
Branche offentlig
Branche kultur
Branche anden
Lønindkomst 2015, DKK
Gennemsnitlig lønindkomst 2010-2014, DKK
A-kasse
Socialpæd. Landsdæk.
3F
FOA
Danmaks Læreres Fælles
Det Faglige Hus
Metalarbejdernes
Nærings- og Nydelsesmiddelarbejdernes
El-fagets
Byggefagenes a-kasse
HK/Danmarks
Min A-kasse
Ledernes
Teknikernes
Kristelig
Danske Sundhedsorg.
Børne- og U.pæd. Landsd.
Frie funktionærer
Akademikernes
Magistrenes
Funktionærer og Tjenestemænds Fælles
Selvstændige Erhvervsdrivende
CA
Koefficient Std. dev.
-0,0198
0,0134
-0,0090
0,0007
0,0238
0,0245
0,0246
0,0179
-0,0111
0,0133
0,0671
0,0293
0,0324
0,0171
0,0351
0,0281
0,0198
0,0264
0,1010
0,0306
0,3591
0,0485
0,1211
0,0492
0,0509
0,0278
-0,0424
0,0299
0,0347
0,0302
-0,0133
0,0268
-0,0001
0,0005
0,0005
0,0002
0,0941
0,0852
0,2002
0,0479
0,2458
0,0604
0,2036
0,0452
0,1585
0,0542
0,1119
0,0590
0,2173
0,0666
0,2123
0,0454
0,1950
0,0454
0,2176
0,0517
0,1601
0,0534
0,0000
0,0000
0,0000
0,0000
0,0730
-0,0220
-0,0380
-0,0507
0,0255
-0,1221
0,0755
0,0741
-0,1116
-0,0423
-0,0519
0,0247
0,0322
-0,0052
0,0792
0,0111
0,0190
-0,0611
-0,0350
-0,0309
0,0207
-0,0667
0,0711
0,0480
0,0513
0,0701
0,0522
0,0645
0,0765
0,1585
0,1355
0,0477
0,0533
0,0579
0,0617
0,0483
0,0964
0,0590
0,0641
0,0490
0,0547
0,0510
0,0506
0,0549
Anm: Sandsynligheden for at modtage jobpræmie er estimeret i en lineær sandsynlighedsmodel. Koefficienter
med fed angiver signifikant forskellig fra 0 på et 95% signifikansniveau.
28
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0029.png
APPENDIKS B: UDFORDRINGER I FORBINDELSE MED
ANCIENNITETSKRAVET OG REGRESSION DISCONTINUITY
ANALYSER
9.2.1
Kort om Regression Discontinuity Design
Vi lagde i tilbuddet op til, som en benchmark effektmåling, at måle effekten af jobpræmieordningen
for langvarigt ledige med præcis samme metode som Kolodziejczyk og Arendt (2017), i et regression
discontinuity design. Her udnyttes akkumulerede data om beskæftigelse/ydelse for
de snævre
målgrupper og de snævre sammenligningsgrupper
til at vurdere, om adgangen til en jobpræmie
har
påvirket beskæftigelsessituationen for denne selektive gruppe i de 24 måneder, hvor ordningen
har været i kraft.
Analyserne kan foretages både økonometrisk og illustreres grafisk. Der må
påregnes relativt lav statistisk styrke i denne type analyse grundet en forventning om at forholdsvist
få borgere befinder sig i disse grupper samt en forventning om forholdsvist lave afgangsrater til
beskæftigelse.
Formelt defineres RDD effekten (se fx Hahn m.fl., 2001)
4
som
Δ
=
��������
[
��������
��������
(
��������
= 1)
− ��������
��������
(
��������
= 0) |
��������
��������
=
��������̅
]
,
hvor
Δ
er effekten af af jobpræmie-ordningen i forsøgsperioden.
��������
��������
angiver beskæftigelsesgraden i
forsøgsperioden, og
D=1
angiver personer i den snævre målgruppe, mens
D=0
angiver personer i den
snævre sammenligningsgruppe.
X
angiver tærskelvariablen, altså antal uger på offentlig ydelse i
kvalifikationsperioden.
��������̅
angiver således tærskelværdien på de 47 (71) ugers ydelse. Denne
benchmark evaluering har forholdsvist stor intern validitet, forudsat at designkriterierne er opfyldt.
Som vi viser i tabel 5.2 og 5.3 – og som det uddybes ovenfor, så er det ikke tilfældet. Derfor er denne
estimator ikke forfulgt yderligere i indeværende rapport.
Som vist i tabel 5.2 og 5.3 er der store ubalancer i de forklarende variable. For
kontanthjælpsgruppen er problemet tilsyneladende, at det at have 47-49 ugers anciennitet ud af de
seneste 52 uger er meget almindeligt, også for personer som er i gang med længere
kontanthjælpsforløb (måske på grund af ferie, korte sanktioner el. lign.), se også Appendiks D.
Ubalancerne er yderligere eksemplificeret i figur B1 herunder for to variable for
4
Hahn, J., P. Todd og W. Van Der Klaauw (2001). Identification and estimation of treatment effects with a
regression-discontinuity design. Econometrica 69: 201–209.
29
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0030.png
kontanthjælpsgruppen; Antal ugers anciennitet de seneste 6 år (øverst) og andelen af
aktivitetsparate kontanthjælpsmodtagere (nederst).
Figur B1: RD plots af anciennitet beregnet de foregående 6 år for kontanthjælpsgruppen og af
andelen af aktivitetsparate kontanthjælpsmodtagere i gruppen.
190
140
-2
Anciennitet seneste 6 år, uger
150
160
170
180
-1
0
Anciennitet
1
Polynomial fit of order 1
2
Sample average within bin
.35
-2
Aktivitetsparat kontanthjælpsmodtager
.4
.45
.5
.55
-1
0
Anciennitet
1
Polynomial fit of order 1
2
Sample average within bin
Bemærk, at ancienniteten er reskaleret, således at den er nul for personer i den snævre målgruppe
med 47 ugers anciennitet og 0 for personer i den snævre sammenligningsgruppen med 46 ugers
anciennitet. Figuren viser, at de store ubalancer også findes ved grænseværdien og at forskellene er
statistisk signifikante (de skraverede områder udgør et 95 procents konfidensinterval).
30
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0031.png
9.2.2
Kontanthjælpsgruppen
I figur B2 vises et plot af beskæftigelsesgraden i jobpræmieperioden opdelt på anciennitet omkring
tærskelværdien på 46/47 uger (reskaleret til nul som i foregående figur). Der ses en stor negativ
effekt, som altså må formodes at være påvirket af de store ubalancer vist i tabel 5.2 og
eksemplificeret i figur B1. Derfor er disse effekter ikke pålidelige.
Figur B2: RD effekter for kontanthjælpsgruppen uden forklarende variable.
.26
.16
.18
Beskæftigelsesgrad
.2
.22
.24
-2
-1
0
Anciennitet
1
2
Når vi foretager analyser med et regression discontinuity design er en forudsætning således, at der
ikke sker et hop i nogle af de øvrige forklarende variable omkring diskontinuiteten i ’the running
variable’. Dette er
ikke
opfyldt i det anvendte datamateriale, hvorfor en RD estimation ikke giver
pålidelige skøn over effekten af jobpræmie indsatsen. Resultaterne fra en RD regressionsanalyse er
alligevel vist i tabel B3 som dokumentation, både med og uden kontrolvariable. Det ses, at når der
ikke medtages kontrolvariable, så sker der et fald i beskæftigelsesgraden på godt 4%-points i de 24
måneder indsatsperioden varer, mens faldet de efterfølgende 10 måneder er endnu større, på godt
6%-points. Når der tages højde for de øvrige forskelle på borgerne på hver side af diskontinuiteten –
ved, sammen med tærskelvariablen, at inkludere alle variablene i tabel 5.2 i regressionen – bliver
effekten væsentligt mindre og statistisk insignifikant i indsatsperioden, mens den stadig er
signifikant negativ de 10 måneder efter indsatsperioden.
31
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0032.png
Tabel B3: Effekt af jobpræmie for kontanthjælpsgruppen, RD design.
Koefficient
Effekt i indsatsperioden
-Uden kontrolvariable
-4,22
-Med kontrolvariable
-1,64
Effekt april 2019-januar 2020
-Uden kontrolvariable
-6,38
-Med kontrolvariable
-4,20
Standard fejl
1,57
1,35
1,83
1,68
Som vist i tabel 5.1 er der et antal personer i kontrolgruppen, som med deres beregnede anciennitet
burde have haft adgang til jobpræmieordningen, men som ikke fik det. Tilsvarende er der nogle få,
som havde adgang til ordningen, som ikke burde have haft det. Denne information kan udnyttes i et
fuzzy RD design, som er en slags instrument-variabel teknik. Her udnyttes det faktum, at
sammenhængen mellem diskontinuiteten i ’the running variable’ og adgang til jobpræmieordningen
ikke er perfekt, men at diskontinuiteten forøger sandsynligheden for at være omfattet. Her
estimeres, som beskrevet i metode afsnittet, en to-trins model.
I figur B4 vises de data, som ligger til grund for trin 1, hvor der ses et hop i
deltagelsessandsynligheden på omkring 65-70%-points ved diskontinuiteten.
Figur B4: Adgang til jobpræmieordning som funktion af den genberegnede anciennitet,
kontanthjælpsgruppen.
0
Andel som fik tilbudt jobpræmie
.2
.4
.6
.8
-2
-1
0
Anciennitet
1
2
I figur B5 vises ændringen i beskæftigelsesgraden omkring diskontinuiteten, når alle personer fra
tabel 5.2 medtages (både de røde og sorte fra tabellen), og i tabel B2 vises resultaterne fra to-trins
estimation af effekten af jobpræmieordningen.
32
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0033.png
Figur B5: FRD effekt uden forklarende variable.
.26
.18
Beskæftigelsesgrad
.2
.22
.24
-2
-1
0
Anciennitet
1
2
Figuren viser nu ikke længere et signifikant fald i beskæftigelsesgraden ved diskontinuiteten. Det
skyldes, at de personer, som har en genberegnet anciennitet på 47-49 uger, men som ikke var
omfattet af jobpræmieordningen, har relativt høj beskæftigelse, som trækker niveauet op for denne
gruppe. I denne model er alle de estimere effekter stadig negative, men nu er ingen af dem statistisk
signifikante.
Tabel B2:
Effekt af jobpræmieordningen for kontanthjælpsmodtagere, FRD design.
Koefficient
Effekt i indsatsperioden
-Uden kontrolvariable
-2,22
-Med kontrolvariable
-1,27
Effekt april 2019-januar 2020
-Uden kontrolvariable
-3,45
-Med kontrolvariable
-2,53
Standard fejl
1,33
1,48
1,92
1,82
9.2.3
Dagpengegruppen
Figur B6 viser et plot af beskæftigelsesgraden i jobpræmieperioden opdelt på anciennitet omkring
tærskelværdien på 70/71 uger for dagpengegruppen (reskaleret til nul efter samme princip som for
kontanthjælpsgruppen). Der ses en insignifikant negativ effekt, som altså må formodes at være
påvirket af de forholdsvist store ubalancer vist i tabel 5.3.
33
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0034.png
Figur B6: RD effekter for dagpengegruppen uden forklarende variable.
.5
.4
.42
Beskæftigelsesgrad
.44
.46
.48
-4
-2
0
Anciennitet
2
4
I tabel B3 vises effekten af jobpræmieordningen, som beregnet i et RD design med og uden
kontrolvariable. Der findes ingen signifikante effekter.
Tabel B3: Effekt af jobpræmieordningen for dagpengemodtagere, RD design.
Koefficient
Effekt i indsatsperioden
-Uden kontrolvariable
-2,19
-Med kontrolvariable
-0,20
Effekt april 2019-januar 2020
-Uden kontrolvariable
0,90
-Med kontrolvariable
2,91
Standard fejl
2,45
2,36
2,92
2,82
I figur B7 vises andelen, som rent faktisk var omfattet af jobpræmieordningen, og det ses at også her
ville et fuzzy RD design være muligt.
34
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0035.png
Figur B7: Adgang til jobpræmieordning som funktion af den genberegnede anciennitet,
dagpengegruppen.
1
0
-4
Andel som fik tilbudt jobpræmie
.2
.4
.6
.8
-2
0
Anciennitet
2
4
Effekten af jobpræmieordningen for dagpengegruppen, baseret på et FRD design er herefter vist i
tabel B4 med og uden kontrolvariable. Der findes ingen signifikante effekter.
Tabel B4: Effekt af jobpræmieordningen for dagpengemodtagere, FRD design.
Koefficient
Effekt i indsatsperioden
-Uden kontrolvariable
-1,15
-Med kontrolvariable
-1,08
Effekt april 2019-januar 2020
-Uden kontrolvariable
3,77
-Med kontrolvariable
2,83
Standard fejl
4,63
4,52
5,49
5,39
35
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0036.png
APPENDIKS C: METODE OG BALANCEPLOT
Propensity score matching metoden er en statistisk metode, som identificerer en
sammenligningsgruppe af personer, som på basis af alle relevante karakteristika, der kan findes i de
administrative registre, tilnærmelsesvist har samme beregnede sandsynlighed for at være berettiget
til jobpræmie-ordningen som deltagerne, men som ikke var det. Herved sikres også, at
deltagergruppen og sammenligningsgruppen tilnærmelsesvist balancerer på de anvendte
observerbare karakteristika. Ved at sammenligne de valgte udfaldsmål blandt deltagerne i
jobpræmieordningen med den konstruerede sammenligningsgruppe opnås et mål for effekten af at
være omfattet af jobpræmieordningen.
Metoden har visse fordele, men også en række udfordringer. Fordelene er, at metoden er relativt
enkel at anvende, og at den intuitivt giver mening; der dannes en matchet sammenligningsgruppe,
som på alle observerbare karakteristika minder om deltagergruppen.
Dens ulemper består i, at validiteten af effektanalysen er afhængig af, at data om alle de forhold,
som påvirker selektionsprocessen og den afhængige variabel, kan inkluderes i den statistiske
analyse.
5
Kun herved kan der dannes en tilstrækkeligt god sammenligningsgruppe. Oftest vil kun
nogle af de faktorer, som er medvirkende til, at nogle personer deltager i indsatsen og andre ikke
gør, være observerbare.
I indeværende analyse er problematikken, at der er en enkelt variabel; den beregnede anciennitet,
som driver selektionen 100% (principielt). Derfor kan der ikke opnås et perfekt match, hvis denne
inddrages i matching analysen. Man kunne principielt godt gøre det ved at inkludere de personer,
som har 47-49 ugers og 71-78 ugers anciennitet i henholdsvis kontanthjælpsgruppen og
dagpengegruppen, men så ville man få meget små sammenligningsgrupper og ret dårlige matches.
Vi har i stedet valgt at matche på alle øvrige variable i tabel 5.2 (for kontanthjælpsgruppen) og tabel
5.3 (for dagpengegruppen). Herved matches både på nylige og længerevarende
beskæftigelseshistorik og anciennitet, blot ikke på den variabel, som har givet anledning til hele
problematikken. En grund til at dette ikke vurderes at give anledning til store problemer er, at der
netop ikke er nogen individuel selv-selektion; normalt, når man evaluerer effekten af en indsats, har
personen eller en sagsbehandler besluttet deltagelsen, og dette kan ofte afhænge af variabel, som
er uobserverede for evaluator (fx evner, motivation osv.). I indeværende evaluering er der ingen
selvselektion, idet deltagelse er baseret på en tærskelværdi.
Vi anvender nearest neighbor matching med tilbagelægning, én nearest neighbor og en common
support restriktion. Analyserne er udført ved hjælp af ’teffects psmatch’ proceduren i STATA. Der
Dette kaldes i litteraturen blandt andet ’selection
on observables’,
’the
conditional independence assumption’
eller ’unconfoundedness’.
5
36
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0037.png
matches på alle variable inkluderet i tabel 5.2 og 5.3 for henholdsvis kontanthjælps- og
dagpengegruppen. Alle observationer angivet i tabel 5.1 anvendes i estimationerne, også de med
rødt.
Balancetests er for begge grupper yderst tilfredsstillende, i ingen af tilfældene er der ubalancer større
end +/- 0,05 standardafvigelser på nær for en enkelt variabel i dagpengegruppen, som er på 0,09,
hvilket må siges at være yderst tilfredsstillende. Balanceplots før og efter matching er vist i figur C1.
Figur C1: Balanceplots for propensity score matching, nearest neighbor med tilbagelægning, de
snævre målgrupper og sammenligningsgrupper
Kontanthjælpsgruppen
Balance plot
Raw
3
Matched
Density
0
0
1
2
.5
1
0
.5
1
Propensity Score
control
treated
Dagpengegruppen
Balance plot
Raw
2
Matched
Density
0
0
.5
1
1.5
.5
1
0
.5
1
Propensity Score
control
treated
37
 BEU, Alm.del - 2020-21 - Bilag 184: Orientering om Metricas evaluering af jobpræmieordningen, fra beskæftigelsesministeren
2338687_0038.png
APPENDIKS D: ANCIENNITETSBEREGNING OG PLACEBO
UDVÆLGELSE
Genberegnet anciennitet:
For at kunne anvende det påtænkte evalueringsdesign, som var et regression discontinuity design, er
vi nødt til at have en målgruppe og en sammenligningsgruppe, som er udvalgt ud fra ensartede
kriterier og hvor anciennitetsvariablen – den løbende variabel, som definerer diskontinuiteten
(mellem henholdsvis 46 og 47 uger for kontanthjælpsgruppen og 70 og 71 uger for
dagpengegruppen) - er udregnet på en ensartet vis. Vi har derfor, som nævnt, valgt at genberegne
ancienniteten for alle personer i DREAM.
Anciennitetsberegningen er foretaget ved i DREAM at optælle antal uger med en af de relevante
ydelser i uge 50 2015 til uge 48 2016 (for kontanthjælpsgruppen) og uge 24 2015 til uge 48 2016 (for
dagpengegruppen).
Kvalitet af det genberegnede anciennitetsmål: Når den oprindelige anciennitetsvariabel regresseres
mod den genberegnede anciennitetsvariabel for personer i målgruppen for kontanthjælpsgruppen
opnås en koefficient på 0.96 (t=119), og korrelationskoefficienten er 0,8 (R
2
=0,64). Koefficienten
skulle ideelt være 1, men dette vurderes at være tilstrækkeligt tæt på. For dagpengegruppen opnås
en koefficient på 0,87 (t=88) og korrelationskoefficienten er også for denne gruppe 0,8 (R
2
=0,64).
Placebo data udvælgelse:
For at være sikre på at der ikke er gået noget galt i udvælgelsen af data har vi foretaget en ’placebo’
data udvælgelse: Hvis vi foretager præcis samme udvælgelse for samme ydelses- og anciennitetskrav
baseret på uge 48 i 2015 får vi 6844 og 9695 i henholdsvis den snævre sammenlignings- og
målgruppe for kontanthjælpsgruppen og 4231 og 6997 for dagpengegruppen, altså endnu større
ubalancer. Dette kunne indikere, at gruppernes størrelser afspejler årligt gentagne sæsonmæssige
variationer i tilgangen til ydelsesgrupperne.
Vi har imidlertid også forsøgt at foretage samme udvælgelse i andre uger af 2016 (i marts, maj,
august) med samme manglende balance for kontanthjælpsgruppen. Det kunne indikere, at det er
selve anciennitetsafgrænsningen som giver anledning til problematikken i den forstand, at nogle
personer med 47-49 ugers anciennitet gennem de seneste 52 uger ’blot’ har 3-5 ugers ’hul’ i et
længerevarende kontanthjælpsforløb, måske på grund af ferie, kortvarige jobs, sanktioner eller
andet. Disse 3-5 ugers hul er ofte, men ikke altid, placeret i sommermånederne. For
dagpengegruppen er mønsteret ikke helt så tydeligt, her ser det primært ud til at være
sæsonvariationen, som er årsag til problemet.
38