BEU, Alm.del - 2020-21 - Bilag 421: Orientering om indstilling af registeranalyse om beskæftigelseseffekterne af digitale samtaler, fra beskæftigelsesministeren

Beskæftigelsesudvalget 2020-21
BEU Alm.del Bilag 421
Offentligt

Relative effekter af

digitale versus fysiske

samtaler

Michael Rosholm

Michael Svarer

Rapport

September 2021

BEU, Alm.del - 2020-21 - Bilag 421: Orientering om indstilling af registeranalyse om beskæftigelseseffekterne af digitale samtaler, fra beskæftigelsesministeren

INDHOLDSFORTEGNELSE

INDLEDNING

DATAGRUNDLAG

STATISTISK METODE

DISKUSSION AF ANALYSERNES VALIDITET

LITTERATURLISTE

BEU, Alm.del - 2020-21 - Bilag 421: Orientering om indstilling af registeranalyse om beskæftigelseseffekterne af digitale samtaler, fra beskæftigelsesministeren

INDLEDNING

Brugen af samtaler som en del af den aktive arbejdsmarkedspolitik har igennem mange år været en

central del af indsatsen for at hjælpe ledige i stabil beskæftigelse. I takt med stigende digitalisering

generelt i samfundet, og fremskyndet af Covid‐19 pandemiens behov for at reducere fysisk samvær,

har brugen af digitale samtaler som et supplement eller erstatning for fysiske samtaler været

stigende.

I forhold til at vurdere om det også fremadrettet, og i en verden uden afstandskrav, vil være

ønskeligt med større brug af digitale samtaler er det relevant at belyse om effekten af digitale

samtaler afviger fra fysiske samtaler.

I denne rapport er det på baggrund af erfaringer med både fysiske og digitale samtaler før og under

Covid‐19 perioden forsøgt belyst, hvad effekten af de to samtaleformer er på afgangsraten til

beskæftigelse.

Tidligere internationale og nationale evalueringer af brugen af samtaler viser, at der typisk er en

positiv effekt på afgangsraten til beskæftigelse. Rosholm (2014) og Maibom, Rosholm & Svarer

(2017) gennemgår litteraturen på området detaljeret og viser, at 30 af 37 studier finder signifikant

positive effekter af samtaler, mens de resterende syv er insignifikante.

Det er eksempelvis fundet meget tydeligt i det randomiserede forsøg Hurtig i gang 2, der viste, at

intensive individuelle samtaler tidligt i et ledighedsforløb havde en markant positiv effekt på

afgangsraten til beskæftigelse.

Tilsvarende positive effekter af samtaler på danske data er påvist

baggrund af en register‐baseret effektevaluering

Med hensyn til relative effekter af digitale og fysiske samtaler er der ikke megen viden, men der er et

nyere svensk randomiseret studie af Cheung m. fl. (2019), der finder, at en indsats med flere

samtaler har en positiv effekt på afgangen til beskæftigelse. Det gælder både hvis samtalerne er

fysiske eller digitale, og der er ikke signifikante forskelle på de to samtaleformer.

Den relative effekt af digitale vs. fysiske samtaler er søgt belyst ved en registerbaseret

effektevaluering baseret på en såkaldt timing‐of‐events varighedsmodel.

For at vurdere om deltagelse i enten en fysisk eller digital samtale påvirker ledighedslængden er det

nødvendigt at kunne sammenligne dem, der deltager i samtalerne med nogen, der er

Se Maibom, J., M. Rosholm & M. Svarer (2017).

Se van den Berg, G., L. Kjærsgaard & M. Rosholm (2012).

Det er samme empiriske strategi som blev anvendt i van den Berg, Kjærsgaard & Rosholm (2012).

BEU, Alm.del - 2020-21 - Bilag 421: Orientering om indstilling af registeranalyse om beskæftigelseseffekterne af digitale samtaler, fra beskæftigelsesministeren

sammenlignelige på relevante karakteristika, men som ikke har deltaget i samtaler. I Hurtig i gang 2

forsøget var sammenligningsgrundlaget de, der ikke fik intensive samtaler fordi de var udvalgt til

kontrolgruppen, og det var således muligt at identificere effekten af samtaler. I den tidligere

nogen havde haft samtaler og andre ikke havde. Her var identifikation af effekten mulig, da der var

stor variation i hvornår ledige deltog i en samtale.

Det har under analysearbejdet vist sig, at der er en udfordring ved at identificere effekten af

samtaler, da den nuværende udformning af den aktive arbejdsmarkedspolitik i Danmark medfører,

at stort set alle ledige har hyppige samtaler allerede tidligt i ledighedsforløbet. Det indebærer, at det

er vanskeligt at finde personer, der ikke har haft samtaler – ud over dem, der undtages fra samtaler,

fordi de har allerede har fundet beskæftigelse, men endnu ikke er påbegyndt det nye job. Der er

således en stor risiko for, at de der ikke har registreret samtaler, og som derfor vil udgøre

sammenligningsgruppen, allerede har fundet beskæftigelse og dermed vil forlade ledighedsregistret

inden for få uger. Det vil give en skævhed i effekten af samtaler i en negativ retning.

Baseret på analyser af brugen af samtaler både umiddelbart inden og under Covid‐perioden er det

vurderingen, at den hyppige brug af samtaler medfører, at det ikke er muligt at identificere den

reelle effekt af at deltage i samtaler for ledige. Det implicerer også, at det ikke er muligt at

identificere den relative effekt af digitale og fysiske samtaler.

I den resterende del af denne afrapportering præsenteres kortfattet datagrundlag, metodevalg og

udvalgte figurer og resultater, der begrunder ovenstående konklusion.

BEU, Alm.del - 2020-21 - Bilag 421: Orientering om indstilling af registeranalyse om beskæftigelseseffekterne af digitale samtaler, fra beskæftigelsesministeren

DATAGRUNDLAG

Der er anvendt data fra DREAM samt et udtræk af samtaler leveret af STAR. Ydermere anvendes

information om lediges eventuelle deltagelse i det såkaldte a‐kasseforsøg for at rense de estimerede

effekter af samtaler for at nogle ledige deltager i a‐kasseforsøget

. Endelig anvendes information om

fritagelse for samtaler pga. snart foregående afgang til beskæftigelse. Vi definerer to perioder;

Covid‐perioden som løber fra og med juni 2020 til og med marts 2021, og perioden før, som løber fra

juni 2019 til marts 2020.

Tabel 1 viser antal ledighedsforløb, digitale og fysiske samtaler mv. for dagpengemodtagere og

jobparate kontanthjælpsmodtagere før og under Covid‐perioden. I den resterende del af dette notat

fokuseres på dagpengemodtagerne, da der er flest af disse, og da resultaterne for jobparate

kontanthjælpsmodtagere ikke afviger nævneværdigt herfra.

Tabel 1: Datagrundlag

I 41/40 jobcentre

Antal påbegyndte

ledighedsforløb

Antal samtaler

‐

Heraf digitale

‐

Heraf fysiske

Antal forløb med

mindst én samtale

Antal forløb med skift i

samtaletype

Figur 1 og 2 neden for viser, hvordan digitale og fysiske samtaler fordeler sig på ledighedsvarigheder

for dagpengemodtagere i de to perioder (under og før Corona).

Jobparate

kontanthjælpsmodtagere

Juni 2019‐marts Juni 2020‐marts Juni 2019‐marts Juni 2020‐marts

2020

2021

2020

2021

102.075

103.174

11.493

10.669

181.680

17.562

164.118

67.247

24.071

161.565

140.885

20.680

60.588

20.200

23.528

1.893

21.635

8.966

2.748

22.490

16.187

6.303

8.376

4.633

Dagpengemodtagere

A‐kasseforsøget er et 4‐årigt forsøg, hvor ni udvalgte a‐kasser har fået ansvaret for kontaktforløbet i

opsigelsesperioden og de første tre måneder af ledighedsforløbet for dagpengemodtagere.

BEU, Alm.del - 2020-21 - Bilag 421: Orientering om indstilling af registeranalyse om beskæftigelseseffekterne af digitale samtaler, fra beskæftigelsesministeren

Figur 1. Samtaleintensitet (andel med given type samtale blandt de fortsat ledige) efter

ledighedsvarighed, Covid‐perioden

Figur 2. Samtaleintensitet (andel med type samtale blandt de fortsat ledige) efter ledighedsvarighed,

før Covid‐perioden

Den samlede samtaleintensiteten er summen af de fysiske og digitale samtaler, og den ligger i begge

perioder omkring 0,15 i stort set hele observationsperioden, svarende til at der i snit afholdes en

samtale ca. hver 7. uge (1/0,15). Samtaleintensiteten af samtaler er således meget højere end i

tidligere danske og internationale evalueringer af samtaler.

Det bemærkes endvidere, at i Covid‐perioden er størstedelen af de afholdte samtaler digitale, mens

det i perioden før Covid forholder sig omvendt.

BEU, Alm.del - 2020-21 - Bilag 421: Orientering om indstilling af registeranalyse om beskæftigelseseffekterne af digitale samtaler, fra beskæftigelsesministeren

STATISTISK METODE

Effekten af forskellige typer samtaler (fysiske og digitale, hvor digitale kan underopdeles i telefoniske

og video/zoom samtaler) estimeres i en varighedsmodel med tilknyttede ligninger for selektion ind i

de to (tre) samtaletyper. En sådan model kaldes for en ’timing‐of‐events’ model, idet effekten af

samtaler identificeres af tilstedeværelse af eksogen variation i timingen af samtalerne. Ikke‐

parametrisk identifikation af modellens parametre er vist af Abbring & van den Berg (2003a, 2003b),

og modellens empiriske egenskaber analyseres af Gaure, Røed & Zhang (2007).

Afgangsraten fra ledighed til beskæftigelse beskrives ved følgende ligning:

��

hvor d

(t) og d

(t) er indikatorer for hhv. at have den m’te fysisk eller en digital samtale i en given

uge eller i en foregående uge. Effekten af en foregående samtale nulstilles, når der afholdes en ny

samtale. x(t) er et sæt potentielt tidsvarierende forklarende variable, og v

er et uobserverbart

stokastisk element – en random effect.

Funktionen





angiver således sammenhængen mellem afgang til beskæftigelse og henholdsvis

den lediges observerede karakteristika, x(t), og samtaledeltagelse, d(t). Den specificeres som

�� ½

��

hvor t‐t

m‐1

er tiden siden seneste samtale (t

m‐1

=0 hvis der er tale om første samtale, altså m=1).

Tiden fra den m—1’te til den m’te samtale (selektionsligningerne) kan modelleres som

��

for j=1,2. Dette korresponderer til den model, som blev estimeret ‐ for én universel type samtaler ‐

af van den Berg, Kjærsgaard & Rosholm (2012).

I denne analyse estimeres en marginalt simplere model, hvor kun selektionsligningerne ind i den

første samtale modelleres:

��

for j=1,2.

Modellens parametre estimeres ved hjælp af maximum likelihood. Parametrene i fordelingen for

random effects estimeres ikke‐parametrisk ved brug af Heckman‐Singer metoden.

BEU, Alm.del - 2020-21 - Bilag 421: Orientering om indstilling af registeranalyse om beskæftigelseseffekterne af digitale samtaler, fra beskæftigelsesministeren

DISKUSSION AF ANALYSERNES VALIDITET

De overordnede resultater for dagpengeberettige ledige viser, at der er signifikante negative

effekter af samtaler på afgangsraten til beskæftigelse, og at der ikke er signifikante forskelle på

fysiske og digitale samtaler. Effekterne er af en størrelsesorden, så de svarer til en reduktion af

afgangsraten til beskæftigelse på 9‐31 procent. Disse negative effekter er i direkte modstrid med alle

tidligere resultater både i danske og international kontekst, hvorfor det naturligvis bør overvejes,

hvad der kan ligge bag disse. Der er to muligheder; enten har beskæftigelsesindsatsen ændret sig

markant gennem det seneste årti på en måde, som har gjort samtaleeffekterne negative, eller også

er der forhold i data og/eller forhold ved beskæftigelsespolitikken, som bevirker, at resultaterne ikke

kan gives en kausal fortolkning. Dette diskuteres i det følgende.

Samtaleintensiteten er forøget markant siden 00’erne, således at alle ledige har hyppige samtaler

tidligt i ledighedsforløbet. Det er naturligvis ikke umuligt, at dette kan have ført til negative

samtaleeffekter, men det er i modstrid med den viden, der kom fra Hurtigt i gang 2 forsøget. Her var

indsatsen endnu hyppigere samtaler end det er tilfældet i den aktuelle arbejdsmarkedspolitik, og der

var som nævnt meget positive effekter på afgangsraten til beskæftigelse. På denne baggrund

vurderes det som mindre sandsynligt, at samtaleeffekterne reelt er stærkt negative.

Vi ser tre mulige årsager til, at de estimerede negative effekter skyldes bias:

Motivationseffekter i sammenligningsgruppen: Her er det værd at notere sig, at Rosholm

(2008) i en mediatoranalyse af Hurtigt i gang finder indikation for, at en stor del af effekten

af fysiske samtaler består af en motivationseffekt – det er altså udsigten til at skulle til fysisk

samtale, som giver en positiv effekt. Det indebærer, at ledige finder beskæftigelse inden de

skal til fysiske samtale som følge af udsigten til fx at skulle dokumentere sin jobsøgning.

Dette resultat understøttes af resultaterne fra et svensk lodtrækningsforsøg, hvor

indkaldelse til en fysisk samtale øger afgangsraten til beskæftigelse med 46 procent, se

Hägglund (2011). Et tilsvarende resultat findes også fra USA (Black m.fl., 2003). Alle disse

resultater stammer fra lodtrækningsforsøg, hvor det kun er deltagerne som udsættes for

mere intensive forløb. I indeværende analyse gælder imidlertid, at alle ledige skal deltage i

hyppige samtaler. De som reagerer på udsigten hertil ved at finde beskæftigelse inden

samtalen befinder sig således i sammenligningsgruppen, hvilket trækker effekterne af

afholdte samtaler nedad (fordi der ikke kan kontrolleres for motivationseffekten).

Manglende variation i timingen af samtaler: Hertil kommer, at det er svært at identificere

overordnede samtaleeffekter, da der er ikke megen variation i timingen af disse; 80% har

første samtale inden 10 ugers ledighed, og de resterende 20% er for en stor dels

vedkommende personer, som deltager i a‐kasseforsøget (hvilket der kontrolleres for). Da

’timing‐of‐events’ modellen lever af variation i timingen af samtaler er det derfor usikkert,

om den fundne variation er tilstrækkelig til at identificere egentlige samtaleeffekter.

Fritagelse for samtaler for personer på vej i job: Personer, som er på vej i job, kan fritages

for samtaler i op til seks uger inden jobbet påbegyndes. Vi har på forskellig vis forsøgt at

kontrollere herfor, hvilket reducerer de negative effekter en smule, men det kan tænkes, at

ikke alle registrerer, at de er på vej i job, hvorfor dette stadig vil give en bias i negativ

retning, hvis de alligevel undlader at booke samtaler.

BEU, Alm.del - 2020-21 - Bilag 421: Orientering om indstilling af registeranalyse om beskæftigelseseffekterne af digitale samtaler, fra beskæftigelsesministeren

Spørgsmålet er så, hvis vi ikke kan stole på de absolutte samtaleeffekter, kan vi så stole på resultatet

om at vi ikke finder signifikante forskelle på fysiske og digitale samtaler? Her må svaret åbenlyst

være nej. Dels er der formentlig selektion ind i forskellige typer samtaler, dels kan der være

forskellige motivationseffekter forbundet med de forskellige typer samtaler.

Konklusion på analyserne er derfor, at vi ikke kan konkludere noget om de relative effekter af

digitale samtaler.

LITTERATURLISTE

Abbring, J.; van den Berg, G. (2003a), “The Nonparametric Identification of Treatment Effects in

Duration Models,” Econometrica 71 (5), 1491–1517.

Abbring, J.; van den Berg, G. (2003b), “The identifiability of the mixed proportional hazards

competing risks model,” Journal of the Royal Statistical Society Series B 65 (3), 701–710.

Black, D. A., J. A. Smith, M. C. Berger & B.J. Noel, 2003. "Is the Threat of Reemployment Services

more Effective Than the Services Themselves? Evidence from Random Assignment in the UI system."

American Economic Review, 93, 1313‐1327.

Cheung, M., J. Egebark, A. Forslund, L. Laun, M. Rödin & J. Vikström (2019). ” Does job search

assistance reduce unemployment? Experimental evidence on displacement effects and

mechanisms”, IFAU Discussion Paper 2019:25.

Gaure, S.; Røed, K.; Zhang, T. (2007), “Time and Causality: A Monte Carlo assessment of the Timing‐

Of‐Events Approach,” Journal of Econometrics 141(2), 1159–1195.

Hägglund, P. (2011). “Are There Pre‐Programme Effects of Swedish Active Labour Market Policies?

Evidence from Three Randomized Experiments", Economic Letters, 112 (1), 91‐93

Maibom, J., M. Rosholm & M. Svarer (2017). ”Experimental Evidence on the Effects of Early Meetings

and Activation”, Scandinavian Journal of Economics, 119(34), 541‐570, 2017.

Rosholm, M. (2008). “Experimental Evidence on the Nature of the Danish Employment Miracle”. IZA

Discussion Paper no. 3620, IZA Bonn.

Rosholm, M. (2014). “Do case workers help the unemployed?” IZA World of Labor.

Van den Berg, G., Kjærsgaard, L. & Rosholm, M. (2012) “To meet or not to meet (your case worker) ‐

That is the question”. IZA Discussion Paper no. 6476, IZA Bonn.