BEU, Alm.del - 2022-23 (2. samling) - Bilag 34: Henvendelse af 20/1-23 fra Asbjørn Ammitzbøll Flügge, Ph.d.-studerende, Datalogisk Institut ved Københavns Universitet om erfaringer og forskning fra digitalisering i jobcentre (anmodning om foretræde)

Beskæftigelsesudvalget 2022-23 (2. samling)
BEU Alm.del Bilag 34
Offentligt

2022

Er du grøn?

Algoritmer til

beslutningsstøtte

i det offentlige

En kvalitativ undersøgelse af sagsbehandleres

praksis og brug af ASTA til proﬁlering af

nyledige dagpengemodtagere

Asbjørn Ammitzbøll Flügge, Datalogisk Institut, Københavns Universitet

Naja Holten Møller, Datalogisk Institut, Københavns Universitet

Thomas T. Hildebrandt, Datalogisk Institut, Københavns Universitet

Henrik Palmer Olsen, Det Juridiske Fakultet, Københavns Universitet

BEU, Alm.del - 2022-23 (2. samling) - Bilag 34: Henvendelse af 20/1-23 fra Asbjørn Ammitzbøll Flügge, Ph.d.-studerende, Datalogisk Institut ved Københavns Universitet om erfaringer og forskning fra digitalisering i jobcentre (anmodning om foretræde)

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Indholdsfortegnelse

Forord

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

En forundersøgelse og ”letvægts-audit” af ASTA

. . . . . . . . . . . . . . . . . . . . . .

Fakta om ASTA og andre typer ledighedsalgoritmer.

. . . . . . . . . . . . . . . . . . .

Sagsbehandlernes arbejdsgang.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Betydningen af COVID-19 for sagsbehandlernes arbejdsgang . . . . . . . . . . . . . 12

Foreløbige erfaringer med brug af ASTA

i Lyngby-Taarbæk Kommune jobcenter

. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Brug af ASTA i praksis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

Fire konkrete eksempler på udfordringer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

Værdien af ASTA til understøttelse af sagsbehandling . . . . . . . . . . . . . . . . . . . 18

Risiko ved ASTA for tab af faglighed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Opsummering

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Særlig tak til

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Litteraturliste.

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Bilag 1 – variabler i ASTA

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Bilag 2 – dialogspørgsmål

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Forord

Denne rapport er udarbejdet som en del af

forskningsprojektet PACTA (Public Administration

and Computational Transparency in Algorithms), og

bidrager med en undersøgelse af hvordan en teknologi

(algoritmer til pro lering af ledige), som bliver stadig

mere udbredt, anvendes i sagsbehandlerpraksis.

Undersøgelsen er støttet af Det Frie Forskningsråd,

og foretaget i samarbejde med Lyngby-Taarbæk

Kommune. Rapporten har to formål: For det første

formidler rapporten resultater af en kvalitativ

undersøgelse af sagsbehandleres (S1-S4) oplevelse

af at arbejde med ASTA - et pro lværktøj til

beslutningsstøtte der vurderer nylediges risiko for

langtidsledighed. Forskningsprojektet PACTA har

et mål om at bidrage med forskningsbaseret viden

om og til praksis: her via de kommuner som lige

nu tester ASTA og andre former for algoritmer til

beslutningsstøtte. Undersøgelen har fokus på hvordan

sagsbehandlerne forstår og oplever brugbarheden af

ASTA. Formålet er at belyse ASTA’s rolle og funktion

i kontekst af de konkrete sagsgange i kommunen og

derigennem også at afdække vilkårene for brug af

systemet. For det andet er formålet at give den brede

o entlighed en bedre forståelse af algoritmer som

bruges i den o entlige forvaltning, her illustreret

gennem brugen af ASTA. Algoritmer til at pro lere

ledige borgeres risiko for langtidsledighed er, eller har

været, i brug i en stribe europæiske lande, herunder

Sverige, Holland, Tyskland, Irland og Frankrig

(Styrelsen for Arbejdsmarked og Rekruttering, 2014)

samt Estland, Belgien, og Polen (AlgorithmWatch,

2020). I Danmark anvendes en lignende algoritme

”STAR-algoritmen”, som er implementeret nationalt

på Jobnet.dk, og den er ligeledes et pro lværktøj til

vurdering af risiko for langtidsledighed (Seidelin et

al. 2022). ASTA er taget i brug i en række kommuner,

herunder i Lyngby-Taarbæk Kommune siden

december 2020. Konkret beregner ASTA risikoen

for langtidsledighed for den enkelte ledige, som

kan være hhv. høj, middel og lav, som jobcentret i

Lyngby-Taarbæk Kommune ofte omtaler som rød

(høj), gul (middel) og grøn (lav). Den bagvedliggende

maskinlæringsmodel er beskrevet i overordnede træk

i denne rapport ved de 50 variable (Bilag 1), som var

implementeret på tidspunktet for undersøgelsen 2021.

IT-virksomheden Schultz, der udvikler værktøjet, har

uafhængigt af denne undersøgelse revideret modellen,

således at antallet af variabler forventes at blive skåret

ned til 30 variable (Schultz, 28.10.21).

De foreløbige tilbagemeldinger fra sagsbehandlerne,

som har bidraget til den kvalitative undersøgelse, er

opsummeret i nedenstående re punkter. Det er vigtigt

at påpege, at punkterne adresserer sagsbehandlernes

oplevelser af ASTA i forhold til deres egne subjektive

erfaringer. Det ligger uden for denne rapports formål

og sigte at konkludere på årsagerne.

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

For det første

oplever sagsbehandlerne, at antallet

af borgere, som ASTA kategoriserer som hhv. i lav,

middel og høj risiko, ikke stemmer overens med hvor

mange borgere, der ifølge sagsbehandlernes egne

erfaringer kommer hurtigt i job.

For det andet

oplever sagsbehandlerne, at der er sager,

hvor de ikke kan forklare, hvorfor borgerne bliver

risikovurderet, som de gør.

For det tredje

oplever sagsbehandlerne (og ledelsen),

at de ikke er vidende om, hvor præcis ASTA er m.h.t.

risikovurderingen af borgere.

For det erde

oplever sagsbehandlerne, at der er nogle

af de 50 variable som ASTA vurderer ud fra, der ikke

er gennemsigtige (dvs. deres betydning for vurderingen

er uklar), og i visse tilfælde i forhold til deres egne

erfaringer er irrelevante.

Det er ikke givet, at oplevelserne skyldes fejl i den

vurdering ASTA laver. De kan f.eks. også skyldes,

at sagsbehandlerne ikke er klædt godt nok på til at

anvende værktøjet, eller at der mangler funktionalitet

eller elementer, der kan øge sagsbehandlerens tillid

til værktøjets vurderinger - særligt i de tilfælde, hvor

vurderingerne afviger fra sagsbehandlernes egne

erfaringer. Det ligger udenfor denne undersøgelse at

konkludere på, om ASTA påvirker sagsbehandlernes

skøn, men ifølge sagsbehandlernes egne udsagn lader

det ikke til at være tilfældet. Ligeledes kan vi ikke

konkludere, om ASTA er bedre eller dårligere til at

forudsige borgernes risiko for langtidsledighed end

sagsbehandlerne.

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

En forundersøgelse og

”letvægts-audit” af ASTA

Som en del af PACTA , og i samarbejde med Lyngby-Taarbæk Kommune, er

undersøgelsen af sagsbehandlernes brug af ASTA inspireret af gryende forskning

indenfor ”cooperative audits” (Wilson et al. 2021). Helt grundlæggende er

pointen i ”cooperative audits” samarbejde som den primære strategi til at sikre en

ansvarlig brug af algoritmer. Der er ikke tale om en audit i denne rapport, hvor

udgangspunktet har været at beskrive sagsbehandlernes oplevelse med ASTA og

rapporten bidrager dermed med de første erfaringer med beslutningsstøtte fra et

praksisperspektiv. Et oplagt næste skridt er at lave en audit på den bagvedliggende

maskinlæringsmodel – også som et bidrag til den større debat, der pågår for

øjeblikket om muligheden for at bruge ”sandkasser” - såkaldte testmiljøer - til

at sikre demokratiske værdier, som ét bud på en Europæisk tilgang . Således har

Schultz, også løbende bidraget til nærværende undersøgelse, blandt andet med

interviews (Schultz, 27.04.21 og Schultz, 28.10.21), samt løbende dialog, hvilket

har været vigtigt for at forstå algoritmen.

Selve undersøgelsesdesignet har haft fokus på kvalitativt at beskrive eksempler på

sagsbehandlernes daglige arbejde med at ”risiko-vurdere” nyledige dagpengemod-

tagere, og tager ligesom lignende undersøgelser et praktiker-perspektiv (Flügge et

al., 2021). Fokus i udvælgelsen af eksempler til denne rapport er at skabe en bedre

forståelse af faktorer, som sagsbehandlerne oplever som centrale for værdien ved

værktøjet i det daglige arbejde. Som sådan kan undersøgelsen i samarbejde med

Lyngby-Taarbæk Kommune bruges som en “exemplifying” case (Bryman 2016).

Eksemplerne i rapporten kan med andre ord danne baggrund for dialog og en bedre

og mere en rig forståelse af både omstændighederne og konteksten for anvendelse

af den type beslutningsstøtte i den o entlige sektor, hvor skøn spiller en vigtig rolle

(Saxena et al., 2021). Skønnet er vigtigt i forhold til jobcentre, fordi de beslutnin-

ger der træ es, skal tage højde for individuelle forhold, som kan variere betydeligt

i gruppen af nyledige (Petersen et al., 2020). Beskæftigelsesområdet er lovmæssigt

et komplekst område. Helt centralt for jobcentrenes arbejde er LAB-loven (Lov en

aktiv beskæftigelsesindsats ), men beskæftigelsesområdet er også omfattet af regler

om bl.a. dagpenge, kontanthjælp, førtidspension, samt forvaltnings- og serviceloven.

Derudover er lovgivningen på dette område ændret årligt gennem politiske aftaler

1 https://jura.ku.dk/icourts/

research/pacta/

2 https:// https://pro.ing.dk/

datatech/holdning/ansvarlig-

ai-kraever-oeget-samarbejde-

om-udvikling-og-audit-af-

algoritmer

3 https://star.dk/

reformer/forenkling-af-

beskaeftigelsesindsats/

love-bekendtgoerelser-

og-vejledninger-for-

aftalen-om-en-forenklet-

beskaeftigelsesindsats/

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

de seneste 20 år . Det tilføjer et ekstra lag af kompleksitet i udviklingen af algorit-

mer til denne type af politisk ledede organisationer, som jobcentrene er.

Jobcentret i Lyngby-Taarbæk Kommune er i en ”pilotfase”, hvor man har afprøvet

ASTA siden december 2020 for at kunne danne sig erfaringer om værktøjet i praksis,

og for derefter at tage stilling til, om jobcentret vil fortsætte med at anvende værktøjet.

Dette har ligeledes været en vigtig ramme for samarbejdet med kommunen om un-

dersøgelsen. Undersøgelsen har taget udgangspunkt i følgende forskningsspørgsmål:

•

Hvilken rolle spiller ASTA i sagsbehandlernes daglige arbejde, og hvilken værdi-

og udfordringer oplever sagsbehandlerne ved brugen af værktøjet i arbejdet med

at vurdere nyledige dagpengemodtagere?

Ledelsen på jobcentret i Lyngby-Taarbæk Kommune har ikke været omdrejnings-

punktet for undersøgelsen, men den har bidraget med baggrundsviden om imple-

menteringen af ASTA. Blandt andet beskriver ledelsen formålet med ASTA som:

”Langt hurtigere at nde ud af, hvad det er for en indsats, den enkelte borger har

behov for” (Leder, 27.10). På den måde kan man fra et ledelsesperspektiv ideelt set

understøtte en bedre allokering af ressourcer. På den ene side, så man ikke ”spilder”

ressourcer på de ledige, der selv kommer i arbejde inden for 3 måneder, og på den

anden side, så der er ressourcer til de borgere, der har behov for en ekstra indsats. I

det ligger også at sikre rettidighed i samtalerne (6 samtaler i de første 6 måneders

ledighed), da kommunen ifølge ledelsen, inden ASTA blev implementeret, ikke af-

holdt nok samtaler med ledige borgere grundet ressourcemangel, som blandt andet

skyldtes sygdom blandt personalet (S3, 11.01.22).

Indsamling- og analyse af data

I alt baserer undersøgelsen sig på 16 interviews med 4 sagsbehandlere (S1-S4) i

perioden maj - oktober 2021, enten ”in situ” som en del af observationer (10 timer)

af sagsbehandlernes daglige arbejde i jobcentret i Lyngby-Taarbæk Kommune eller

som video-/telefoninterviews på grund af COVID-19 restriktioner. De 4 sags-

behandlere arbejder alle med forsikrede nyledige (dagpengemodtagere), og de er

udvalgt af jobcentret Lyngby-Taarbæk Kommune. Sagsbehandlerne har alle arbejdet

i jobcentret i mere end 2 år og har ere års erfaring (2 år – 20 år).

Indsamling og analyse af data er foregået sideløbende. Det overordnede spørgsmål

for forskningsprojektet PACTA er ”transparens” i det o entliges brug af algoritmer.

Analysearbejdet trækker på interpretive metoder (Olson and Kellog, 2014), dvs. at

feltnoter, citater og lign., er brugt til at underbygge forskellige temaer, som danner

baggrund for analysen, eksempelvis sagsbehandlernes brug af variablerne.

4 https://bm.dk/

arbejdsomraader/politiske-

aftaler/politiske-aftaler/

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Billeder fra det fysiske jobcenter

er bragt med tilladelse.

Da ledelsen i jobcentret i Lyngby-Taarbæk Kommune har udpeget de re

sagsbehandlere til at deltage, er det svært at sikre den enkeltes anonymitet. Vores

overvejelser om validering af resultaterne har især taget udgangspunkt i vigtigheden

af, at sagsbehandlerne skulle kunne ytre sig frit. Derfor, for at sikre størst mulig

frihed til at ytre sig og tryghed for sagsbehandlerne, er citater anonymiseret i

rapporten som S1-S4. De re sagsbehandlerne har undervejs haft mulighed for at

kommentere på, om eksempelvis ordlyden i et citat ville bryde anonymiseringen.

Først efter sagsbehandlerne har haft mulighed for at gennemlæse og kommentere et

færdigt udkast af rapporten, er resultaterne delt med ledelsen. Schultz har, udover

løbende dialog, bidraget med kommentarer til foreløbige udgaver af rapporten efter

undersøgelsen var afsluttet.

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Fakta om ASTA og

andre typer ledigheds-

algoritmer

ASTA kan betegnes som en AI-komponent til beslutningsstøtte, og er et

eksempel på det som med en fællesbetegnelse kan kaldes ”ledighedsalgoritmer”

(Flügge et al., 2021). Det er en komponent som kan tilkøbes som en del af

sagsbehandlingssystemet Fasit (udviklet af Schultz) som anvendes i jobcentre.

Ca. 2/3 af landets jobcentre anvender Fasit som deres fagsystem. Kun i de

kommuner der har tilkøbt ASTA, laver algoritmen en automatisk risikovurdering

af borgerens risiko for langtidsledighed. Algoritmen laver en statistisk udregning

af sandsynligheden for langtidsledighed, og der er derfor også en vis usikkerhed

forbundet med risikovurderingen. Vurderingen bliver lavet på baggrund af den

maskinlæringsmodel, som i 2021 baserede sig på 50 variable om borgeren (Bilag

1). ASTA indhenter automatisk data fra blandt andet kommunens fagsystem og

Det Fælles Data Grundlag . I alt laver ASTA re risikovurderinger pr. borger (høj,

middel, lav) – én hver uge i de første re ugers ledighed - som automatisk bliver

lagt på borgerens sag. Når ASTA har lavet en ny risikovurdering, modtager den

tilknyttede sagsbehandler en besked om, at der er en ny risikovurdering på borgeren,

som illustreret i

Figur 1.

5 https://star.dk/it/

saadan-arbejder-vi-med-

it-i-styrelsen/oversigt-

over-digitale-platforme-

for-eksterne-brugere/

styrelsen-for-arbejdsmarked-

og-rekrutterings-webservices-

og-wiki/webservices-til-dfdg-

det-faelles-datagrundlag/

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Figur 1

Figuren viser at ASTA på

baggrund af data fra forskellige

systemer og 50 variabler

kommer med en risikovurdering

(høj, middel, lav), som

lægges på borgerens sag og

sendes til sagsbehandleren

tilknyttet borgerens

sag. Konkret beregner

maskinlæringsmodellen en

risikoscore ud fra statistiske

mønstre på tværs af ledige

borgere, via historiske data om

ledighed, sat i forhold til den

enkelte borgers data.

Udover ASTA kan sagsbehandleren ligeledes få information om en borgers risiko

for langtidsledighed via Styrelsen for Arbejdsmarked og Rekrutterings (STAR)

pro lafklaringsværktøj, som er et andet eksempel på en ledighedsalgoritme (Seidelin

et al., 2022).

For både STAR og ASTA gælder, at den ledige modtager en række informationer

fra jobcentret, når man melder sig ledig på Jobnet.dk om, at der indhentes

information til brug for sagsbehandlingen.

Konkret adskiller STAR-algoritmen sig fra ASTA ved i udgangspunktet at være

frivillig at bruge for den ledige og sagsbehandleren. Forudsætningen for STAR

algoritmen er, at borgeren aktivt besvarer 10 spørgsmål i et spørgeskema på

Jobnet.dk, som ligger til grund for beregningen af risikoen for langtidsledighed.

Hos ASTA beregnes den lediges risiko automatisk på baggrund af data allerede

tilgængelig i diverse systemer (fagsystem, Det fælles datagrundlag, mv.) og

kategorierne for algoritmens pro lering er høj (rød), middel (gul), lav (grøn) risiko

for langtidsledighed, hvor kategorierne i STAR-værktøjet er i risiko eller ikke i risiko.

Langtidsledighed er de neret ved, at en borger har været ledig i minimum 80% af

tiden i en periode på 52 uger (Danmarks Statistik, 2020).

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Sagsbehandlernes

arbejdsgang

I jobcentret i Lyngby-Taarbæk Kommune har sagsbehandlerne adgang til at kunne

bruge ASTA som supplement til deres fagprofessionelle skøn i arbejdet med nyledige

dagpengemodtagere. Ledige kan i udgangspunktet visiteres til nedenstående

kategorier per 01/01/2020 (nedenfor), og det er i den forbindelse vigtigt at

bemærke, at ASTA kun er afprøvet i gruppen af nyledige dagpengemodtagere (6.1).

Almindelige ydelser

6.1. Dagpengemodtagere

6.2. Jobparate over 30 år

6.3. Aktivitetsparate over 30 år

6.4. Uddannelsesparate under 30 år

6.5. Aktivitetsparate under 30 år

Særlige ordninger

6.6. Sygedagpengemodtagere

6.7. Personer i jobafklaringsforløb

6.8. Personer i ressourceforløb

6.9. Personer visiteret til ﬂeksjob m.v.

6.10 Revalidender

6.11 Førtidspensionister

Ordninger uden ydelse som udgangspunkt

6.12. Selvforsørgende

6 https://www.cabiweb.

dk/media/3016/

onepager-maalgrupper-til-

print-08082019.pdf

6.13. Unge under 18 år

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

I forbindelse med implementering af ASTA er den lokale arbejdsgang i jobcentret

for håndtering af gruppen af nyledige dagpengemodtagere (6.1) ændret således,

at borgere som udgangspunkt skal vurderes ud fra ASTA’s anbefaling. Det har

betydning for to forhold. For det første, hvornår borgerne indkaldes til de

første samtaler med jobcentret og for det andet, hvilken aktivering borgeren

får tilbudt efter 1. samtale med jobcentret. Borgere i lav risiko tilknyttes et

onlineaktiveringsforløb på den digitale platform Candeno, et digitalt værktøj

med fokus på jobsøgning og CV-optimering. Borgere der vurderes i middel

eller høj risiko henvises til en personlig jobformidler som aktivering, hvor de,

jf. arbejdsgangen, skal have en samtale per uge. Både Candeno og personlig

jobformidler regnes som aktiveringsforløb, der dermed gør det muligt, at jobcentret

kan overholde aktiveringskravet, som skal indfries inden for seks måneder.

Det første møde man som ledig har med jobcentret er en ”fællessamtale” hvor

borgerens A-kasse også kan være med. Ofte deltager A-kassen dog ikke, da

A-kassen inden da allerede har haft et møde med borgeren, eksempelvis et fælles

informationsmøde for nyledige medlemmer hos A-kassen. Hvornår borgeren

bliver indkaldt til dette møde i jobcentret, afhænger af ASTA’s risikovurdering. Er

borgeren i kategorierne middel eller høj, altså gul eller rød, indkaldes borgeren efter

4-6 uger. Er borgeren i kategorien lav, dvs. grøn, indkaldes borgeren efter 6-8 uger.

I praksis bliver de ”grønne” ofte indkaldt tidligere end de 6-8 uger hvis der er ”plads

i kalenderen” (S3, 11.01.22). Det er altså ASTA’s vurdering, der i de første ugers

ledighed afgør, hvornår borgeren bliver indkaldt til fællessamtalen med jobcenteret,

hvor det er frivilligt for A-kassen at deltage. Det er på dette møde, 1. samtale, at

sagsbehandlerne i udgangspunktet skal lave en helhedsvurdering af borgeren på

bagrund af samtalen med borgeren og ASTA’s vurdering. Arbejdsgangen er beskrevet

ud fra interviews med de re sagsbehandlere, og illustreret i

Figur 2.

Afhængigt af

den konkrete sag kan der være afvigelser fra arbejdsgangen.

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Figur 2

illustrerer arbejdsgangen og

samspillet mellem ASTA og

sagsbehandlernes vurdering.

Fra ASTA’s risikovurderinger, der

afgør hvornår borgerne bliver

indkaldt, samt hvilken aktivering

af borgerne i udgangspunktet

bliver tilbudt. For gule og røde

er det personlig jobformidler,

som er et regulært møde-

forløb med ugentlige samtaler.

Borgere i grøn tilbydes

Candeno, et online aktiverings-

og jobsøgningsforløb.

Denne vurdering sker i

udgangspunktet på det 1.

møde mellem borger og

jobcenter.

Nyledige dagpengemodtagere, der efter 1. møde vurderes som værende grønne,

altså i lav risiko, af sagsbehandlerne, bliver som allerede nævnt ovenfor, tilknyttet

et online aktiveringsforløb i det digitale værktøj Candeno. Hvis sagsbehandleren

på dette møde vurderede borgerne som værende i lav risiko, så kunne de sætte en

indkaldefrist på 3 måneder, da jobcentret forventer, at dem der har en lav risiko,

også er dem der selv nder et arbejde indenfor 3 måneder. I praksis har dette dog

ikke været tilfældet. Borgerens indkaldefrist, altså hvornår de senest selv skal booke

næste møde med jobcentret, er oftere sat til 6-8 uger. Det skyldes ifølge S3, at der

ikke altid er tid til at tale om aktivering på første møde hvor A-kassen kan deltage,

hvorfor 3 måneder frem til næste møde er for lang tid (S3, 11.01.22). S4 påpeger

også, at på dette møde får borgeren en række informationer om bl.a. rettigheder og

pligter, og der er derfor ikke altid tid til at tale om aktivering.

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Derfor er det i nogle tilfælde først på 2. samtale, at sagsbehandlerne vurderer hvilken

aktivering borgeren vil have størst gavn af (S4, 17.01.22). For borgere i middel eller

høj risiko sættes fristen for selvbooking efter 1. samtale i udgangspunktet til 2 uger.

Hvis sagsbehandlerne

er uenige i ASTA’s

vurdering, er det

sagsbehandlernes

egen vurdering, der

afgør det videre

forløb efter 1. samtale

Hvis sagsbehandlerne er uenige i ASTA’s vurdering, er det sagsbehandlernes egen

vurdering, der afgør det videre forløb efter 1. samtale. En borger vurderet som ”mid-

del risiko” kan derfor godt tilknyttes online aktiverings- og jobsøgningsforløbet, hvis

sagsbehandleren ud fra sin helhedsvurdering mener, at det vil være mere relevant for

borgeren end personlig jobformidler.

Betydningen af COVID-19 for sagsbehandlernes arbejdsgang

Grundet COVID-19 blev de fysiske møder mellem de ledige og deres sagsbehand-

lere i en periode (april 2020) erstattet af telefoniske møder. Efterfølgende har der

været ere perioder, hvor de ledige skulle møde fysisk op på jobcentret, men i det

meste af april 2020 til januar 2022, har møder i udgangspunktet været telefoniske.

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Foreløbige erfaringer

med brug af ASTA i

Lyngby-Taarbæk Kommunes

jobcenter

I den resterende del af rapporten beskrives undersøgelsens resultater, herunder hvor-

dan sagsbehandlernes brug af ASTA ved håndtering af nyledige dagpengemodtagere

er forandret. Ud fra interviews med sagsbehandlerne fremgår det, at ASTA anvendes

til beslutningsstøtte som et supplerende værktøj til deres faglige vurdering.

Brug af ASTA i praksis

Med introduktionen af ASTA ændrede jobcentret arbejdsgangen for, hvordan man

arbejder med nyledige dagpengemodtagere. I udgangspunktet er dagpengemod-

tagere (6.1) jobparate, og derfor er der ikke fokus på eksempelvis den lediges

helbredsudfordringer, medmindre disse er tydelige eller borgerne selv nævner det

under de første samtaler. I arbejdsgangen skal sagsbehandlerne med det samme

foretage en helhedsvurdering af borgeren, med særligt fokus på borgerens risiko for

langtidsledighed.

Helhedsvurderingen understøttes af ASTA, da en variabel som eksempelvis

helbredsudfordringer er en del af de 50 variable (Bilag 1), der ligger til grund for

risikovurderingen. Sagsbehandlerne kan altid (men er ikke forpligtede til) overveje

de 50 variabler for at vurdere om en borger, der eksempelvis står som rød, og som

sagsbehandlerne ville forvente var grøn, har nogle helbredsudfordringer registreret i

fagsystemet (variabel nr. 12). Arbejdsgangen indebærer derfor, at sagsbehandlerne:

”tager aktivt stilling til, om de er enige med ASTA. Det betyder også, at de skal

tage stilling til, hvad er det her for en type borger” (Leder, 27.10). Med det menes

der, om sagsbehandleren vurderer, om borgeren selv og hurtigt nder et job, eller

om borgeren måske har brug for mere hjælp til at nde et job. ASTA skal derfor

være beslutningsunderstøttende for sagsbehandlerne i deres vurdering af, hvilket

aktiveringsforløb borgeren tilbydes som aktivering. Samtidigt betyder det, at de

borgere der er i den grønne kategori, får en længere frist for booking af næste møde

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

– typisk 6-8 uger. Borgere i den gule eller røde kategori får en indkaldefrist på ca.

2-4 uger (se

Figur 2).

De interviewede sagsbehandlere bruger ASTA som en del af deres daglige arbejde,

viser undersøgelsen. Med det mener vi, at sagsbehandlerne alle giver udtryk for, at

de orienterer sig i fagsystemet, om risikovurderingen af borgeren, og hvad denne er -

inden eller både inden og umiddelbart efter en samtale med borgeren. S3 siger: ”Jeg

kigger jo på den… det er indgroet i mig… jeg bruger den mere som en bekræftelse

eller det modsatte på, om jeg er enig” (S3, 26.10.21). S4 siger ”Det eneste jeg kigger

på er, om der er en og hvad den er” (S4, 26.10.21). Sagsbehandlerne ser altså på risi-

kovurderingen, eksempelvis ”borgers navn – Middel Risiko”, men dykker i udgangs-

punktet ikke ned i de enkelte variable. Det er der ere årsager til. Først og fremmest

er det ikke en del af arbejdsgangen at danne sig et overblik over hver enkelt variabel.

For det andet beskriver f.eks. S1, at de ikke har fået noget at vide om, hvordan de

skal bruge hver enkelt variabel. S4 forklarer under vores gennemgang af de 50 varia-

ble, at det er første gang S4 rigtigt forholder sig til dem. Sagsbehandlerne orienterer

sig om ASTA’s vurdering, fordi det er en del af deres arbejdsgang. S2 tilføjer, efter

at have læst første udkast af rapporten, at man som sagsbehandler: ”Slet ikke har

tid til at gennemgå 50 variabler” (S2, 11.01.22). Sagsbehandlerne skal inddrage

risikovurderingen af borgerne i deres egen vurdering af borgerne, men de er ikke

forpligtede til at følge ASTA’s vurdering. Altså må en borger som ASTA vurderer

som ”gul” godt henvises til Candeno, der ellers er forbeholdt borgere i ”grøn”, hvis

sagsbehandleren vurderer, at borgeren er i lav risiko for langtidsledighed. Selvom det

er sagsbehandlernes vurdering der er den afgørende, så kan de ikke i systemet ændre

på risikovurderingerne fra ASTA. Hvis sagsbehandlerne har en anden vurdering af

borgeren end ASTA, så skal sagsbehandleren skrive det på borgerens sag. Eksempel-

vis, for en borger kategoriseret som gul, at borgeren er tilbudt aktiveringsforløbet

Candeno. På den måde kan andre sagsbehandlere og ledelse ved at læse sagen se, at

her har sagsbehandleren en anden vurdering, uden at der speci kt står noget om

langtidsledighed eller ASTA. Ledelsen såvel som alle sagsbehandlerne understreger,

at det er dem, sagsbehandlerne, der skal træ e den endelige vurdering, samt at de

fra ledelsen har opbakning til dette.

Hvis sagsbehandleren er enig med ASTA, så følger sagsbehandleren ASTA’s vurde-

ring og tilknytter det relevante aktiveringstilbud til borgeren (illustreret

i gur 2).

Sagsbehandlerne nævner eksempler på, hvor de har været uenige i ASTA’s vurdering,

f.eks. hvorfor en borger som en sagsbehandler umiddelbart ser som grøn, bliver

vurderet som gul eller rød af ASTA, eller omvendt. Det kan eksempelvis være en

ledig håndværker (som der er stor efterspørgsel på) som er i rød ifølge ASTA. Hvis

det er tilfældet, søger S4 eksempelvis efter svar enten i forsørgelseshistorikken, dvs. i

”

Jeg kigger jo på

den… det er indgroet

i mig… jeg bruger

den mere som en

bekræftelse eller det

modsatte på, om jeg

er enig”

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

hvor lang tid har borgeren været på o entlig forsørgelse, eller om borgeren har hel-

bredsudfordringer registreret i fagsystemet (variabel 12). Hvis borgeren har været på

o entlig forsørgelse længe, eller har helbredsudfordringer, så er det ifølge alle sagsbe-

handlerne gode indikatorer på, at borgeren kan være i risiko for langtidsledighed.

ASTA skal som nævnt fungere som beslutningsstøttesystem. Heri ligger at

information fra ASTA skal inddrages i sagsbehandlingen, men ikke på en sådan

måde at ASTA i alle tilfælde bliver udslagsgivende for udfaldet af sagsbehandlingen.

Sagsbehandlerne skal altid foretage en samlet vurdering, hvor de både inddrager

ASTA og deres eget skøn. Alle re sagsbehandlere orienterer sig da også i ASTA’s

risikovurdering og inddrager den i deres vurdering, men det er ikke altid at de følger

ASTA’s anbefaling. S2 forklarer: ”Jeg kigger altid på risikovurderingen, det gør jeg.

Men det er ikke altid jeg følger dens anbefaling” (S2, 14.10.21). S3 uddyber, at hvis

en borger er vurderet som rød, men fortæller til mødet, at borgeren har en masse

jobsamtaler i gang, så vejer det tungere end ASTA’s vurdering, hvilket stemmer

overens med hvad ledelsen forudsætter (S3, 26.10.21). S2 forklarer, at grunden til

S2 er uenig med ASTA skyldes, at S2 ser ting, som ASTA ikke gør, og beskriver det

således: ”Noget af det vigtige er personlighed, men ASTA kan ikke se om en borger

er svært overvægtig eller lugter, eller om de virker sympatiske eller usympatiske. Det

er jo noget af det, der er afgørende for at få et job” (S2, 14.10.21). S4 understreger:

”Jeg følger den ikke altid [ASTA’s vurdering], det skal vi jo heller ikke. Vi skal

overrule den, hvis vi mener vores vurdering er anerledes end den ASTA giver” (S4,

26.10.21). Selvom arbejdsgangen med at tildele borgerne aktiveringsforløb (online

jobsøgning eller personlig jobformidler) er bundet op på ASTA’s vurdering, så er der

eksibilitet i arbejdsgangen. Sagsbehandlernes egen vurdering er den vigtigste.

Selvom arbejdsgangen og formålet med ASTA er klart, så nævner sagsbehandlerne

(f.eks. S3-S4), at den ikke tager højde for de borgere, som er i lav risiko for

langtidsledighed, og som sagsbehandlerne vurderer ikke har behov for Candeno,

f.eks. fordi de selv er meget aktive og allerede bliver indkaldt til samtaler. Samtidigt

nævner S3 og S4, at det er uklart hvordan man skal håndtere de borgere, som

ASTA vurderede som grønne, men som ikke nder et job inden for tre måneder.

Jobcentret har ikke et fuldt overblik over, hvor mange borgere det drejer sig

om, men det bliver ifølge ledelsen problematisk af to årsager: for det første fordi

borgeren for at opfylde kravene i lovgivningen skal have en masse samtaler på kort

tid. Og for det andet fordi borgeren ikke har fået det rigtige forløb, der passer til

deres behov. På trods af at ASTA umiddelbart bliver brugt af alle sagsbehandlerne,

så tegner der sig et billede af en vis skepsis i deres oplevelse af værdien og

brugbarheden af værktøjet i dets nuværende form. Nedenfor præsenteres de re

udfordringer, eller usikkerheder, som var mest fremtrædende under interviewene.

”

Jeg følger den

ikke altid [ASTA’s

vurdering], det skal

vi jo heller ikke.

Vi skal overrule

den, hvis vi mener

vores vurdering er

anerledes end den

ASTA giver”

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Fire konkrete eksempler på udfordringer

For det første

påpeger tre ud af re af sagsbehandlerne, at de mener at antallet af

borgere som ASTA kategoriserer som hhv. grøn, gul og rød ikke stemmer overens

med hvor mange borgere, der ifølge sagsbehandlernes egne erfaringer selv kommer

i job inden for 3 måneder. S3 nævner eksempelvis, at hvis jobcentret modtog 300

nyledige, så oplever S3 at ASTA kategoriserer ca. 20-25 som værende grønne eller

røde. Og altså 250 ud af 300 nyledige som gule. Det stemmer i sagsbehandlernes

optik ikke overens med sagsbehandlerens opfattelse af virkeligheden. Kort sagt er

der for få grønne og røde og for mange gule. Som S3 siger det ”Der er en kæmpe

ovevægt af de gule, og hvis de gule er hverken eller, så kan jeg ikke bruge systemet

til noget. Der skal være ere der kommer ud i yderkanterne. Grøn eller rød. Derfor

synes jeg ikke systemet kan bruges til særlig meget” (S3, 26.10.21). S2 siger:

”Der er mange gule, som ikke behøver at være gule. Og for få grønne også” (S2,

14.10.21). Dertil kommer, at der også er borgere som ASTA ikke vurderer. En af

sagsbehandlerne mener, at det primært er borgere i tresserne, som ikke kategoriseres,

muligvis fordi de nærmer sig pensionsalderen, men sagsbehandleren er ikke sikker.

Samtidigt er det uklart, hvordan sagsbehandlerne skal håndtere de borgere som

blev vurderet som grønne, og som derfor har haft færre samtaler med jobcentret de

første tre måneder, som ikke nder et arbejde inden for et halvt år, hvor det derfor

kan blive svært at overholde lovkrav om seks samtaler, og samtidigt gøre samtalerne

meningsfulde for borgeren.

For det andet

oplever sagsbehandlerne, at de nogle gange ikke kan forklare

hvorfor borgerne bliver kategoriseret som de gør. Altså, hvorfor den gigtplagede

og ordblinde ældre kvinde ifølge ASTA er grøn, når tømreren med to måneders

ledighed er gul? Sagsbehandlerne har formodninger om, hvorfor nogle grupper

af ledige, som umiddelbart ikke ifølge dem, burde være røde (eksempelvis

håndværkere) bliver vurderet som røde af ASTA. Det kan eksempelvis være en

håndværker med helbredsudfordringer og ”en meget mangelfuld joblog” (S3,

26.10.21). Hvis det er tilfældet, påpeger både S3 og S4, at det kan skyldes

sygdomshistorik eller et langt forsørgelsesforløb tidligere. Her skal det tilføjes, at

der generelt er enighed om at eksempelvis en borgers forsørgelsesforløb altid vil

være relevant at se på for at få en indikation af borgerens situation. Men som S2

understreger, så er en borgers chancer for at få et job og risiko for langtidsledighed

individuel, og svær at sætte på formel: ”Jeg har en tømrer fra et Østeuropæisk

land, med en pladslederuddannelse. Han har svært ved at få job på grund af

sprogbarrieren. Men der jo travlt på byggepladserne, så er han i stor risiko?”

(S2, 27.05.21).

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

For det tredje

er det ikke klart for sagsbehandlerne (eller ledelsen) hvor præcis

ASTA’s placering af borgere i kategorier er. Det vil sige, hvor mange procent af de

borgere som ASTA vurderer som hhv. grøn, gul eller rød, der rent faktisk ender

med at være den samme som vurderingen. Sagsbehandlerne ved altså ikke, om

ASTA eksempelvis er bedre til at identi cere røde eller grønne, end de selv er, eller

hvor sikre de kan være på, at ASTA’s vurdering af en borger er korrekt. Der er en

formodning om, at ASTA er bedre til at placere nyledige i den gule kategori fordi

der er ere (S3), men det er ikke en udbredt formodning. Ifølge Schultz er ASTA

bedst til at identi cere de grønne, (27.04.21) hvilket også er ledelsens opfattelse,

da ASTA ”[..] nder meget få af de grønne. Det er dem den er bedst til, men

også dem den nder færrest af. [..] Det er dagpengemodtagere det her, som per

de nition kommer fra et arbejde og står fuldt til rådighed. Det giver ikke mening,

vi har så få grønne” (S3, 26.10.21). Samtidigt siger andre (S2), at der er for mange

gule. Hvad der afgør, eller vejer tungest i den enkelte borgers situation, ville ifølge

sagsbehandlerne være relevant at vide, så de lettere selv kan vurdere, hvor meget de

skal læne sig op ad ASTA’s vurdering i den konkrete sag. S2 siger: ”Jeg ved ikke hvor

præcis ASTA er. Den kommer ikke med nogen forklaring af, hvor god den er til at

ramme rigtigt, og hvem siger hvad der er rigtigt?” (S2, 14.10.21).

For det erde

er ere af de 50 variabler som ASTA foretager sin vurdering ud fra,

ifølge sagsbehandlerne, ikke relevante set fra deres perspektiv. Det kan skyldes, at

sagsbehandlerne enten mener at en given variabel ikke er relevant for vurderingen

af, om borgeren er i risiko for langtidsledighed, eller fordi sagsbehandlerne ikke kan

forklare, hvordan variablen påvirker risikovurderingen. For eksempel, variablerne

2 og 3 om ”borger tillader at jobcentret sender borger e-mail/sms’er” er eksempler

på variabler som alle sagsbehandlerne anser som irrelevant ift. borgerens risiko

for langtidsledighed. Eller variabel 32, om ”borger bor i lejlighed”. To eksempler

på variabler som alle sagsbehandlerne fandt relevante, og som de allerede bruger

i dag er nr. ”18: Hvor mange geogra ske regioner har borger søgt jobs indenfor?”

eller nr. 49 ”Hvor mange joberfaringer har borger?”. Enkelte af de variabler, som

sagsbehandlerne anser som relevante for en vurdering af borgerens risiko for

langtidsledighed er dog også problematiske ifølge ere af sagsbehandlerne. Helt

konkret variabel 24 ”Hvor ofte borger har opdateret sin joblog”. Brugen af denne

variabel opleves som problematisk, fordi risikoscoren bliver foretaget hver uge i de

første re ugers ledighed. Men, borgerne bliver først oplyst om, at de skal opdatere

deres joblog på mødet med A-kassen (ofte et fælles informationsmøde for ere

ledige), som ofte ligger et par uger inde i ledighedsperioden. Altså bliver borgerne

vurderet på en aktivitet, som de på tidspunktet for de to-tre vurderinger, ikke ved

de skal udføre. Andre variabler er eksempelvis nummer 43 ”Hvad er længdegrad for

borgers bopæl?” eller nr. 31. ”Hvis borger har været på o entlig forsørgelse, hvad

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

er så det seneste domæne før borgers nuværende forløb?” hvor sagsbehandlerne

var i tvivl om, hvad de betød. Det er også relevant at nævne her, at der er variabler

hvor sagsbehandlerne ifølge vores interviews ikke nødvendigvis er enige om

relevansen af den enkelte variabel ift. at risikopro lere borgere for langtidsledighed.

Et eksempel er blandt andet nr. 21. ”Hvor mange jobmuligheder er borger blevet

headhuntet til?” – S1 og S4 nder den relevant, S2 synes det svært at sige og S3

nder den irrelevant. Eller variabel nr. ”34. Hvor mange andre ikke-joberfaringer

har borger?” syntes to af sagsbehandlerne var relevante og to af dem syntes den var

irrelevant. Udover at variablene i sig selv kan være uforståelige eller opleves som

irrelevante ifølge sagsbehandlerne, så påpeger S3 blandt andet, at der ofte – særligt

for borgere i middelrisiko - står ”Værdien var ikke tilgængelig ved pro leringen”.

Schultz har efter undersøgelsen oplyst, at den nyeste model med færre variable er

udviklet således, at ASTA kan forklare, hvad det er i borgerens data, som konkret

har ind ydelse på ASTA’s vurdering af borgeren, på tværs af alle variabler (Schultz,

25.01.2022).

Værdien af ASTA til understøttelse af sagsbehandling

”

Jeg ved ikke hvor

præcis ASTA er. Den

giver ikke nogen

forklaring af, hvor

god den er til at

ramme rigtigt, og

hvem siger hvad der

er rigtigt?

Brugen af ASTA skal ses i relation til den nye arbejdsgang, hvor sagsbehandlerne

skal orientere sig i ASTA’s vurdering, for at lave en helhedsvurdering af den nyledige

borger efter første samtale med borgeren. Adspurgt svarer sagsbehandlerne, at ASTA

umiddelbart er en del af deres arbejde. Altså, at værktøjet åbnes og de kigger på

risikovurderingen enten inden, eller både inden og umiddelbart efter et møde med

en borger. Det er dog ikke entydigt, hvilken værdi værktøjet opleves at bidrage

med til sagsbehandlernes vurdering af borgeren. S2 siger: ”Jeg synes, det er meget

svært at sige, at det er et godt instrument” (27.05.21). S3 fortæller: ”Jeg synes ikke,

ASTA kan bruges i den form den har nu, og med den arbejdsgang vi har aftalt, det

skal være.” (S3, 26.10.21). Det skyldes primært de udfordringer, som er oplistet

ovenfor (f.eks. den oplevede skævhed i fordelingen af røde, gule og grønne). S2 ser

nogle andre udfordringer for værdien af værktøjet: ”Jeg ved ikke hvor præcis ASTA

er. Den giver ikke nogen forklaring af, hvor god den er til at ramme rigtigt, og

hvem siger hvad der er rigtigt? Jeg kender ikke variablerne, og der er ikke forklaring

af dem. Jeg er heller ikke tilhænger af rød, gul eller grøn. Det synes jeg er svært.

Det skyldes også, at jeg synes nogle gange kan nogle ting se røde ud, som ikke er

det” (S2, 14.10.21). S1 forklarer, at fremstillingen af variablerne i sig selv også gør

det svært at bruge værktøjet. I fagsystemet står de 50 variabler som én lang liste af

variabler og svaret på dem. Eksempelvis nr. 1. ”Hvad var borgers alder, da borgers

forløb startede?: 47år”. S1 forklarer: ”Risikovurderingen er en lang liste af spørgsmål

og svar. Det er alt muligt om deres liv. Deres liv på et stykke papir. Og det er helt

umuligt at danne sig et overblik over, eller forstå dem alle” (S1, 17.05.21). En

del af sagsbehandlernes udfordringer i.f.t. værdien af værktøjet handler også om

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

”

Samtidigt, og mere

principielt, er der

hos enkelte af

sagsbehandlerne

en overvejelse

af, om man i en

opgaveløsning hvor

relationsarbejde

er essentielt og

hvor ”empati og

sympati er de

vigtigste redskaber”

(S1, 17.05.21) kan

menneske, inden man

har mødt dem?

en diskussion af, hvad det er, der reelt øger borgerenes risiko for langtidsledighed,

samt om disse faktorer er målbare i et computersystem? Derudover, at begrebet

langtidsledighed også er et begreb, som ikke er lige til at fastslå – særligt under C-19

pandemien. S3 mener eksempelvis at det er ca. et år, S1 mener det må være ca. 6

måneder. S2 forklarer at: ”Langtidsledighed er faktisk elastik i metermål. Jeg ville

synes, hvis jeg var ledig i mere end 3 måneder, så var jeg langtidsledig. Mens en

direktør kan være det [ledig] længere. Begrebet langtidsledig, det er jo svært at lægge

sig fast på.” (S2, 14.10.21). Samtidigt, og mere principielt, er der hos enkelte af

sagsbehandlerne en overvejelse af, om man i en opgaveløsning hvor relationsarbejde

er essentielt og hvor ”empati og sympati er de vigtigste redskaber” (S1, 17.05.21)

kan pro lere det enkelte menneske, inden man har mødt dem?

Risiko ved ASTA for tab af faglighed

Et velbeskrevet opmærksomhedspunkt ved brug af værktøjer til beslutnings

understøttelse, er at praktikkerne over tid, eksempelvis sagsbehandlere der

håndterer underretninger på børn, risikerer at tilsidesætte deres fagprofessionelle

vurdering og i uhensigtsmæssig grad følger værktøjets anbefaling (Eubanks,

2018). Det kan der være mange grunde til såsom et stort tids- og arbejdspres,

teknologiens ”løfte” om bedre beslutninger eller værktøjets design, der tilsammen

gør værktøjet mere eller mindre overbevisende og let at bruge. I tilfældet med ASTA

understreger ledelse såvel som sagsbehandlere, at det er sagsbehandlernes vurdering

eller fagprofessionelle skøn, der er det afgørende for vurderingen af borgeren.

Sagsbehandlerne har ledelsens opbakning til at træ e en anden beslutning end

ASTA’s vurdering. Dette er også formaliseret i arbejdsgangen. Ved den nuværende

arbejdsgang, hvor sagsbehandlerne skal orientere sig om hvad risikovurderingen

er, men hvor det er frivilligt om de vil følge den eller ej, er der ikke noget der tyder

på at brugen af ASTA fører til tab af faglighed. Et andet studie af algoritmer til

beslutningsstøtte i jobcentre nder, at sagsbehandlerne forudsætter at de altid selv

foretager en vurdering af en ledig borger, netop fordi data og registreringer også

er foretaget af andre kollegaer, der kan være forudindtagede eller have været under

tidspres (Møller et al. 2020). Vi kan ikke på baggrund af nærværende undersøgelse

konkludere, om ASTA er bedre eller dårligere til at forudsige borgernes risiko for

langtidsledighed end sagsbehandlerne. Undersøgelsen bekræfter snarere tidligere

studier (Cai et al. 2019; Møller et al. 2020), der nder, at sagsbehandlerne stiller

relevante spørgsmål til brugen af algoritmer til beslutningsstøtte og hvilke værdier

de bør orientere sig imod.

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Opsummering

Sagsbehandlernes arbejde med nyledige dagpengemodtagere har med

implementering af ASTA forandret sig således, at sagsbehandlerne som en del af

deres forberedelse af samtalen med borgeren, skal orientere sig i risikovurderingen

for at lave en helhedsvurdering af borgeren. Vi kan konkludere, at ASTA på

den ene side spiller en central rolle i sagsbehandlernes arbejde med nyledige

dagpengemodtagere, fordi sagsbehandlerne åbner risikovurderingen og tager stilling

til den. På den anden side nder vi, at der også er en række udfordringer ved brugen

af værktøjet (eksempelvis variable som sagsbehandlerne nder irrelevante eller at

sagsbehandlerne oplever at ASTA laver en skæv kategorisering af ledige), der gør, at

værktøjet ikke ses som en entydig gevinst for sagsbehandlerne at bruge. Som nævnt

indledningsvist er det vigtigt at påpege, at sagsbehandlernes oplevelser af ASTA er

baseret på deres sammenligning af ASTA med deres egne subjektive erfaringer. Det

er ikke givet, at oplevelserne skyldes fejl i den vurdering ASTA laver. De kan f.eks.

også skyldes, at sagsbehandlerne ikke er klædt godt nok på til at anvende værktøjet

eller at der mangler elementer, der kan øge sagsbehandlerens tillid til værktøjets

vurderinger, særligt i de tilfælde, hvor de afviger fra sagsbehandlernes egne

erfaringer. Samtidigt kan det ikke afvises, at det forhold, at sagsbehandlerne skal

bruge værktøjet, men kun som støtte, samt at de kan træ e en anden beslutning end

ASTA’s vurdering, gør det uklart hvad det er, værktøjet helt præcist bidrager med.

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Særlig tak til

Denne undersøgelse er udarbejdet i samarbejde med Lyngby-Taarbæk Kommune,

og særligt vil vi gerne takke Centerchef, Dorte Spangsbo og Afdelingschef, Birgitte

Westphal Ovesen og de 4 sagsbehandlere (anonymiseret i undersøgelsen) som har

bidraget med deres tid og viden. Schultz har været en vigtig dialogpartner for vores

forståelse af ASTA og den bagvedliggende maskinlæringsmodel. Undersøgelsen

er udarbejdet som en del af forskningsprojektet PACTA støttet af Det Frie

Forskningsråd.

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Litteraturliste

1. AlgorithmWatch and Bertelsmann Stiftung.

Automating Society Report 2020. https://

automatingsociety.algorithmwatch.org (sidst besøgt

31.01.22)

2. Ammitzbøll Flügge, A., Hildebrandt, T. and Møller,

N.H. 2021. Street-Level Algorithms and AI in

Bureaucratic Decision-Making: A Caseworker

Perspective. Proceedings of the ACM on Human-

Computer Interaction. 5, CSCW1 (Apr. 2021), 40:1-

40:23. DOI:https://doi.org/10.1145/3449114.

3. Bryman, A. 2016. Social Research Methods (5th ed.).

London: Oxford University Press.

4. Cai, J.C.; Winter, S.; Steiner, D. Wilcox, L. & Terry, M.

2019. “Hello AI”

5. Danmaks Statistik, 2020. https://www.dst.dk/da/

Statistik/dokumentation/statistikdokumentation/

langtidsledighed/indhold (sidst tilgået 06.01.21)

6. Olson, J. and Kellogg, W. A. 2014. Ways of Knowing

in HCI. Springer.

7. Eubanks, V. 2018. Automating Inequality — How

High-Tech Tools Proﬁle, Police, and Punish the Poor.

St. Martin’s Press

8. Møller, N.H; Shklovski, I. & Hildebrandt, T.T.2020.

Shifting Concepts of Value: Designing Algorithmic

Decision-Support Systems for Public Services. Proc.

of the 11th Nordic Conference on Human-Computer

Interaction: Shaping Experiences, Shaping Society,

Article 70.

9. Petersen, A.C.M., Christensen, L.R. & Hildebrandt,

T.T. 2020. The Role of Discretion in the Age of

Automation. Computer Supported Coop Work 29,

303–333. https://doi.org/10.1007/s10606-020-

09371-3

10. Saxena, S., Badillo-Urquiola, K., Wisniewski., P.

and Guha, S. 2021. A Framework of High-Stakes

Algorithmic Decision-Making for the Public Sector

Developed through a Case Study of Child-Welfare.

Proc. ACM Hum.-Comput. Interact. 5, CSCW2,

Article 348 (October 2021), 41 pages. DOI: https://

doi.org/10.1145/3476089

11. Seidelin, C., Moreau, T., Shklovski, I. and Holten

Møller. N. 2022. Auditing Long-Term Unemployment.

In Proceedings of the ACM on Human-Computer

Interaction, Vol. 6, GROUP, Article 08 (January 2022),

14 pages, https://doi.org/10.1145/3492827

12. Seidelin, C., Holten Møller, N. and Hildebrandt,

T. December 2021. Ansvarlig AI kræver øget

samarbejde om udvikling og audit af algoritmer.

https://pro.ing.dk/datatech/holdning/ansvarlig-ai-

kraever-oeget-samarbejde-om-udvikling-og-audit-af-

algoritmer (sidst tilgået 06.01.22).

13. Styrelsen for Arbejdsmarked og Rekruttering (STAR).

2014. Notat om viden og evidens for anvendelse af

Proﬁlafklaringsværktøj til bestemmelse af risiko for

langtidsledighed

14. Wilson, C., Ghosh, A., Jiang, S., Mislove, A., Baker,

L., Szary, J., Trindel, K. and Polli, F. 2021. Building and

Auditing Fair Algorithms: A Case Study in Candidate

Screening. Proceedings of the 2021 ACM Conference

on Fairness, Accountability, and Transparency (Virtual

Event Canada, 2021), 666–677.

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Bilag 1

– Variabler i ASTA

10.

11.

12.

13.

14.

15.

16.

17.

18.

19.

20.

21.

22.

23.

Hvad var borgers alder, da borgers forløb startede?:

Tillader borger, at jobcentret sender dem emails?:

Tillader borger, at jobcentret sender dem sms’er?:

Hvilket tidspunkt er borgers samtaler gennemsnitligt sat til?:

Hvor mange samtaler har borger aﬂyst?:

Hvor mange sagsbehandlere har været på borgers sag?:

Hvor mange dage gik der, før borger var til første samtale med jobcenteret?:

Hvor mange kørekort har borger? (fra CV):

Hvis borger har været tilmeldt før, hvorfor blev de så afmeldt første gang?:

Hvilken slags samtale blev borger først indkaldt til?:

Borgers køn:

Hvor mange helbredsudfordringer har borger pt registreret i Fasit?:

Hvad er borgers højeste uddannelsesniveau? (fra CV):

Hvor mange læse/stave tests er borger blevet indkaldt til?:

Hvor mange samtaler er borger blevet indkaldt til i alt?:

Er borgers sag startet, fordi borger ﬂyttede til kommunen?:

Er borger en nordisk borger?:

Hvor mange geograﬁske regioner har borger søgt jobs indenfor?:

Hvor mange jobsamtaler er borger blevet indkaldt til?:

Hvor mange jobs er borger blevet afvist for?:

Hvor mange jobmuligheder er borger blevet headhuntet til?:

Har borger en uddannelse, der matcher mindst ét jobmål?:

Hvor mange jobmål har borger? (fra CV):

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

24.

25.

26.

27.

28.

29.

30.

31.

32.

33.

34.

35.

36.

37.

38.

39.

40.

41.

42.

43.

44.

45.

46.

47.

48.

49.

50.

Hvor mange gange har borger opdateret sin joblog?:

I hvor høj grad optræder borgers jobmål i borgers søgte jobtitler?:

I hvor høj grad optræder borgers uddannelser i borgers søgte jobtitler?:

I hvor høj grad optræder borgers erfaringer i borgers søgte jobtitler?:

Hvor mange sprog taler borger?:

Hvis borger har en uddannelsesplan, hvilket trin er borger så på?:

Hvis borger har været på offentlig forsørgelse, hvad er så den seneste

kategori før borgers nuværende forløb?:

Hvis borger har været på offentlig forsørgelse, hvad er så det seneste

domæne før borgers nuværende forløb?:

Bor borger i lejlighed?:

Hvor mange Anden aktivitet-registreringer har borgerens joblog?:

Hvor mange andre ikke-job erfaringer har borger?:

Er borger åben over for deltidsansættelse?:

Er borger åben over for permanent ansættelse?:

Hvor mange opkvaliﬁcerende placeringer har borger haft?:

I hvor mange kommuner har borger tidligere haft sager?:

Hvor mange tidligere sager har borger haft?:

Hvis borger har været tilmeldt før, hvorfor blev de så senest afmeldt?:

Hvor mange helbredsudfordringer har borger haft før nuværende sag?:

Hvor mange langtidsledige forløb har borger tidligere haft?:

Hvad er længdegrad for borgers bopæl?:

Søger borger job på standardvilkår?:

Er borger villig til at starte efter aftale?:

Er borger villig til at starte hurtigst muligt?:

Er borger åben over for midlertidig ansættelse?:

Hvor mange uddannelser har borger?:

Hvor mange joberfaringer har borger?:

Er ”tolk” eller relaterede ord nævnt i borgers noter i Fasit?:

KØBENHAVNS UNIVERSITET — DET NATURVIDENSKABELIGE FAKULTET

Bilag 2

– Dialogspørgsmål

Som en del af undersøgelsen fremkom det fra dialogen med sagsbehandlerne, at

problemet langtidsledighed er en yderst kompleks størrelse. Disse spørgsmål kan

være afsæt for en videre dialog omkring langtidsledighed.

1. Hvad er langtidsledighed og for hvem?

a. Langtidsledighed er ifølge Danmarks Statistik når man er ledig i 80% af en

periode på 52 uger. Men, undersøgelsen har illustreret, at langtidsledighed

er et begreb der kræver kontekst. Der er blandt de re sagsbehandlere vi

har interviewet forskellige opfattelser af, hvor lang tid man skal være ledige,

før man er langtidsledig. En siger 6-8 måneder, to siger ca. et år og ere

forklarer, at det kan variere fra borger til borger. Har du tidligere været

direktør midt i 50’erne er 6 måneder ikke lang tid. Er du student på sabatår

er 6 måneder lang tid.

2. Hvilke faktorer afgør, om folk er ledige i lang tid, eller om de

nder et job hurtigt?

a. Relevant joberfaring og uddannelse, samt borgeres motivation og eksibilitet

er vigtige faktorer der påvirker, om borgeren hurtigt eller langsomt kommer

i job. Det er der enighed om. Men hvor uddannelse kan være konkret, er

motivation mere subjektivt. Samtidigt nævner ere (eks. S2, S3) at mere

følsomme faktorer, kan påvirke borgers chancer for at få et job, oplevelsen

af om borgerne er troværdige, men også om borgerne er massivt overvægtige

eller har kraftig og dårlig kropslugt.

Rapporten er udarbejdet som en del af

forskningsprojektet PACTA (Public Administration

and Computational Transparency in Algorithms).

Undersøgelsen er støttet af Det Frie Forskningsråd, og

foretaget i samarbejde med Lyngby-Taarbæk Kommune.

Ansvaret for indholdet i rapporten er alene forfatternes.

For yderligere information kontakt da

Ph.d.-studerende Asbjørn Ammitzbøll Flügge

[email protected]

Sigurdsgade 41

Datalogisk Institut, Københavns Universitet

Graﬁk, illustration og layout:

i samarbejde med Brain2Business

brain2business.dk