BEU, Alm.del - 2018-19 (1. samling) - Bilag 12: Orientering om Slutevaluering af Projekt Jobrettet Samtale II, fra beskæftigelsesministeren

Beskæftigelsesudvalget 2018-19 (1. samling)
BEU Alm.del Bilag 12
Offentligt

METODEBILAG

PROJEKT JOBRETTET

SAMTALE 2

[Dobbeltklik

for at indsætte billede eller slet dette felt]

BEU, Alm.del - 2018-19 (1. samling) - Bilag 12: Orientering om Slutevaluering af Projekt Jobrettet Samtale II, fra beskæftigelsesministeren

Metodebilag

–

projekt Jobrettet Samtale II

INDLEDNING

I dette metodebilag præsenteres den metodiske fremgangsmåde og datagrundlaget, der ligger til

grund for delanalyserne 1-3. Konkret introducerer:



Afsnit 2

evalueringens datagrundlag og kobling af datakilderne til de forskellige delanalyser

Afsnit 3

grundlaget for fidelitetsanalysen, herunder udregningen af fidelitetsscorer

Afsnit 4,

hvordan projektkommunernes resultatopnåelse ift. puljens succeskriterier er ud-

regnet

Afsnit 5,

hvordan korrelationsanalyserne i delanalyse 1 er udregnet samt hvilke forbehold,

der skal tages i forbindelse med fortolkningen af disse resultater.

INTRODUKTION TIL EVALUERINGENS DATAGRUNDLAG

Slutevalueringen bygger på fem primære datakilder, der fremgår af Figur 1:

Figur 1: Overblik over datakilder

Metode

Indikatorer

Kilde

linger

Antal må-

•

(janu-

2017

til og

med

januar

2018)

(hver

anden

må-

ned)

2 (juni

2017,

januar

2018)

11 (fe-

(fe-

bruar

2017

til og

med

januar

2018)

11 ca-

sebe-

søg

(janu-

2018)

Registerdata

Joblog og Selv-

booking

•

DFDG.dk

DREAM

•

Spørgeskemaundersøgelse

Indsatsfidelitet

•

Medarbejdere

Spørgeskemaundersøgelse

Implementeringsgreb

•

Medarbejdere

Projektledere

•

Spørgeskemaundersøgelse/SMS-

måling

Tilfredshed med

samtalen

•

Borgere

•

Casebesøg

Indsatsfidelitet, im-

plementeringsgreb,

succes

•

Medarbejdere

Borgere

Ledere

I følgende beskrives de enkelte datakilder særskilt.

2.1.1 Registerdata

Oplysningerne om borgernes anvendelsesgrad af Joblog stammer fra DREAM. Oplysninger om

antallet af selvbookede borgere og antallet af afholdte jobsamtaler stammer fra Det Fælles Data-

grundlag (DFDG).

BEU, Alm.del - 2018-19 (1. samling) - Bilag 12: Orientering om Slutevaluering af Projekt Jobrettet Samtale II, fra beskæftigelsesministeren

Metodebilag

–

projekt Jobrettet Samtale II

2.1.2 Spørgeskemaer om fidelitet til medarbejderne

Rambøll har i løbet af projektperioden udsendt seks spørgeskemaer til medarbejderne i projekt-

kommunerne, som har haft fokus på dels fidelitet, dvs. i hvilken grad de har implementeret ind-

satsen, og dels lokale kontekst forhold, som fx medarbejderens motivation, ledelsesopbakning

mv. Disse spørgeskemaer er distribueret hver anden måned fra marts 2017 til januar 2018.

Data fra medarbejdersurveyene er udtrukket den 28. februar 2018. Ved udtrækningstidspunktet

var der på tværs af de seks spørgeskemaer i alt 1231 svar og den gennemsnitlige svarprocent for

alle seks målinger er 80 pct.

2.1.3 Spørgeskemaer om implementeringsgreb til både medarbejdere og projektledere

Oveni i de seks spørgeskemaer omhandlende fidelitet beskrevet ovenfor, har medarbejderne og

projektlederne af to omgange modtaget et spørgeskema med fokus på implementeringsgreb.

Formålet med spørgeskemaundersøgelserne om implementeringsgreb til projektledere og medar-

bejdere var at opnå viden om respondenternes brug af implementeringsgrebene og deres ople-

vede nytte heraf.

Det første spørgeskema om implementeringsgreb blev distribueret i juni 2017. Det blev sendt til

288 medarbejdere, hvoraf 182 svarede, hvilket giver en svarprocent på 63 %. Surveyen afsendt

til projektlederne på samme tidspunkt blev sendt til 24 projektledere, da en række af projekt-

kommunerne havde flere projektledere. Her modtog Rambøll 19 besvarelser, hvilket giver en

svarprocent på 79 %.

Det andet spørgeskema om implementeringsgreb blev distribueret i januar 2018. dette blev di-

stribueret til 271 medarbejdere, hvoraf 185 svarede, hvilket svarer til en svarprocent på 68 %.

22 projektledere

modtog dette spørgeskema, hvoraf 19 svarede, hvilket leder til en svarprocent

på 86 %.

2.1.4 Spørgeskemaer/SMS-måling om tilfredshed målrettet borgeren

Datagrundlaget for opgørelsen af borgernes vurdering af samtalerne er 11 borgersurveys og

SMS-målinger, der er distribueret i løbet af projektperioden fra marts 2017 til og med januar

2017. Den gennemsnitlige svarprocent for de 11 surveys er på 20 pct. og varierer mellem 10-27

pct. på månedsbasis. Den relativt lave svarprocent betyder, at resultatanalysen baseret på bor-

gersurveyene muligvis påvirkes af systematiske skævheder ift. hvilken type af borgere, der væl-

ger at besvare spørgeskemaerne eller SMS-målingerne. Derfor bør resultaternes generaliserbar-

hed fortolkes varsomt og med forbehold. Alt i alt er der opnået 9295 borgerbesvarelser igennem

spørgeskemaerne og SMS-målingerne, hvilket dog vurderes at være et tilstrækkeligt stort antal

besvarelser til, at der kan gennemføres en meningsfuld resultatopgørelse i relation til borgernes

vurdering af samtalerne.

2.1.5 Casebesøg: Interviews og observation

I forbindelse med slutevelaueringen er der blevet foretaget casebesøg i 11 af projektkommuner-

ne: Assens, Brøndby, Haderslev, Hedensted, København AMC, Langeland, Lyngby-Taarbæk, Ny-

borg, Odense, Vallensbæk og Vejen.

De 11 projektkommuner blev udvalgt på baggrund af at have haft en den største udvikling i fide-

litet fra projektstart til og med december 2017.

Enkelte kommuner havde i projektet to projektledere tilknyttet

BEU, Alm.del - 2018-19 (1. samling) - Bilag 12: Orientering om Slutevaluering af Projekt Jobrettet Samtale II, fra beskæftigelsesministeren

Metodebilag

–

projekt Jobrettet Samtale II

Formålet med casebesøgene var at skabe et indblik i, hvordan samt i hvilken grad kommunerne

har arbejdet med og er lykkes med at implementere Jobrettede Samtaler. Dette blev på casebe-

søgene afdækket ved interviews med hhv. medarbejdere, projektledere, teamledere, jobcenter-

chefer og borgere. Desuden blev der i forbindelse med casebesøgene gennemsnitligt observeret

fem samtaler per jobcenter, hvor der foreligger videoer i de 14 tilfælde, hvor både borgere og

medarbejdere gav deres accept til dette. Alt i alt blev der på casebesøgene foretaget 53 inter-

views med medarbejdere, 10 interviews med projektledere/teamledere, 10 interviews med job-

centerchefer og 28 kortere interview med en række af de borgere, hvis samtaler blev observeret.

Interviewene udgør en væsentlig del af datagrundlaget for både delanalyse 1 og delanalyse 2.

Formålene med interviewene af de forskellige aktører fremgår af figur 3.

Figur 2: Formålet med interviewene med de forskellige aktører

Interviewperson

Jobcenterchef

Formål

–

at få viden om:



Ledelsesperspektivet i forhold til at implementere Jobrettede Samtaler

Overvejelser omkring udpegning af projektleder/nøglepersoner, og hvilke kompetencer

vedkommende bør besidde

Hvordan man får arbejdet med at italesætte jobrettede indsatser i jobcentrene

Vurdering af det politiske fokus på implementeringen af indsatsen, og hvilken betyd-

ning det politiske fokus har haft for implementeringen

Viden om overvejelser omkring den videre forankring af indsatsen samt hvordan man

lykkes med det.

Gode råd til andre kommuner

Drivkræfter og barriere i implementeringen (hvad er nemt/svært)

Nytten af de centrale implementeringsgreb (Rambøll Results, telefonisk opfølgning,

erfa-seminarer mv)

Nytten af de lokale aktionslæringsaktiviteter (læringsgrupper, kollegial sparring, su-

pervision)

Hvordan man får implementeret aktionslæringsaktiviteterne og gjort dem til en inte-

greret del af jobcenterets arbejdsgange

Greb til at sikre ejerskab til implementeringen af indsatsen blandt medarbejderne

Greb til at sikre løbende fokus på implementeringen af indsatsen og det at arbejde

systematisk med kerneelementerne i løbet af projektperioden (fx løbende kommunika-

tion, tavlemøder mv.)

Gode råd til andre kommuner

Drivkræfter og barriere i implementeringen (Hvad er nemt/svært)

Hvad er nemt/svært i forhold til at implementere kerneelementerne i den jobrettede

samtaler

Hvad kendetegner ifølge medarbejderne den gode jobrettede samtale?

Og hvilke forudsætningerne skal være tilstede før at man kan afholde den gode jobret-

tede samtale? (Rammer, arbejdsgange, tid, IT-værktøjer mv)

Medarbejdernes vurdering af nytten af de aktionslæringsaktiviteter og hvordan grebe-

ne understøtter implementeringen af indsatsen (kollegial sparring, supervision og læ-

ringsgrupper)

Og hvilke forudsætninger skal være tilstede før at de lokale aktionslæringsaktiviteter

bidrager til at understøtte implementeringen (Rammer, tid, ledelsesfokus mv.)

Medarbejdernes syn på deres egen funktion (identificerer de sig mest som myndighed

og hvor i boende er hele tanken om empowerment)

Medarbejdernes oplevelse af, om hvorvidt der har været politisk fokus på projektet?

Projektleder + nær-

meste teamleder



Medarbejdere



Borgere

Viden om:



Deres oplevelse af samtalen



Hvad fungerede godt/mindre godt



Har samtalen styrket borgerens tro på at komme i job

–

hvorfor/hvorfor ikke?



Borgerens syn på selvbooking og Joblog

I følgende figur fremgår det, hvilke datakilder der ligger til grund for hovedrapporten og de en-

kelte delanalyser.

Figur 3: Kobling af datakilder og analyser

Analyse

Datakilder

BEU, Alm.del - 2018-19 (1. samling) - Bilag 12: Orientering om Slutevaluering af Projekt Jobrettet Samtale II, fra beskæftigelsesministeren

Metodebilag

–

projekt Jobrettet Samtale II

Spørgeskema

om fidelitet

Spørgeskema om

implementerringsgreb

Borgerspørgeskema

og SMS

Registerdata

Casebesøg

Hovedrapport

Delanalyse 1: Fidelitet

Delanalyse 2: Imple-

menteringsgreb

Delanalyse 3: Resulta-

ter

GRUNDLAG FOR VURDERING AF INDSATSFIDELITETEN

Den samlede vurdering af projektkommunernes indsatsfidelitet foretages på baggrund af det

seneste medarbejderspørgeskema om fidelitet, som blev distribueret i januar 2018. I tabellen

nedenfor vises en oversigt over præcis, hvilke spørgeskemaspørgsmål der udgør grundlaget for

beregningen af indsatsfidelitet for de forskellige kerneelementer samt for anvendelsen af aktions-

læringsaktiviteterne.

Tabel 1: Fidelitetsmål, operationalisering og grundlag for indsatsfidelitetsscore

Kerneelement

Operationalisering

Score

1. Brugen af den jobrettede samtale - de tre kerneelementer

Datakilde: Medarbejderspørgeskema om fidelitet

I hvilken grad lykkes du med at:

... give den ledige medindflydelse ved at lave en kontrakt (jf.

gamemaster modellen) med den ledige om samtalens formål og

indhold, og styre samtalen efter kontrakten?

… målrette din information med UGU-metoden?

... anerkende den lediges perspektiv og ideer gennem nysgerrig-

hed, aktiv lytning og nøgleord?

... stille åbne spørgsmål og bruge coachende spørgsmålstyper,

som skaber refleksion for den ledige?

Medarbejderne anvender de

inddragende samtaletek-

nikker

i jobsamtalerne

... lade den ledige opsummere samtalen i slutningen af samtalen?

… sikre klare aftaler og konklusioner i forhold til de emner i samta-

len, som drøftes?

... afdække den lediges ambivalens og styrke motivationen med

bevidst brug af forandringsudsagn?

... gøre samtalen konstruktiv og rettet mod job, når den ledige

udviser begrænset motivation?

... aftale konkrete hjemmeopgaver?

... respektfuldt italesætte og drøfte den lediges personlige udfor-

dringer, som står i vejen for jobsøgning og beskæftigelsesmål/mål

om job?

Scoren udregnes som

andelen af medarbej-

derne, hvis svar falder

i kategorierne "i høj

grad" eller "i meget høj

grad"

BEU, Alm.del - 2018-19 (1. samling) - Bilag 12: Orientering om Slutevaluering af Projekt Jobrettet Samtale II, fra beskæftigelsesministeren

Metodebilag

–

projekt Jobrettet Samtale II

I hvilken grad:

… har du overblik over, hvilke kilder du kan bruge til at få viden

om det lokale og regionale arbejdsmarked?

Medarbejderne anvender

aktivt deres

arbejdsmar-

kedskendskab

i jobsamta-

lerne

… har du overblik og viden om, hvilke brancher og sektorer, der er

i vækst i dit område og som har behov for arbejdskraft?

… inddrager du aktivt viden om aktuelle jobåbninger, branchefor-

hold, og efterspørgsel i dit lokal område i samtalen med den ledi-

ge?

... anvender du IT-værktøjer i forberedelsen og afholdelsen af

samtalen (fx Arbejdsmarkedsbalancen, Mit Jobkompas, eller Job-

barometeret)?

I hvilken grad:

... anvender du Joblog sammen med den ledige som et værktøj til

at følge op på og målrette borgerens jobsøgning?

Medarbejderne anvender de

digitale værktøjer

i forbe-

redelsen og afholdelsen af

samtalerne

… understøtter du, at de ledige får hjælp til brug af selvbooking,

hvis de har vanskeligt ved dette?

… understøtter du, at de

ledige får hjælp til brug af Joblog, hvis de

har vanskeligt ved dette?

… anvender du Jobloggen struktureret i forberedelsen og afholdel-

sen af samtalen med den ledige?

Scoren udregnes som

andelen af medarbej-

derne, hvis svar falder

i kategorierne "i høj

grad" eller "i meget høj

grad"

Scoren udregnes som

andelen af medarbej-

derne, hvis svar falder

i kategorierne "i høj

grad" eller "i meget høj

grad"

GRUNDLAGET FOR VURDERINGEN AF RESULTATOPNÅ-

ELSEN IFT. PULJENS SUCCESKRITERIER

I puljen for projekt Jobrettet Samtale II er der opstillet en række succeskriterier i relation til bor-

gernes anvendelse vurdering af jobsamtalerne. Borgernes vurdering af samtalen bygger på be-

svarelser af to spørgsmål i det fremsendte spørgeskema eller den fremsendte SMS-måling:



Handlede samtalen om dine jobmuligheder?

Hvor stor indflydelse havde du på, hvad samtalen handlede om?

Borgerne har kunnet svare på en likert-skala med fem kategorier, hvor den samlede score angi-

ver, hvor stor en andel af borgerne, der har afgivet svar i de to mest positive kategorier.

INFORMATION OM KORRELATIONSANALYSERNE

Korrelationsanalyserne i delanalyse 1 er udregnet med Pearson’s lineære produktmoment korre-

lation. Korrelationskoefficienten (r) måler styrken af den lineære sammenhæng mellem to variab-

le. I bund og grund forsøger man med en Pearson’s korrelation at tegne den linje med den bed-

ste pasform gennem datapunkterne for to variable, hvor korrelationskoefficienten angiver, hvor

langt datapunkterne ligger fra linjen med den bedste pasform. Korrelationskoefficienten kan tage

værdierne fra +1 til -1, hvor en værdi på 0 angiver, at der ingen sammenhæng er mellem de to

variable. En korrelationskoefficient på over 0 angiver en positiv sammenhæng; dvs. at når vær-

dien på den ene variabel stiger, så stiger værdien på den anden variabel også. En korrelationsko-

efficient på under 0 angiver en negativ sammenhæng; dvs. at når værdien på den ene variabel

stiger, så falder værdien på den anden variabel også. Styrken af korrelationskoefficienterne for-

tolkes i denne evaluering i overensstemmelse med den konventionelle standard:

BEU, Alm.del - 2018-19 (1. samling) - Bilag 12: Orientering om Slutevaluering af Projekt Jobrettet Samtale II, fra beskæftigelsesministeren

Metodebilag

–

projekt Jobrettet Samtale II

Korrelationskoefficient, (r)

Styrken på sammenhængen

Svag

Moderat

Stærk

Positiv

0,1 til 0,3

0,3 til 0,5

0,5 til 1,0

Negativ

-0,1 til -0,3

-0,3 til -0,5

-0,5 til -1,0

Det er vigtigt at understrege, at en stærk korrelation ikke nødvendigvis betyder, at ændringer i

niveauet for den ene variabel forårsager ændringer i niveauet for den anden; med andre ord er

korrelation ikke ensbetydende med kausalitet. I de tilfælde hvor Rambøll i denne evaluering be-

nytter korrelationsanalyser til at sandsynliggøre, at der er tale om årsagssammenhænge, vil dis-

se vurderinger også altid være baseret på analyser af det indsamlede kvalitative datamateriale.