BEU, Alm.del - 2020-21 - Bilag 66: Orientering om evaluering af de fire driftspuljeprojekter på handicapområdet, fra beskæftigelsesministeren

Beskæftigelsesudvalget 2020-21
BEU Alm.del Bilag 66
Offentligt

Bilag

Evalueringsdesign - Evaluering af fire sats-

puljeprojekter

6. oktober 2020

J.nr.

ALI

LIF

Evalueringsdesign

Evalueringens design skal tage højde for, at der er tale om fire projekter af meget

forskellig art og med forskellige målgrupper og indsatser. Designet skal derfor

kunne anvendes ens på alle fire projekter, samtidig med at det skal kunne rumme

og tage højde for projekternes forskellighed.

Af denne grund er evalueringsdesignet bygget op i to trin:

1. En forandringsteori- og implementeringsanalyse

2. Analyse og evaluering af projekternes resultater

Ad 1) Forandringsteori- og implementeringsanalyse

For hvert projekt gennemføres en indledende redegørelse for projektets aktiviteter,

socialfaglige metoder samt hvordan disse skal føre til forandring for projektets

målgruppe (forandringsteori) samt en kvalitativ analyse af implementeringen af

denne forandringsteori. Analysen skal se på, hvilken begrebs- og indsatsforståelse

der ligger bag aktiviteterne, således at der foreligger en klar forståelse af, hvilken

kontekst projektets resultater skal ses i.

Evalueringen vil således både redegøre for projekternes aktiviteter og indsatser,

men også hvordan forskellige delindsatser tænkes sammen, og hvordan de forven-

tes at have en effekt på borgernes beskæftigelse. Dette kan eksempelvis gøres ved

at se på, hvilken forståelse af beskæftigelse der ligger bag projektet, hvilke social-

pædagogiske metoder projekternes indsatser baserer sig på, samt hvordan hver af

disse bidrager til borgernes beskæftigelse og/eller evne til at tage hånd om deres

eget liv (livsmestring).

Analysen af projekternes forandringsteori skal sikre, at der i evalueringens indled-

ning dannes en forståelse af, hvad det er indsatsen i de enkelte projekter helt kon-

kret kan, og hvordan de (teoretisk) bidrager til borgernes beskæftigelse og livsme-

string. Denne del af undersøgelsen er baseret på fx skriftligt materiale fra projek-

terne, interviews af projektmedarbejdere, ledere mv.

I forlængelse heraf, når forandringsteorien er kortlagt, skal evalueringen indeholde

en analyse af, om forandringsteorien og indsatsen er implementeret efter hensigten.

Det vil sige, om projektets forandringsteori også oversættes til praksis og finder

sted i selve indsatsen. Dette kan bl.a. undersøges igennem interviews ved at se på,

om de aktiviteter, der er opstillet i forandringsteorien, gennemføres.

BEU, Alm.del - 2020-21 - Bilag 66: Orientering om evaluering af de fire driftspuljeprojekter på handicapområdet, fra beskæftigelsesministeren

Slutteligt skal denne del af analysen også undersøge, hvordan ovenstående både

forandringsteori og implementering heraf hænger sammen med den eksisterende

viden om, hvad der virker i beskæftigelsesindsatsen. Med andre ord skal ovenstå-

ende perspektiveres til den generelle beskæftigelsesindsats og litteratur med viden

herom.

Ad 2) Analyse og evaluering af projekternes resultater

Evalueringen vil dernæst også indeholde en analyse af projekternes resultater for at

undersøge om projekterne faktisk har en indvirkning på de deltagende borgeres be-

skæftigelsessituation.

Denne del af analysen skal tage udgangspunkt i delanalyse 1, således at projekter-

nes resultater analyseres ud fra og måles op i mod de konkrete forandringsteorier

og målsætninger, de enkelte projekter har. På denne måde imødekommes projekter-

nes forskelligheder, samtidig med at de evalueres ens ift. en række kriterier.

Dette gøres først og fremmest ved at foretage en deskriptiv analyse af, hvor mange

borgere der deltager i projekterne, samt en deskriptiv analyse af en række karakte-

ristika ved projektets målgruppe (beskæftigelsesgrad, ydelseshistorik mv.).

I forlængelse heraf opstilles en række parametre, som projekterne tværgående skal

analyseres ud fra. Et parameter kan fx være graden af målopfyldende ud fra

projekternes egne opstillede mål, men der kan også være tale fx om progression el-

ler oplevet progression hos deltagerne. Det vil altså sige en analyse af, hvorvidt

deltagelse i projekterne bidrager til at forbedre borgernes overordnede situation

samt projekternes succes ift. de mål, der er opstillet i projektet. På den måde mulig-

gøres en eventuel sammenligning af projekterne - fx hvad angår målopfyldelse og

progression hos borgerne i projektet - fordi man tager højde for, at projekternes

målgrupper og heraf målsætninger er forskellige.

Analysen vil slutteligt indeholde en analyse af, i hvor høj grad der er en positiv ind-

virkning på borgerens beskæftigelse og en samfundsøkonomisk gevinst af projek-

terne. Dette vil ske eksempelvis via en sammenligning med lignende projekter for

samme målgrupper i regi af jobcentrene. Denne del af analysen vil således se både

på de økonomiske omkostninger og gevinster ved projekterne og på de gevinster,

projekterne kan have for borgerne. Borgerperspektivet vil indeholde beskæftigel-

sesgraden, men kan også eksempelvis se på generel livskvalitet eller anden pro-

gression. Ligeledes vil denne del af analysen skulle vurdere, om projekterne lever

op til de formål, de har fået bevillinger til.

Det er vigtigt at bemærke, at grundet projekternes og deltagernes karakter og det

foreliggende datagrundlag er det ikke sikkert, at det vil være muligt at konkludere

håndfast for så vidt angår samfundsøkonomiske gevinster eller beskæftigelsesmæs-

sig progression for borgerne. Dette også henset til, at der kan være resultater og/el-

ler indsatser i projekterne, som ikke nødvendigvis vil have en samfundsøkonomisk

gevinst i snæver forstand, men vil have positiv indvirkning på de deltagende borge-

res livskvalitet og generelle livsmestring.

BEU, Alm.del - 2020-21 - Bilag 66: Orientering om evaluering af de fire driftspuljeprojekter på handicapområdet, fra beskæftigelsesministeren

Den konkrete udformning af undersøgelsesdesignet vil ske i samarbejde med eva-

luator.

Datagrundlag

Evalueringen skal baseres på både kvalitativt og kvantitativt data. Ift. kvantitative

data vil projekterne blive bedt om i perioden 1. november

–

1. februar at indsamle

cpr-numre på de borgere, der deltager i indsatsen, såfremt projektet ikke allerede

indsamler cpr-numre. Cpr-numre vil blive anvendt til samkørsel med registerdata

med henblik på måling af beskæftigelsesgrad, ydelseshistorik, baggrundskarakteri-

stika mv. til brug for både den deskriptive analyse samt resultatanalysen. Register-

data som blev indsamlet i forbindelse med COWIs evaluering fra 2017 vil så vidt

muligt blive inddraget i datagrundlaget.

De cpr-numre, der indsamles i ovenstående periode, kan således anvendes til at

følge de deltagende borgere i op til tre måneder efter endt forløb.

Ift. kvalitative data skal der gennemføres interviews med projektmedarbejdere, del-

tagende borgere, kommuner samt virksomheder, som er samarbejdspartnere, samt

eventuelle andre relevante interessenter (fx relevante handicaporganisationer). Her-

udover vil skriftlige produkter som projekternes forandringsteorier, selvevaluerin-

ger mv. indgå som en del af det kvalitative datamateriale.