SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

Social-, Indenrigs- og Børneudvalget 2017-18
SOU Alm.del Bilag 70
Offentligt

6/2017

Rigsrevisionens beretning om

viden fra puljer på socialområdet

afgivet til Folketinget med Statsrevisorernes bemærkninger

1849

147.281

237

1976

114.6

22.480

908

November 2017

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

2017

Beretning om viden fra

puljer på socialområdet

Statsrevisorerne fremsender denne beretning

med deres bemærkninger til Folketinget og

vedkommende minister, jf. § 3 i lov om

statsrevisorerne og § 18, stk. 1, i lov om

revisionen af statens regnskaber m.m.

København 2017

Denne beretning til Folketinget skal behandles ifølge lov om revisionen af statens regnskaber, § 18:

Statsrevisorerne fremsender med deres eventuelle bemærkninger Rigsrevisionens beretning til Folketinget og

vedkommende minister.

Børne- og socialministeren afgiver en redegørelse til beretningen.

Rigsrevisor afgiver et notat med bemærkninger til ministerens redegørelse.

På baggrund af ministerens redegørelse og rigsrevisors notat tager Statsrevisorerne endelig stilling til beretningen,

hvilket forventes at ske i februar 2018.

Ministerens redegørelse, rigsrevisors bemærkninger og Statsrevisorernes eventuelle bemærkninger samles i Stats-

revisorernes Endelig betænkning over statsregnskabet, som årligt afgives til Folketinget i februar måned – i dette

tilfælde Endelig betænkning over statsregnskabet 2017, som afgives i februar 2019.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

Henvendelse vedrørende

denne publikation rettes til:

Statsrevisorerne

Folketinget

Christiansborg

1240 København K

Telefon: 33 37 59 87

Fax: 33 37 59 95

E-mail: [email protected]

Hjemmeside: www.ft.dk/statsrevisorerne

Yderligere eksemplarer kan

købes ved henvendelse til:

Rosendahls Lager og Logistik

Herstedvang 10

2620 Albertslund

Telefon: 43 22 73 00

Fax: 43 63 19 69

E-mail: [email protected]

Hjemmeside: www.rosendahls.dk

ISSN 2245-3008

ISBN trykt 978-87-7434-539-8

ISBN pdf 978-87-7434-540-4

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

STATSREVISORERNES BEMÆRKNING

Statsrevisorernes bemærkning

BERETNING OM VIDEN FRA PULJER PÅ SOCIAL-

OMRÅDET

Siden 2006 har man politisk efterspurgt mere viden om, hvordan forskellige sociale ind-

satser virker i forhold til at forebygge og afhjælpe udsatte borgeres sociale problemer.

Mere viden kan styrke grundlaget for den politiske prioritering af indsatser med positiv

effekt på det sociale område, hvor der årligt bruges ca. 45 mia. kr. I 2007 oplyste Børne-

og Socialministeriet til Rigsrevisionen, at det var en målsætning, at der skulle måles ef-

fekt af alle satspuljemidler, hvor det var relevant. Undersøgelsen ligger i forlængelse af

beretning nr. 13/2016 om grundlaget for at dokumentere effekt af sociale indsatser.

Denne undersøgelse omhandler Børne- og Socialministeriets puljemidler, der har været

anvendt til støttepuljer og effektpuljer i perioden 2012-2017. Puljerne stammer primært

fra satspuljen. I 2017 udmøntede ministeriet 104 mio. kr. som effektpuljer, der støtter

udvikling og afprøvning af sociale indsatser og skal føre til viden om effekt.

Statsrevisorerne finder, at Børne- og Socialministeriet ikke i tilstrækkelig grad har

sikret, at effektpuljerne lever op til hensigten om at skabe viden om effekten af socia-

le indsatser.

Statsrevisorerne finder det utilfredsstillende, at Børne- og Socialministeriet ikke har

etableret et overblik og på systematisk vis opsamlet viden om, hvilke sociale indsat-

ser der virker.

Statsrevisorerne bemærker:



At ministeriet har udmøntet relativt få puljer, som skal give viden om effekt.

At ingen af de evalueringer af effektpuljer, som Rigsrevisionen har gennemgået, le-

ver op til gængse præmisser for effektmåling. Der er dog gode eksempler på effekt-

måling blandt ministeriets andre puljer.

At ministeriets forhandlingsoplæg med puljeforslag til satspuljeaftalen kan blive

mere gennemsigtig, så den bedre understøtter prioritering af puljer, der giver viden

om effekt.

At ministeriet ikke har levet op til sin strategi om at gemme individdata fra puljerne

hos Danmarks Statistik, hvilket vanskeliggør måling af langtidseffekter.

At ministeriets vidensopsamling af evalueringsresultater på tværs af puljer har væ-

ret utilstrækkelig. Fx er ministeriets Vidensportal ikke som forudsat opdateret med

aktuel viden om, hvad der virker på socialområdet.

Peder Larsen

Henrik Thorup

Klaus Frandsen

Søren Gade

Henrik Sass Larsen

Villum Christensen

STATSREVISORERNE,

den 15. november 2017



SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INDHOLDSFORTEGNELSE

1. Introduktion og konklusion

1.1.

Formål og konklusion

1.2.

Baggrund

1.3.

Revisionskriterier, metode og afgrænsning

2. Viden fra puljer

2.1.

Viden om puljernes målopfyldelse

2.2.

Viden om puljernes effekt

2.3.

Opsamling af viden fra puljerne

Bilag 1. Metodisk tilgang

Bilag 2. Ordliste

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

Rigsrevisionen har selv taget initiativ til denne undersøgelse og afgiver derfor beretningen til Stats-

revisorerne i henhold til § 17, stk. 2, i rigsrevisorloven, jf. lovbekendtgørelse nr. 101 af 19. januar 2012.

Rigsrevisionen har revideret regnskaberne efter § 2, stk. 1, nr. 1, jf. § 3 i rigsrevisorloven.

Beretningen vedrører finanslovens § 15. Børne- og Socialministeriet.

I undersøgelsesperioden har der været følgende ministre:

Karen Hækkerup: oktober 2011 - august 2013

Annette Vilhelmsen: august 2013 - februar 2014

Manu Sareen: februar 2014 - juni 2015

Karen Ellemann: juni 2015 - november 2016

Mai Mercado: november 2016 -

Beretningen har i udkast været forelagt Børne- og Socialministeriet, hvis bemærkninger er afspejlet

i beretningen.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INTRODUKTION OG KONKLUSION

1. Introduktion og

konklusion

1.1.

FORMÅL OG KONKLUSION

PROJEKTPULJER

Projektpuljer er puljer, som har

til formål at støtte konkrete bor-

gerrettede projekter. En pulje

består typisk af flere underlig-

gende projekter. Vi anvender be-

tegnelsen projektpuljer for at ty-

deliggøre, at vi ikke undersøger

puljer, som Børne- og Socialmi-

nisteriet udmønter som drifts-

støtte eller som køb af konsu-

lentydelser.

1. Denne beretning handler om Børne- og Socialministeriets indsats for at opbygge viden

om, hvilke projektpuljer der har levet op til deres formål om at hjælpe og støtte udsatte

borgere. Denne viden er vigtig, fordi den er en forudsætning for, at borgere med behov for

offentlig støtte får den støtte, som bedst hjælper dem. Langt størstedelen af ministeriets

projektpuljer er finansieret af satspuljen.

2. Der bliver årligt brugt ca. 45 mia. kr. til indsatser på socialområdet. Der har i mere end

et årti været et ønske fra skiftende regeringer om at få mere viden om, hvilke indsatser

der virker. Især satspuljen har gennem en lang årrække været opfattet som helt central i

forhold til at udvikle og afprøve metoder, der kan forbedre den sociale indsats over for ud-

satte borgere. På baggrund af projektpuljerne kan Børne- og Socialministeriet og kommu-

nerne få viden om, hvilke metoder der har størst virkning for herefter at udbrede disse. Det

er derfor essentielt for gruppen af udsatte borgere, at ministeriet opbygger viden om re-

sultaterne af de afprøvede indsatser.

Undersøgelsen ligger i forlængelse af beretningen om grundlaget for at dokumentere ef-

fekt af sociale indsatser fra marts 2017. Rigsrevisionen kritiserede i beretningen, at der

hidtil ikke var målt effekt af sociale indsatser på baggrund af de nationale statistikker.

Børne- og Socialministeriet tilkendegav i den forbindelse, at arbejdet med at dokumente-

re effekt af sociale indsatser sker i forbindelse med netop projektpuljer. Ministeriet bevil-

ger midler fra projektpuljerne til fx kommunerne, som har ansvaret for at gennemføre de

sociale indsatser. Ministeriet har ansvaret for at følge op på, om puljemidlerne bliver brugt

i overensstemmelse med formålet.

Formålet med undersøgelsen er at vurdere, om Børne- og Socialministeriet i tilstrækkelig

grad opbygger viden, herunder viden om effekt, der viser, om ministeriets projektpuljer

lever op til deres formål om at støtte udsatte borgere.

Rigsrevisionen har selv taget initiativ til undersøgelsen i marts 2017.

EFFEKT

Effekt er viden om virkningen

af en indsats, hvor evaluator

har sikret sig, at de observe-

rede resultater stammer fra

den indsats, som borgeren har

modtaget.

NATIONALE STATI-

STIKKER

Nationale statistikker er stati-

stikker på det sociale område,

som kommunerne via lovgivnin-

gen er forpligtede til at indbe-

rette data til. Det kan fx være

anbringelsesstatistikken, som

indeholder information om an-

bringelser af børn og unge uden

for hjemmet.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INTRODUKTION OG KONKLUSION

KONKLUSION

EFFEKTPULJER

Effektpuljer er projektpuljer til

udvikling af sociale metoder, der

er velbeskrevne, omkostnings-

effektive og har dokumenteret

effekt.

Det har i mere end et årti været en målsætning for Børne- og Socialministeriet, at social-

politikken i højere grad skal baseres på viden om effekt. Det skal sikre, at vi bliver endnu

bedre til at iværksætte den rette indsats for at støtte udsatte borgere. I 2017 var mini-

steriet ansvarlig for at udmønte 876 mio. kr. fra satspuljeaftalen. Af disse udmøntede mi-

nisteriet 104 mio. kr. som effektpuljer, der skal støtte udvikling og afprøvning af sociale

indsatser med henblik på at måle effekten af indsatserne.

Rigsrevisionen vurderer, at Børne- og Socialministeriet opbygger forskellige former for vi-

den på baggrund af sine puljer, men at ministeriet i for ringe grad har opnået viden om ef-

fekt.

Det skyldes i særdeleshed, at ministeriet i undersøgelsesperioden kun har udmøntet få

puljer, som skal give viden om effekt. Ministeriet har i perioden 2012-2017 i gennemsnit

udmøntet 11 % af midlerne fra satspuljen som effektpuljer. Rigsrevisionen finder det util-

fredsstillende, at ministeriet ikke har sikret en større udvikling i andelen af effektpuljer.

Den manglende viden om effekt skyldes også, at ingen af evalueringerne af de effektpul-

jer, Rigsrevisionen har gennemgået, har levet op til ministeriets egen intention om at gen-

nemføre effektmålinger. Det skyldes dels, at der ikke er gennemført kvalitative effekteva-

lueringer, dels at de gennemførte kvantitative evalueringer ikke lever op til gængse præ-

misser for effektmåling. De kvantitative evalueringer giver derfor ikke viden om effekt.

Rigsrevisionen finder det utilstrækkeligt, at ministeriet ikke i højere grad har sikret, at

effektpuljerne lever op til intentionen om at skabe viden om effekt.

Ministeriet kan både præge omfanget af effektpuljer og arbejde for at sikre, at puljerne

fører til viden om effekt, da ministeriet selv udarbejder oplægget med puljeforslag til for-

handlingerne om satspuljeaftalen.

Undersøgelsen viser, at der blandt ministeriets andre puljer, hvor der ikke er krav om at

måle effekt, findes enkelte eksempler på evalueringer, som faktisk lever op til præmis-

serne for effektmåling. Selv om effektmåling på socialområdet kan være vanskeligt, fin-

des der altså gode eksempler, som skaber vigtig viden. Rigsrevisionen har i undersøgel-

sen både set eksempler på evalueringer, som dokumenterer, at den afprøvede indsats har

haft en positiv effekt, og eksempler på, at indsatsen kan forringe situationen for de ud-

satte borgere, der modtog indsatsen. Uden denne type viden risikerer ministeriet at støt-

te og udbrede indsatser, som i realiteten ikke hjælper de udsatte borgere – eller måske

ligefrem gør større skade end gavn – ligesom ministeriet risikerer ikke at udbrede indsat-

ser, der har en positiv effekt.

Endelig viser undersøgelsen, at ministeriet ikke på systematisk vis har opsamlet viden

om erfaringer og resultater fra puljerne. Dels har ministeriet ikke internt etableret et over-

blik, som kan lægges til grund for nye puljer og ny lovgivning, dels er Vidensportalen ikke

– som lovet på portalen – opdateret med den nyeste viden om, hvad der virker på social-

området. Det finder Rigsrevisionen utilfredsstillende.

VIDENSPORTALEN

Vidensportalen er en internet-

side, som formidler aktuelt bed-

ste viden om, hvilke sociale ind-

satser der virker. Portalen skal

støtte bl.a. kommunerne i at

vælge effektive og fagligt vel-

funderede løsninger. Socialsty-

relsen etablerede portalen i

2010.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INTRODUKTION OG KONKLUSION

Rigsrevisionen anbefaler Børne- og Socialministeriet:



At arbejde for, at ministeriets oplæg med puljeforslag til satspuljeaftalen for social-

området understøtter en prioritering af puljer, der giver viden om effekt. Ministeriet

kan fx skabe mere gennemsigtighed ved i sine puljeforslag at tydeliggøre, hvilke pul-

jer der er effektpuljer. Ministeriet kan også gøre det til en fast praksis, at en mini-

mumsprocent af ministeriets puljeforslag er effektpuljer.



At understøtte, at ministeriets effektpuljer giver viden om effekt ved fx i højere grad

at sikre, at forudsætningerne for at måle effekt er til stede for de effektpuljer, som

ministeriet indarbejder i sit oplæg med puljeforslag.



At skabe et lettilgængeligt samlet overblik over de gennemførte evalueringer af mini-

steriets puljer. Rigsrevisionen anbefaler desuden ministeriet at etablere en fast prak-

sis for at opdatere Vidensportalen med relevante evalueringsresultater af puljer, umid-

delbart efter at evalueringerne bliver offentliggjort, så fx kommunerne kan drage nyt-

te af denne viden i deres arbejde med udsatte borgere.

1.2.

BAGGRUND

3. De sociale indsatser skal hjælpe de svageste borgere i det danske samfund. Det kan fx

være hjemløse borgere, som kæmper med misbrug, sindslidende, som har egen bolig, men

næsten intet netværk til at tilbyde hjælp eller venskab, og børn, som bliver fjernet fra vol-

delige forældre.

Disse borgere er i høj grad afhængige af den rigtige hjælp og støtte. Det skal forebygge

og afhjælpe sociale problemer, så de på sigt bliver aktive, selvhjulpne medborgere, eller –

i situationer, hvor det ikke er muligt – mindske konsekvenserne af problemerne og øge

deres livskvalitet. Det er derfor afgørende, at Børne- og Socialministeriet udbreder de ind-

satser, som bedst støtter disse udsatte borgere. Dette forudsætter viden om, hvilke ind-

satser der virker.

Det fremgår af Børne- og Socialministerens forord til den nye

Strategi for udvikling af

sociale indsatser

fra 2017, at indsatserne i de senere år i stigende grad er baseret på me-

toder med dokumenteret effekt, men at der fortsat er behov for mere viden om, hvad der

virker, og hvordan det virker. Denne viden kan opbygges gennem projekter finansieret af

satspuljen.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INTRODUKTION OG KONKLUSION

Dette reflekterer et ønske fra skiftende regeringer og satspuljeaftaler gennem mere end

10 år om en mere vidensbaseret socialpolitik, hvilket boks 1 viser eksempler på.

BOKS 1

UDDRAG AF AFTALE OM UDMØNTNING AF SATSPULJEN FOR SOCIAL-

OMRÅDET

”Der er behov for i stigende omfang at kunne dokumentere, om en given indsats i forhold til en

bestemt målgruppe har den ønskede effekt”.

(2006, 2007 og 2008)

”Den samlede aftale har til formål at styrke indsatsen på socialområdet. En væsentlig forud-

sætning for dette er, at resultaterne fra enkelte initiativer opsamles og systematiseres med

henblik på, at gode og effektfulde indsatser kan implementeres i praksis”.

(2017)

4. I 2007 oplyste Børne- og Socialministeriet til Rigsrevisionen, at det var en målsætning,

at der skulle måles effekt af alle satspuljeprojekter, hvor det var relevant. I 2012 gennem-

førte ministeriet en puljeanalyse og konkluderede, at det for langt hovedparten af ministe-

riets projekter fortsat ikke var muligt at sige noget sikkert om resultater og effekter på bor-

gerniveau. Det skyldtes ikke kun forhold knyttet til evalueringen, men i høj grad også for-

hold knyttet til projektdesign og -styring. Boks 2 opsummerer resultaterne, der ligger bag.

BOKS 2

RESULTATER FRA BØRNE- OG SOCIALMINISTERIETS PULJEANALYSE

FRA 2012

Børne- og Socialministeriet har gennemgået 29 evalueringer af satspuljeinitiativer, som er ble-

vet afsluttet i perioden fra foråret 2009 til maj 2012, for at opgøre, i hvilket omfang de har på-

vist effekt for borgerne. 12 af evalueringerne havde et andet fokus end effekt for borgerne. Af

de resterende 17 effektevalueringer havde 5 en positiv eller lovende effekt, mens der for 12

evalueringer ikke kunne konkluderes på effekten, selv om det var hensigten. Barrierer for kon-

klusioner om effekt var ifølge ministeriet bl.a. uegnet evalueringsdesign, for lille datagrundlag

til før- og eftermåling, at forsøgskommunerne lokalt tilpassede en metode, så der ikke var grund-

lag for samlet evaluering, og at metoden ikke fuldt ud var implementeret.

5. På baggrund af puljeanalysen vedtog Børne- og Socialministeriet i 2013 evidenspolitik-

ken

Viden til gavn.

Politikken skulle sikre, at ministeriets arbejde med projektpuljer i højere

grad fører til viden om effekt af sociale indsatser. I 2017 har ministeriet vedtaget

Strate-

gi for udvikling af sociale indsatser.

Strategien bygger oven på evidenspolitikken i forhold

til at sikre, at støtten til socialt udsatte og borgere med handicap baserer sig på viden om,

hvad der virker.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INTRODUKTION OG KONKLUSION

6. I denne undersøgelse vurderer vi, om Børne- og Socialministeriet har gjort en tilstræk-

kelig indsats for at opbygge viden fra projektpuljerne. Denne viden er forudsætningen for

at gøre mere af det, som virker, og undlade at fortsætte de indsatser, som ikke virker –

eller som måske ligefrem gør mere skade end gavn.

SATSPULJENS STØR-

RELSE

Overførselsindkomsterne bliver

hvert år reguleret, så de følger

lønudviklingen på arbejdsmarke-

det. Hvis lønstigningen når et

vist niveau, afsættes en pro-

centdel af stigningen i overfør-

selsindkomsterne til satspuljen.

Satspuljens størrelse varierer

dermed fra år til år, og det sam-

me gør fordelingen af satspulje-

midler på de ministerområder,

der udmønter dem. De år, hvor

lønudviklingen ikke er stor nok

til at udløse nye midler til sats-

puljen, består den kun af ufor-

brugte midler fra tidligere års

satspuljer.

Satspuljeaftalen og projektpuljer

7. Satspuljen blev etableret i 1990 og har til formål at forbedre vilkårene for overførsels-

indkomstmodtagere og svage grupper. Hvert år udmønter forskellige ministerier midler

fra satspuljen til at støtte organisationer eller projekter for en afgrænset årrække. I 2017

var Børne- og Socialministeriet ansvarlig for at udmønte 876,4 mio. kr. fra satspuljen. Mid-

lerne finansierer projekter af en varighed på op til 4 år, og ministeriet har i de seneste 5 år

været ansvarlig for at udmønte mellem 459,5 mio. kr. og 1.258,6 mio. kr.

8. I den årlige satspuljeaftale bliver det besluttet, hvilke initiativer, herunder puljer, der

tildeles midler. Figur 1 viser, hvordan processen frem til vedtagelsen af den endelige sats-

puljeaftale for Børne- og Socialministeriet. En tilsvarende proces findes på andre minister-

områder.

FIGUR 1

PROCES FOR SATSPULJEAFTALE FOR BØRNE- OG SOCIALMINISTERIET

Puljeforslag

Prioriteringsoplæg

med puljeforslag

Forhandlingsoplæg

med puljeforslag

Enkelte nye

puljeforslag

BØRNE- OG

SOCIALMINISTERIET

FINANSMINISTERIET

REGERINGENS

ØKONOMIUDVALG

SATSPULJEORDFØRERNE

BØRNE- OG

SOCIALMINISTERIET

Satspuljeaftale

for socialområdet

NS-

FINA

Finansloven

Kilde: Rigsrevisionen på baggrund af ”Satspuljen – håndbog for brugere”, Finansministeriet.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INTRODUKTION OG KONKLUSION

Satspuljeprocessen er tilrettelagt, så Børne- og Socialministeriet midt på året stiller for-

slag til konkrete initiativer såsom projektpuljer. Ministeriets forslag til budget for de en-

kelte satspuljeprojekter fremgår også af forslagene, herunder fordeling af midler på selve

indsatsen og eventuel evaluering. Finansministeriet prioriterer ministeriernes forslag på

baggrund af en række oplysninger, bl.a. eksisterende vidensgrundlag, forventet effekt,

vidensindsamling og projektforankring.

Regeringens Økonomiudvalg behandler Finansministeriets samlede prioriteringsoplæg for

satspuljen. Oplægget fremlægges herefter til politisk forhandling. Under satspuljeforhand-

lingerne har partierne i forligskredsen mulighed for at stille forslag til nye initiativer eller

foreslå tilpasning af initiativerne i oplægget. Børne- og Socialministeriet tilpasser løben-

de forhandlingsoplægget for socialområdet efter partiernes ønsker.

9. Børne- og Socialministeriet udmønter grundlæggende sine satspuljemidler som 3 for-

skellige typer initiativer:



støttepuljer:

projektpuljer til støtte af sociale indsatser, hvor der ikke er krav om effekt-

måling

effektpuljer:

projektpuljer til udvikling af sociale metoder, der er velbeskrevne, omkost-

ningseffektive og har dokumenteret effekt

drifts- og aktivitetsstøtte og ikke-borgerrettede initiativer (fx forskning eller finansie-

ring af specifikke lovændringer):

midler til almen drift, udgifter forbundet med lovæn-

dringer eller køb af specifikke ydelser.

Denne undersøgelse omhandler støttepuljer og effektpuljer. Undersøgelsen omfatter ikke

midler til drifts- og aktivitetsstøtte og ikke-borgerrettede initiativer (fx forskning). Det

skyldes bl.a., at ministeriet ikke opstiller krav om, at disse midler skal bidrage med viden

om resultater eller effekt for borgere.

Ministeriet stiller krav om, at der for både støttepuljer og effektpuljer skal følges op på,

om puljen lever op til sit formål. For støttepuljer er der ikke et krav om, at de skal føre til

viden om effekt. Effektpuljerne har derimod til formål at udvikle metoder med en doku-

menteret effekt, som sidenhen kan udbredes til andre kommuner og leverandører. Mini-

steriet kalder selv disse puljer for national metodeudvikling, jf. boks 3.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INTRODUKTION OG KONKLUSION

BOKS 3

EFFEKTPULJER SKAL SIKRE NATIONAL METODEUDVIKLING

Børne- og Socialministeriet har en målsætning om at understøtte kommuner og leverandører

på det sociale område med metoder, der er velbeskrevne, omkostningseffektive og har doku-

menteret effekt for borgerne. Dette gør ministeriet gennem sine puljer for national metode-

udvikling. Disse puljer støtter udviklingen og afprøvningen af sociale metoder.

Evalueringer af disse puljer skal ifølge ministeriets evidenspolitik som hovedregel omfatte et

svar på, hvordan metoden implementeres, hvad den koster, og hvilken effekt den har. Svare-

ne på de 3 spørgsmål giver hver især brugbar viden. Vi har undersøgt den del af evalueringen,

som måler effekten af metoden. I beretningen benævner vi derfor puljerne ”effektpuljer”.

Hvis det er muligt, bør der ifølge ministeriets egne krav gennemføres en kvantitativ effekt-

måling af puljerne. Hvis forudsætningerne for dette ikke er til stede, bør der gennemføres en

kvalitativ effektevaluering.

Det er ifølge ministeriets evidenspolitik fra 2013 hensigten, at disse puljer bl.a. skal skabe

viden om effekt af den afprøvede indsats. Det fremgår dog også af ministeriets retningslin-

jer, at puljer kan have til formål at modne en metode, som endnu ikke er færdigudviklet.

Dette kan betyde, at metoden ikke er moden til effektmåling. Er dette tilfældet, skal det

ifølge ministeriets øvrige retningslinjer fremgå af satspuljebeskrivelsen. Vi kan i satspul-

jeaftalerne ikke finde en præcisering af, hvilken type de aftalte puljer er, eller oplysninger

om modenhed. Undersøgelsen baserer sig derfor på ministeriets oplysninger om, hvilke

puljer der er effektpuljer. Det har ikke været muligt at skelne mellem de forskellige typer

effektpuljer på det foreliggende grundlag.

Ifølge ministeriets nye strategi fra 2017 vil ministeriet fremadrettet internt arbejde med

en fasemodel. Den skal understøtte, at ministeriet arbejder mere stringent med, om me-

toden, der udvikles eller afprøves som del af en effektpulje, fx er i en modnings- eller af-

prøvningsfase. Det fremgår ikke af strategien, at fasemodellen skal afspejles i ministe-

riets oplæg med satspuljeforslag.

10. Børne- og Socialministeriet har som led i undersøgelsen opgjort omfanget af satspul-

jemidler afsat til forskellige typer initiativer i perioden 2012-2017. Da ministeriet ikke

har et systematisk overblik over, hvilke puljer der er effektpuljer, krævede det et større

manuelt arbejde for ministeriet at klassificere sine udmøntede puljer for den undersøgte

periode. Figur 2 viser resultatet af opgørelsen.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INTRODUKTION OG KONKLUSION

FIGUR 2

OMFANGET AF DE 3 TYPER INITIATIVER I PERIODEN 2012-2017

Mio. kr.

1.400

1.200

1.000

800

600

400

200

2012

2013

Effektpuljer

Støttepuljer

2014

2015

2016

2017

Drifts- og aktivitetsstøtte og ikke-borgerrettede initiativer (fx forskning)

Samlet satspuljebeløb

Note: Rigsrevisionen har taget udgangspunkt i de satspuljeprojekter, som i dag hører under Børne- og Social-

ministeriet. Det samlede beløb kan derfor afvige fra det samlede beløb i den oprindelige satspulje-

aftale.

Kilde: Rigsrevisionen på baggrund af oplysninger fra Børne- og Socialministeriet.

Det fremgår af figur 2, at den største andel af satspuljemidlerne i alle årene med undtagel-

se af 2015 har været anvendt til drifts- og aktivitetsstøtte og ikke-borgerrettede initiati-

ver (fx forskning) (279-876 mio. kr./år). Den næststørste andel af midlerne har i perioden

været anvendt til støttepuljer (113-494 mio. kr./år). Den mindste andel af midlerne har væ-

ret anvendt til effektpuljer (33-116 mio. kr./år). Det fremgår også af figuren, at der i perio-

den ikke har været en mærkbar udvikling i omfanget af midler til effektpuljer.

11. Andelen af satspuljemidler, der årligt er blevet afsat til evaluering, har over de seneste

6 år udgjort mellem 0,5 % og 3 %. I 2017 blev der for de 3 typer initiativer samlet set af-

sat 2,4 % til evaluering.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INTRODUKTION OG KONKLUSION

1.3.

REVISIONSKRITERIER, METODE OG AFGRÆNSNING

Revisionskriterier

12. Vi har undersøgt, om Børne- og Socialministeriet i tilstrækkelig grad har opbygget vi-

den, herunder viden om effekt, der viser, om ministeriets projektpuljer lever op til deres for-

mål om at støtte udsatte borgere. Det har vi undersøgt ud fra følgende revisionskriterier:

1) om ministeriet for alle sine puljer sikrer, at der bliver skabt viden om

målopfyldelse

2) om ministeriet for effektpuljer sikrer, at der bliver skabt viden om

effekt

3) om ministeriet på systematisk vis

opsamler

viden fra puljerne.

Vi udleder revisionskriterier af Finansministeriets

Vejledning om effektiv tilskudsforvalt-

ning.

Ifølge vejledningen er god tilskudsforvaltning bl.a. kendetegnet ved, at tilskudsmid-

lerne (puljerne) bliver anvendt efter hensigten, og at man opnår den størst mulige effekt af

de udbetalte tilskudsmidler. Det forudsætter bl.a., at Børne- og Socialministeriet fra star-

ten opstiller klare mål for puljens anvendelse og fastsætter den konkrete opfølgning på

puljen. Omfanget af evaluering bør ifølge vejledningen afhænge af puljens samlede stør-

relse. Ministeriet bør fx bruge flere midler på at evaluere store puljer med ambitiøse for-

mål end små puljer, der støtter tidligere afprøvede indsatser.

Vores undersøgelse af de 3 revisionskriterier baserer vi desuden på Børne- og Socialmini-

steriets egne politikker og procedurer for tilskudsforvaltning, herunder ministeriets valg

af resultatbaseret styring som styringsmodel i 2006 og evidenspolitikken fra 2013. Under-

søgelsen af det andet revisionskriterium baserer sig desuden på 4 gængse præmisser for,

hvornår en kvantitativ analyse bidrager med viden om effekt af en social indsats.

Revisionskriterierne uddybes i kapitel 2, hvor vi fremlægger undersøgelsens resultater.

GÆNGSE PRÆMISSER

FOR EFFEKTMÅLING

De 4 gængse præmisser for,

hvornår en kvantitativ analyse

bidrager med effektviden, er –

i forbindelse med beretningen

om grundlaget for at dokumen-

tere effekt af sociale indsatser

fra marts 2017 – udviklet af

Rigsrevisionen i samarbejde

med Vibeke Lehmann Nielsen

og Kim Mannemar Sønderskov,

som begge er professorer på

Institut for Statskundskab ved

Aarhus Universitet.

Metode

13. Undersøgelsen er baseret på en stikprøve af 46 af Børne- og Socialministeriets puljer.

Stikprøven består af alle puljer aftalt i 2012. Det skyldes, at vi ønsker at undersøge puljer,

som er evalueret. En puljes løbetid er typisk 4 år, hvorefter den eventuelt evalueres. 2012

er således det seneste år, hvorfra alle puljer har haft tilstrækkelig tid til at blive evalueret

før undersøgelsens start.

Da vi også ønsker at undersøge, om ministeriet har forbedret sin praksis for at designe

puljer, har vi desuden undersøgt alle puljer aftalt i 2016. Endelig har vi undersøgt alle pul-

jer, der er evalueret efter juni 2015, for derved at styrke undersøgelsens grundlag og re-

sultater.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INTRODUKTION OG KONKLUSION

PULJEDESIGN

Proces, hvor Børne- og Social-

ministeriet udarbejder puljevej-

ledning og udbyder opgaven

med at evaluere puljen.

14. En projektpulje gennemgår forskellige faser. Først indgår puljen i en

politisk aftale,

hvor

der bliver afsat midler og fastsat et formål for puljen. Børne- og Socialministeriet er her-

efter – i fasen

puljedesign

– ansvarlig for at udarbejde en puljevejledning for puljen. I den-

ne fase indgår ministeriet også aftale med evaluator, hvis puljen skal evalueres.

I næste fase gennemfører evaluator en

evaluering

af de puljer, der skal evalueres. Evalua-

tor skal måle på, om puljen har levet op til sit formål. For effektpuljer indebærer det, at eva-

luator måler på, hvilken effekt den afprøvede indsats har haft for borgerne.

I den sidste fase skal ministeriet gennemføre en systematisk

vidensopsamling.

Den skal

sikre, at politikerne og ministeriet selv har et overblik over erfaringer og resultater fra de

afsluttede projektpuljer, som kan ligge til grund for udmøntning af nye puljer og formule-

ring af ny lovgivning.

15. Figur 3 viser, i hvilke afsnit vi undersøger de forskellige faser. Figuren viser også, hvil-

ke puljer i stikprøven vi har gennemgået for hver fase.

PULJEVEJLEDNING

Børne- og Socialministeriet op-

stiller en puljevejledning for hver

enkelt pulje, som ministeriet ud-

mønter. Puljevejledningen skal

give potentielle ansøgere vigti-

ge informationer ved at beskri-

ve grundlæggende forhold om

puljen, fx formål, målgruppe, an-

søgningsproces, forventede re-

sultater og krav i forbindelse

med evaluering.

VIDENSOPSAMLING

Børne- og Socialministeriet fore-

tager en systematisk vurdering

af, om én eller flere puljer har le-

vet op til deres formål. Dette

kan ske ved at samle og skabe

overblik over erfaringer og resul-

tater, som fx er fundet i evalue-

ringen af puljen.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INTRODUKTION OG KONKLUSION

FIGUR 3

FASER I BØRNE- OG SOCIALMINISTERIETS FORVALTNING AF PULJER SAMT RIGSREVISIONENS

STIKPRØVE

POLITISK AFTALE

PULJEDESIGN

EVALUERING

VIDENSOPSAMLING

2.1b

2.3

2.1a

Støttepuljer

Evaluering af målopfyldelse

Satspuljemidler

Projektpuljer

2.2a

2.2b

Midler fra finanslov

Effektpuljer

Evaluering med effektmåling

Vidensopsamling

STIKPRØVE

Rigsrevisionen

Puljer aftalt i

2012

Puljer aftalt i

2016

Puljer aftalt i Puljer evalueret

2012

efter juni

2015

Puljer aftalt i Puljer evalueret

2012

efter juni

2015

Afsnit i kapitel 2, hvor emnet bliver behandlet

Puljemidler

Projektpuljer uden krav om effektmåling

Projektpuljer med krav om effektmåling

Stikprøven består af alle puljer aftalt i

2012,

alle puljer aftalt i

2016

og alle puljer evalueret efter juni

2015

Kilde: Rigsrevisionen.

Det fremgår af figur 3, at vi tager udgangspunkt i de politiske aftaler. Vi undersøger pri-

mært puljer fra satspuljeaftalerne, men også et mindre antal puljer fra finanslovsaftaler-

ne. Undersøgelsen omfatter alle Børne- og Socialministeriets projektpuljer for de udvalgte

år. I det følgende beskriver vi strukturen for undersøgelsen af puljerne i kapitel 2.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INTRODUKTION OG KONKLUSION

Afsnit 2.1

handler om det første revisionskriterium om målopfyldelse. Her undersøger vi

både støttepuljer og effektpuljer.

afsnit 2.1a

undersøger vi, om ministeriet designer alle sine puljer, så det er muligt at føl-

ge op på, om puljerne lever op til deres formål. Det gør vi ved at gennemgå alle projektpul-

jer aftalt i 2012. Ved at sammenligne disse med puljerne fra 2016 undersøger vi også, om

ministeriet har udviklet sin praksis for at designe puljer.

afsnit 2.1b

undersøger vi, om alle puljerne fra 2012 er blevet evalueret. For at øge antal-

let af evalueringer og derved styrke grundlaget for undersøgelsens resultater har vi også

undersøgt alle øvrige evalueringer, som er gennemført siden juni 2015.

Afsnit 2.2

handler om det andet revisionskriterium om effekt. Her undersøger vi kun effekt-

puljer.

afsnit 2.2a

undersøger vi, om ministeriet har designet sine effektpuljer, så de kan blive

effektmålt. Vi undersøger og sammenligner ministeriets design af effektpuljer for puljer

aftalt i henholdsvis 2012 og 2016.

afsnit 2.2b

undersøger vi, om effektmålingerne af effektpuljerne lever op til ministeriets

egne krav og gængse præmisser for, hvornår en måling giver viden om effekt. Her under-

søger vi alle gennemførte evalueringer af effektpuljer, som er aftalt i 2012 eller evalueret

efter juni 2015.

Afsnit 2.3

handler om det tredje revisionskriterium om vidensopsamling. Her undersøger

vi både støttepuljer og effektpuljer.

Afgrænsning

16. Undersøgelsen ligger i forlængelse af beretningen om grundlaget for at dokumentere

effekt af sociale indsatser fra marts 2017. Rigsrevisionen kritiserede i beretningen, at der

hidtil ikke var målt effekt af sociale indsatser på baggrund af de nationale statistikker.

Vi undersøger ikke i denne beretning Børne- og Socialministeriets indsats for i højere grad

at måle effekt på baggrund af de nationale statistikker. Dette arbejde følger vi i forbin-

delse med opfølgningen på beretningen fra marts 2017.

17. Den samlede satspuljeramme er i 2017 på ca. 14 mia. kr. Langt de fleste midler er bun-

det i permanente bevillinger fra satspuljen, herunder lovbundne bevillinger og bloktilskud.

Dermed udgør satspuljens disponible beløb, som forligspartierne forhandler om årligt – og

som er det, der almindeligvis betegnes som satspuljen – kun en mindre andel. Børne- og

Socialministeriet er fra 2017 ansvarlig for at udmønte 876,4 mio. kr. fra satspuljen over

en 4-årig periode. Det er udelukkende denne del af satspuljerammen, vi undersøger.

18. Undersøgelsen fokuserer på effektpuljer og støttepuljer. Undersøgelsen er afgrænset

fra puljer til drifts- og aktivitetsstøtte og ikke-borgerrettede initiativer. Det skyldes bl.a.,

at Børne- og Socialministeriet ikke opstiller eksplicitte krav til, at der skal opstilles mål

for disse midlers borgernære resultater. Rigsrevisionen har i en revision i september 2016

påpeget, at ministeriet bør styrke sin resultatopfølgning for driftsstøtte.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

INTRODUKTION OG KONKLUSION

19. I kapitel 2 vil vi konsekvent omtale projektpuljer som puljer. Boks 4 viser sammenhæn-

gen mellem puljer og projekter.

BOKS 4

SAMMENHÆNGEN MELLEM PULJER OG PROJEKTER

En projektpulje kan finansiere en række konkrete projekter. Der kan fx være tale om en projekt-

pulje, der skal finansiere afprøvningen af en ny metode til at hjælpe alkoholmisbrugere ud af de-

res misbrug. Fra denne pulje får 10 forskellige kommuner tilskud til hver især at iværksætte et

projekt, hvor de afprøver den nye metode over for borgere med alkoholmisbrug i deres kommune.

Undersøgelsen er foretaget på puljeniveau. Det betyder fx, at vi ikke undersøger de enkel-

te projektevalueringer, som tilskudsmodtagerne (typisk kommuner) eventuelt har udarbej-

det, medmindre Børne- og Socialministeriet aktivt bruger resultaterne fra disse i fx en vi-

densopsamling, eller de indgår i en samlet evaluering af puljen på tværs af projekter. Det

skyldes, at Finansministeriets

Vejledning om effektiv tilskudsforvaltning

omhandler eva-

luering og afrapportering af ordningen som helhed.

20. Vi undersøger de faser af forvaltningen af puljen, som

Vejledning om effektiv tilskuds-

forvaltning

omtaler som designfasen og opfølgningsfasen. Vi undersøger ikke den mellem-

liggende administrationsfase, som bl.a. indebærer udvælgelse og løbende kontrol af til-

skudsmodtager. Det skyldes, at statusrapporterne i administrationsfasen kun giver viden

om, hvorvidt projekternes milepæle nås til tiden, men ikke om projektet i sidste ende le-

verer de forventede resultater og effekter på borgerniveau. Vi undersøger heller ikke, om

Børne- og Socialministeriets proces for udbud af evalueringer i designfasen eller ministe-

riets valg af tilskudsmodtagere følger reglerne. Vi tager heller ikke stilling til, hvornår en

pulje har en størrelse, som forudsætter en evaluering.

21. Undersøgelsen dækker perioden 2012-2017, hvilket giver os grundlag for at vurdere,

om der i denne periode er sket udvikling i Børne- og Socialministeriets praksis med at op-

bygge viden om de sociale indsatser i ministeriets projektpuljer. Vi kan ikke undersøge mi-

nisteriets arbejde med at opsamle viden fra puljer, som er udmøntet de seneste par år, da

projekterne er flerårige og derfor endnu ikke er evalueret.

22. Effektpuljer kan have til at formål at udvikle en social metode, så den på et senere tids-

punkt er moden til effektmåling. Disse puljer skal derfor både evalueres for, hvordan imple-

menteringen er forløbet, hvilke udgifter projektet har medført, og hvilken effekt det har

haft for de deltagende borgere. Vi finder, at alle disse evalueringsformål bidrager med vig-

tig viden. Undersøgelsen handler kun om den del af evalueringen, som måler effekten af

metoden. Det skyldes undersøgelsens formål om at vurdere, om Børne- og Socialministe-

riet har efterlevet intentionen fra skiftende regeringer gennem mere end 10 år om at ska-

be viden om effekt af sociale indsatser.

23. Revisionen er udført i overensstemmelse med standarderne for offentlig revision, jf.

bilag 1.

24. I bilag 1 er undersøgelsens metodiske tilgang beskrevet. Bilag 2 indeholder en ordli-

ste, der forklarer udvalgte ord og begreber.

STATUSRAPPORTER

Statusrapporter bliver udarbej-

det af tilskudsmodtager i løbet

af projektperioden. De bliver ef-

terfølgende sendt til Børne- og

Socialministeriet, som derved

kan følge projektets fremdrift.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

2. Viden fra puljer

25. For at vurdere, om Børne- og Socialministeriet gennem sine puljer i tilstrækkelig grad

opbygger viden om målopfyldelsen og effekten af de sociale indsatser for udsatte borge-

re, har vi undersøgt:



om ministeriet designer og evaluerer alle sine puljer, så der bliver målt på, om puljerne

lever op til deres formål

(afsnit 2.1)

om ministeriet designer og evaluerer sine effektpuljer, så der bliver målt på puljernes

effekt for borgerne

(afsnit 2.2)

om ministeriet opsamler den viden, som er blevet skabt på tværs af puljerne

(afsnit 2.3).

2.1.

VIDEN OM PULJERNES MÅLOPFYLDELSE

26. Vi har undersøgt, om Børne- og Socialministeriet sikrer, at der bliver skabt viden om pul-

jernes målopfyldelse. Vi har først undersøgt, om ministeriet i sit

design

af puljerne har sik-

ret, at de kan blive evalueret. Derefter har vi undersøgt, om ministeriet har sikret, at puljer-

ne bliver

evalueret.

2.1a. Design af puljerne

27. Vi har undersøgt, om Børne- og Socialministeriet sikrer følgende for sine puljer:



Mål for borgerne:

Ministeriet skal sikre, at der bliver opstillet mål for de borgere, der

modtager den indsats, puljen støtter. Det gør det muligt at følge op på, om puljen har

levet op til sit formål.

Overensstemmelse mellem mål:

Der skal være overensstemmelse mellem de mål, som

fremgår af den politiske aftale, og de mål, som ministeriet opstiller i puljevejledningen.

Evalueringsdesign:

For de puljer, der skal evalueres, skal ministeriet ifølge egne ret-

ningslinjer sikre, at der bliver udarbejdet et overordnet evalueringsdesign, før puljen

bliver sat i gang. Det kan fx ske i forbindelse med evaluators tilbud på at gennemføre

evalueringen.

28. Børne- og Socialministeriet valgte i 2006 at gøre resultatbaseret styring til sin fælles

styringsmodel på tværs af ministeriet og underliggende styrelser. Dette indebærer, at mi-

nisteriet i sit oplæg til politiske aftaler opstiller mål for resultater for borgerne. Ministe-

riet vurderede, at en stor fordel ved at anvende resultatbaseret styring er, at styringsmo-

dellen lægger op til at opstille mål for borgernes progression frem for de aktiviteter, der

bliver gennemført i de støttede projekter. Dermed bliver fokus rettet på, om de støttede

projekter fører til positive resultater for de deltagende borgere. Bliver der opstillet meget

overordnede målsætninger i den politiske aftale, skal ministeriet gøre målene målbare i

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

forbindelse med puljevejledningen. Det fremgår af Finansministeriets

Vejledning om ef-

fektiv tilskudsforvaltning.

Der skal således være overensstemmelse mellem målene i den

politiske aftale og puljevejledningen.

Rigsrevisionen anbefalede i 2012 på baggrund af en gennemgang af ministeriets puljer,

at ministeriet i højere grad opstiller et evalueringsdesign tidligt i processen med at ud-

mønte puljer. Det bidrager fx til, at man fra projektets start indsamler de nødvendige data.

Det tydeliggør desuden for potentielle ansøgere, hvilke krav til dokumentation der følger

puljemidlerne.

Opstilling af mål

29. Figur 4 viser andelen af puljer fra 2012 og 2016, hvor der er opstillet mål for borgerne

i henholdsvis den politiske aftale og i Børne- og Socialministeriets puljevejledning.

FIGUR 4

ANDELEN AF PULJER AFTALT I 2012 OG 2016 MED MÅL FOR BORGERNE

I HENHOLDSVIS DEN POLITISKE AFTALE OG I PULJEVEJLEDNINGEN

2012

2016

20%

40%

60%

80%

100%

Mål i både politisk aftale og puljevejledning

Ingen mål i puljevejledning

Ingen mål i politisk aftale

Ingen mål i hverken politisk aftale eller puljevejledning

Note: Alle puljer fra 2012 og 2016 (i alt 28 puljer). 16 af puljerne er aftalt i 2012, og 12 af puljerne er aftalt

i 2016. Puljerne evalueret efter juni 2015 indgår ikke, fordi de stammer fra politiske aftaler fra for-

skellige år.

Kilde: Rigsrevisionen på baggrund af oplysninger fra Børne- og Socialministeriet.

Det fremgår af figur 4, at der for ca. ⅔ af puljerne er opstillet mål for borgernes progres-

sion i både den politiske aftale og i puljevejledningen, mens der for den sidste tredjedel af

puljerne mangler mål i den politiske aftale og/eller i puljevejledningen. Det gælder både

for puljerne aftalt i 2012 og i 2016. Ministeriet har oplyst, at disse puljer primært er ken-

detegnet ved at være såkaldte aktivitetspuljer. De bruges til at sikre hjælp i afgrænsede

situationer (julehjælp til økonomisk trængte familier og nødovernatning til gadesovende i

vintermånederne) eller støtte faste årlige sommerferieaktiviteter for handicaporganisa-

tioners brugere. Vi kan konstatere, at de manglende mål for borgerne ikke er i tråd med

intentionen i resultatbaseret styring.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Overensstemmelse mellem mål

OVERENSSTEMMENDE

INTENTION

Vi har brugt denne vurdering,

når målene i den politiske af-

tale og i puljevejledningen ikke

svarer til hinanden, men stadig

vurderes at have en lignende

intention.

30. Vi har undersøgt, om der er overensstemmelse mellem de mål, som er opstillet i hen-

holdsvis den politiske aftale og i puljevejledningen for de enkelte puljer. Undersøgelsen

viser, at der er en høj grad af overensstemmelse. I 2012 var der kun 6 % af puljerne, hvor

der var manglende overensstemmelse mellem målene i den politiske aftale og målene i

Børne- og Socialministeriets puljevejledning, og i 2016 var der enten overensstemmende

intention eller fuld overensstemmelse for alle de puljer, hvor der var mål begge steder.

Udarbejdelse af evalueringsdesign

31. Det er ikke alle puljer, hvor Børne- og Socialministeriet har mulighed for at gennem-

føre en evaluering. Muligheden for at evaluere forudsætter, at det fremgår af den politi-

ske aftale, at ministeriet enten

skal

eller

kan

gennemføre en evaluering. Det gør sig gæl-

dende for 9 af de 16 puljer aftalt i 2012 og for 4 af de 12 puljer aftalt i 2016. For de øvrige

puljer vil der ikke blive gennemført evaluering.

32. Figur 5 viser andelen af puljer med mulighed for evaluering, hvor Børne- og Socialmini-

steriet eller evaluator i designfasen har opstillet et overordnet evalueringsdesign for pul-

jerne aftalt i henholdsvis 2012 og 2016. Et evalueringsdesign kan i denne forbindelse

spænde fra overordnede betragtninger om, hvilke metoder og datakilder en kommende

evaluering vil bruge, til en detaljeret og konkret plan for evalueringen.

FIGUR 5

EVALUERINGSDESIGN FOR PULJER AFTALT I 2012 OG 2016

2012

2016

Evalueringsdesign

Skal evalueres ifølge politisk aftale, men intet evalueringsdesign

Kan evalueres ifølge politisk aftale, men intet evalueringsdesign

Note: Puljer aftalt i 2012 og 2016, hvor den politiske aftale gav mulighed for evaluering (i alt 13 ud af 28 pul-

jer). 9 af puljerne er aftalt i 2012, og 4 af puljerne er aftalt i 2016. Puljerne evalueret efter juni 2015

indgår ikke, fordi de stammer fra politiske aftaler fra forskellige år.

Kilde: Rigsrevisionen på baggrund af oplysninger fra Børne- og Socialministeriet.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Det fremgår af figur 5, at der blev opstillet evalueringsdesign for 5 ud af 9 puljer i 2012.

For 2 puljer, hvor der skulle gennemføres evaluering, og for 2 puljer, hvor der kunne gen-

nemføres evaluering, blev der ikke opstillet et evalueringsdesign. For puljerne aftalt i

2016 blev der ikke opstillet evalueringsdesign for 2 ud af 4 puljer. Af disse var der én pul-

je, som kunne blive evalueret, og én pulje, som skulle have været evalueret ifølge den po-

litiske aftale.

2.1b. Evaluering af puljerne

33. Det fremgår af den politiske aftale, hvilke puljer der skal evalueres. Vi har undersøgt

følgende:



Gennemførte evalueringer:

Om Børne- og Socialministeriet har evalueret de puljer,

hvor det fremgår af den politiske aftale, at puljen skal eller kan evalueres.

Måling på opstillede mål:

For de puljer, der evalueres, skal Børne- og Socialministeriet

sikre, at der bliver målt på de opstillede mål. Det er en forudsætning for at vide, om

puljen har levet op til sit formål.

I de tilfælde, hvor det fremgår af den politiske aftale, at en pulje skal evalueres, er det

ministeriets ansvar, at puljen bliver evalueret. I de tilfælde, hvor den politiske aftale fast-

slår, at en pulje kan evalueres, har vi ligeledes undersøgt, om dette er sket.

Ministeriet har som nævnt arbejdet efter resultatbaseret styring siden 2006. Det er cen-

tralt i denne styringslogik, at ministeriet opstiller målbare mål med henblik på, at evalua-

tor kan bruge disse mål til at undersøge, om puljen har levet op til sit formål.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Gennemførte evalueringer

34. Vi har undersøgt, om Børne- og Socialministeriet evaluerer de puljer, hvor der ifølge

den politiske aftale skal eller kan evalueres, jf. figur 6.

FIGUR 6

EVALUEREDE PULJER AFTALT I 2012

Er evalueret

Kan evalueres ifølge

politisk aftale, men er ikke

evalueret

Skal evalueres ifølge

politisk aftale, men er ikke

evalueret

Note: Puljer aftalt i 2012, hvor den politiske aftale gav mulighed for evaluering (i alt 9 ud af 16 puljer). Puljer-

ne evalueret efter juni 2015 indgår ikke, da disse puljer ikke stammer fra ét år, men fra hele perioden

2008-2013.

Kilde: Rigsrevisionen på baggrund af oplysninger fra Børne- og Socialministeriet.

Det fremgår af figur 6, at 6 ud af 9 puljer aftalt i 2012 med krav om evaluering blev evalue-

ret, én pulje med krav om evaluering blev ikke evalueret, mens ministeriet fravalgte at eva-

luere de 2 puljer, hvor ministeriet kunne vælge at evaluere dem. Ministeriet har oplyst, at

fravalget skyldes en vurdering af, at udbyttet ved en evaluering ikke ville stå mål med de

anvendte resurser. Boks 5 viser et eksempel på dette.

BOKS 5

EN PULJE, DER KUNNE EVALUERES, MEN IKKE BLEV DET

Puljen ”Frivilligt socialt arbejde” fremgår af finansloven for 2012 (§ 15.13.15.10). Puljen skal yde

støtte til det frivillige sociale arbejde, som organisationer og foreninger udfører for at forebyg-

ge og afhjælpe problemer for socialt udsatte. Der var afsat 34 mio. kr. til puljen.

Det fremgår af finansloven, at der kan anvendes 2,1 mio. kr. årligt til forsknings- og evaluerings-

aktiviteter på det frivillige sociale område.

Puljen er ikke blevet evalueret. Der ligger derfor ikke en evaluering til grund for Børne- og So-

cialministeriets vurdering af, om puljen har levet op til sit formål. Puljen bliver stadig finansie-

ret årligt af finansloven, men der bliver ikke længere afsat midler, som kan anvendes til eva-

luering.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Måling på opstillede mål

35. Vi har undersøgt, om de gennemførte evalueringer måler på de mål, som Børne- og So-

cialministeriet har opstillet i puljevejledningen. Undersøgelsen har allerede vist, at der er

stor overensstemmelse mellem målene i den politiske aftale og i puljevejledningen. Måle-

ne i puljevejledningen afspejler dermed i høj grad den politiske intention. Vi har derfor un-

dersøgt, om evaluator har målt på disse mål, jf. figur 7.

FIGUR 7

MÅL I PULJEVEJLEDNINGEN, SOM EVALUATOR HAR MÅLT PÅ

Alle de opstillede mål

Minimum halvdelen

af de opstillede mål

Under halvdelen

af de opstillede mål

Note: Alle evaluerede puljer (i alt 24 puljer). Der er 16 puljer aftalt i 2012 og 18 puljer evalueret efter juni

2015. Af disse 34 puljer er 24 evalueret. Puljerne fra 2016 er endnu ikke evalueret.

Kilde: Rigsrevisionen på baggrund af oplysninger fra Børne- og Socialministeriet.

Det fremgår af figur 7, at 17 af de 24 gennemførte evalueringer måler på alle målene fra

puljevejledningen. I 5 af evalueringerne bliver der målt på minimum halvdelen af målene.

Samlet set måler 22 af evalueringerne således på minimum halvdelen af målene eller på

alle målene. Der er ingen evalueringer, som slet ikke måler på målene fra puljevejledningen.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

RESULTATER

Undersøgelsen viser, at Børne- og Socialministeriet ikke i helt tilstrækkelig grad har sikret

viden om, hvorvidt ministeriets puljer lever op deres formål.

For de nye puljer, som er aftalt i 2016, fremgår det kun af den politiske aftale for 4 ud af

12 puljer, at der skal eller kan evalueres – mod 9 ud af 16 puljer i 2012. Det er ministeriet,

der udarbejder oplæg med puljeforslag til aftalen. Ministeriet kan derfor præge andelen af

puljer, der skal evalueres.

Rigsrevisionen finder, at den lave andel af planlagte evalueringer kan udgøre en risiko for,

at potentialet for at skabe viden fra puljerne aftalt i 2016 ikke vil blive indfriet.

For puljerne aftalt i 2012 opstillede ministeriet evalueringsdesign for 5 ud af de 7 puljer,

der skal evalueres. For puljerne aftalt i 2016 er der opstillet evalueringsdesign for 2 ud af

de 3 puljer, der skal evalueres. Dermed er der ikke sket en positiv udvikling.

Ministeriet har evalueret 6 af de 7 puljer, som er aftalt i 2012, og som

skal

evalueres. Mi-

nisteriet har overvejet omkostninger og udbytte ved at evaluere de 2 puljer, som ifølge

den politiske aftale

kan

evalueres, og har fravalgt at evaluere disse.

Ministeriet har i 2016 opstillet mål i både den politiske aftale og i puljevejledningen for

ca. ⅔ af puljerne. Ministeriet har oplyst, at de puljer, hvor der ikke bliver opstillet mål for

borgerne, primært er kendetegnet ved at være såkaldte aktivitetspuljer. De bruges til at

sikre akut hjælp i afgrænsede situationer eller til at støtte faste årlige aktiviteter. Rigs-

revisionen kan konstatere, at de manglende mål for borgerne ikke er i tråd med intentio-

nen i resultatbaseret styring.

For alle puljer aftalt i 2016, hvor der er opstillet mål i den politiske aftale, sikrer ministe-

riet, at målene i puljevejledningen er i overensstemmelse med disse. Det finder Rigsrevi-

sionen positivt.

For de puljer, der er blevet evalueret, er der målt på over halvdelen af alle målene fra pul-

jevejledningen i 22 ud af 24 evalueringer. Der er ingen evalueringer, som slet ikke måler

på målene fra puljevejledningen.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

2.2.

VIDEN OM PULJERNES EFFEKT

INDIVIDDATA

Data skal være personhenfør-

bare. Dette indebærer, at man

registrerer cpr-nummeret for de

borgere, der modtager indsat-

sen. Der findes dog indsatser,

hvor borgerne ønsker at være

anonyme. Her kan man i stedet

registrere borgerne med løbe-

numre.

36. Vi har undersøgt, om Børne- og Socialministeriet sikrer, at der for effektpuljer bliver

skabt viden om effekt.

Effektpuljer skal – ud over at leve op til de nævnte kriterier for at skabe viden om målop-

fyldelse – ifølge ministeriets egne retningslinjer leve op til en række særlige krav for bl.a.

at sikre, at de rette forudsætninger er på plads for at gennemføre en effektmåling. Effekt-

målingen er en del af den samlede evaluering af den enkelte pulje.

Vi har således undersøgt, om ministeriets

design

af effektpuljer lever op til ministeriets

egne krav fra evidenspolitikken fra 2013. Det erklærede mål med denne politik er bl.a. at

skabe et større samlet udbytte af evalueringer af effekter på borgerniveau.

Vi har også undersøgt, om ministeriets

evalueringer

af effektpuljer lever op til gængse

præmisser for effektmåling og ministeriets eget krav til denne type puljer. Vi perspekti-

verer resultatet ved at sammenligne med støttepuljerne fra stikprøven, hvor der ikke er

et krav om effektmåling.

LANGSIGTEDE EFFEK-

TER

Der skelnes ofte mellem kort-

sigtede og langsigtede effek-

ter. Evalueringer vil typisk måle

på kortsigtede effekter, mens

de langsigtede effekter ofte

først indtræder efter projekt-

afslutningen. Disse kan således

først måles på et senere tids-

punkt, hvilket forudsætter, at

Børne- og Socialministeriet har

adgang til projektets oprinde-

lige individdata.

2.2a. Design af effektpuljerne

37. Vi har undersøgt, om Børne- og Socialministeriet lever op til følgende 2 krav fra evi-

denspolitikken fra 2013 til design af effektpuljer:



Registrering af individdata:

Data om indsats og resultater for de enkelte deltagere i

effektpuljens projekter er en forudsætning for at gennemføre effektmåling. Ministe-

riet kan i forbindelse med valg af evaluator forpligte evaluator på, at evalueringen

skal gøre brug af individdata.

Arkivering af data:

Arkivering af data hos Danmarks Statistik giver mulighed for på et

senere tidspunkt at gennemføre undersøgelser af langsigtede effekter af indsatserne

ved at samkøre dataene med registerdata om fx beskæftigelse. Arkivering forudsæt-

ter, at ministeriet i kontrakten med evaluator har sikret sig ejerskab over data.

38. Undersøgelsen viser, at 2 ud af 16 puljer aftalt i 2012 var effektpuljer. Puljerne havde

et samlet beløb på 70 mio. kr. I 2016 gjaldt det for 2 ud af 12 puljer med et samlet beløb

på knap 64 mio. kr. Der blev dog også samlet afsat et langt højere beløb til puljer i 2012

end i 2016.

SAMKØRING AF DATA

Samkøring af data sker, når

man samler informationer om

en borger fra flere forskellige

datakilder. Det kan fx være re-

gistre om beskæftigelse, ud-

dannelse, kriminalitet, sociale

ydelser og sundhedsydelser.

Dette forudsætter kendskab

til borgerens cpr-nummer.



SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

39. Figur 8 viser antallet af effektpuljer aftalt i 2012 og 2016, hvor designet lever op til

Børne- og Socialministeriets krav.

FIGUR 8

EFFEKTPULJER AFTALT I 2012 OG 2016, HVOR DESIGNET LEVER OP TIL BØRNE- OG SOCIAL-

MINISTERIETS KRAV

Registrering af individdata

2012

Ministeriet har dataejerskab

Registrering af individdata

2016

Ministeriet har dataejerskab

Nej

Note: Alle effektpuljer aftalt i 2012 og 2016 (i alt 4 puljer). 2 af puljerne er aftalt i 2012, og 2 af puljerne er aftalt i 2016. Effektpuljerne evalueret

efter juni 2015 indgår ikke, fordi de stammer fra politiske aftaler fra forskellige år.

Kilde: Rigsrevisionen på baggrund af oplysninger fra Børne- og Socialministeriet.

Det fremgår af figur 8, at ministeriet for puljerne aftalt i 2016 til fulde levede op til egne

krav fra 2013 for design af effektpuljer. For begge puljer aftalt i 2016 har ministeriet sikret

sig, at der skal registreres individdata om indsats og resultat, og at de har ejerskab over

denne data. Det var kun tilfældet for én ud af 2 puljer aftalt i 2012.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

2.2b. Evaluering af effektpuljerne

40. Vi har undersøgt, hvor mange af effektpuljerne der er gennemført en effektmåling af.

Vi har både undersøgt de 2 effektpuljer aftalt i 2012 og de 5 effektpuljer evalueret efter

juni 2015. Det er ifølge Børne- og Socialministeriets evidenspolitik både muligt at måle

effekt med kvantitative og kvalitative metoder, jf. boks 6.

BOKS 6

BØRNE- OG SOCIALMINISTERIETS VIDENSHIERARKI

Børne- og Socialministeriet har udarbejdet en såkaldt vidensdeklaration. Ministeriet bruger bl.a.

dette værktøj til at vurdere (eller deklarere), hvilket niveau af viden forskellige typer evalue-

ringer kan give. Hierarkiet for viden spænder fra A til D, hvor A ifølge vidensdeklarationen er

udtryk for stor viden.



Niveau A

er kvantitative effektmålinger. For at kvalificere sig til niveau A skal evalueringen

sammenligne resultaterne for borgeren og den forandring, der (teoretisk set) ville være sket,

hvis borgeren ikke havde fået indsatsen. Evalueringen skal også måle størrelsen af effekten.



Niveau B

er kvalitative effektevalueringer. I en række situationer er det ikke muligt at gen-

nemføre kvantitative effektmålinger. I disse tilfælde kan procesorienterede effektstudier

anvendes til belysning af effekten gennem kvalitative metoder.



Niveau C

er forskellige typer af metoder, som uden at give viden om effekt kan give en in-

dikation af, om metoden fører til de forventede resultater. Det gælder fx for før- og efter-

målinger uden kontrolgruppe, ekspertvurderinger og eftermålinger.



Niveau D

er udtryk for ingen eller begrænset viden.

Det fremgår af ministeriets evidenspolitik, at effektpuljer bør evalueres med kvantitative ef-

fektmålinger. Hvis forudsætningerne for dette ikke er til stede, bør der gennemføres en kvali-

tativ effektmåling. Metoder på niveau C kan ifølge evidenspolitikken ikke bruges til at måle

effekt af disse puljer, da udsagnskraften er for lav.

41. Ingen af de evalueringer, som vi har gennemgået, er blevet

kvalitativt

effektevalueret.

De 7 effektpuljer er alle blevet

kvantitativt

evalueret. Vi har derfor undersøgt, om disse

evalueringer lever op til 4 gængse præmisser for kvantitativ effektmåling:



Registrering af individdata:

Indsamling af data om indsats og resultater for de enkelte

deltagere i effektpuljens projekter er en forudsætning for at gennemføre effektmåling.

Brug af kontrolgruppe:

Evalueringen skal indeholde en sammenligning, der muliggør en

identifikation af kausaleffekten (årsags-virkningssammenhængen).

Måling af effektens størrelse og usikkerhed:

Evalueringen skal indeholde overvejelser

om effektens størrelse, og hvilken usikkerhed der knytter sig til størrelsen af effekten.

Overvejelser om generalisering:

Evalueringen skal forholde sig til, hvilken gruppe af bor-

gere resultaterne af effektmålingen kan generaliseres til (hvem de kan siges at gælde

for).

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

42. Den første præmis er identisk med kravet i Børne- og Socialministeriets evidenspoli-

tik om registrering af individdata. I forrige afsnit undersøgte vi, om registrering af individ-

data har været en del af evalueringsdesignet. I dette afsnit har vi undersøgt, om evalue-

ringen gør brug af individdata.

Vi har desuden undersøgt, om ministeriet har sikret, at data fra puljerne er blevet arkive-

ret hos Danmarks Statistik. Arkivering af data gør det som nævnt muligt for ministeriet i

fremtiden at måle på puljens langsigtede effekt, hvilket forudsætter, at ministeriet i de-

signfasen har sikret sig ejerskab til dataene. Ministeriet vedtog kravet om arkivering af

data i 2013. Alle puljerne i den undersøgte stikprøve er afsluttet og evalueret – men ikke

iværksat – efter dette tidspunkt.

43. Det er ikke et krav, at evalueringer skal leve op til de 4 præmisser for at levere brug-

bar viden om en indsats. Fx skal Børne- og Socialministeriets evalueringer af effektpuljer

ifølge ministeriets egne retningslinjer også bidrage med viden, som sikrer, at de anvendte

indsatser er velbeskrevne og omkostningseffektive. De 4 præmisser er dog forudsætnin-

gen for, at ministeriet kan uddrage viden om

effekt

for borgeren af sine kvantitative eva-

lueringer, dvs. i hvilket omfang den forventede forandring af borgerens situation skyldes

den indsats, borgeren har deltaget i. Dette er uddybet i boks 7.

BOKS 7

DEFINITION AF EFFEKT AF SOCIALE INDSATSER

Effekt vil sige, at der er en vis sikkerhed for, at forandringen af borgerens situation kan henfø-

res til den sociale indsats, borgeren har modtaget, og at forandringen dermed ikke ville være

indtrådt som følge af andre omstændigheder i borgerens liv, uagtet den givne indsats. For at

kunne tale om effekt skal der således være tale om kausalitet (årsags-virkningssammenhæng)

mellem indsatsen og forandringen af borgerens situation. Dette kan man fx sandsynliggøre

kvantitativt med brug af en kontrolgruppe og statistiske udregninger eller kvalitativt gennem

procesorienterede effektstudier.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Effektpuljer

44. Figur 9 viser, hvor mange af de gennemførte evalueringer af effektpuljer der lever op til

hver af de 4 gængse præmisser for kvantitativ effektmåling.

FIGUR 9

EVALUERINGER AF EFFEKTPULJER, SOM LEVER OP TIL DE 4 PRÆMISSER

FOR KVANTITATIV EFFEKTMÅLING

Individdata om

indsats og resultat

Nej

Kontrolgruppe

Effektens størrelse

og usikkerhed

Generalisering

Note: Alle evaluerede effektpuljer (i alt 7 puljer). Heraf er 2 effektpuljer aftalt i 2012 og 5 effektpuljer eva-

lueret efter juni 2015 (disse er aftalt i forskellige år). Effektpuljerne fra 2016 er endnu ikke evalueret

og indgår af den grund ikke i figuren. Der er derfor forskel på antallet af puljer, som ligger til grund for

figur 8 og 9.

Kilde: Rigsrevisionen på baggrund af oplysninger fra Børne- og Socialministeriet.

Det fremgår af figur 9, at én ud af 7 evalueringer har benyttet en kontrolgruppe, 5 evalue-

ringer baserede sig på individdata om indsats og resultat, 3 evalueringer målte på effek-

tens størrelse og usikkerhed, og 4 evalueringer indeholdt overvejelser om generalisering.

Der er ingen af de 7 evalueringer, som lever op til alle 4 præmisser.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Arkivering af data fra effektpuljerne

45. Figur 10 viser, hvor mange af de evaluerede puljer der lever op til Børne- og Socialmini-

steriets krav om at arkivere data fra puljerne hos Danmarks Statistik.

FIGUR 10

PULJER, HVOR INDIVIDDATA ER ARKIVERET HOS DANMARKS STATISTIK

Data arkiveret hos

Danmarks Statistik

Data ikke arkiveret,

selv om der er

indsamlet data

Ingen data indsamlet

Udelukkende anonymiseret

data indsamlet

Note: Alle evaluerede effektpuljer (i alt 7 puljer). Heraf er 2 effektpuljer aftalt i 2012 og 5 effektpuljer eva-

lueret efter juni 2015 (disse er aftalt i forskellige år). Effektpuljerne fra 2016 er endnu ikke evalueret.

Kilde: Rigsrevisionen på baggrund af oplysninger fra Børne- og Socialministeriet.

Det fremgår af figur 10, at ministeriet har arkiveret data fra én ud af 7 puljer. For 3 puljer

er den indsamlede data ikke arkiveret hos Danmarks Statistik. For én pulje er der udeluk-

kende indsamlet anonymiseret data, så data ikke indeholder cpr-nummer, som er forud-

sætningen for at samkøre data med anden data hos Danmarks Statistik om fx beskæfti-

gelse. For de resterende 2 puljer er der slet ikke indsamlet individdata.

Ministeriet har oplyst, at data for de puljer, hvor data ikke er arkiveret hos Danmarks Sta-

tistik, stadig befinder sig hos evaluator og i enkelte tilfælde allerede er slettet. Dermed

har ministeriet aktuelt meget ringe mulighed for på et senere tidspunkt at måle den lang-

sigtede effekt af de afsluttede puljer. Ministeriet har dog oplyst, at de har startet en pro-

ces med at sikre, at data bliver overført til Danmarks Statistik. Rigsrevisionen finder, at

ministeriet med fordel i kontrakten med evaluator kan opstille krav om, at data bliver over-

ført, så snart dataindsamling og kvalitetssikring er afsluttet.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Støttepuljer

46. Undervejs i analysen er vi stødt på eksempler på støttepuljer, der er blevet kvantita-

tivt effektmålt, selv om der for disse puljer ikke er et krav om at måle effekt. Vi har derfor

også systematisk gennemgået evalueringerne af støttepuljerne for at se, om de lever op

til de gængse præmisser for kvantitativ effektmåling og til Børne- og Socialministeriets

supplerende krav om at arkivere data. Figur 11 viser andelen af evalueringer, som lever

op til de gængse præmisser for kvantitative effektmålinger.

FIGUR 11

EVALUERINGER AF STØTTEPULJER, SOM LEVER OP TIL DE 4 PRÆMISSER

FOR KVANTITATIV EFFEKTMÅLING

Individdata om

indsats og resultat

Nej

Kontrolgruppe

Effektens størrelse

og usikkerhed

Generalisering

Note: Alle kvantitativt evaluerede støttepuljer (i alt 13 puljer). Vi har undersøgt de støttepuljer, hvor evalue-

ringen kvantitativt har målt på resultaterne for borgerne. Heraf er 3 puljer aftalt i 2012 og 10 puljer

evalueret efter juni 2015 (disse er aftalt i forskellige år). Støttepuljerne fra 2016 er endnu ikke eva-

lueret.

Kilde: Rigsrevisionen på baggrund af oplysninger fra Børne- og Socialministeriet.

Det fremgår af figur 11, at støttepuljerne i langt højere grad end effektpuljerne lever op

til de 4 gængse præmisser for kvantitativ effektmåling.

Alle 13 evalueringer baserer sig således på individdata om indsats og resultat. Der er 10

ud af 13 evalueringer, som henholdsvis målte på effektens størrelse og usikkerhed og in-

deholdt en overvejelse om, hvilken gruppe af borgere resultaterne kan generaliseres til.

Endelig gjorde 7 ud af 13 evalueringer brug af en kontrolgruppe for at sikre, at den målte

effekt stammer fra den indsats, som borgerne har modtaget.

Evalueringen af 5 puljer lever op til alle 4 præmisser.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Arkivering af data fra støttepuljer

47. Børne- og Socialministeriet arkiverer til gengæld for ingen af de 13 støttepuljer data

hos Danmarks Statistik. Dette er dog også kun et krav, som ministeriet fra 2013 stiller til

sine effektpuljer. Ministeriet kan dermed heller ikke for de støttepuljer, som er blevet ef-

fektmålt, måle den langsigtede effekt af indsatsen.

Effektmålinger

48. Det er muligt at følge alle puljerne aftalt i 2012 fra den politiske aftale til den endeli-

ge evaluering. Resultaterne er vist i figur 12, som kun handler om puljer aftalt i 2012, da

de senest evaluerede puljer (efter juni 2015) er udmøntet i forskellige år, og midlerne der-

for ikke kan henføres til en specifik satspuljeaftale. Figuren viser, hvor mange af puljerne

aftalt i 2012 der er blevet effektmålt. Figuren indeholder således både puljer, som ikke

skal evalueres, puljer uden krav om effektmåling og puljer med krav om effektmåling.

FIGUR 12

ANDELEN AF PULJER AFTALT I 2012, SOM LEVER OP TIL GÆNGSE PRÆMIS-

SER FOR EFFEKTMÅLING

1.259

MIO. KR.

SATSPULJEMIDLER

MIO. KR.

382

30 %

PROJEKTPULJER

MIO. KR.

877

70 %

DRIFTS- OG AKTIVITETS-

STØTTE OG IKKE-BORGER-

RETTEDE INITIATIVER

(FORSKNING MV.)

MIO. KR.

18 %

EFFEKTPULJER

MIO. KR.

312

82 %

STØTTEPULJER

EVALUERINGER,

SOM LEVER OP TIL

GÆNGSE PRÆMISSER

FOR EFFEKTMÅLING

Note: Vi har ikke undersøgt satspuljemidler til drifts- og aktivitetsstøtte og ikke-borgerrettede initiativer

(fx forskning).

Kilde: Rigsrevisionen på baggrund af oplysninger fra Børne- og Socialministeriet.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Det fremgår af figur 12, at ingen af Børne- og Socialministeriets puljer, som blev aftalt i

2012, lever op til gængse præmisser for effektmåling, på trods af at der blev afsat 382

mio. kr. til puljer.

49. Blandt de puljer, som stammer fra forskellige satspuljeaftaler, men alle er evalueret

efter juni 2015, fandt vi dog 5 puljer, hvor evalueringen omfattede en effektmåling, der

levede op til præmisserne. Disse 5 puljer var alle støttepuljer. Børne- og Socialministeriet

har således ikke kategoriseret dem som puljer, der skulle give viden om effekt.

De veludførte effektmålinger giver dog politikerne og ministeriet selv vigtig information

om, hvilke indsatser der skaber en effekt for de berørte borgere. Denne information gør

det muligt at prioritere de indsatser, der har en effekt for borgeren, og i fremtiden undgå

at støtte de indsatser, som ikke giver en brugbar støtte for de udsatte borgere – eller som

ligefrem gør mere skade end gavn. Boks 8 viser et eksempel på en støttepulje, som har

haft en positiv effekt, og en støttepulje, som har haft en negativ effekt.

BOKS 8

EFFEKTMÅLING AF PULJER MED HENHOLDSVIS POSITIV OG NEGATIV

EFFEKT

Opsporing og screening af unge på erhvervsuddannelser

Puljens formål var at opspore, screene og yde støtte og rådgivning til

elever, der var frafaldstruede på grund af psykiske vanskeligheder.

Støtten skulle give eleverne øget trivsel og selvtillid, så flere af dem

ville gennemføre en ungdomsuddannelse.

De frafaldstruede elever på erhvervsuddannelserne blev tilbudt individuelle psykologsamtaler.

Derudover deltog de i gruppesamtaler og undervisning om psykisk sygdom. Evalueringen er

baseret på 290 af i alt 1.505 elever, som har modtaget indsatsen.

Evalueringen viser, at de frafaldstruede elever oplevede højere trivsel og havde et lavere fra-

fald sammenlignet med lignende elever på andre skoler.

Kollegier og ambulante tilbud til unge, enlige og sårbare mødre

Puljens formål var at hjælpe unge, enlige og sårbare mødre til at gen-

nemføre en kompetencegivende uddannelse og opnå fast beskæftigel-

se og at styrke mødrenes trivsel, forældreevne og sociale netværk.

Indsatsen bestod primært af gruppeforløb og fællesaktiviteter, fx

foredrag om babyførstehjælp, undervisning i dansk, sociale aktivi-

teter og udflugter. Indsatsen bestod også af individuelle aktiviteter, fx praktisk hjælp, vejled-

ningssamtaler, coachforløb og terapeutiske forløb. I alt har 165 mødre modtaget indsatsen.

Evalueringen viser, at mødrene ved projektets afslutning klarer sig dårligere beskæftigelses-

mæssigt end de udsatte og enlige mødre, der var en del af kontrolgruppen. Derudover kan der

ikke konstateres målbare forskelle. En forklaring kan ifølge evalueringen være, at udvælgelsen

og sammensætningen af svage, unge kvinder har medført en selvstempling blandt kvinderne.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

RESULTATER

Undersøgelsen viser, at Børne- og Socialministeriet ikke har sikret, at puljerne i tilstræk-

kelig grad skaber viden om effekt.

Det er en mindre andel af ministeriets puljer, der udmøntes som effektpuljer, dvs. hvor eva-

lueringen – foruden viden om metoden og omkostningerne – skal give viden om effekten

af den afprøvede indsats. I 2012 skulle 2 ud af 16 puljer give viden om effekt. Effektpuljer-

ne havde dette år et samlet beløb på 70 mio. kr. I 2016 gjaldt det for 2 ud af 12 puljer. Ef-

fektpuljerne udgjorde dette år knap 64 mio. kr.

Effekt kan ifølge ministeriets evidenspolitik både måles ved brug af kvalitative og kvanti-

tative metoder. Da Rigsrevisionen ikke er stødt på

kvalitative

effektevalueringer af mini-

steriets puljer, har Rigsrevisionen undersøgt de

kvantitative effektmålinger

af effektpul-

jerne. De lever i meget ringe grad op til gængse præmisser for kvantitativ effektmåling.

Dette er tydeligt demonstreret ved, at blot én ud af de 7 gennemgåede evalueringer af ef-

fektpuljer gør brug af en kontrolgruppe for at sikre, at den målte effekt stammer fra den

afprøvede indsats. Der findes gode grunde til, at det ikke altid er muligt at opstille kontrol-

grupper. Rigsrevisionen finder det dog utilstrækkeligt, at andelen af evalueringer uden en

kontrolgruppe er så høj. Konsekvensen er, at ministeriet ikke kan vide, om de observerede

resultater af de evaluerede indsatser rent faktisk skyldes indsatsen eller i stedet skyldes

andre forhold.

Ministeriet har hidtil ikke efterlevet sin strategi om at gemme individdata fra puljerne

hos Danmarks Statistik. Dette er kun sket for en enkelt effektpulje. For de øvrige puljer,

hvor der er indsamlet individdata, befinder data sig enten hos evaluator eller er slettet.

Ministeriet har derfor ikke mulighed for på et senere tidspunkt at måle langtidseffekter

for borgerne af de afprøvede indsatser. Det er et problem, fordi en række af puljerne har

mål, som først kan måles nogle år efter, at puljen er evalueret. Rigsrevisionen finder, at

ministeriet med fordel i kontrakten med evaluator kan opstille krav om, at data bliver

overført, så snart dataindsamling og kvalitetssikring er afsluttet.

Undersøgelsen viser desuden, at en større andel af ministeriets støttepuljer lever op til

de gængse præmisser for effektmåling, end det er tilfældet for effektpuljer. Disse effekt-

målinger skaber dog vigtig viden. Rigsrevisionen har i undersøgelsen både set eksempler

på evalueringer, der dokumenterer, at den afprøvede indsats har haft en positiv effekt, og

eksempler på, at den afprøvede indsats har været mere til skade end gavn for de udsatte

borgere, som modtog indsatsen.

Rigsrevisionen finder, at ministeriet med fordel kan tage klarere stilling til, om de enkelte

puljer skal give viden om effekt og indarbejde dette som et fast element i beskrivelsen af

hver pulje i oplægget med puljeforslag. Dette kan gøre det mere gennemsigtigt, hvilke

puljer der skal give viden om effekt, og dermed hjælpe med at indfri et ønske fra skiftende

regeringer gennem 10 år om mere effektviden fra puljerne. Ministeriet kan til det formål

gøre det til en fast praksis, at en fast minimumsandel af ministeriets puljeforslag er ef-

fektpuljer.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

2.3.

OPSAMLING AF VIDEN FRA PULJERNE

50. Vi har undersøgt, om Børne- og Socialministeriet på systematisk vis opsamler viden

fra puljerne.

Vi har for det første undersøgt, om ministeriet udarbejder vidensopsamlinger, der følger

op på, om de evaluerede puljer har levet op til deres formål. Det kan styrke forudsætnin-

gerne for at prioritere fremtidige satspuljemidler.

For det andet har vi undersøgt, om ministeriet systematiserer den opsamlede viden i en

intern database eller på Vidensportalen, som er en offentligt tilgængelig internetportal

til brug for bl.a. kommuner og praktikere på socialområdet. Det skal dels sikre, at ministe-

riet har et overblik til brug for udformning af fremtidige puljer eller politikudvikling på so-

cialområdet, dels at den nyeste viden er tilgængelig for alle, herunder kommuner, som sø-

ger information om den nyeste viden på området til brug for tilrettelæggelse af indsatsen

over for udsatte borgere.

2.3a. Vidensopsamlinger

51. Vi har undersøgt, om Børne- og Socialministeriet udarbejder vidensopsamlinger, der

følger op på, om de evaluerede puljer har levet op til deres formål, og om effektpuljerne

har skabt viden om effekt. En vidensopsamling forudsætter, at ministeriet aktivt forhol-

der sig til de erfaringer og den viden, der er skabt på baggrund af puljen. Hvis ministeriet

blot videresender evalueringen af en pulje til satspuljeordførerne, udgør det derfor ikke

en vidensopsamling.

Årlige vidensopsamlinger

52. Undersøgelsen viser, at Socialstyrelsen i 2012 udarbejdede en systematisk opsamling

af alle gennemførte evalueringer fra perioden april 2011 - marts 2012. Opsamlingen inde-

holdt oplysninger om, hvilken effekt de enkelte puljer har givet på borgerniveau.

53. På baggrund af vidensopsamlingen af 13 puljer konkluderede Socialstyrelsen, at 2 pul-

jer havde vist en lovende effekt, at 6 effektmålinger ikke havde en tilstrækkelig kvalitet

til at kunne konkludere noget om projektets effekt, og at der i de resterende 5 evaluerin-

ger ikke blev målt effekt. Vidensopsamlingen viste således et betydeligt potentiale i for-

hold til at forbedre kvaliteten af effektmålinger. Socialstyrelsen gennemførte ligeledes i

2012 en puljeanalyse, hvor styrelsen gennemgik evalueringer af 29 puljer afsluttet i perio-

den 2009-2012. Som nævnt i boks 2 viste denne puljeanalyse ligeledes, at størstedelen

af evalueringerne ikke kunne bruges til at konkludere på puljens effekt, selv om det var

hensigten med evalueringen.

54. Socialstyrelsen udarbejdede også en vidensopsamling af gennemførte evalueringer

fra perioden marts 2012 - marts 2013. Opsamlingen viste, at der var gennemført 4 evalue-

ringer. Som noget nyt brugte Børne- og Socialministeriet et karaktersystem til at vurdere,

hvor meget viden evalueringerne gav. Karaktersystemet spændte fra en høj grad af gyl-

dig viden, til at evalueringen slet ikke bidrog med gyldig viden. Alle 4 evalueringers bidrag

til viden om effekt blev bedømt til det næstlaveste niveau, som indebar en mindre grad

af gyldig viden.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

55. Efter 2013 ophørte Børne- og Socialministeriet med at gennemføre denne type af år-

lige vidensopsamlinger. Der er således ikke udarbejdet systematiske vidensopsamlinger

på tværs af evalueringer gennemført i perioden marts 2013 - juni 2015.

56. I 2016 gennemførte Socialstyrelsen en systematisk opsamling af alle gennemførte

evalueringer fra perioden juni 2015 - juni 2016. Socialstyrelsen vurderede dog i denne op-

samling ikke – som i 2012 – systematisk, om projekterne havde haft en effekt for borger-

ne. Vidensopsamlingen indeholder dog en punktvis oplistning af centrale evalueringsre-

sultater.

Dokumentationskrav til puljeansøgere

57. Undersøgelsen viser, at Børne- og Socialministeriet for en stor del af sine puljer stiller

krav om, at tilskudsmodtagerne (ofte kommuner) selv foretager dokumentation og står

for eventuel evaluering. Ministeriet har dog ikke kunnet dokumentere, at ministeriet for

nogen af disse puljer gennemfører vidensopsamlinger på tværs af de udarbejdede pro-

jektevalueringer. Dette skaber en risiko for, at ministeriet ikke får inddraget denne viden

i sit fremadrettede arbejde. Boks 9 viser et eksempel på en pulje, hvor ministeriet i pulje-

vejledningen stiller krav til dokumentation i projektet, men ikke har gennemført en videns-

opsamling.

BOKS 9

DOKUMENTATIONSKRAV UDEN VIDENSOPSAMLING

Puljen ”Deltagelse og medbestemmelse for mennesker med handicap – Forsøg med kurser og

aktiviteter med fokus på motion og sundhed for blinde og stærkt svagsynede børn og unge”

indgik i satspuljeaftalen for 2012. Puljen udgjorde knap 1 mio. kr.

Formålet var at udvikle og gennemføre et forsøg med kurser og aktiviteter med fokus på mo-

tion og sundhed for blinde og stærkt svagsynede børn og unge for at give viden om og interes-

se for motion og sundhed samt selvtillid og mod på at indgå i relationer og deltage aktivt i sko-

le- og fritidsliv.

Det fremgik af puljevejledningen, at der skulle gennemføres en mindre erfaringsopsamling med

henblik på at følge op på puljens mål, projekternes gennemførelse og at opsamle positive og

negative erfaringer. Socialstyrelsen ville i den sammenhæng udarbejde simple evaluerings-

skemaer, som deltagerne skulle udfylde. For at modtage midler skulle ansøgerne bidrage til

vidensopsamlingen.

Der er aldrig blevet udarbejdet en vidensopsamling for puljen.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Vidensopsamlinger i forhold til puljens oprindelige formål

58. Vi har undersøgt, om vidensopsamlingerne giver den viden, som skulle skabes ifølge

den politiske aftale. Det har vi gjort ved at undersøge, om de evalueringsresultater, som

er beskrevet i vidensopsamlingen, er en måling af det formål eller de konkrete mål, som

der var opstillet i den politiske aftale, jf. figur 13.

FIGUR 13

OVERENSSTEMMELSE MELLEM PULJENS FORMÅL OG EVALUERINGS-

RESULTATER I VIDENSOPSAMLINGEN

Fuld

overensstemmelse

Delvis

overensstemmelse

Manglende

overensstemmelse

Note: Alle evaluerede puljer, som er del af en vidensopsamling (i alt 14 puljer).

Kilde: Rigsrevisionen på baggrund af oplysninger fra Børne- og Socialministeriet.

Det fremgår af figur 13, at der for 9 ud af 14 puljer ikke var sammenhæng mellem evalue-

ringsresultaterne præsenteret i vidensopsamlingen og det oprindelige formål med puljen.

For 3 af puljerne var evalueringsresultaterne beskrevet, så de dækkede dele af formålet,

mens der for de resterende 2 var en logisk og fyldestgørende sammenhæng mellem formål

og resultater.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Boks 10 viser et eksempel på en pulje, hvor der er manglende sammenhæng mellem det for-

mål, som var vedtaget i satspuljeaftalen, og de resultater, som Socialstyrelsen oplister i

vidensopsamlingen.

BOKS 10

MANGLENDE OVERENSSTEMMELSE MELLEM PULJENS FORMÅL OG

RESULTATER I VIDENSOPSAMLING

Puljen ”Sociale viceværter i ungdomsboliger” indgik i satspuljeaftalen for 2008. De støttede pro-

jekter blev gennemført i perioden 2010-2014. Puljen blev evalueret sammen med 4 øvrige puljer

i en samlet evaluering. Evalueringen blev publiceret i 2016. Puljen havde til formål at gøre ud-

satte unge i stand til at forvalte en hverdag i egen bolig, mens de passer et arbejde eller en ud-

dannelse.

Evalueringen af puljen er baseret på fokusgruppeinterviews med projektdeltagerne og indivi-

duelle interviews med de sociale viceværter. Det fremgår af evalueringen, at den ikke måler på

effekten for de udsatte unge.

I vidensopsamlingen har Socialstyrelsen samlet de 5 puljer i et skema. Under centrale evalue-

ringsresultater anfører styrelsen: ”På baggrund af registerdata kan det ikke konkluderes, at pro-

jekterne har haft en positiv effekt i forhold til at få de unge i uddannelse og beskæftigelse”.

Dette giver fejlagtigt læseren (fx satspuljeordførerne) opfattelsen af, at evaluator har gennem-

ført en effektmåling af puljen på baggrund af registerdata. Det er ikke tilfældet.

2.3b. Systematisering af viden

59. Vi har undersøgt Børne- og Socialministeriets praksis for systematisk at skabe over-

blik over viden fra puljerne ved at:



opbygge en intern database, hvor ministeriets medarbejdere kan få et systematisk

overblik over erfaringer og resultater fra tidligere puljer

opdatere den eksternt rettede Vidensportal med evalueringsresultater fra afsluttede

effektpuljer, så den lever op til sit formål om at samle aktuelt bedste viden om, hvad

der virker på det sociale område.

Intern database

60. Børne- og Socialministeriet har oplyst, at ministeriet ikke har udviklet en intern data-

base til systematisk at få et overblik over viden fra puljerne. Ministeriet har oplyst, at eva-

lueringerne offentliggøres på Socialstyrelsens hjemmeside og i visse tilfælde på ministe-

riets egen hjemmeside under de relevante projekter og under ”Nyheder”. Evalueringerne

bliver også journaliseret i ministeriets journaliseringssystem. Rigsrevisionen finder, at

dette kan gøre det svært for særligt nye medarbejdere at danne sig et overblik.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Vidensportalen

61. Socialstyrelsen etablerede i 2010 Vidensportalen. Formålet med Vidensportalen er at

samle aktuelt bedste viden på det sociale område om, hvilke indsatser der virker, og for-

midle det, så den opsamlede viden kan anvendes i praksis i kommunerne. Da Socialstyrel-

sen definerer formålet med effektpuljer som udvikling af ”sociale metoder, der er velbe-

skrevne, omkostningseffektive og har dokumenteret effekt”, må evalueringen af disse pr.

definition være aktuelt bedste viden. Resultatet af de evalueringer, som hører ind under

de temaer, som Vidensportalen dækker, bør efter Rigsrevisionens opfattelse derfor indar-

bejdes på portalen, så snart de bliver offentliggjort.

62. Figur 14 viser andelen af evalueringer, hvor resultaterne bliver omtalt på Vidensporta-

len.

FIGUR 14

EVALUEREDE EFFEKTPULJER, HVOR RESULTATET AF EVALUERINGEN

FREMGÅR AF VIDENSPORTALEN

Nej, selv om der var effektmål,

som der blev målt på

Note: Alle evaluerede effektpuljer (i alt 7 puljer). Heraf er 2 effektpuljer aftalt i 2012 og 5 effektpuljer eva-

lueret efter juni 2015 (disse er aftalt i forskellige år).

Kilde: Rigsrevisionen på baggrund af oplysninger fra Børne- og Socialministeriet.

Det fremgår af figur 14, at 6 ud af 7 evalueringer af effektpuljer ikke bliver omtalt på Vi-

densportalen. Undersøgelsen viser desuden, at der ikke bliver nævnt resultater fra en ene-

ste af evalueringerne af støttepuljerne, på trods af at flere af disse – i endnu højere grad

end evalueringerne af effektpuljer – lever op til gængse præmisser for effektmåling.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Boks 11 viser et eksempel på en pulje, der bliver omtalt som en igangværende indsats på

Vidensportalen, selv om indsatsen er afsluttet og evalueret. Dette er tilfældet for 5 af de

6 effektpuljer, hvor evalueringen ikke bliver omtalt på Vidensportalen, på trods af at 2 af

de 5 afsluttede puljer blev evalueret tilbage i 2015.

BOKS 11

MANGLENDE OPDATERING AF VIDENSPORTALEN

Puljen ”Akutte krisecentre for socialt udsatte stofmisbrugere” indgik i

satspuljeaftalen for 2012. Børne- og Socialministeriet har oplyst, at det

er en effektpulje. Evalueringen af puljen blev offentliggjort i oktober

2016.

På Vidensportalen fremgår indsatsen af et såkaldt vidensnotat om

mennesker med stofmisbrug. Indsatsen er dog omtalt som et igangværende initiativ, selv om

evalueringen blev offentliggjort for over 1 år siden.

I vidensnotatet fremgår en anden indsats også som igangværende, selv om den blev afsluttet

i 2013. Denne del af notatet er altså som minimum ikke opdateret fra 2013 til tidspunktet for

Rigsrevisionens undersøgelse i efteråret 2017.

RESULTATER

Undersøgelsen viser, at Børne- og Socialministeriet ikke har opbygget en tilstrækkelig sy-

stematisk tilgang til at opsamle viden fra puljerne.

Ministeriet ophørte i en periode på 2 år mellem 2013 og 2015 med at gennemføre videns-

opsamlinger af evalueringsresultater på tværs af puljer. Rigsrevisionen finder det uhen-

sigtsmæssigt, at ministeriet i denne periode ikke gennemførte vidensopsamlinger for at

sikre et systematisk overblik over resultater og erfaringer fra afsluttede puljer. Vidensop-

samlingerne gav desuden ministeriet en systematisk vurdering af kvaliteten af de udar-

bejdede effektmålinger. Vidensopsamlingerne inddrager desuden ikke viden fra de under-

liggende projekters dokumentation af mål og resultater, selv om ministeriet i puljevejled-

ningen ofte stiller store dokumentationskrav.

Ministeriet skaber ikke systematisk et samlet overblik over resultater og erfaringer fra de

gennemførte puljer. Ministeriet har således ikke en intern database og opdaterer ikke Vi-

densportalen med resultater af nye evalueringer. Der var således kun én ud af 7 evaluere-

de effektpuljer, hvor ministeriet har lagt resultater på Vidensportalen. Ministeriet har des-

uden ikke opdateret Vidensportalen med resultater for en eneste af de evaluerede støtte-

puljer, på trods af at disse puljer i højere grad end effektpuljerne levede op til gængse præ-

misser for effektmåling.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

VIDEN FRA PULJER

Rigsrevisionen finder det utilfredsstillende, at ministeriet ikke stiller den nyeste viden om,

hvad der virker på socialområdet, til rådighed på Vidensportalen. Rigsrevisionen finder, at

ministeriet bør etablere en fast praksis for at opdatere Vidensportalen i forbindelse med,

at relevante evalueringer bliver offentliggjort.

Rigsrevisionen vil desuden opfordre ministeriet til at skabe et lettilgængeligt overblik over

erfaringer og resultater fra puljer. Det vil mindske risikoen for, at fremtidig politikudvikling

eller satspuljeaftaler ikke bygger på den nyeste relevante viden.

Rigsrevisionen, den 8. november 2017

Lone Strøm

/Michala Krakauer

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

METODISK TILGANG

BILAG 1. METODISK TILGANG

Formålet med undersøgelsen er at vurdere, om Børne- og Socialministeriet i tilstrækkelig

grad har opbygget viden, herunder viden om effekt, der viser, om ministeriets projektpuljer

lever op til deres formål om at støtte udsatte borgere. Derfor har vi undersøgt følgende:



om ministeriet for alle sine puljer sikrer, at der bliver skabt viden om

målopfyldelse

om ministeriet for effektpuljer sikrer, at der bliver skabt viden om

effekt

om ministeriet på systematisk vis

opsamler

viden fra puljerne.

I undersøgelsen indgår Børne- og Socialministeriet, herunder Socialstyrelsen.

Undersøgelsen omhandler perioden 2012-2017. Det skyldes, at vi har ønsket at undersø-

ge puljer, som er blevet evalueret. Vi har i dialog med Børne- og Socialministeriet beslut-

tet at undersøge alle puljer aftalt i 2012. Det skyldes, at puljerne kan løbe over 4 år og der-

efter skal evalueres. Alle puljerne fra 2012 har derfor haft tilstrækkelig tid til at blive eva-

lueret før opstarten af vores undersøgelse. For at undersøge, om ministeriet har forbedret

sin praksis for at designe puljer, og for at styrke undersøgelsens grundlag og resultater,

har vi desuden gennemgået de senest designede puljer fra 2016 og alle evalueringer gen-

nemført efter juni 2015.

Undersøgelsen bygger på gennemgang af denne stikprøve af puljer og gennemgang af øv-

rige væsentlige dokumenter.

Væsentlige dokumenter

Vi har gennemgået en række generelle dokumenter, herunder:



satspuljeaftaler fra 2012 til 2017

Finansministeriets vejledning om effektiv tilskudsforvaltning

Rigsrevisionen og FSR - danske revisorers vejledning om forvaltning og revision af

offentlige tilskud

Børne- og Socialministeriets procedurer for administration af puljer

Børne- og Socialministeriets puljeanalyse fra 2012

Børne- og Socialministeriets vidensopsamlinger af satspuljeevalueringer.

Vi har gennemgået en række dokumenter for hver pulje, som er en del af stikprøven, her-

under:



puljevejledning

udbud af evalueringsopgave

tilbud på evalueringsopgave

kontrakt med evaluator

evaluering.

Formålet med gennemgangen af dokumenterne har været at opstille revisionskriterier for

og gennemføre stikprøvegennemgangen af puljerne.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

METODISK TILGANG

Møder

Vi har holdt møder med:



Børne- og Socialministeriets departement

Socialstyrelsen

Egmont Fonden

Rambøll.

Formålet med møderne med Børne- og Socialministeriets departement og Socialstyrelsen

har været at tilrettelægge og kvalitetssikre undersøgelsen. Mødet med Rambøll har givet

os indblik i ministeriets samarbejde med en evaluator. Mødet med Egmont Fonden har givet

os indblik i, hvordan en privat aktør har tilrettelagt sin proces med at skabe viden på bag-

grund af støtte af sociale indsatser.

Stikprøve

Formålet med stikprøvegennemgangen har været at undersøge Børne- og Socialministe-

riets indsats for at opbygge viden, der viser, om ministeriets projektpuljer lever op til deres

formål om at støtte udsatte borgere.

I undersøgelsen har vi ved dokumentgennemgang fulgt den enkelte pulje fra politisk aftale

til endelig evaluering for en stikprøve på 46 puljer. Figuren nedenfor viser de 4 faser, som

en pulje gennemgår, og de centrale dokumenter, vi har gennemgået som led i undersøgel-

sen.

DOKUMENTER KNYTTET TIL FASERNE FOR FORVALTNING AF PULJER

POLITISK AFTALE

• Satspuljeaftale

• Finanslov

•

PULJEDESIGN

Puljevejledning

Evalueringsudbud

Evalueringstilbud

Kontrakt med

evaluator

EVALUERING

• Evalueringsrapport

(eventuelt inkl.

effektmåling)

VIDENSOPSAMLING

• Vidensopsamling

af enkelte puljer

• Vidensopsamling

på tværs af puljer

• Opdatering af

Vidensportalen

Kilde: Rigsrevisionen.

Det fremgår af figuren, at en pulje bliver skabt med en

politisk aftale,

typisk en satspulje-

aftale. Undersøgelsen inkluderer dog også projektpuljer, som er finansieret direkte på fi-

nansloven. Disse udgør dog kun en mindre andel af de gennemgåede puljer. På baggrund af

formålet i den politiske aftale fastlægger ministeriet i fasen for

puljedesign

rammerne for

den konkrete administration og opfølgning på den enkelte pulje.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

METODISK TILGANG

evalueringsfasen

gennemfører evaluator den konkrete evaluering på puljeniveau af de

puljer, der skal evalueres. I

vidensopsamlingsfasen

samler ministeriet op på resultaterne

af puljerne, så den nye viden kan bruges i forbindelse med udmøntning af fremtidige pul-

jer eller til formulering af ny lovgivning.

Vores samlede stikprøve består af puljer udmøntet og evalueret i forskellige år. Puljerne

er valgt, fordi de opfylder forskellige formål. Formålet med hver stikprøve er beskrevet i

figuren nedenfor.

UNDERSØGELSENS STIKPRØVE

Puljer aftalt i 2012

Formålet har været at undersøge alle puljer fra et år, hvor alle puljer var afsluttet og eventuelt

evalueret. For disse puljer har vi undersøgt

alle puljens faser

fra politisk aftale til vidensopsamling.

16 puljer: 14 støttepuljer og 2 effektpuljer.

Puljer evalueret efter juni 2015

Det primære formål med disse puljer har været at øge andelen af evalueringer i vores stikprøve for

dermed at styrke grundlaget for undersøgelsens resultater. For disse puljer har vi undersøgt

evalueringsfasen og vidensopsamlingsfasen.

18 puljer: 13 støttepuljer og 5 effektpuljer.

Puljer aftalt i 2016

Formålet har været at undersøge alle puljer fra det senest afsluttede år for at undersøge, om

Børne- og Socialministeriet har forbedret sin praksis for at designe puljer siden 2012. For disse

puljer har vi undersøgt

designfasen

12 puljer: 10 støttepuljer og 2 effektpuljer.

Kilde: Rigsrevisionen.

Det fremgår af figuren, at puljerne i stikprøven har forskellige formål. Puljer aftalt i 2012

giver os mulighed for at følge alle puljens faser fra politisk aftale til vidensopsamling. Vi

kan derfor undersøge, hvor stor en andel der er blevet evalueret – og om evalueringerne

måler på puljens oprindelige formål. Puljer evalueret efter juni 2015 giver os mulighed for

at gennemgå flere evalueringer og styrker derved grundlaget for undersøgelsens resulta-

ter. Er en pulje aftalt i 2012, men evalueret efter 2015, tæller den i undersøgelsen kun med

som en pulje aftalt i 2012. Puljer aftalt i 2016 giver os mulighed for at undersøge, om Bør-

ne- og Socialministeriet siden 2012 har udviklet måden, ministeriet designer puljer på.

Det fremgår også af figuren, at stikprøven samlet set indeholder 46 puljer fordelt på 37

støttepuljer og 9 effektpuljer. Det er Børne- og Socialministeriet, som har udarbejdet en

oversigt over alle puljer, som har levet op til undersøgelsens afgrænsning.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

METODISK TILGANG

Stikprøvegennemgangen er gennemført ved, at 2 af Rigsrevisionens medarbejdere uafhæn-

gigt af hinanden systematisk har gennemgået hver enkelt pulje ved hjælp af en udarbejdet

kodebog. Medarbejderne har efterfølgende sammenlignet deres gennemgang af hver en-

kelt variabel for hver enkelt pulje for at komme frem til det endelige resultat.

Børne- og Socialministeriet har efterfølgende haft den samlede stikprøvegennemgang i

høring for at kvalitetssikre Rigsrevisionens analyse.

Tabellen nedenfor viser en samlet oversigt over de puljer, vi har gennemgået som led i stik-

prøven.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

METODISK TILGANG

PULJER I RIGSREVISIONENS STIKPRØVE

Aftaleår

Puljer aftalt i 2012

Behandling/rådgivning, senfølger af seksuelle overgreb

Isolerede sindslidende i egen bolig

Bekæmpelse af fattigdom og socialt udsathed – julehjælp

Bekæmpelse af fattigdom og socialt udsathed – sommerferiehjælp og opfølgende aktiviteter

Bekæmpelse af fattigdom og socialt udsathed – frivillig gældsrådgivning

Bekæmpelse af fattigdom og socialt udsathed – nødovernatningspulje

Exit Prostitution

Væk med volden – behandlingstilbud til voldsudøvende mænd

Akutte krisecentre for socialt udsatte stofmisbrugere

Udsatteråd i kommunerne

Deltagelse og medbestemmelse for mennesker med handicap – forsøg med kurser og aktiviteter med fokus på

motion og sundhed for blinde og stærkt svagsynede børn og unge

Støtte til frivillige organisationer

Uddannelsespulje til frivillige

Frivilligt socialt arbejde til fordel for socialt truede mennesker

Handicappuljen 2012

Forsøg med udgående indsatser til unge med rusmiddelproblemer

Puljer evalueret efter juni 2015

Lige muligheder – efterværn

Lige muligheder – udsatte børn og unge – kollegier og ambulante tilbud til unge, enlige og sårbare mødre

Lige muligheder – netværk- og samtalegrupper

Lige muligheder – sociale viceværter

Lige muligheder – 24-timers kontaktordningen

Gruppebehandling for børn og unge, der har været udsat for seksuelle overgreb

Unge sindslidende med misbrug

Integreret indsats for mennesker med sindslidelse og misbrug

Anbragte unges overgang til voksenlivet – særtog til uddannelse og beskæftigelse

Anbragte unges overgang til voksenlivet – forsøg med værtsfamilier

Anbragte unges overgang til voksenlivet – systematisk tilbud fra Baglandet til tidligere anbragte

Anbragte unges overgang til voksenlivet – forsøg med socialt iværksætteri

Pulje til opsporing og screening af unge på erhvervsuddannelser

Pulje til støtte til familier med børn med psykiske vanskeligheder

Børn, der krænker andre børn

Samarbejder mellem det offentlige og civilsamfundet til forebyggende indsatser for personer med sindslidelser

(15M-puljen, 2013-2016)

2012

2008

2011

2013

Evalueringen har været forelagt Rigsrevisionen i udkast. Evalueringen har derfor indgået på lige fod med offentliggjorte evalueringer i analysen,

da Børne- og Socialministeriet forventer en snarlig offentliggørelse.

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

METODISK TILGANG

PULJER I RIGSREVISIONENS STIKPRØVE

Aftaleår

Puljer evalueret efter juni 2015

SMART Recovery

Styrket indsats til væresteder

Implementering og forankring af hjemløsestrategiens resultater

Puljer aftalt i 2016

Dokumentation af lovende social praksis

Faglig og økonomisk støtte til omlægning af indsatsen for udsatte børn og unge

Udbredelse af behandlingsmodeller til unge med misbrug

Rådgivningstilbud til psykisk sårbare unge

Opfølgende samtaler til tidligere anbragte unge

Naturen som social og rehabiliterende indsats

Frivillig gældsrådgivning

Etablering af midlertidige nødovernatningstilbud

Pulje til uddeling af julehjælp

Pulje til sommerferiehjælp

Handicappuljen

Frivilligt socialt arbejde til fordel for socialt truede mennesker

Kilde: Rigsrevisionen på baggrund af oplysninger fra Børne- og Socialministeriet.

2013

2014

2016

Standarderne for offentlig revision

Revisionen er udført i overensstemmelse med standarderne for offentlig revision. Standar-

derne fastlægger, hvad brugerne og offentligheden kan forvente af revisionen, for at der

er tale om en god faglig ydelse. Standarderne er baseret på de grundlæggende revisions-

principper i rigsrevisionernes internationale standarder (ISSAI 100-999).

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

ORDLSITE

BILAG 2. ORDLISTE

Effekt

Viden om virkningen af en indsats, hvor evaluator har sikret sig, at de observerede resultater stam-

mer fra den indsats, som borgeren har modtaget.

Projektpuljer til udvikling af sociale metoder, der er velbeskrevne, omkostningseffektive og har do-

kumenteret effekt.

De 4 gængse præmisser for, hvornår en kvantitativ analyse bidrager med effektviden, er – i forbindel-

se med beretningen om grundlaget for at dokumentere effekt af sociale indsatser fra marts 2017 – ud-

viklet af Rigsrevisionen i samarbejde med Vibeke Lehmann Nielsen og Kim Mannemar Sønderskov,

som begge er professorer på Institut for Statskundskab ved Aarhus Universitet.

Vil sige, at dataene skal være personhenførbare. Dette indebærer, at man registrerer cpr-nummeret

for de borgere, der modtager indsatsen. Der findes dog indsatser, hvor borgerne ønsker at være ano-

nyme. Her kan man i stedet registrere borgerne med løbenumre i stedet.

En kontrolgruppe benyttes til at sammenligne borgere, som modtager en indsats, med tilsvarende

borgere, som ikke modtager indsatsen. De 2 grupper ligner hinanden så vidt muligt med undtagelse

af, at den ene gruppe modtager indsatsen, og den anden ikke gør. Man kan herefter sammenligne,

hvordan borgerne i de 2 grupper udvikler sig. Hvis der fx er tale om en indsats rettet mod stofmisbru-

gere, kan man herefter sammenligne gruppernes udvikling i forhold til misbrug. Den ændring, der sker

i gruppen, som modtager indsatsen, men ikke i kontrolgruppen, må nødvendigvis skyldes indsatsen

frem for andre forhold, da indsatsen er den eneste forskel på grupperne.

En kontrolgruppe kan etableres fysisk (gennem fx lodtrækning) eller ved hjælp af statistiske metoder.

Effektpuljer

Gængse præmisser

for effektmåling

Individdata

Kontrolgruppe

Langsigtede effekter

Der skelnes ofte mellem kortsigtede og langsigtede effekter. Evalueringer vil typisk måle på kortsig-

tede effekter, mens de langsigtede effekter ofte først indtræder efter projektafslutningen. Disse kan

således først måles på et senere tidspunkt, hvilket forudsætter, at Børne- og Socialministeriet har

adgang til projektets oprindelige individdata.

Statistikker på det sociale område, som kommunerne via lovgivningen er forpligtede til at indberette

data til. Det kan fx være anbringelsesstatistikken, som indeholder information om anbringelser af

børn og unge uden for hjemmet.

Vi har brugt denne vurdering, når målene i den politiske aftale og i puljevejledningen ikke svarer til

hinanden, men stadig vurderes at have en lignende intention.

Puljer, som har til formål at støtte konkrete borgerrettede projekter. En pulje består typisk af flere

underliggende projekter. Vi anvender betegnelsen projektpuljer for at tydeliggøre, at vi ikke under-

søger puljer, som Børne- og Socialministeriet udmønter som driftsstøtte eller som køb af konsulent-

ydelser.

Proces, hvor Børne- og Socialministeriet udarbejder puljevejledning og udbyder opgaven med at eva-

luere puljen.

Børne- og Socialministeriet opstiller en puljevejledning for hver enkelt pulje, som ministeriet udmøn-

ter. Puljevejledningen skal give potentielle ansøgere vigtige informationer ved at beskrive grundlæg-

gende forhold om puljen, fx formål, målgruppe, ansøgningsproces, forventede resultater og krav i for-

bindelse med evaluering.

Nationale statistikker

Overensstemmende

intention

Projektpuljer

Puljedesign

Puljevejledning

SOU, Alm.del - 2017-18 - Bilag 70: Rigsrevisionens beretning 6/2017 om viden fra puljer på socialområdet afgivet til Folketinget med Statsrevisorernes bemærkninger

ORDLISTE

Samkøring af data

Det sker, når man samler informationer om en borger fra flere forskellige datakilder. Det kan fx være

registre om beskæftigelse, uddannelse, kriminalitet, sociale ydelser og sundhedsydelser. Dette for-

udsætter kendskab til borgerens cpr-nummer.

Satspuljen finansierer årligt en række initiativer, der har til formål at forbedre vilkårene for overfør-

selsindkomstmodtagere og svage grupper. Der bliver årligt – som resultat af satspuljeforhandlingerne

– truffet beslutning om, hvilke initiativer satspuljen skal støtte.

Disse rapporter bliver udarbejdet af tilskudsmodtager i løbet af projektperioden. De bliver efterføl-

gende sendt til Børne- og Socialministeriet, som derved kan følge projektets fremdrift.

Børne- og Socialministeriet foretager en systematisk vurdering af, om én eller flere puljer har levet op

til deres formål. Dette kan ske ved at samle og skabe overblik over erfaringer og resultater, som fx

er fundet i evalueringen af puljen.

En internetside, som formidler aktuelt bedste viden om, hvilke sociale indsatser der virker. Portalen

skal støtte bl.a. kommunerne i at vælge effektive og fagligt velfunderede løsninger. Socialstyrelsen

etablerede portalen i 2010.

Satspuljen

Statusrapporter

Vidensopsamling

Vidensportalen