Børne- og Undervisningsudvalget 2019-20
BUU Alm.del Bilag 222
Offentligt
2230200_0001.png
Tilbageførte elever og overgang til
ungdomsuddannelse
Beatrice Schindler Rangvid
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0002.png
Tilbageførte elever og overgang til ungdomsuddannelse
© VIVE og forfatterne, 2020
e-ISBN: 978-87-7119-751-8
Modelfoto: Sine Fiig/VIVE
Projekt: 100070
VIVE – Viden til Velfærd
Det Nationale Forsknings- og Analysecenter for Velfærd
Herluf Trolles Gade 11, 1052 København K
www.vive.dk
VIVEs publikationer kan frit citeres med tydelig kildeangivelse.
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
Forord
Rapporten indgår i projektet Inklusionspanelet, der blev iværksat i forlængelse af den politiske
aftale om øget inklusion i folkeskolen i 2013. Formålet med Inklusionspanelet har været at
indsamle og udbrede viden om, hvordan eleverne trives, og hvordan det går med deres faglige
udbytte af undervisningen i denne periode, hvor skolerne har skullet omstille sig til øget inklu-
sion.
I en tidligere analyse har der været fokus på elever med særlige behov, som blev tilbageført til
den almene undervisning, og hvordan de klarer sig de første par år efter deres tilbagevenden.
Formålet med denne rapport er at følge op og belyse, hvordan de tilbageførte elever klarer sig
i overgangen til en kompetencegivende ungdomsuddannelse.
Rapporten er udarbejdet af VIVE – Det Nationale Forsknings- og Analysecenter for Velfærd for
Børne- og Undervisningsministeriet. Evalueringen er gennemført af seniorforsker Beatrice
Schindler Rangvid, VIVE. VIVEs forsknings- og analysechef Hans Hummelgaard har kvalitets-
sikret rapporten, og rapporten er derudover blevet gennemlæst og kommenteret af to eksterne
reviewere.
Hans Hummelgaard
Forsknings- og analysechef for VIVE Effektmåling
2020
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
Indhold
Sammenfatning og konklusion ........................................................................... 5
1
2
Baggrund og formål .................................................................................. 9
Metode og data ....................................................................................... 12
2.1
2.2
2.3
2.4
2.5
Metode ........................................................................................................ 12
Datagrundlag .............................................................................................. 15
Indsatsen: tilbageførsel til almenklasse ...................................................... 16
Effektmål ..................................................................................................... 16
Kontrolvariabler ........................................................................................... 17
3
Resultater ............................................................................................... 20
3.1
3.2
Hovedresultater: effekten af tilbageførsel på overgang til
ungdomsuddannelse .................................................................................. 20
Flere resultater ............................................................................................ 22
Litteratur........................................................................................................... 33
Appendix A: Abbreviations and expressions in English appendix ..................... 34
Appendix B: Empirical strategy ........................................................................ 35
OLS strategy ......................................................................................................... 35
PSM strategy ......................................................................................................... 35
IV strategy ............................................................................................................. 46
Appendix C: Data and sample.......................................................................... 49
Sample selection ................................................................................................... 49
Main outcome........................................................................................................ 50
Controls ................................................................................................................. 50
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
Sammenfatning og konklusion
Baggrund
Den politiske ambition om omstilling til øget inklusion i første halvdel af 2010’erne indebar, at
flere elever med særlige behov blev inkluderet i den almindelige undervisning i folkeskolen i
stedet for at modtage undervisning i segregerede undervisningstilbud, fx på en specialskole
eller i en specialklasse. For at følge folkeskolernes arbejde med inklusion igangsatte Børne-
og Undervisningsministeriet i 2013 følgeforskningsprojektet Inklusionspanelet. Undersøgel-
serne i denne rapport ligger i forlængelse af tidligere analyser i dette projekt.
Formålet med rapporten er at belyse, om øget inklusion af elever fra specialtilbuddene i almen-
undervisningen (tilbageførsel) har en gavnlig effekt på overgangen til en kompetencegivende
ungdomsuddannelse. Det centrale analysespørgsmål er, om tilbageførsel påvirker påbegyn-
delse og fremdrift på en kompetencegivende ungdomsuddannelse. VIVE præsenterer hermed
en opfølgende evaluering af tilbageførsel fra den segregerede specialundervisning til almen-
klasserne på elevernes resultater. En tidligere analyse har undersøgt de kortsigtede effekter
af tilbageførsel målt ved de nationale test i årene lige efter tilbageførslen (Nielsen et al., 2016).
Analysen fandt positive effekter på elevernes testresultater. I den foreliggende undersøgelse
er de tilbageførte elever blevet fulgt i årene efter grundskolen med henblik på at belyse mere
langsigtede effekter (overgang til ungdomsuddannelse).
Metode
Det er ikke tilfældigt, hvem der tilbageføres til almenklassen, og undlader man at tage højde
for det, vil den beregnede effekt af tilbageførsel sandsynligvis blive overvurderet. Der anvendes
derfor to metoder: matching og instrumentvariabelmetoden (IV). Matching tager højde for ob-
serverbare forhold, mens IV-strategien derudover tager højde for uobserverbare forhold ved at
instrumentere tilbagevenden til almenklassen med bopælskommunens tilbøjelighed til at tilba-
geføre elever. Under antagelse af at den kommunale tilbøjelighed, der forklarer, om en elev i
specialtilbud tilbageføres, er uafhængig af barnets uobserverbare karakteristika som fx adfærd
og evner, vil denne strategi beregne effekten af tilbageførsel på overgang til ungdomsuddan-
nelse.
Resultater
44 % af de tilbageførte elever i analysedatasættet er i gang med en ungdomsuddannelse to år
efter 9. klasse, mens det kun er tilfældet for 19 % blandt de elever, der fortsatte i et specialtilbud
efter 6. klasse. Det skal bemærkes, at det ikke nødvendigvis betyder, at de øvrige elever er
inaktive – de kan godt være i andre undervisningstilbud eller i job – men de er ikke i gang med
en kompetencegivende ungdomsuddannelse.
Resultaterne fra effektanalysen viser overordnet, at tilbageførsel til almenklasserne giver en
bedre overgang til de kompetencegivende ungdomsuddannelser. I effektanalysen er der så
vidt som muligt taget højde for, at de elever, der tilbageføres til almenklasserne, ikke nødven-
digvis har de samme karakteristika som dem, der forbliver i specialklasserne, jf. nærmere
herom i metodekapitlet. Konklusionerne for hovedanalysen bekræftes af begge de anvendte
analysemetoder. En række af bi-resultaterne skal dog tolkes med forsigtighed, da resultaterne
fra den ene metode er insignifikante; hvor det er relevant, er det noteret nedenfor i gennem-
gangen af resultaterne. Det er effektstørrelserne fra matching-metoden, der nævnes nedenfor.
5
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
De vigtigste pointer er:
Tilbageførsel øger sandsynligheden for at være i gang med en kompetencegivende
ungdomsuddannelser efter afslutning af grundskolen med 21 procentpoint efter 1 år, og
14-15 procentpoint efter 2 og 3 år. Tilbageførsel lader således til at have særlig stor
betydning i forhold til at få eleverne
hurtigt
i gang med en ungdomsuddannelse, hvor
ellers lignende elever, der fortsatte i specialklasserne, har en større tendens til at bruge
noget ekstra tid (fx et forberedende forløb; 11. skoleår), før de går i gang med en kom-
petencegivende ungdomsuddannelse.
Ud over at der er en øget sandsynlighed for uddannelsesaktivitet, viser analyserne, at
tilbageførsel også øger
fremdrift/fastholdelse
på uddannelsen. Både 2 og 3 år efter af-
sluttet grundskole har tilbageførte elever en større sandsynlighed for enten at være i
gang med et EUD-hovedforløb eller med et af de højere gymnasiale klassetrin (2. eller
3. g; resultatet for år 3 skal dog tolkes med forsigtighed). Effektstørrelserne for fremdrift
er omtrent 11-13 procentpoint.
Betydningen af tilbageførsel for overgang til ungdomsuddannelse er ikke større for ele-
ver med lav socioøkonomisk baggrund end for gennemsnittet.
Der ses en tendens til, at tidlig tilbageførsel (7. klasse) har større effekt end senere
tilbageførsel (8./9. klasse).
En potentiel mekanisme bag de positive effekter af tilbageførsel på overgang til ung-
domsuddannelse er bedre resultater ved folkeskolens 9. klasse-prøver. Analysen viser,
at tilbageførsel øger sandsynligheden for at bestå folkeskolens afgangseksamen med
29 procentpoint. Når der måles på det samlede EUD-optagelseskrav – det vil sige også
kravet om at opnå beståelseskarakterer særskilt i dansk og matematik – findes der her
også en positiv effekt af tilbageførsel (24 procentpoint). Bedre resultater ved afgangs-
prøven er en vigtig mekanisme: Omtrent 60 % af den øgede sandsynlighed for at være
uddannelsesaktiv på en kompetencegivende ungdomsuddannelse kan føres tilbage til
elevernes bedre resultater ved folkeskolens 9. klasse-prøver (dette resultat skal dog
tolkes med forsigtighed).
Der er endvidere set på enkelte andre forhold ved hjælp af beskrivende analyser. Disse
analyser viser følgende:
Ser man særskilt på, hvilken type af kompetencegivende uddannelse de unge går i
gang med (EUD eller gymnasial), så er 25 % af de tilbageførte elever i gang med en
EUD, mens 19 % går på en gymnasial uddannelse. De tilsvarende andele blandt de
ikke-tilbageførte elever er 13 % og 7 %.
46 % af eleverne, som før tilbageførslen gik i specialklasse på en folkeskole, er i gang
med en kompetencegivende ungdomsuddannelse (mod 44 % i gennemsnit for elever i
alle typer specialtilbud). Overgangen til ungdomsuddannelse blandt tidligere special-
klasseelever er således ikke markant forskellig fra gennemsnittet af eleverne i special-
tilbud.
52 % af eleverne, der tilbageføres til almenklassen på en folkeskole, er i gang med en
kompetencegivende ungdomsuddannelse (mod 44 % i gennemsnit). Flere af eleverne,
som blev tilbageført til folkeskolen, er således i gang med en uddannelse, sammenlig-
net med alle tilbageførte elever. Det er dog vigtigt at notere sig, at det er resultater fra
beskrivende analyser, og at de derfor ikke uden videre kan tolkes som årsagssammen-
hænge.
6
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0007.png
Konklusion
Formålet med omstillingen til øget inklusion har været at inkludere flere elever i den almindelige
undervisning. Det betyder både, at færre elever blev visiteret til specialtilbuddene, og at flere
elever fra specialtilbuddene blev tilbageført til almenklasserne. I denne rapport undersøges
det, om tilbagevenden til almenklassen bevirker, at eleverne i højere grad går i gang med og
oplever fremdrift på en kompetencegivende uddannelse.
Et gennemgående resultat i alle effektanalyserne er, at tilbageførsel til en almenklasse (relativt
til at fortsætte i specialtilbuddet) både får flere til at komme i gang med en ungdomsuddannelse
og opleve fremdrift. Analyserne peger endvidere på, at det positive resultat med hensyn til
overgang til kompetencegivende uddannelser for en stor del skyldes, at tilbageførsel forbedrer
de faglige kompetencer, som eleverne står med i slutningen af grundskolen.
Grundet databegrænsninger har rapportens analyser måttet fokusere på effekter ved tilbage-
førsel i løbet af udskolingsårene (7.-9. klassetrin). Analysen giver således ikke evidens for,
hvordan effekterne ville se ud ved tilbageførsel på tidligere klassetrin.
Det er endvidere væsentligt at notere sig, at de fundne effekter af tilbageførsel gælder for den
gruppe af elever, der faktisk blev tilbageført. Uden videre antagelser kan analysen derfor ikke
sige noget om, hvorvidt effekterne ville være positive, hvis man tilbageførte yderligere elever i
specialtilbud.
Definitioner
Segregeret specialundervisning
Eleverne undervises i specialklasser på almene folkeskoler eller på specialskoler, modtager special-
undervisning i ungdomsskoler eller efterskoler med samlet særlig profil, eller i interne skoler i dag-
behandlingstilbud og på anbringelsessteder. I rapporten omtales det også som
specialtilbud
eller
segregeret undervisning.
Almenklasse
En klasse, der ikke er en specialklasse. Omtales i rapporten også som en
almindelig
klasse.
Kompetencegivende ungdomsuddannelser
Med kompetencegivende ungdomsuddannelse menes enten en erhvervsuddannelse (giver
erhvervskompetence; EUD) eller en gymnasial uddannelse (giver studiekompetence). I rapporten
omtales disse også blot som
ungdomsuddannelser
eller
uddannelser,
men medmindre andet er
nævnt, menes der altid
kompetencegivende
ungdomsuddannelse. EGU, STU og kombineret
ungdomsuddannelse medregnes ikke som kompetencegivende uddannelser.
Datagrundlag
Undersøgelsens resultater bygger på analyser af et omfattende datamateriale med oplysninger
fra mange administrative registre med henblik på at give et solidt estimat af effekten af tilbage-
førsel på igangværende ungdomsuddannelse, fremdrift og fastholdelse.
Analysedatasættet er afgrænset til 6.070 elever i to elevkohorter (9. klasse i 2015 og 2016),
som gik i et specialiseret undervisningstilbud på 6. klassetrin (specialskole eller specialklasse).
Nogle elever fortsætter udskolingsårene (7.-9. klasse) i den segregerede undervisning, mens
7
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
andre vender tilbage til almenklasserne (de
tilbageførte
elever). Blandt eleverne i analyseda-
tasættet bliver godt hver femte elev tilbageført på et tidspunkt i udskolingsårene.
Antallet af kohorterne, der kan medtages i denne analyse, er til den ene side begrænset af, at
oplysninger om specialundervisning ikke findes så langt tilbage i tiden, og til den anden side
af, at de unge skal kunne følges i nogle år efter grundskolen, for at man kan observere over-
gangen til ungdomsuddannelserne. Rapportens analyser er derfor baseret på elevkohorterne,
der afsluttede 9. klasse i 2015 og 2016.
8
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0009.png
1
Baggrund og formål
Overgangen til voksenlivet hos unge med særlige behov, hvad enten det gælder færdiggørelse
af skole/uddannelse eller indtræden i arbejdsstyrken, er længe blevet anerkendt som et vigtigt
samfundspolitisk anliggende. En succesrig skolegang danner en god grobund for, at unge bli-
ver i stand til at gennemføre en kompetencegivende uddannelse og senere som voksne kan
føre et selvstændigt liv. Der er dog store forskelle i, hvordan elever lykkes i skolen. Elever med
særlige behov har typisk mindre gode forudsætninger for at opnå de nødvendige kompetencer
i skolen, som sikrer en vellykket overgang til ungdomsuddannelse.
Børn med særlige behov/handicap forlader ofte skolen med få eller ingen kvalifikationer. Flere
undersøgelser viser, at elever med særlige behov i betydelig mindre grad påbegynder og gen-
nemfører en ungdomsuddannelse (Jensen & Nielsen, 2010; Epinion, 2014; UVM, 2016). Spe-
cifikt synes specialskoleelevers problemer hovedsageligt at opstå i overgangen fra det (beskyt-
tede) skoleliv på en specialskole. Det lader til, at de særligt har problemer med at skabe sig et
voksenliv med uddannelse og en fast plads på arbejdsmarkedet, hvilket tyder på, at det er
overgangen fra folkeskolen til ungdomsuddannelserne og arbejdsmarkedet, der hovedsageligt
er en udfordring (Egelund, 2014). På længere sigt er børn med særlige behov oftere arbejds-
løse eller står helt uden for arbejdsmarkedet end andre.
Et kontroversielt spørgsmål inden for uddannelse overalt i verden er udformningen af skole-
gangen for elever med særlige behov. Elever med særlige behov har traditionelt oplevet insti-
tutionel adskillelse, men siden inklusion i skolen blev godkendt af 92 lande i UNESCO Sala-
manca-erklæringen (UNESCO, 1994), skiftede uddannelsespolitikken retning, og den overord-
nede tendens er siden gået mod øget inklusion. I erklæringen påpeges det, at den inkluderende
tilgang er det mest effektive hjælpemiddel til at skabe gode undervisningsmiljøer og til at reali-
sere uddannelse og læring for alle. Salamanca-erklæringen har haft stor indflydelse på skole-
politikken i mange lande, og i dag er inklusion i mange lande et centralt politisk mål for uddan-
nelse af børn og unge med særlige uddannelsesmæssige behov.
Inklusion af elever med særlige behov er blevet fremskyndet på to grundlag: børns rettigheder
til at blive inkluderet i den almindelige skole og antagelsen om, at inklusiv uddannelse er mere
effektiv i at understøtte elevernes læring. En vigtig drivkraft for inklusion internationalt har været
bekymringen for, at segregeret specialundervisning krænker børns rettigheder, fordi de er ad-
skilt fra de øvrige elever og det almindelige pensum og den almindelige uddannelsespraksis.
1
Et særskilt spørgsmål vedrører den relative effektivitet af forskellige uddannelsesmetoder, hvor
det er almindelig praksis at placere nogle elever i almenklasser og andre i segregerede miljøer.
Lærer elever lige godt i begge undervisningsmiljøer, eller er der forskelle, der favoriserer det
ene miljø frem for det andet? Dette spørgsmål kan ikke besvares på baggrund af værdier og
ideologier, men må undersøges empirisk.
Der findes en omfattende videnskabelig litteratur om inklusion, blandt andet flere litteratur-re-
views, hvor den empiriske forskning analyseres (fx Artiles et al. 2006; Dyson, Howes & Roberts
1
Omfanget af forskellene mellem segregeret og almenundervisning er dog noget mindre i Danmark, hvor specialundervis-
ningen i folkeskolen skal følge de samme regler for fagrække, timetal, faglige mål/Fælles Mål, elevplaner, afgangsprøver
og test, som den almene undervisning. Der er mulighed for fritagelser og afvigelser på ganske bestemte betingelser, men
de segregerede tilbud har ikke deres egne regler med hensyn til pensum og faglige mål.
9
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0010.png
2002; Göransson & Nilholm, 2014; Lindsay, 2007; Ruijs & Peetsma, 2009). Generelt viser re-
sultaterne neutrale til positive effekter af inklusion. De faglige færdigheder hos elever både
med og uden særlige behov ser ud til at være lige gode eller bedre i almenklasser set i forhold
til segregeret undervisning. Imidlertid hindres den empiriske evidens på området af manglende
metodologisk stringens. I henhold til den seneste oversigtsartikel (Göransson & Nilholm, 2014)
er litteraturen om virkningerne af segregeret vs. inkluderende uddannelse af svingende kvalitet
– med klare metodologiske mangler og meget få kontrollerede eksperimenter. I Danmark har
en tidligere analyse i projektet
Inklusionspanelet
undersøgt de kortsigtede effekter af tilbage-
førsel fra segregerede tilbud til almenklasser målt ved de nationale test i årene lige efter tilba-
geførslen (Nielsen et al., 2016). Analysen fandt positive effekter på elevernes resultater i ma-
tematik.
Indsatsen mod øget inklusion i Danmark
På trods af målet om øget inklusion i Salamanca-erklæringen var der i Danmark i 00’erne en
tendens til, at flere og flere elever blev visiteret til segregeret specialundervisning. Som led i
regeringens og kommunernes mål om øget inklusion i folkeskolen blev der i 2012 gennemført
en lovændring om inklusion af elever i den almindelige undervisning, som trådte i kraft i skole-
året 2012/13. Formålet var at inkludere flere elever med særlige behov i den almindelige un-
dervisning. Den daværende regering indgik efterfølgende en aftale med kommunerne om, at
96 pct. af eleverne i folkeskolen skal gå i den almene folkeskole i 2015. Det blev vurderet, at
ca. 10.000 flere børn fremover skulle inkluderes blandt de 550.000 elever i den almindelige
folkeskole for at nå dette mål. Den øgede inklusionsprocent skulle frembringes både ved, at
færre elever blev visiteret til segregeret specialundervisning, og ved, at elever i specialklasser
og specialskoler blev tilbageført til almenundervisning. Det satte gang i en udvikling, hvor flere
elever fra specialtilbud i specialklasser og specialskoler blev overført til almenundervisningen.
Figur 1.1
7%
6%
5%
4%
3%
2%
1%
0%
2010/11
Kilde:
Andel elever i segregerede undervisningsmiljøer (grundskolen)
2011/12
2012/13
2013/14
2014/15
2015/16
2016/17
2017/18
https://www.uvm.dk/aktuelt/nyheder/uvm/2018/maj/180525-nye-tal-om-elever-i-grundskolen-og-specialundervisning
Formålet med denne rapport er at belyse, om tilbageførsel har en gavnlig effekt på overgangen
til ungdomsuddannelse. Det primære kausale spørgsmål er, om tilbageførsel påvirker påbe-
gyndelse og fremdrift på en kompetencegivende ungdomsuddannelse. De tilbageførte elever
er således blevet fulgt i årene efter grundskolen med henblik på at belyse mere langsigtede
10
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
effekter, og det undersøges, om tilbageførsel fra specialklasse eller specialskole til en almin-
delig klasse påvirker elevernes sandsynlighed for at komme i gang med og opleve fremdrift på
en kompetencegivende ungdomsuddannelse.
Det er langtfra givet, at tilbageførsel har en positiv effekt. På plussiden tæller, at klassekam-
meraterne i almenklassen sandsynligvis i gennemsnit vil have et højere fagligt niveau, og at
det faglige fokus i undervisningen i almenklassen måske vægtes højere. Men almenmiljøet
forventes at påvirke eleverne på andre måder end rent fagligt, for eksempel via den status og
selvtillid, det giver at være en ”almindelig” elev. Til gengæld vil almenklasserne være større,
og muligheden for at få individuel støtte muligvis mindre, og eleven vil måske (i det mindste til
at starte med) være blandt de fagligt svage elever i klassen. Udgangshypotesen er dog en
forventning om, at elever, der har gået i en almindelig klasse i udskolingen, er bedre rustede
til at gå i gang med en kompetencegivende ungdomsuddannelse (EUD eller gymnasial).
11
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0012.png
2
2.1
Metode og data
Metode
Det primære kausale spørgsmål, der analyseres i denne rapport, er, om tilbageførsel påvirker
påbegyndelse og fremdrift på en kompetencegivende ungdomsuddannelse. Effekten af at blive
tilbageført er i dette tilfælde forskellen på sandsynligheden for at være i gang med en ung-
domsuddannelse for en elev, der er blevet tilbageført, sammenlignet med hvis eleven var for-
blevet i segregeret specialundervisning. Det er forholdsvis nemt med registerdata at observere,
hvordan den tilbageførte elev klarer sig. Derimod er det vanskeligt at vide, hvordan eleven
havde klaret sig, hvis han/hun var fortsat i segregeret specialundervisning, da dette af gode
grunde ikke kan observeres. Dét er det fundamentale evalueringsproblem (også kaldet
kontra-
faktisk problemstilling),
fordi man ikke kan iagttage den samme elev i begge situationer. Derfor
er det nødvendigt at konstruere en såkaldt kontrolgruppe, det vil sige en gruppe af lignende
elever, som kan sandsynliggøre, hvad der ville være sket, hvis eleven ikke var blevet tilbage-
ført.
Ideelt set ville man i denne situation skabe en kontrolgruppe ved hjælp af lodtrækning. Når
evaluering ved hjælp af et lodtrækningsforsøg ikke er inden for rækkevide – som tilfældet er
her – er det nødvendigt at benytte andre statistiske metoder til at estimere effekten af tilbage-
førsel. Den statistiske og økonometriske litteratur angiver flere metoder, som kan bruges, af-
hængigt af hvilke typer data og kilder til variation i data man har adgang til. Konklusionerne i
denne rapport baseres på både matching og instrumentvariabel metoder (jf. appendix B for en
mere udførlig beskrivelse).
2.1.1
Matching-metoder
En af de mest anvendte metoder i effektevalueringer er Propensity Score Matching-metoden
(PSM), som i dette projekt er valgt som den primære analysemetode. Denne metode søger at
tilnærme sig lodtrækningsstrategien ved for hver deltagende elev at prøve at finde en ”identisk
tvilling” – det vil sige en elev, som har samme sandsynlighed for at blive tilbageført (baseret på
elevens baggrund og skolehistorik), men som alligevel er fortsat i segregeret undervisning. Ved
at sammenligne den efterfølgende udvikling i udfaldsmålet (overgang til ungdomsuddannelse)
hos de tilbageførte elever med elever i kontrolgruppen (den konstruerede sammenlignings-
gruppe), opnås et mål for effekten af tilbageførsel.
I forbindelse med at konstruere kontrolgruppen kan det være hensigtsmæssigt, at eleverne er
helt ens
med hensyn til enkelte centrale forhold. Dette sikres her ved at anvende exact
matching på nogle få variabler: (i) eleven har deltaget i nationale test i 6. klasse; (ii) eleven har
en psykiatrisk diagnose i 6. klasse; (iii) eleven går i specialklasse (frem for specialskole mv.) i
6. klasse.
Ved matching antages, at selektionsproblemet
2
kan løses ved at betinge på observerbare ka-
rakteristika ved deltagerne. Estimatet, der kommer ud af sådan en analyse, kan kun tolkes som
2
Med selektionsproblemet menes, at tilbageførte elever sandsynligvis er forskellige fra ikke-tilbageførte på parametre, der
gør, at de også vil have nemmere ved overgangen til ungdomsuddannelse, for eksempel fagligt niveau og sværhedsgrad
af eventuelle adfærdsproblemer/diagnoser.
12
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
en effekt, hvis der betinges på alle de variabler, der både påvirker beslutningen om tilbagefør-
sel og overgang til ungdomsuddannelse. Det er selvsagt en streng antagelse, men med de
omfattende registeroplysninger, der er til rådighed, vurderes det, at vi kommer en kausal for-
tolkning af estimaterne et stort skridt nærmere. Se afsnit 2.5 for en oversigt over de inkluderede
kontrolvariabler.
I analyserne i denne rapport anvendes nearest-neighbour-matching (n=5) uden udskiftning
som hovedspecifikation. Resultatet af matching-proceduren er en kontrolgruppe med gode ba-
lanceegenskaber; se appendix B for en grundig beskrivelse samt test af matching-kvaliteten.
PSM-metoden har sine fordele, men også sine udfordringer. Hvor vi i lodtrækningsforsøg kan
være sikre på, at indsatsgruppen og sammenligningsgruppen er ens på både observerbare og
ikke-observerbare
karakteristika, kan vi i en PSM-analyse kun være sikre på, at eleverne ligner
hinanden på observerbare karakteristika. De mange forklarende variabler i estimeringen første
trin øger dog sandsynligheden for, at der også er kontrolleret for observerbare karakteristika,
der er korreleret med ikke-observerbare karakteristika, hvilket yderligere styrker kausaliteten.
Der kan dog stadig være forhold, fx elevens motivation og sociale kompetencer, som vi ikke
har data for, og som potentielt kan spille en betydelig særskilt rolle med hensyn til både, om
eleven bliver tilbageført, og elevens overgang til ungdomsuddannelse. For også at tage højde
for sådanne uobserverbare forskelle belyses problemstillingen derfor også med instrumentva-
riabel-metoden, som er en ofte anvendt metode til dette formål.
2.1.2
Instrumentvariabel-metoden
Den anden metode, der anvendes, er instrumentvariabel-metoden (IV-metoden). Med denne
metode er det muligt at estimere den kausale effekt af tilbageførsel, såfremt man kan finde en
tilnærmelsesvis tilfældig variation i tilbageførselsbeslutningen. I denne rapport udnyttes varia-
tionen i tilbageførselssandsynligheden kommunerne imellem, bl.a. som følge af forskellig prak-
sis i kommunerne og forskelligt pres til at nedbringe andelen af segregerede elever som følge
af 96 %-målsætningen. Det medfører, at de beregnede effekter kun gælder for elever, der til-
bageføres som følge af, at de bor i en kommune med stærk kommunal praksis for tilbageførsel.
Forskellene i kommunernes tilbøjelighed til at tilbageføre elever kan skyldes, at der er forskel i
kommunal praksis med hensyn til åbenhed i skolesystemet, hvad angår flytning af elever mel-
lem normaltilbud og specialtilbud. I nogle kommuner kan fokus for eksempel i højere grad være
til hver en tid at sikre det aktuelt mest passende skoletilbud (enten specialklasse eller almen-
klasse), uanset om det indebærer et skoleskift/miljøskift for eleven. Andre kommuner kan have
større fokus på at skabe mest muligt stabilitet i skolegangen, hvor der skal større ændringer til
i elevernes særlige behov, før eleverne flyttes til et andet undervisningstilbud.
En anden kilde til, at andelen af tilbageførte elever varierer på tværs af kommunerne, er, at
nogle kommuner har oplevet større pres end andre om at nedbringe andelen af elever i speci-
altilbud i første halvdel af 2010’erne pga. overgangen til mere inklusion og målsætningen om,
at 96 % af eleverne går i almenklasser i 2015. Det kan have givet anledning til, at flere elever
tilbageføres i kommuner, som lå langt fra 96 %-målsætningen, end i kommuner, der var tæt på
eller endda opfyldte målsætningen.
For at en variabel er relevant i en IV-metode-sammenhæng, skal den være god til at forklare,
om en elev tilbageføres. Det testes ved en såkaldt relevanstest. Test for instrumentets relevans
13
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0014.png
(first stage-resultaterne for IV-2SLS-analyserne) i denne rapport viser, at det anvendte instru-
ment er en stærk prædiktor. Det vil sige, at instrumentet er godt til at forklare, om en elev
tilbageføres (F-test-statistik i hovedmodellen er betydeligt større end det almindelige cut-off
ved 10).
3
Instrumentet skal også være uafhængigt, dvs. at det kun må påvirke elevens outcome igennem
specialundervisning. Det udelukker derfor fx, at kommunens tilbøjelighed til at tilbageføre ele-
ver kan påvirke andre undervisningstiltag, der har indvirkning på elevens outcome ud over
skiftet fra specialtilbud til almenklasse. Dette er potentielt en streng antagelse. Hvis man fx
forestiller sig, at en kommune/skole arbejder under en overordnet økonomisk ramme, så vil en
høj andel af børn, der tilbageføres, muligvis påvirke de andre undervisningstilbud, der er i sko-
len. For eksempel hvis kommuner, der flyttede mange børn tilbage til almenklasserne, gør en
større indsats for at lette transitionen af de tilbageførte elever til almenklasserne (fx ved at yde
mere supplerende støtte) og senere til ungdomsuddannelserne end kommuner med lav tilbø-
jelighed til at tilbageføre elever; hvis omfanget af supplerende støtte i almenklassen er syste-
matisk højere i kommuner, der tilbagefører flere elever end i andre kommuner; hvis kommuner
der tilbagefører flere elever, har bedre almentilbud; eller hvis en stor tilbageførsel medfører en
betydelig reduktion i midlerne pr. tilbageværende elev i kommunens specialtilbud. Sådanne
forskelle – hvis de har indflydelse på elevernes overgang til ungdomsuddannelse – vil have
tendens til at overvurdere effekten af tilbageførsel.
Man kan dog også forestille sig, at en kommunes tilbøjelighed til at tilbageføre elever er et
signal til kommunens prioritering af hele undervisningsområdet. En høj tilbøjelighed kan derfor
også betyde, at kommunen generelt er under pres for at reducere udgifterne på skoleområdet.
Set i lyset af lovgivningen på området burde økonomi ikke have betydning for det tilbud, som
eleven modtager, eller andre omkringliggende undervisningstiltag. I et forsøg på at undersøge
dette er regressionerne i afsnit 3.1. kørt med en lang række variable på kommuneniveau, fx
andelen af fædre og mødre i vores sample, der er på kontanthjælp eller førtidspension, for
netop i nogen grad at tage højde for kommunens økonomi. Effekt-estimatet ændrer sig dog
kun lidt, når kommunevariablene medtages (jf. også appendix B herom).
Instrumentet skal også være eksogent. Denne antagelse kunne for eksempel ikke være opfyldt,
hvis kommuner med høj tilbageførselssandsynlighed i større omfang end andre kommuner har
flere ressourcestærke familier boende. Denne antagelse er også blevet testet, og der findes
ikke overordet evidens for, at eksogenitetsantagelsen ikke er opfyldt. Der henvises endvidere
til Appendix B, hvor der også præsenteres evidens for en sidste antagelse, der skal være op-
fyldt: monotonitet af instrumentet.
Ligesom alle andre metoder har også IV sine udfordringer. Et særligt forhold ved metoden er,
at den estimerede effekt kun gælder for den type elever, som bliver påvirket af, at tilbagefør-
selstilbøjeligheden mellem kommunerne varierer, fordi det er den eneste gruppe af elever, hvor
vi kan skabe den kontrafaktiske situation. Det betyder, at det kun er den gruppe af elever, som
er i 'gråzonen', det vil sige den gruppe af elever, som i nogle kommuner tilbageføres og i andre
kommuner ikke tilbageføres. Hvis effekten af at blive tilbageført er forskellig for andre grupper
af elever, kan den effekt, vi estimerer, ikke generaliseres. Derfor er det vigtigt, når resultaterne
fra IV-2SLS-metoden fortolkes, at forholde sig til, om gruppen, der påvirkes af instrumentet, er
en relevant elevgruppe i forhold til at besvare forskningsspørgsmålet. Det er den i vores til-
fælde, da det er relevant at se på de såkaldte marginale elever, det vil sige elever, hvis grad af
3
Helt konkret anvendes følgende instrument: for hver kommune (=elevens bopælskommune i 6. klasse), andel tilbageførte
elever (i analysesamplet: elever, der på 6. klassetrin går i segregeret specialundervisning) minus eleven selv.
14
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0015.png
særlige behov placerer dem lige på grænsen mellem det segregerede undervisningstilbud og
almenklassen. Disse elever ville blive flyttet mellem almenklasse og specialtilbud i forbindelse
med en udvidelse eller formindskelse af pladserne i de segregerede undervisningstilbud.
Konklusionerne i denne rapport baseres på den samlede evidens frembragt ved hjælp af begge
metoder (matching og IV).
2.2
Datagrundlag
Grundpopulationen består af elever, der har afsluttet 9. klasse i 2015 og 2016. I datagrundlaget
indgår elever i folkeskoler, specialskoler, private grundskoler, efterskoler mv. For at danne ana-
lysedatasættet udtages i disse 9. klasses-kohorter elever, som har gået i segregeret special-
undervisning på 6. klassetrin.
4
Disse begrænsninger i populationen beskrives og forklares i det
følgende. Data og variabler beskrives mere uddybende i appendix C.
Analysedatasættet er begrænset til studerende fra de to kohorter, fordi analysen har brug for
data for lever lige fra 6. klasse
5
og indtil et par år efter afsluttet grundskole for at kunne obser-
vere overgang til ungdomsuddannelse. Der kan ikke medtages tidligere kohorter, fordi data om
placering af elever med særlige behov i 6. klasse i enten specialklasser eller almenklasser først
er tilgængelige fra 9. klasses-kohorterne i 2015 og senere. Og der kan ikke medtages senere
kohorter, fordi eleverne ikke har haft tilstrækkelig tid efter grundskolen til, at man kan analysere
overgang til ungdomsuddannelse. Med de aktuelt tilgængelige data er 9. klasses-kohorten fra
2016 den seneste, der kan følges i år 3 efter grundskolen.
Oprindeligt var det tanken, at denne analyse skulle anvende data fra de næsten 10.000 elever,
der deltog i projektet
Inklusionspanelet.
Sidenhen har analyser på disse data dog vist, at der
er meget få tilbageførte elever i surveyet. Da analysen imidlertid slet ikke bruger informationer
fra Inklusionspanelets elevsurvey, men udelukkende registerdata, udføres analysen her for
hele elevpopulationen. Det har den fordel, at det giver et betydeligt større volumen og dermed
større statistisk sikkerhed i analysen. Analysen må dog begrænses til Inklusionspanelets
æld-
ste
elevårgang (som afsluttede 9. klasse i 2016), da den yngre årgang først afsluttede 9. klasse
i 2018. Denne kan p.t. ikke følges ud i ungdomsuddannelserne. For at få en ekstra kohorte
elever med medtages til gengæld elever fra 9. klasses-kohorten året før (2015).
Hele elevpopulationen i 9. klasses-kohorterne fra 2015 og 2016 bestod af 135.441 elever. I
analysen estimeres effekten af at vende tilbage til almenklassen i udskolingsårene (7.-
9. klasse) for elever, som i 6. klasse gik i specialklasse eller specialskole. I de to 9. klasses-
kohorter var der 6.070 (eller 4,5 %) elever, som i 6. klasse gik i specialklasse/-skole, og disse
udgør dermed analysedatasættet.
I analysen af effekten af tilbageførsel på overgang til ungdomsuddannelse efter 1 og 2 år be-
nyttes hele analysepopulationen på 6.070 elever. Når der ses på overgangen efter 3 år, benyt-
tes kun 9. klasse-årgangen fra 2015 (3.082 elever), fordi man på nuværende tidspunkt kun kan
følge denne årgang 3 år frem efter grundskolen. Generelt er det vigtigt at holde sig for øje, at
4
Nogle få elever står registreret til at have gennemført 6. klasse to gange; her frasorteres første forløb, så eleverne indgår
med deres sidste forløb i 6. klasse.
Faktisk anvendes information on specialundervisning helt tilbage til 3. klasse som kontrolvariabel. For at danne den vari-
abel gøres der brug af data for tidligere år, som UVM har stillet til rådighed for projektet.
5
15
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0016.png
estimationssamplet ikke er meget stor. Derfor udføres analyserne som udgangspunkt for hele
samplet under ét. I kapitel 3.2 udføres dog også enkelte analyser for forskellige delsamples.
Ved at anvende en grundpopulation baseret på 9. klasses-kohorter, vil elever, som er faldet fra
før 9. klassetrin, ikke være en del af analysedatasættet. For at undersøge, om begrænsningen
af grundpopulationen til 9. klasses-kohorter påvirker rapportens konklusioner, er der også kørt
effektanalyser baseret på 6. klasses-kohorter. Resultaterne baseret på 6. klasses-kohorterne
fra 2012 og 2013
6
er stort set uændrede (ikke vist).
2.3
Indsatsen: tilbageførsel til almenklasse
I Danmark Statistiks specialundervisningsregister (UDSP) er klassetyperne opdelt i almenklas-
ser og specialklasser. I analyserne i denne rapport defineres segregeret undervisning ved, at
eleven går i specialklasse (i folkeskoler, specialskoler eller andre skoletyper).
Alle elever i estimationssamplet har gået i specialklasse på 6. klassetrin. Tilbageførsel (treat-
ment) defineres ved, at eleverne på et tidspunkt i løbet af udskolingen (7.-9. klasse) vender
tilbage til en almenklasse. Kontrolgruppen i effektanalysen er elever, der fortsætter deres sko-
legang i specialtilbud gennem 7.-9. klassetrin.
Det gælder ikke alle tilbageførte elever, at de forbliver i almenundervisningen i resten af deres
skoletid. Beregninger på estimationssamplet viser, at 7 % af de tilbageførte elever vender til-
bage til et specialtilbud. Med den i rapporten anvendte definition vil disse elever indgå i treat-
mentgruppen. For at belyse, om det ændrer konklusionerne, at disse elever indgår i treatment-
gruppen, er der kørt særskilte estimationer, hvor de elever, der ikke forbliver i almenklassen
efter tilbageførsel, er udeladt af analysen. Resultaterne (ikke vist) er stort set uændrede.
2.4
Effektmål
Et formål med at tilbageføre elever til den almene undervisning er at fremme deres faglige
færdigheder i skolen og at lette overgangen til ungdomsuddannelserne. Hvor en tidligere ana-
lyse (Nielsen et al., 2016) så på effekten af tilbageførsel på elevernes faglige resultater, følges
eleverne i denne rapport i årene efter grundskolen, og effektmålet her er overgangen til kom-
petencegivende ungdomsuddannelse. I hovedanalysen måles på, om eleverne er
i gang
med
en ungdomsuddannelse i årene efter 9./10. klasse.
Danmarks Statistiks elevregister er anvendt til at identificere, hvilken uddannelse hver enkelt
elev er i gang med i årene efter afsluttet grundskole. Uddannelsesstatus er opgjort i Danmarks
Statistiks elevregister pr. 1. oktober i et givet år. På dette tidspunkt registreres både, hvilken
uddannelse eleven er i gang med, og tidspunktet for uddannelsesstart.
Fokus i denne undersøgelse er overgangen til ungdomsuddannelserne forstået som at være i
gang med en kompetencegivende ungdomsuddannelse – enten en erhvervskompetencegi-
vende uddannelse (EUD) eller en studie-kompetencegivende uddannelse (gymnasial uddan-
6
Det er de to 6. klasses-kohorter, som udgør langt hovedparten af eleverne i det primære analysesample.
16
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0017.png
nelser). I de data, der ved undersøgelsestidspunktet stod til rådighed, kan man for begge ko-
horter se 2 år frem efter afsluttet 9./10. klasse.
7
Den ældre kohorte (2015) kan følges et år
længere frem.
Fokus i denne undersøgelse er på, om eleven er
i gang
med en ungdomsuddannelse, og der
ses således ikke på eventuelle skift mellem ungdomsuddannelsesforløb (fx om en ungdoms-
uddannelse afbrydes, og en anden påbegyndes undervejs). I hovedanalysen skelnes heller
ikke imellem, om uddannelsen er i gang eller afsluttet, da kun meget få elever når at afslutte
en uddannelse. Det skyldes blandt andet, at en betydelig del af eleverne i analysedatasættet
(specialklasse i 6. klasse) fortsætter i 10. klasse og derfor først påbegynder en eventuel ung-
domsuddannelse året efter, at 9. klasse er afsluttet. Vi kan derfor p.t. kun følge dem til begyn-
delsen af deres 3. år på en ungdomsuddannelse. Kun de relativt få, der går direkte videre i
gymnasiet efter 9. klasse (eller hf efter 10. klasse) og gennemfører uden forsinkelser, vil have
afsluttet en ungdomsuddannelse i efteråret 2018, som er det punkt, hvor vores observations-
periode p.t. slutter.
2.5
Kontrolvariabler
I regressionerne kontrolleres for en række observerbare karakteristika ved eleverne og deres
forældre. Særligt ved den anvendte matching-metode (propensity score matching) er det afgø-
rende, at der på bedst muligt vis kan tages højde for forhold, der har betydning for, om en elev
tilbageføres eller ej. For eksempel vil der være større sandsynlighed for, at elever, der fagligt
klarer sig godt i specialtilbuddet, i højere grad vil komme i betragtning med hensyn til tilbage-
førsel end elever, som står fagligt svagt. Fagligt stærkere elever vil desuden have lettere med
at komme i gang med en ungdomsuddannelse end faglige svage elever. Det samme gælder
elever med en mindre grad af vanskeligheder (her tilnærmet ved type af psykiatriske diagnoser,
APGAR-scorer og fødselsvægt, tid i specialtilbud i 3.-5. klasse, anbringelser/forebyggende for-
anstaltninger, og om eleven går i specialklasse eller specialskole på 6. klassetrin).
Drenge og elever med indvandrerbaggrund har i gennemsnit en mere vanskelig overgang til
ungdomsuddannelserne end piger og elever med dansk baggrund. Såfremt disse forhold også
påvirker sandsynligheden for tilbageførsel, er det afgørende, at der tages højde for det i esti-
mationerne. Ressourcestærke forældre kan være mere tilbøjelige til at øve indflydelse på be-
slutningen om en eventuel tilbageførsel og vil desuden have bedre mulighed for at støtte den
unge i overgangen til ungdomsuddannelsen. Derfor bør også forhold om forældrenes uddan-
nelse, arbejdsmarkedstilknytning og indkomst indgå i estimationerne.
Ud over de sædvanlige registeroplysninger om elevernes baggrund (køn, etnicitet, familieform;
forældrenes uddannelse, arbejdsmarkedsstatus og indkomst) anvendes en række oplysninger,
som er særligt målrettet denne analyse. Her indgår ud over faglige kompetencer også indika-
torer, der nærmere beskriver graden af vanskeligheder og særlige behov, som en elev måtte
have. Der medtages således også information om psykiatriske diagnoser, oplysninger fra fød-
selstidspunktet, udsathed, og elevens skolehistorik frem til 6. klasse (de specifikke variabler er
listet nedenfor).
7
Rent faktisk kan vi følge eleverne 3 år efter 9. klasse, men da langt de fleste også tager en 10. klasse, kan vi i praksis for
langt hovedpartens vedkommende kun følge dem i 2 år efter endt grundskole.
17
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0018.png
Det er særskilt værd at bemærke, at vi i denne analyse ikke inddrager variabler, der kan tænkes
at være påvirket af indsatsen (tilbageførsel). Derfor medtages for eksempel ikke karaktergen-
nemsnit fra 9. klasse som kontrolvariabel, da disse karakterer vil være påvirket af tilbageførs-
len, og effekten på karakterer således er del af den samlede effekt på vores effektmål (igang-
værende ungdomsuddannelse). Til gengæld undersøges effekten på karakterer i en særskilt
analyse som en mekanisme, hvorigennem tilbageførsel kan påvirke overgang til ungdomsud-
dannelse (se afsnit 3.2.5).
I det følgende listes de kontrolvariabler, der bruges i analyserne. Alle kontrolvariabler er målt
frem til eller i det år, hvor eleverne går i 6. klasse.
Elevens/familiens baggrundskarakteristika:
Køn
Familietype
Etnicitet
Fars og mors uddannelse
Fars og mors arbejdsmarkedsstatus
Fars og mors indkomst.
Særlige kontrolvariabler:
Psykiatriske diagnoser (ADHD-spektrum, autismespektrum, øvrige)
Fødselsoplysninger (5 min. APGAR-score, fødselsvægt, mors/fars alder ved barnets
fødsel)
Udsatte børn (anbringelse/forebyggende foranstaltning)
Skolehistorik:
Tid i 3.-5. klasse i segregeret specialundervisning (andel af disse skoleår, hvor eleven
gik i specialklasse/-skole)
Nationale testscorer i dansk og matematik (3.-6.klasse)
8
for de enkelte profilområder.
Skoletype i 6. klasse (specialklasse i folkeskole, specialskole mv.)
Fravær i 6. klasse (procent sygefravær, lovligt fravær, ulovligt fravær)
Alder over gennemsnit i 6. klasse (14 år eller ældre).
Der tages endvidere højde for, at der kan være systematiske forskelle mellem de to elevkohor-
ter (kohorte fixed effects) og mellem elevernes bopælskommuner (kommune fixed effects)
9
måder, som påvirker effektestimaterne.
8
9
De nationale test var endnu ikke indført, da disse kohorter gik i 2. klasse. Endvidere haves 3. klasses-testscorer ikke for
den ældre kohorte (2015), da testene først blev indført, efter eleverne havde været i 3. klasse.
Indikatorer for bopælskommunen medtages kun i OLS- og PSM-modellerne, idet IV-modellen netop udnytter variation
over kommuner.
18
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0019.png
Tabel 2.1
Beskrivende statistik for udvalgte baggrundsfaktorer blandt tilbageførte og ikke-
tilbageførte
Tilbageførte
Ikke-
tilbageførte
0,36
0,17
0,33
0,10
0,55
0,43
0,49
0,17
0,20
0,37
***
***
***
***
***
Signifikans,
differens
Mor uden ungdomsuddannelse
Mor MVU/LVU
Mor på overførselsindkomst
Indvandrerbaggrund
Bor
ikke
sammen med begge forældre
Har deltaget i nationale test i 6. klasse (dansk)
Psykiatrisk diagnosticeret
- ADHD e.l.
- Autismespektrum
Forebyggende foranstaltning/anbringelse
Anm.:
0,34
0,18
0,34
0,09
0,61
0,62
0,42
0,18
0,11
0,25
Alle karakteristika er målt op til eller i 6. klasse. (*) 90 procent-signifikansniveau, * 95 procent-signifikansniveau, **
99 procent-signifikansniveau, *** 99,9 procent-signifikansniveau
Tabel 2.1 viser gennemsnittet for nogle udvalgte karakteristika hos tilbageførte og ikke-tilbage-
førte elever. Se appendix B, tabel B.3, for beskrivende statistik for alle kontrolvariabler. Tilba-
geførte elever adskiller sig ikke nævneværdigt fra ikke-tilbageførte elever med hensyn til mo-
rens uddannelse, modtagelse af overførselsindkomst eller (elevernes) indvandrerbaggrund. Til
gengæld bor lidt færre af de tilbageførte elever i kernefamilier (det vil sige, at de ikke bor sam-
men med begge deres biologiske forældre i 6. klasse).
Der er desuden stor forskel mellem de to grupper med hensyn til en række andre forhold.
Således har en betydeligt større del af de senere tilbageførte elever deltaget i de nationale test
i 6. klasse (dansk): 62 % af de senere tilbageførte elever har deltaget mod 43 % af de elever,
der fortsatte i specialtilbud. Lidt færre blandt de senere tilbageførte elever har fået en psykia-
trisk diagnose frem til 6. klassetrin (42 % mod 49 % af de ikke-tilbageførte). Når man ser på
typen af diagnoser, så er der ikke forskel mellem grupperne med hensyn til hyppigheden for
en ADHD- eller ADHD-lignende diagnose, mens der er markant færre tilbageførte med en di-
agnose i autismespektret (11 % mod 20 % af de som fortsatte i specialtilbud). Desuden har
betydeligt færre af de til tilbageførte elever modtaget en forebyggende foranstaltning/anbrin-
gelse frem til 6. klassetrin.
10
Resultaterne viser, at der er grundlæggende forskelle mellem de
to grupper af elever. Da disse forskelle både kan have indflydelse på, hvem der bliver tilbage-
ført, og senere på elevernes uddannelsesvalg og -muligheder efter grundskolen, er det væ-
sentligt, at der – som beskrevet i afsnit 2.1 – i de efterfølgende hovedanalyser i rapportens
kapitel 3 tages højde for disse forskelle.
10
En mere detaljeret beregning viser, at det skyldes forskelle i at modtage en forebyggende foranstaltning, mens andelen
af anbringelser ikke afviger særligt i de to grupper.
19
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
3
Resultater
I dette kapitel præsenteres resultaterne af effektmålingen. Resultaterne fremlægges i to afsnit.
Det første afsnit viser hovedresultaterne estimeret med de forskellige metoder og for hvert af
de 3 år efter grundskolen. Det andet afsnit indeholder resultater, hvor der både ses på speci-
fikke effekter for forskellige grupper af elever, effekter for fremdrift i uddannelsen, en række
beskrivende analyser samt en mulig mekanisme bag hovedresultatet.
3.1
Hovedresultater: effekten af tilbageførsel på overgang til
ungdomsuddannelse
I dette afsnit præsenteres effekter, hvor indikatoren for igangværende ungdomsuddannelse
sammenlignes mellem de tilbageførte elever og den matchede kontrolgruppe for at se, om
tilbageførsel påvirker overgangen til ungdomsuddannelse. Selve matchingen – det første trin i
matching-analysen – er beskrevet i appendix B. Som baseline for resultaterne vises desuden
de almindelige mindste kvadraters resultater (Ordinary Least Squares, OLS), både med og
uden kontrolvariabler. For at holde tabellerne på en overskuelig størrelse vises kun hovedesti-
materne, det vil sige effekten af tilbageførsel på igangværende uddannelse. Indikatorvariabler
for manglende værdier (missings) er inkluderet i alle regressioner.
De første to søjler i Tabel 3.1 viser OLS-resultaterne. Den første søjle viser resultaterne fra en
enkel model, som kun tager højde for forskelle mellem elevkohorter og kommuner. Resulta-
terne viser store og statistisk sikre effekter af tilbageførsel på igangværende ungdomsuddan-
nelse på mellem 24 og 28 procentpoint. Det er dog ikke tilfældigt, hvem der modtager special-
undervisning, og undlader vi at tage højde for det, overvurderes effekten af tilbageførsel. Det
ses af, at estimaterne falder markant, når der i søjle 2 medtages elevkarakteristika. De tilbage-
førte elever er i gennemsnit en ”stærkere” elevgruppe, som uanset hvad har lettere med at
komme i gang med en ungdomsuddannelse. Resultaterne fra matching-metoden (søjle 3) be-
kræfter stort set resultaterne fra OLS-metoden (søjle 2). Selvom resultaterne er mindre end i
den ukorrigerede model i søjle 1, er effekten stadig stor. Resultaterne viser, at tilbageførsel
øger sandsynligheden for at være i gang med en ungdomsuddannelse med mellem 15 og 19
procentpoint.
20
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0021.png
Tabel 3.1
Effekt af tilbageførsel på igangværende ungdomsuddannelse (OLS & PSM)
Mindste kvadraters
metode, OLS
Mindste kvadraters
metode, OLS
0,191
***
(0,0162)
0,153
***
(0,0169)
0,150
***
(0,0245)
JA
JA
JA
Matching (PSM)
0,207
***
(0,0226)
0,152
***
(0,0193)
0,135
***
(0,0316)
JA
JA
JA
Efter 1 år
0,282
***
(0,0172)
Efter 2 år
0,243
***
(0,0175)
Efter 3 år
0,238
***
(0,0230)
Kohorte fixed effects
Kommune fixed effects
Baggrundskarakteristika, elev
Anm.:
JA
JA
NEJ
(*) 90 procent-signifikansniveau, * 95 procent-signifikansniveau, ** 99 procent-signifikansniveau, ***
99,9 procent-signifikansniveau. Standardfejlene (klynge-korrigeret på kommuneniveau) vist under koeffi-
cientestimaterne. Antal observationer: 6.070 for år 1 og 2; 3.082 for år 3.
Figur 3.1 illustrerer matching-estimaterne (PSM) grafisk (inklusive konfidensintervaller). De rå
tal for andelen af tilbageførte elever henholdsvis ikke-tilbageførte elever, der er i gang med en
uddannelse efter 1-3 år, vises også. Omtrent 45 % af de tilbageførte elever er i gang med en
kompetencegivende ungdomsuddannelse i årene efter grundskolen. Af de elever, der fortsatte
deres skolegang i specialskolen eller -klassen, er 17 % i gang efter 1 år. Tallet stiger til 19 %
efter 2 og 3 år.
Figur 3.1
Grafisk illustration af effekter af tilbageførsel på igangværende kompetencegi-
vende ungdomsuddannelse efter 1, 2 og 3 år (PSM- og IV-estimater)
0,6
0,5
0,4
0,3
0,2
0,1
0
Efter 1 år
% igang, tilbageførte
Efter 2 år
% i gang, ikke-tilbageførte
Effekt (PSM-estimater)
Efter 3 år
Effekt (IV-estimater)
Størrelsen af matching-estimaterne viser, at tilbageførsel øger sandsynligheden for at være i
gang med en ungdomsuddannelse efter 1 år med 21 procentpoint i det første år og med hen-
holdsvis 15 og 14 procentpoint i år 2 og 3. Der er altså tale om en ganske betydeligt forøget
sandsynlighed for at komme i gang med en kompetencegivende ungdomsuddannelse i årene
efter 9./10. klasse.
21
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0022.png
Tilbageførsel lader til at have en særligt stor effekt i starten (efter 1 år). Det betyder, at der er
en særligt stor effekt i forhold til at få eleverne
hurtigt
i gang med en ungdomsuddannelse efter
grundskolen, hvor ellers lignende elever, som fortsatte i specialklasserne, har en større ten-
dens til at bruge noget ekstra tid (for eksempel i form af forberedende forløb, 11. skoleår med
videre), før de begynder på en kompetencegivende ungdomsuddannelse. For at teste, om kon-
klusionen er robust, er matching-analyserne gentaget ved brug af forskellige matching-algorit-
mer (ikke vist), men uden at det nævneværdigt påvirker resultaterne.
3.1.1
Instrumentvariabel-resultater
Som beskrevet i afsnit 2.1.2 anvendes instrumentvariabel-metoden for at tage højde for uob-
serverbare karakteristika, som påvirker både beslutningen om elevens tilbageførsel, og hvor-
dan eleven klarer sig på ungdomsuddannelserne. En afgørende betingelse for, at instrument-
variabelmetoden kan anvendes, er, at instrumentvariablen (her: kommunens generelle tilbøje-
lighed til at tilbageføre elever til almenundervisningen) er en vigtig årsag til, at en elev vender
tilbage til almenklassen. Det betyder, at det for nogle elevers vedkommende vil være afgørende
for, hvorvidt de tilbageføres eller forbliver i specialtilbuddet, i hvilken kommune de bor. Resul-
taterne af test af denne såkaldte relevansbetingelse for IV-analysen vises i Tabel 3.2, søjle 2.
Instrumentvariablen består relevanstesten, da F-værdien ligger klart over den typisk anvendte
nedre grænse på 10. Der henvises til appendix B for en nærmere uddybning.
Punktestimaterne af effekten af tilbageførsel i Tabel 3.2, søjle 1, er større end matching-resul-
taterne i Tabel 3.1, men forskellen er ikke statistisk signifikant. IV-resultaterne støtter dermed
op om hovedkonklusionen, at tilbageførsel øger sandsynligheden for at komme i gang med en
ungdomsuddannelse. IV-resultaterne er også grafisk illustreret i Figur 3.1. Det ses, at estima-
terne er lidt større end matching-resultaterne og er statistisk sikre i alle år.
Tabel 3.2
Effekt af tilbageførsel på igangværende ungdomsuddannelse (IV)
(1)
IV
Efter 1 år
0,268
*
(0,108)
Efter 2 år
0,219
*
(0,0889)
Efter 3 år
0,248
**
(0,0934)
Anm.:
(*) 90 procent-signifikansniveau, * 95 procent-signifikansniveau, ** 99 procent-signifikansniveau, *** 99,9 procent-
signifikansniveau. Standard fejlene (klynge-korrigeret på kommuneniveau) vist under koefficientestimaterne. Alle
kontrolvariabler, kohorte- og kommune-fixed effekter er inkluderet.
(2)
F-statistik
(1st stage)
183,8
(3)
Antal observationer
6.070
183,8
6.070
95,1
3.082
3.2
Flere resultater
I dette afsnit præsenteres resultater for forskellige grupper af elever (heterogene effekter), re-
sultater vedrørende fastholdelse/fremdrift på uddannelsen, resultater fra en række beskrivende
analyser samt effekter på karakterer ved folkeskolens afgangseksamen som en potentiel me-
kanisme, hvorigennem tilbageførsel kan påvirke overgangen til ungdomsuddannelse.
22
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0023.png
3.2.1
Heterogene effekter: Har elever med svag socioøkonomisk baggrund særlig
gavn af at vende tilbage til almenklassen?
I dette afsnit undersøges, om resultaterne er forskellige for forskellige grupper af elever. Det er
for eksempel muligt, at elever med stærk socioøkonomisk baggrund er bedre rustede i over-
gangen til ungdomsuddannelserne end andre elever i kraft af bedre støtte fra forældrene. Hvis
støtte fra forældrene har forskellig betydning i forhold til overgang til ungdomsuddannelse, når
eleven er tilbageført, end når eleven er fortsat i et segregeret tilbud, kan effekten af tilbagefør-
sel variere med elevens hjemmebaggrund. Socioøkonomisk status beskrives ved tre variabler:
uddannelse (mor uden kompetencegivende uddannelse), familietype (elev bor ikke sammen
med begge forældre) og arbejdsmarkedstilknytning (mor på overførselsindkomst).
Tabel 3.3 præsenterer resultaterne. For overskuelighedens skyld vises kun resultaterne målt
2 år efter grundskolen, som er det seneste år med information for begge elevkohorter. I toppen
af tabellen er hovedresultaterne fra Tabel 3.1 gentaget.
Elever med svag baggrund udgør mellem en tredjedel og halvdelen af analysesamplet – alt
efter hvilken dimension af socioøkonomisk baggrund der fokuseres på. Det fremgår af resulta-
terne, at effekten af tilbageførsel hos elever fra familier med lav socioøkonomisk baggrund er
lidt mindre end for alle elever under ét, men forskellene er ikke signifikante. Matching-estima-
terne ligger på omtrent 11-14 procentpoint sammenlignet med et estimat på 15 procentpoint,
når man medtager alle elever. IV-estimaterne er alle positive og er – bortset fra estimatet for
elever med mødre på overførselsindkomst – på højde med eller større end PSM-estimaterne.
Ingen af IV-estimaterne er dog statistisk signifikante.
11
Tabel 3.3
Effekt af tilbageførsel for elever fra lav socioøkonomisk baggrund (efter 2 år)
OLS
Alle
Koefficientestimat
Standardfejl
N
F-statistik (1st stage)
Lav socioøkonomisk baggrund
Mor ingen ungdomsuddannelse
Koefficientestimat
Standardfejl
N
F-statistik (1st stage)
Elev bor ikke med begge forældre
Koefficientestimat
Standardfejl
N
F-statistik (1st stage)
Mor på overførselsindkomst
Koefficientestimat
Standardfejl
N
F-statistik (1st stage)
Anm.:
PSM
IV
0,153
***
(0,0169)
6.070
0,152
***
(0,0193)
6.070
0,219
*
(0,0889)
6.070
183,8
0,129
***
(0,0262)
2.080
0,125
***
(0,0184)
3.425
0,114
***
(0,0262)
1.983
0,138
***
(0,0343)
2.080
0,119
***
(0,0290)
3.425
0,111
***
(0,0412)
1.983
0,205
(0,137)
2.080
26,6
0,113
(0,126)
3.425
58,4
0,027
(0,183)
1.983
28,7
(*) 90 procent-signifikansniveau, * 95 procent-signifikansniveau, ** 99 procent-signifikansniveau, *** 99,9 procent-
signifikansniveau. Standardfejlene (klynge-korrigeret på kommuneniveau) vist under koefficientestimaterne. Alle kon-
trolvariabler, kohorte- og kommune-fixed effects er inkluderet.
11
First stage F-statistik er noget mindre i de tre delsamples, det vil sige, at instrumentvariablen her er mindre god til at
forudsige, om en elev tilbageføres. F-værdien er dog stadig klart over grænsen på 10.
23
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0024.png
3.2.2
Er overgangen til ungdomsuddannelse bedre for tidligt tilbageførte elever?
For det andet ses på, hvordan tidlig vs. sen tilbageførsel påvirker overgangen til ungdomsud-
dannelse. Tidligt tilbageførte vil have flere år i almenundervisningen, før de skal i gang med en
ungdomsuddannelse, hvilket kan være en fordel. Beregninger viser, at 37 % af de tilbageførte
elever i vores estimationssample bliver tilbageført i 7. klasse, mens 26 % og 37 % vender
tilbage i henholdsvis 8. og 9. klasse.
Tabel 3.4 viser effektestimaterne for, hvordan elever tilbageført hhv. på 7., 8. og 9. klassetrin
klarer sig 2 år efter grundskolen. Figur 3.2 illustrerer resultaterne grafisk. De tidligt tilbageførte
er i højere grad i gang med en ungdomsuddannelse. Af de elever, som blev tilbageført i
7. klasse, er 52 % i gang med en uddannelse sammenlignet med 43 % og 36 % blandt dem,
som blev tilbageført i henholdsvis 8. og 9. klasse. Ifølge PSM-estimaterne er der en tendens
til, at tidligere tilbageførsel fremmer overgangen til ungdomsuddannelse i højere grad end se-
nere tilbageførsel (estimaterne er dog ikke statistisk forskellige). IV-estimaterne er alle positive
og – på nær estimatet for tilbageførsel i 8. klasse – på højde med eller større end PSM-esti-
materne. Dog er det kun estimatet for tidlig tilbageførsel (7. klasse), der er statistisk signifikant.
Tabel 3.4
Effekt af tilbageførsel på forskellige klassetrin (efter 2 år)
OLS
Tilbageført i 7. klasse
Koefficientestimat
Standardfejl
Antal observationer
F-statistik (1st stage)
Tilbageført i 8. klasse
Koefficientestimat
Standardfejl
Antal observationer
F-statistik (1st stage)
Tilbageført i 9. klasse
Koefficientestimat
Standardfejl
Antal observationer
F-statistik (1st stage)
Anm.:
PSM
0,200***
(0,0267)
5.217
IV
0,289**
(0,108)
5.217
258,4
0,199***
(0,0232)
5.217
0,167***
(0,0308)
5.064
0,172***
(0,0207)
5.064
0,0619
(0,213)
5.064
94,0
0,0906***
(0,0230)
5.215
0,105***
(0,0363)
5.215
0,295
(0,267)
5.215
14,9
(*) 90procent-signifikansniveau, * 95 procent-signifikansniveau, ** 99 procent-signifikansniveau, *** 99,9 procent-
signifikansniveau. Standardfejlene (klynge-korrigeret på kommuneniveau) vist under koefficientestimaterne. Alle kon-
trolvariabler, kohorte- og kommune fixed effects er inkluderet.
24
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0025.png
Figur 3.2
Grafisk illustration af effekter af tilbageførsel i 7., 8., og 9. klasse på igangvæ-
rende ungdomsuddannelse (efter 2 år; PSM-estimater)
0,60
0,50
0,40
0,30
0,20
0,10
0,00
Ikke-tilbageførte
Tilbageført i 7. klasse
% i gang
Tilbageført i 8. klasse
Tilbageført i 9. klasse
Effekt (PSM-estimat)
3.2.3
Fastholdelse/fremdrift
Det primære effektmål i denne rapport er, om eleverne er
i gang
med en (kompetencegivende)
uddannelse 1-3 år efter grundskolen. I sidste ende må det afgørende succesmål dog være, om
eleverne formår at
gennemføre
uddannelsen, men det kan vi endnu ikke observere for 9. klas-
ses-kohorterne fra 2015 og 2016. Et tæt relateret succesmål er, om eleverne oplever
fremdrift
på uddannelsen. Dette effektmål sikrer, at effektmålet ikke blot er drevet af, at eleverne cirku-
lerer mellem påbegyndte og afbrudte uddannelser, men af, at de faktisk formår at holde fast i
en uddannelse og er godt på vej til at gennemføre den.
Der er derfor også dannet et effektmål, der tager højde for netop fremdrift i uddannelsen. Det
første mål er dannet for begge kohorter og måler fastholdelse efter 2 år. Det andet måler efter
3 år og kan kun dannes for 2015-kohorten, som p.t. observeres et år længere frem end 2016-
kohorten. For begge mål gælder det, at fremdriften måles ved, at eleven enten er i gang med
et hovedforløb på EUD
12
eller med 2. eller 3. år på en gymnasial uddannelse (eller har afsluttet
EUD eller gymnasiet).
De dannede effektmål tager ikke højde for, om eleverne har gået i 10. klasse, og er således
defineret ved at fokusere på fremdrift i forhold til sidste år i 9. klasse. Et år i 10. klasse er
således behandlet på linje med eventuelle ”forberedende” forløb som produktionsskole mv.,
det vil sige som forløb mellem undervisningspligtens ophør og start på en ungdomsuddan-
nelse.
Tabel 3.5 viser resultaterne i tabelform, og Figur 3.3 illustrerer resultaterne grafisk. I toppen af
tabellen gentages hovedresultaterne fra Tabel 3.1, det vil sige effekten af tilbageførsel på
igangværende
uddannelse. PSM-estimaterne for fremdrift i uddannelsen efter 2 eller 3 år ud-
viser en lignende effektstørrelse (de mindre forskelle, der er, er ikke statistisk signifikante). IV-
12
Kun hovedforløb er medtaget. Indgangs-/grundforløb 2, som nogle gange placeres sammen med hovedforløbene, er ikke
medtaget, jf. https://www.dst.dk/da/Statistik/nyt/NytHtml?cid=21555
25
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0026.png
estimaterne er på højde med eller større end PSM-resultaterne, men kun signifikant for år 2.
Resultatet for år 3 må derfor tolkes med forsigtighed.
Resultaterne understøtter hypotesen, at effekten af tilbageførsel ikke er drevet af uddannel-
sesaktivitet, hvor uddannelserne påbegyndes og afbrydes igen, men at de positive resultater
er udtryk for fastholdelse og fremdrift i uddannelsesforløbene. Konklusionerne er således ge-
nerelt de samme, hvad enten der måles på igangværende uddannelse eller fremdrift.
Tabel 3.5
Effekt af tilbageførsel på fastholdelse/fremdrift på uddannelsen
OLS
Alle
Koefficientestimat
Standardfejl
F-statistik (1st stage)
Fremdrift efter 2 år
(EUD-hovedforløb; 2./3. GYM-år)
Koefficientestimat
Standardfejl
F-statistik (1st stage)
Fremdrift efter 3 år
(EUD-hovedforløb; 2./3. GYM-år)
Koefficientestimat
Standardfejl
F-statistik (1st stage)
Anm.:
PSM
0,152
***
(0,0193)
IV
0,219*
(0,0889)
183,8
0,153
***
(0,0169)
0,143***
(0,0155)
0,137
***
(0,0359)
0,196*
(0,0914)
182,8
0,127***
(0,0235)
0,127***
(0,0276)
0,143
(0,109)
94,3
(*) 90 procent-signifikansniveau, * 95 procent-signifikansniveau, ** 99 procent-signifikansniveau, *** 99,9 procent-sig-
nifikansniveau. Standardfejlene (klynge-korrigeret på kommuneniveau) vist under koefficientestimaterne. Alle kontrol-
variabler, kohorte- og kommune-fixed effects er inkluderet. Antal observationer: 6.070 for år 1 og 2; 3.082 for år 3.
Figur 3.3
Grafisk illustration af effekter af tilbageførsel på fremdrift efter 2 og 3 år
(PSM-estimater)
0,4
0,3
0,2
0,1
0
Efter 2 år
-0,1
% igang, tilbageførte
% i gang, ikke-tilbageførte
Effekt (PSM-estimater)
Efter 3 år
26
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0027.png
3.2.4
Beskrivende analyser
I dette afsnit vises en række analyser, hvor det – af forskellige årsager (nærmere herom ne-
denfor) – er vanskeligt at udføre egentlige effektanalyser inden for rammerne af denne rapport.
Disse analyser er udført som beskrivende analyser ved hjælp af krydstabeller. Analyserne
dækker over forskelle i søgning til EUD versus søgning til gymnasiale uddannelser, tilbagefør-
sel
fra
(en specialklasse i) folkeskolen, samt tilbageførsel
til
(en almenklasse i) folkeskolen.
Alle forskelle er vurderet i forhold til igangværende uddannelse efter 2 år.
Som det første skal der ses på, hvilken uddannelsestype de tilbageførte og ikke-tilbageførte
elever er i gang med (EUD eller gymnasiale uddannelse). En sådan opdeling som led i en
effektanalyse er ikke relevant, fordi begge valg må betegnes som ”lige gode” i den aktuelle
sammenhæng. Der præsenteres derfor de rå tal, som viser de faktiske forskelle mellem grup-
perne, men hvor forskellene ikke er udtryk for en årsagssammenhæng.
Ser man således særskilt på, hvilken type kompetencegivende uddannelse (EUD eller gymna-
sial) eleverne er i gang med, viser Figur 3.4, at 25 % af de tilbageførte elever i gang med en
EUD, mens 19 % går på en gymnasial uddannelse. De tilsvarende andele blandt de ikke-tilba-
geførte elever er 13 % og 7 %. EUD er således et lidt hyppigere valg blandt de ikke-tilbageførte
elever: to ud af tre (66 %) af de tilbageførte elever, som er i gang med en ungdomsuddannelse,
er i gang med en EUD. Tallet er 56 % blandt de tilbageførte elever, der er i gang.
Figur 3.4
Andel elever, som er i gang med EUD hhv. gymnasial uddannelse
50%
45%
40%
35%
30%
25%
20%
15%
10%
5%
0%
Tilbageførte
I gang med EUD
Ikke-tilbageførte
I gang med GYM
For det andet vises resultater særskilt for elever, der er tilbageført fra en specialklasse i
folke-
skolen
(fremfor fra specialskoler eller andre skoletyper med segregeret undervisning). Udfor-
dringen i forhold til at effektevaluere i dette tilfælde er, at der kan ligge noget uobserverbar
selektion i placeringen i specialklasse vs. specialskole, og derfor præsenteres også her de rå
tal i en beskrivende analyse, fremfor at der gennemføres en effektanalyse.
Man ville måske forvente, at tilbageførsel har mindre betydning for elever, der tilbageføres fra
en specialklasse i
folkeskolen
i kraft af, at specialklasserne på en folkeskolen for det meste
27
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0028.png
ligger på samme adresse og er del af den samme skole som almenklasserne. Det kan lette
skiftet til almenklassen, både fordi eleven ikke (nødvendigvis) behøver at skifte skole, og fordi
der måske i forvejen er en tættere kontakt med almendelen på skolen, og skiftet derfor kan
blive nemmere. Endvidere kan placering i en specialklasse frem for et andet segregeret tilbud
i nogle tilfælde være udtryk for, at elevens vanskeligheder er mindre. Omtrent 2/3 af eleverne
i analysesamplet går i en specialklasse i folkeskolen på 6. klassetrin. De øvrige elever er fordelt
på specialklasser i andre skoletyper, de fleste i specialskoler.
Figur 3.5 viser, at andelen af igangværende elever, der kommer fra specialklasser i folkesko-
len, kun er marginalt højere end for alle elever (46 % vs. 44 % for alle). Generelt klarer tilbage-
førte elever fra specialklasser i folkeskolen således ikke overgangen til ungdomsuddannelse
markant anderledes end alle tilbageførte elever under ét.
Figur 3.5
Andel elever, som er i gang med en kompetencegivende uddannelse blandt
(i) tilbageførte fra en specialklasse i folkeskolen og (ii) til en almenklasse i
folkeskolen
60%
50%
40%
30%
20%
10%
0%
Alle tilbageførte
Tilbageført fra (specialklasse i) Tilbageført til (almenklasse i)
folkeskolen
folkeskolen
Sidst ses der på effekten af at blive ført tilbage
til
en almenklasse i folkeskolen (fremfor til en
almenklasse på fx en efterskole eller andre skoletyper). I forhold til en effektanalyse ville ud-
fordringen også her være, at det kan være drevet af uobserverbar selektion, hvilken skoletype
en elev tilbageføres til. Når vi ser på 9. klassetrin, går de fleste af de tilbagevendte elever enten
i folkeskolen (57 %) eller på efterskole (25 %).
Figur 3.5 viser, at 52 % af eleverne, der tilbageføres til en almenklasse på en folkeskole, er i
gang med en kompetencegivende ungdomsuddannelse, mod 44 % i gennemsnit. Lidt flere af
de elever, der blev tilbageført til folkeskolen, er således i gang med en uddannelse end blandt
de elever, som blev tilbageført til andre skoletyper. Det er dog vigtigt at notere sig, at dette ikke
kan tolkes som en årsagssammenhæng, da der her er tale om rent beskrivende analyser.
28
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0029.png
3.2.5
Mekanisme: effekten af tilbageførsel på karakterer ved folkeskolens
9. klasses-prøver
En mekanisme, hvorigennem tilbageførsel kan tænkes at påvirke succesen i overgangen til
ungdomsuddannelserne, er, at eleverne bliver fagligt bedre rustet ved at gå i almenklasse.
Eksempelvis kan det faglige niveau i almenklassen være højere end i specialklassen, og der
kan måske i højere grad være en forventning om, at alle elever – også tilbageførte – skal gå
op til 9. klasses-prøverne. Det kan have en effekt via to kanaler. For det første er det muligt, at
eleverne i højere grad går op til prøverne, blot fordi det forventes i folkeskolen (det er jo en
forudsætning for at bestå afgangseksamen). Hvis eleverne så rent faktisk opnår et snit over 2
og dermed består eksamen, kan det lette overgangen til en ungdomsuddannelse. For det andet
kan det forbedre elevens faglige færdigheder, hvis forventningen om, at alle skal op til alle
prøver, fører til, at eleven yder en større indsats i sit skolearbejde og/eller får mere støtte fra
læreren.
For så vidt de tilbageførte elever er i stand til at følge pensum i almenklassen, vil de således
måske opnå et højere færdighedsniveau og bedre karakterer, end hvis de var fortsat i special-
klassen/-skolen. Et stærkere fagligt fundament vil ikke kun vise sig i en bedre afgangseksamen,
men vil også kunne styrke elevernes tro på sig selv i forbindelse med valg og gennemførelse
af en ungdomsuddannelse.
Et vigtigt mål for elevens faglige færdigheder i forbindelse med overgangen til ungdomsuddan-
nelse er resultaterne ved 9. klasses-prøverne.
13
For at belyse effekten af tilbageførsel på ele-
vernes faglige færdigheder er der dannet en række indikatorer, som til dels er baseret på op-
tagelseskravene til ungdomsuddannelserne. Bemærk, at der ikke bruges et effektmål baseret
på de
gennemsnitlige
karakterer, som ikke er særligt informative, fordi mange af eleverne ikke
går op til prøverne. I modsætning til gennemsnitskarakterer kan de her valgte resultatmål tage
højde for dette.
Et krav for optagelse på en kompetencegivende uddannelse er en bestået afgangseksamen.
Afgangseksamen gælder som bestået, hvis eleven har været op i alle obligatoriske prøver og
har opnået som minimum en gennemsnitskarakter på 2. Figur 3.6 viser – ud over effektestima-
terne med konfidensintervaller – også andelen af eleverne, som består afgangseksamen i 9.
klasse. Knap hver 10. ikke-tilbageførte elev i analysedatasættet består afgangsprøven, mens
andelen blandt de tilbageførte elever er godt 40 %. Resultaterne fra effektanalysen viser, at
tilbageførsel øger andelen af elever, der består 9. klasses afgangseksamen med 29 procent-
point (PSM-resultater: Tabel 3.6, øvre panel). IV-estimatet bekræfter PSM-resultatet.
13
Da det ikke er tilfældigt, hvem der vælger at tage en 10. klasse, ses her på elevernes resultater ved 9. klasses-prøverne.
Selvom 9. klasses-prøveresultaterne for de fleste elevers vedkommende ikke er de karakterer, eleverne bruger til at søge
ind på ungdomsuddannelserne med – da de fleste i estimeringssamplet tager en 10. klasse – giver det alligevel et godt
fingerpeg om elevens faglige udgangspunkt i slutningen af undervisningspligten.
29
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0030.png
Tabel 3.6
Effekt af tilbageførsel på 9. klasses-prøverne
OLS
PSM
0,290
***
(0,0157)
IV
0,300
*
(0,125)
183,3
0,219
***
(0,0147)
0,241
***
(0,0146)
0,243
(*)
(0,125)
183,3
0,0601
***
(0,110)
0,0852
***
(0,0184)
0,156
(0,133)
183,3
Bestået 9. klasses
afgangseksamen
Koefficientestimat
Standardfejl
F-statistik (1st stage)
0,264
***
(0,0160)
Bestået 9. klasses
afgangseksamen +
EUD-krav
Kernefag (dansk,
matematik) bestået
med karakter 4 eller
derover
Anm.:
Koefficientestimat
Standardfejl
F-statistik (1st stage)
Koefficientestimat
Standardfejl
F-statistik (1st stage)
(*) 90 procent-signifikansniveau, * 95 procent-signifikansniveau, ** 99 procent-signifikansniveau, *** 99,9 procent-
signifikansniveau. Standardfejlene (klynge-korrigeret på kommuneniveau) vist under koefficientestimaterne. Alle kon-
trolvariabler, kohorte- og kommune-fixed effects er inkluderet. Antal observationer: 6.070.
Ud over en bestået afgangseksamen er der et EUD-specifikt optagelseskrav vedrørende de
centrale fag dansk og matematik. Der kræves, at hvert af disse fag skal være bestået (det vil
sige gennemsnitskarakter på 2 eller derover). Det andet effektmål, der bruges i analyserne, er
derfor, om eleverne ikke blot består det samlede afgangseksamen, men også det specifikke
EUD-krav, der muliggør direkte optagelse på uddannelsen. Otte procent af de ikke-tilbageførte
elever i analysedatasættet består både afgangsprøven og kan honorere det specifikke EUD-
krav. Blandt de tilbageførte elever er det 36 % (se Figur 3.6 midtfor). Tabel 3.6, panelet i midten,
viser resultaterne fra effektanalyserne. Tilbageførsel øger andelen af elever, der består det
samlede optagelseskrav til EUD med 24 procentpoint (PSM). IV-estimatet bekræfter PSM-re-
sultatet og er marginalt signifikant på 10 %-niveau.
Figur 3.6
Grafisk illustration af effekter af tilbageførsel på 9. klasses-prøverne
(PSM-estimater)
45%
40%
35%
30%
25%
20%
15%
10%
5%
0%
Bestået afgangseksamen
Tilbageførte
Bestået afgangseksamen&særlige
EUD-krav
Ikke-tilbageførte
Kernefag gennemsnit>=4
Effekt (PSM-estimat)
30
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0031.png
Som det tredje resultatmål måles der på, hvorvidt eleven isoleret set opnår et godt resultat i
kernefagene dansk og matematik (uden nødvendigvis at bestå hele afgangseksamenen). Her
ses på, om eleven opnår karaktereren 4 eller højere i gennemsnit i hvert af fagene dansk og
matematik. Inspirationen for det tredje mål kommer fra den såkaldte ”Skolepulje”, en indsats
for at løfte elever i skoler med mange lavt-præsterende elever. Indsatsen kørte i skoleårene
2017/18 og 2018/19 og anvendte netop dette som resultatmål. Ti procent blandt de ikke-tilba-
geførte elever i analysedatasættet opnår en gennemsnitskarakterer på 4 eller derover i både
dansk og matematik, mens andelen blandt de tilbageførte elever er 22 % (se Figur 3.6 til højre).
Resultaterne fra effektanalysen viser, at tilbageførsel øger andelen af elever, der opnår en
gennemsnitskarakter på 4 eller derover med 9 procentpoint (PSM: Tabel 3.6 nederst). IV-esti-
matet er større, men ikke signifikant, og resultaterne skal derfor tolkes med forsigtighed.
Samlet set er der en klar tendens til, at tilbageførsel af elever til almenklasserne påvirker over-
gangen til ungdomsuddannelse via forbedrede faglige færdigheder ved undervisningspligtens
ophør.
Tabel 3.7
Effekt af tilbageførsel på igangværende ungdomsuddannelse efter 2 år – med
kontrol for bestået afgangseksamen (0/1)
OLS
Koefficientestimat
Standardfejl
F-statistik (1st stage)
Anm.:
PSM
0,0645***
(0,0207)
IV
0,128
(0,0867)
106,3
0,0662***
(0,0161)
(*) 90 procent-signifikansniveau, * 95 procent-signifikansniveau, ** 99 procent-signifikansniveau, *** 99,9 procent-
signifikansniveau. Standardfejlene (klynge-korrigeret på kommuneniveau) vist under koefficientestimaterne. Alle kon-
trolvariabler, kohorte- og kommune- fixed effects er inkluderet. Antal observationer: 6.070.
Et relevant spørgsmål er, hvor stor betydningen af en bestået afgangseksamen er for elevernes
overgang til ungdomsuddannelse. Det er der set på i en sidste analyse. Når man i hovedre-
gressionen (Tabel 3.1) medtager en indikator for, om eleven består 9. klasses afgangseksa-
men, reduceres effektestimatet for tilbageførsel på igangværende uddannelse med 40-60 %
ved PSM henholdsvis IV-estimaterne (Tabel 3.7 og Figur 3.7). Det indikerer, at omtrent halv-
delen af den positive effekt af tilbageførsel på igangværende ungdomsuddannelse skyldes, at
tilbageførte elever i højere grad består afgangsprøven. Der er dog stadig en signifikant PSM-
effekt af tilbageførsel på omtrent 6,5 procentpoint (efter 2 år; PSM-estimat) tilbage, som ikke
forklares af bedre faglige færdigheder, og som må skyldes andre forhold omkring tilbageførsel.
IV-estimatet er større, men insignifikant, og resultaterne må derfor tolkes med varsomhed.
31
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0032.png
Figur 3.7
Grafisk illustration af effekter af tilbageførsel på igangværende ungdomsud-
dannelse efter 2 år – med og uden kontrol for bestået afgangseksamen
(PSM-estimater)
0,2
0,15
0,1
0,05
0
PSM-effekt uden kontrol for bestået afgangseksamen
PSM-effekt med kontrol for bestået afgangseksamen
32
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
Litteratur
Artiles, A. J., E. B. Kozleski, S. Dorn, & C. Christensen (2006): ”Learning in Inclusive Educa-
tion Research: Re-mediating Theory and Methods with a Transformative Agenda”.
Re-
view of Research in Education,
30: 65-108.
Dyson, A., A. Howes, & B. Roberts (2002):
A Systematic Review of the Effectiveness of
School-level Actions for Promoting Participation by all Students.
Research Evidence in
Education Library, EPPI-Centre, Social Science Research Unit, Institute of Education,
London.
Egelund, N. (2014):
Kvalitet i specialskoler.
Institut for Uddannelse og Pædagogik (DPU),
Aarhus Universitet, Aarhus.
Epinion (2014):
Uddannelsesresultater og -mønstre for børn og unge med handicap – Årgang
1990.
Epinion, København.
Göransson, K., & C. Nilholm (2014): ”Conceptual Diversities and Empirical Shortcomings-a
Critical Analysis of Research on Inclusive Education”.
European Journal of Special Needs
Education,
29(3): 265-280.
Jensen, V. M., & L. P. Nielsen (2010):
Veje til ungdomsuddannelse 1.
SFI – Det Nationale
Center for Velfærd, rapport 10:24, København.
Lindsay, G. (2007): ”Educational Psychology and the Effectiveness of Inclusive Educa-
tion/Mainstreaming”.
British Journal of Educational Psychology,
77(1): 1-24.
Nielsen, C.P., & B. S. Rangvid (red.) (2016):
Inklusion i Folkeskolen.
SFI – Det Nationale
Center for Velfærd, rapport 16:29, København.
Ruijs, N., & T. Peetsma (2009): ”Effects of Inclusion on Students with and without Special Ed-
ucational Needs Reviewed”.
Educational Research Review,
4(2): 67-79.
United Nations Educational, Scientific and Cultural Organization (UNESCO) (1994):
The Sal-
amanca Statement and Framework for Action on Special Needs Education,
Paris,
UNESCO.
UVM (2016):
Afrapportering af inklusionseftersynet.
Ministeriet for Børn, Undervisning og
Ligestilling, København.
33
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0034.png
Appendix A: Abbreviations and expressions in
English appendix
Explanations
OLS
Ordinary Least Squares
PSM
Propensity score matching
QYEP
Qualifying youth education programs
Mainstreamed students/returners
Student who were in special classes/schools, but who
return to regular classes
34
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0035.png
Appendix B: Empirical strategy
OLS strategy
As the starting point of the empirical analysis, I estimate OLS (Ordinary Least Squares) models.
I regress post school outcomes on an indicator for whether the student is mainstreamed or
stays in SSE. I include a broad range of controls. Importantly, I include a set of indicators to
control for participation and achievement at the standardized tests in grade 6. I use the follow-
ing specification:
where
��������������������������������
is an indicator for ongoing youth education for individual
i,
������������������������������������������������������������������������������������������������
is an
indicator equal to 1 for students mainstreamed after grade 6. Thus,
���½���½
is the average treatment
effect (ATE) of mainstreaming SSE students, i.e. the parameter of interest.
����������������
is a set of dum-
mies indicating whether the student did not participate in tests in grades 3-6, and the test score
if he/she participated. Control variables,
��������
include a range of student background characteris-
tics, e.g. gender, ethnicity, parental education, income and labor market status, variables de-
scribing the school career up to grade 6 and proxies for the degree of difficulties/disability.
��������
are cohort fixed effects,
γ
are municipality fixed effects and
��������
is an individual level error term.
School characteristics are not included, because they are regarded as being part of the treat-
true for exam grades from the school exit exams in grade 9. One could think of student perfor-
mance at the end of compulsory education as a mechanism through which enrolment in QYEP
may be affected. This is investigated in the results section 3.2.5.
��������������������������������
������������������������
=
��������
+
���½���½ ������������������������������������������������������������������������������������������������
������������������������
+
���½���½ ����������������
������������������������
+
���½���½ ��������
������������������������
+
��������
��������
+
γ
��������
+
+
��������
������������������������
(1)
ment and one would therefore prefer them to be included in the effect estimate.
14
The same is
PSM strategy
As the administrative registers contain such a wealth of information that is normally missing
from standard datasets – such as information on placement history, psychiatric diagnoses for
children and their parents, and out-of-home placement – I propose that a rich OLS strategy
may be adequate.
However, PSM may be more appealing than the common approach of including confounders
in a regression model because it allows for a more intuitive analysis of a treatment effect be-
tween two comparable groups. Propensity score matching (PSM) is a valuable statistical meth-
odology that mimics the RCT by creating a similar control group with respect to measured
baseline covariates to achieve a comparison with reduced selection bias due to confounding.
Thus, PSM may allow the researcher to achieve balanced treatment groups similar to a RCT
when high-quality observational data are available. While hinging on the same identifying as-
sumption (no selection on unobservables), matching is superior to OLS because matching is a
more effective way to control for confounders.
14
It is not desirable to include school fixed effects in the analysis neither. A within-school estimator would use only schools
that have minimum one returner and one non-returner within a specific student cohort (the latter due to the use of cohort-
fixed effects). This can only be possible in schools that offer both special and regular classes and thus would exclude
special schools.
35
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0036.png
Unlike OLS models that implicitly extrapolate across non-comparable individuals, the matching
procedure constructs a statistical control group that includes only controls who are similar to
treated students (common
support).
The robustness of matching estimators, as well as the
diagnostic statistics they provide make matching an attractive alternative to OLS models. Ex-
plicit testable assumption regarding common support and balancing of covariates across
treated and controls ensures that the control group is actually comparable to the treatment
group. Using propensity score matching reduces the risk of confounding by making sure that
the distribution of potential confounding variables (matching criteria) are similar among the
treated and control group. Moreover, matching is a semi-parametric procedure without func-
tional form assumptions for the association between outcome and covariates (yet, typically
estimating the propensity score between treatment and covariates).
With this in mind, the main estimates of the effect of mainstreaming SSE students on subse-
quent QYEP enrolment are based on propensity score matching models. Even though PSM is
superior to OLS in various ways, the main identifying assumption – no selection on unobserv-
ables – is the same. The assumption that needs to hold for this estimator to be valid is a con-
ditional independence assumption; that is, conditional on the included observed variables, the
treatment and matched control groups are identical with respect to the expectation of the po-
tential outcome(s) of interest. Given this identifying assumption, the PSM allows for a causal
interpretation of the ex post outcome differences between the treated and the matched control
group as an average treatment effect on the treated (ATT).
In my set-up, the validity of the conditional independence assumption to circumvent the identi-
fication problem in evaluating the impact of mainstreaming is strengthened by the availability
of a large potential control group (the control group is four times the size of the treatment group)
and large set of conditioning variables. In particular, access to rich data on education histories
is crucial in obtaining results not contaminated with selection bias.
15
I use the following criteria for matching: gender, family type, ethnicity, parental education, in-
come and labour market status; psychiatric diagnosis by grade 6, birth information (birth weight,
5 minutes APGAR score, parental age at child’s birth), foster care or prevention services;
school history: lagged test scores and participation until grade 6, type of school/SSE in grade
6, share of time spent in SSE during grades 3-5, school absences in grade 6 and age in grade
6. This is the same set of variables as used in the OLS regressions.
Matching makes sure that the treatment and control group are similar regarding these criteria.
The matching criteria chosen reflect both the students’ academic ability, degree and nature of
difficulties/disability and background characteristics. All are assumed to influence the probabil-
ity of being moved to a regular class. Students who do better in the tests while in special class
are assumed to be more likely to subsequently move to a regular class. The effect of having
high SES parents may go in both directions: parents may push for a move to regular class if
they think their children are better helped in an inclusive environment or they may prefer their
child to stay in special class with lots of resources and special support.
I construct the control group by propensity score matching among students who continue in
special classes after grade 6. The probability of being mainstreamed is estimated on the sam-
ple of 1,358 mainstreamed students as well as 4,712 potential controls by running a logit of the
15
Caliendo M, Mahlstedt R, Mitnik O. Unobservable, but unimportant? The relevance of usually unobserved variables for
the evaluation of labor market policies. 2017; Labour Economics, 46, 14–25.
36
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0037.png
treatment indicator (in this case whether or not the student has been mainstreamed) on the
large set of covariates, and calculating the predicted probability of being treated. This propen-
sity score is used to judge how ‘similar’ mainstreamed or not mainstreamed students are to
one another.
The next step is to match or re-weight the control group to look as similar as possible to the
treatment group. The main results are based on a Nearest Neighbour matching procedure with
replacement in which five students in the control sample are matched on the basis of their
similarity to a given child in the treatment sample.
To match treated students to controls, I also use selective exact matching, meaning that I re-
quire students to be matched exactly on a small number of key characteristics. The character-
istics used are: whether students participated in the grade 6 national tests in reading or not,
whether they by grade 6 have a psychological diagnosis or not, and whether they attend special
class in a regular school in grade 6 or not. These dimensions are chosen, because they are
key for describing the degree of difficulties of the student, both academical and other. Whether
the student attends special class in a regular school or in a special school serves as a rough
indicator of the student’s degree of difficulties. The exact matching procedure forces all
matches to be the same on these three dimensions.
Thus, for each mainstreamed student 5 stayers are chosen for the control group, i.e. the 5
students in the control sample with propensity scores most similar to the mainstreamed student
– and who are equal on the three dimensions of exact matching.
16
95% confidence bands were
obtained by bootstrapping the entire estimation process.
After having found an appropriate control group the average treatment on the treated (equiva-
lent to
���½���½
in equation 1 above) is calculated as follows:
���½���½
=
��������[��������������������������������|������������������������������������������������������������������������������������������������
= 1] –
��������[��������������������������������|��������������������������������������������������������������������������������������������������������������������������������ℎ����������������
= 0]
(2)
Note that the calculation of
���½���½
is restricted to individuals on the “common support”. This means
that I exclude from our analysis non-mainstreamed students whose propensity score lies out-
side the range of propensity scores amongst mainstreamed students.
The quality of matching is evaluated on the basis of: (i) The standardized difference in the
criteria variables between treated and controls, (ii) Kernel density plots of the propensity score
for the raw and balanced data for the full estimation sample and for the 2015 cohort-sample
separately, and (iii) Matching statistics: the share of treated that are not on common support
and thus dropped from the effect calculation and the share of controls that could not be
matched to treated students. These analyses are shown below and suggest a high matching
quality.
Propensity score estimation and matching quality
This subsection first describes the results of the matching procedure, i.e. the first step of PSM.
The first step in PSM is to determine the PS and satisfy the balancing property. To begin with,
I obtain the set of propensity scores from a logistic regression model with treatment group as
the outcome and the balancing factors as predictors. Then, I match students in the two groups
16
The matching estimations were conducted using the KMATCH procedure in STATA 15.
37
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0038.png
with similar propensity scores while matching
exactly
on three selected balancing factors. Last,
I assess the matching quality with balance diagnostics, graphically and analytically.
In the outcome regressions, I use different samples for outcomes in year 1 and 2 after compul-
sory school and for year 3. For year 1 & 2, the full sample comprises both the 2015 and 2016
cohorts, while year 3 outcomes are available only for the older cohort (2015). In the following,
the estimation of the propensity scores and the evaluation of the matching quality is done sep-
arately for each sample.
Estimation of propensity scores
The probability of participating in the intervention is estimated in a logit model on the sample
of 1,358 students who returned to a regular class during grades 7-9 as well as the 4,712 po-
tential controls. The results are shown in Table B.1.
Overall, the picture is similar for both samples: while parental background characteristics like
education, income and labour market status are not substantially related to the probability of
returning to regular class (Table B.1, lower part), balancing factors related directly to the school
career and factors related to the nature and extent of difficulties/disability of the student are
much more important (Table B.1, upper part).
The only student background indicator that shows a consistently significant correlation to being
mainstreamed is family structure. Living with
one
biological parent is related to a significantly
higher probability for being mainstreamed, in particular when living with a single dad (only 3%
of students in the full sample).
17
Furthermore, the results show that students who did not participate in the national tests (in
grade 6 and earlier) were less likely to return to regular classes. Students who attended a
special school or daycare/residential care facilities in grade 6 were less likely to return than
students who attended special class in a regular school. Students who did not stay in SSE for
all years during grades 3-6 are significantly more likely to be mainstreamed. Also, the proba-
bility of being mainstreamed is increasing with unexcused absences in grade 6.
Students with a psychiatric diagnosis generally have a lower return propensity than those with-
out, but the difference is significant only for those with an autism diagnosis. Students with birth-
weight below 2500 gram were less likely to be mainstreamed, as were student with older moth-
ers (mother’s age at child’s birth 40 or above; only 2.4% of students in the full sample). Students
who have received prevention service by grade 6 were less likely to be mainstreamed.
17
This may be related to the pressure on schools and municipalities during our period of analysis to mainstream more
students. One parent families might lack the resources to fight mainstreaming if they feel their child would profit from
staying on in a specialized segregated setting.
38
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0039.png
Table B.1
Propensity scores: logit model results for returning to regular classroom during
grades 7-9
YEAR 1&2
Coef.
Std. Err.
0,081
0,049
0,034
0,046
0,131
0,064
0,068
0,056
0,124
0,091
0,109
0,081
P>z
0,002
0,265
0,109
0,805
0,119
0,449
0,005
0,950
0,000
0,346
0,000
0,996
0,001
0,035
0,069
-0,319
-0,037
0,031
0,090
-0,733
-0,072
-1,118
-0,058
Coef.
YEAR 3
Std. Err.
(omitted)
0,071
0,047
0,066
0,185
0,089
0,096
0,078
0,176
0,126
0,160
0,115
0,989
0,454
0,295
0,084
0,681
0,746
0,250
0,000
0,565
0,000
0,613
P>z
Grade 9 cohort 2015
Reading score (domain 1), grade 6
Reading score (domain 2), grade 6
Reading score (domain 3), grade 6
Reading score missing, grade 6
Math score (domain 1), grade 6
Math score (domain 2), grade 6
Math score (domain 3), grade 6
Math score missing, grade 6
ADHD
Autism
Other psych. Diagnosis
School type, grade 6 (reference: regular
public school)
Youth school/ youth boarding school
Special school
Day care/Residential care facilities
5 minutes APGAR score (reference: 10)
7-9
4-6
0-3
Birth weight (reference: >3500 gram)
<1500
1500-2500
2500-3500
Foster care
Prevention services
Age in grade 6: 14 years or older
Mother age at childbirth
(reference: 20-35)
<20
35-40
>40
Father age at childbirth
(reference: 20-35)
<20
35-40
>40
0,257
0,055
0,054
-0,011
-0,205
-0,048
0,191
0,004
-0,643
-0,085
-0,831
0,000
-0,168
-0,688
-0,530
0,646
0,088
0,190
0,795
0,000
0,005
0,116
-0,609
-0,490
0,815
0,118
0,253
0,887
0,000
0,052
0,054
-0,686
0,018
0,122
0,415
0,683
0,657
0,098
0,979
0,040
-0,961
0,074
0,172
0,621
0,974
0,817
0,122
0,940
-0,352
-0,424
-0,063
0,200
-0,363
0,003
0,281
0,155
0,073
0,184
0,085
0,071
0,210
0,006
0,388
0,279
0,000
0,962
-0,426
-0,552
-0,079
0,330
-0,436
-0,081
0,440
0,210
0,101
0,249
0,119
0,099
0,333
0,008
0,432
0,185
0,000
0,417
-0,107
-0,086
-0,686
0,199
0,116
0,278
0,590
0,458
0,014
-0,315
-0,022
-0,776
0,279
0,163
0,364
0,259
0,891
0,033
0,463
-0,161
-0,237
0,357
0,095
0,133
0,195
0,089
0,074
0,490
-0,156
-0,248
0,476
0,132
0,183
0,303
0,237
0,176
Percentage of grades 3-5 in SSE (reference: 100%)
51-100%
1-50%
0%
0,604
0,651
0,669
0,106
0,101
0,101
0,000
0,000
0,000
0,678
0,656
0,754
0,149
0,136
0,143
0,000
0,000
0,000
39
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0040.png
YEAR 1&2
Sickness absence (% of time)
Excused absence (% of time)
Unexcused absence (% of time)
Reading score (domain 1), grade 4
Reading score (domain 2), grade 4
Reading score (domain 3), grade 4
Reading score missing, grade 4
Math score (domain 1), grade 3
Math score (domain 2), grade 3
Math score (domain 3), grade 3
Math score missing, grade 3
Male
Family type (reference: Lives with both
parents)
Lives with mum & new partner
Lives with single mum
Lives with dad & new partner
Lives with single dad
Lives with neither mum nor dad
Immigrant
Mother's education (reference:
compulsory education)
Vocational education
High school
Short cycle higher education
Medium cycle higher education
Long cycle higher education
Father's education (reference:
compulsory education)
Vocational education
High school
Short cycle higher education
Medium cycle higher education
Long cycle higher education
Income, father
Income, mother
Father's labour market status (reference:
wage earner, bottom)
Self-employed
Wage earner, top
Wage earner, medium
Wage earner, other
Permanent income transfers
Other
0,221
-0,045
-0,180
0,032
0,110
0,218
0,162
0,162
0,160
0,102
0,106
0,170
0,174
0,782
0,261
0,752
0,301
0,199
0,139
0,088
-0,226
0,103
0,077
-0,021
0,071
0,159
0,353
0,304
0,311
-0,459
-0,528
0,084
0,199
0,173
0,173
0,221
0,353
0,589
0,396
0,424
0,041
0,079
0,160
0,193
0,370
0,082
0,109
0,126
0,243
0,145
-0,484
-0,809
0,118
-0,085
0,220
0,364
-0,024
0,089
0,179
0,207
0,141
0,269
0,182
0,634
0,288
0,010
0,929
0,240
0,088
-0,013
0,642
-0,050
0,226
0,271
0,340
0,669
-0,241
-0,058
0,107
0,089
0,199
0,153
0,204
0,129
0,034
0,002
0,087
0,000
0,239
0,652
0,360
0,290
0,422
0,800
-0,447
-0,104
-0,610
0,474
1,636
0,105
0,061
-0,030
-0,265
-0,069
0,187
0,103
0,079
0,020
0,701
1,081
0,668
0,056
0,042
0,052
0,096
0,110
0,117
0,088
0,103
0,079
0,384
0,661
0,014
0,061
0,147
0,562
0,006
0,533
0,109
0,240
0,445
0,802
-0,815
-0,936
4,207
0,153
0,038
-0,017
-0,252
-0,225
0,129
0,150
-0,538
0,091
YEAR 3
1,079
1,748
1,178
0,084
0,061
0,079
0,137
0,525
0,580
0,341
0,301
0,108
0,450
0,592
0,000
0,067
0,539
0,831
0,067
0,667
0,824
0,660
0,074
0,397
0,144
0,123
0,260
0,217
0,284
0,181
0,013
0,019
0,104
0,000
0,115
0,568
0,123
0,240
0,312
0,194
0,403
0,051
0,712
0,966
0,001
0,901
0,116
0,281
0,250
0,248
0,314
0,503
0,850
0,477
0,699
0,614
0,328
0,645
0,336
0,341
0,222
0,230
0,228
0,139
0,145
0,235
0,532
0,702
0,321
0,461
0,594
0,929
40
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0041.png
YEAR 1&2
Mother's labour market status
(reference: wage earner, bottom)
Self-employed
Wage earner, top
Wage earner, medium
Wage earner, other
Permanent income transfers
Other
n
Pseudo R2
0,916
0,053
-0,083
0,160
0,179
0,056
0,229
0,194
0,135
0,119
0,103
0,165
6062
0,133
0,000
0,784
0,538
0,177
0,083
0,733
0,664
-0,042
-0,099
0,206
0,321
0,368
YEAR 3
0,320
0,278
0,186
0,163
0,144
0,224
3078
0,160
0,038
0,881
0,596
0,206
0,026
0,100
Matching on propensity scores
The results from the matching procedure show, that there are only 8(4) treated students who
are off support in the full estimation sample (in the 2015 cohort), i.e. no comparable controls
could be found. This is a very small number, comprising less than 1% of the treated students
in both samples (Table B.2). Thus, even though these few students are excluded from the
calculation of the effect of mainstreaming, overall, the estimated effects are representative for
the overall population of treated students. Almost 60% of the controls could be matched to
treated students and are thus used in the effect estimations.
Table B.2
Matching statistics
# unmatched treated
Years 1 & 2
Year 3
8
4
%unmatched treated
0.6
0.5
%used controls
58.4
59.6
Figure B.1
Density plots of propensity scores in treated and unmatched (raw) and matched
samples (left panel: full sample; right: cohort 2015-sample)
41
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
Balancing diagnostics
To assess the validity of PSM, the balancing property must be tested, that is, observations with
the same propensity score must have the same distribution of observable characteristics inde-
pendent of treatment status. The quality of matching is evaluated on the basis of:
Density plots of the propensity score for the raw and balanced data for the full estimation
sample and for the 2015 cohort-sample separately (Figure B.1). While the density plots
of the unmatched sample show clear differences in the probability to be mainstreamed
(with the probability of being mainstreamed of those who continued in SSE generally
being very low), the distributions in the matched sample are very similar.
The standardized difference in the criteria variables between treated and controls in the
matched sample. A standardized difference smaller than 10% is commonly regarded as
acceptable. Table B.3 shows (separately for the year 1 & 2 and year 3 samples), bal-
ancing tests of all included variables both between the unmatched treated and control
group (left panel) and between the matched treated and control group (right panel). In
the matched samples, the tests reveal very small biases (all below 10%) on the balanc-
ing variables ex ante.
42
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0043.png
Table B.3
Covariate mean differences between treated and untreated students in the unmatched and matched samples
Year 1 & 2 samples
Raw
Matched(ATT)
StdDif
0,200
-0,002
0,271
0,107
-0,384
0,045
0,033
-0,043
-0,419
0,019
-0,252
-0,031
0,322
-0,384
0,040
-0,044
-0,101
-0,022
-0,055
-0,111
0,003
-0,073
-0,269
-0,087
Treated
0,585
-0,355
0,782
0,025
0,380
-0,154
-0,219
-0,443
0,386
0,181
0,109
0,230
0,756
0,175
0,066
0,082
0,005
0,002
0,014
0,048
0,416
0,096
0,204
0,418
Untreated
0,583
-0,364
0,726
-0,025
0,380
-0,180
-0,231
-0,447
0,388
0,178
0,112
0,214
0,756
0,170
0,071
0,077
0,005
0,002
0,015
0,048
0,425
0,093
0,207
0,420
StdDif
0,005
0,009
0,036
0,046
0,000
0,030
0,016
0,004
0,005
0,009
0,009
0,038
0,000
0,012
0,020
0,017
0,001
0,006
0,008
0,001
0,018
0,007
0,007
0,004
Treated
1,000
-0,372
0,774
0,028
0,380
-0,162
-0,241
-0,478
0,387
0,173
0,088
0,217
0,741
0,184
0,067
0,076
0,004
0,003
0,010
0,049
0,421
0,099
0,193
0,383
Raw
Untreated
1,000
-0,318
0,380
-0,074
0,590
-0,165
-0,209
-0,381
0,609
0,167
0,196
0,233
0,605
0,344
0,049
0,092
0,017
0,003
0,019
0,080
0,418
0,122
0,319
0,448
StdDif
.
-0,054
0,254
0,095
-0,429
0,004
-0,043
-0,092
-0,457
0,015
-0,313
-0,040
0,292
-0,369
0,078
-0,059
-0,134
-0,002
-0,076
-0,126
0,006
-0,073
-0,292
-0,133
Year 3 sample
Matched(ATT)
Treated
1,000
-0,373
0,775
0,028
0,378
-0,163
-0,243
-0,480
0,384
0,172
0,089
0,218
0,744
0,185
0,067
0,076
0,004
0,003
0,010
0,049
0,422
0,100
0,191
0,382
Untreated
1,000
-0,419
0,636
-0,053
0,378
-0,187
-0,280
-0,527
0,381
0,150
0,098
0,209
0,744
0,190
0,059
0,071
0,003
0,001
0,007
0,049
0,435
0,095
0,174
0,407
StdDif
.
0,046
0,089
0,076
0,000
0,028
0,049
0,044
0,005
0,058
0,029
0,021
0,000
0,011
0,036
0,016
0,005
0,035
0,025
0,000
0,027
0,017
0,040
0,051
Means
Grade 9 cohort 2015
Reading score (domain 1), grade 6
Reading score (domain 2), grade 6
Reading score (domain 3), grade 6
Reading score missing, grade 6
Math score (domain 1), grade 6
Math score (domain 2), grade 6
Math score (domain 3), grade 6
Math score missing, grade 6
ADHD
Autism
Other psych. Diagnosis
School type, grade 6
Regular public school
Special school
Day care/Residential care facilities
5 minutes APGAR score (reference: 10)
7-9
4-6
0-3
Birth weight (reference: >3500 gram)
<1500
1500-2500
2500-3500
Foster care
Prevention services
Age in grade 6: 14 years or older
Treated
0,585
-0,354
0,779
0,024
0,383
-0,153
-0,218
-0,440
0,390
0,182
0,109
0,230
0,752
0,174
0,066
0,082
0,005
0,002
0,014
0,048
0,418
0,096
0,205
0,417
Untreated
0,486
-0,351
0,360
-0,091
0,571
-0,192
-0,243
-0,395
0,594
0,174
0,199
0,243
0,603
0,338
0,056
0,095
0,015
0,003
0,021
0,074
0,416
0,119
0,322
0,460
43
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0044.png
Year 1 & 2 samples
Raw
Mother age at childbirth
(reference: 20-35)
<20
35-40
>40
Father age at childbirth
(reference: 20-35)
<20
35-40
>40
Percentage of grades 3-5 in SSE
(reference: 100%)
51-100%
1-50%
0%
Sickness absence (% of time)
Excused absence (% of time)
Unexcused absence (% of time)
Reading score (domain 1), grade 4
Reading score (domain 2), grade 4
Reading score (domain 3), grade 4
Reading score missing, grade 4
Math score (domain 1), grade 3
Math score (domain 2), grade 3
Math score (domain 3), grade 3
Math score missing, grade 3
Male
Family type
(reference: Lives with both parents)
Lives with mum & new partner
Lives with single mum
Lives with dad & new partner
Lives with single dad
Lives with neither mum nor dad
0,151
0,275
0,035
0,069
0,077
0,130
0,243
0,024
0,040
0,115
0,061
0,071
0,062
0,130
-0,127
0,151
0,273
0,035
0,070
0,076
0,150
0,286
0,030
0,067
0,080
0,003
0,029
0,027
0,014
0,014
0,162
0,267
0,040
0,069
0,071
0,129
0,244
0,025
0,035
0,114
0,133
0,168
0,189
0,036
0,019
0,012
-0,250
0,447
-0,109
0,533
0,055
0,073
0,074
0,794
0,732
0,093
0,099
0,099
0,039
0,022
0,009
-0,303
0,176
-0,180
0,642
-0,008
0,014
-0,008
0,810
0,726
0,124
0,205
0,259
-0,055
-0,081
0,074
0,055
0,219
0,071
-0,222
0,113
0,123
0,118
-0,042
0,013
0,133
0,169
0,189
0,037
0,020
0,012
-0,252
0,449
-0,110
0,530
0,055
0,073
0,074
0,793
0,732
0,130
0,169
0,193
0,037
0,020
0,014
-0,251
0,459
-0,098
0,531
0,047
0,062
0,070
0,793
0,736
0,010
0,002
0,013
-0,004
0,008
-0,031
0,000
0,008
0,012
0,002
0,015
0,022
0,005
0,001
0,008
0,128
0,171
0,186
0,033
0,017
0,013
-0,186
0,395
-0,112
0,608
0,010
0,005
0,007
0,969
0,727
0,088
0,105
0,087
0,035
0,021
0,007
-0,253
0,163
-0,185
0,703
0,004
0,001
0,001
0,981
0,713
0,010
0,170
0,085
0,007
0,197
0,110
0,038
-0,069
-0,084
0,010
0,170
0,084
0,011
0,178
0,083
0,011
0,021
0,004
0,011
0,162
0,083
0,007
0,187
0,114
0,032
0,112
0,014
0,029
0,132
0,026
0,013
-0,063
-0,085
0,032
0,113
0,014
0,033
0,111
0,014
0,006
0,006
-0,001
0,028
0,107
0,015
0,031
0,119
0,028
Matched(ATT)
Raw
Year 3 sample
Matched(ATT)
-0,017
-0,039
-0,089
0,028
0,108
0,015
0,027
0,116
0,019
0,003
0,028
0,028
0,046
-0,064
-0,103
0,011
0,161
0,084
0,012
0,181
0,091
0,011
0,054
0,026
0,131
0,193
0,294
-0,050
-0,131
0,116
0,074
0,197
0,078
-0,201
0,035
0,028
0,024
-0,081
0,030
0,129
0,172
0,186
0,033
0,017
0,013
-0,187
0,397
-0,113
0,606
0,010
0,005
0,007
0,968
0,728
0,123
0,179
0,186
0,035
0,017
0,012
-0,219
0,420
-0,168
0,590
0,011
0,007
0,009
0,975
0,737
0,020
0,019
0,001
0,048
0,011
0,016
0,035
0,020
0,060
0,035
0,002
0,009
0,010
-0,042
0,021
0,095
0,052
0,084
0,157
-0,151
0,162
0,266
0,041
0,070
0,071
0,172
0,277
0,037
0,070
0,070
0,029
0,026
0,020
0,001
0,003
44
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0045.png
Year 1 & 2 samples
Raw
Immigrant
Mother's education
(reference: compulsory education)
Vocational education
High school
Short cycle higher education
Medium cycle higher education
Long cycle higher education
Father's education
(reference: compulsory education)
Vocational education
High school
Short cycle higher education
Medium cycle higher education
Long cycle higher education
Income, father
Income, mother
Father's labour market status
(reference: wage earner, bottom)
Self-employed
Wage earner, top
Wage earner, medium
Wage earner, other
Permanent income transfers
Other
Mother's labour market status
(reference: wage earner, bottom)
Self-employed
Wage earner, top
Wage earner, medium
Wage earner, other
Permanent income transfers
Other
0,031
0,060
0,132
0,122
0,332
0,054
0,016
0,063
0,127
0,130
0,325
0,059
0,096
-0,011
0,013
-0,025
0,015
-0,018
0,031
0,060
0,131
0,122
0,333
0,055
0,023
0,058
0,130
0,112
0,346
0,053
0,052
0,008
0,004
0,029
0,029
0,008
0,026
0,054
0,131
0,121
0,343
0,059
0,021
0,062
0,125
0,130
0,327
0,058
0,058
0,086
0,060
0,182
0,225
0,052
0,045
0,090
0,070
0,187
0,221
0,046
0,061
-0,014
-0,043
-0,014
0,010
0,028
0,059
0,086
0,059
0,182
0,224
0,052
0,054
0,082
0,060
0,183
0,227
0,050
0,019
0,014
0,002
0,001
0,005
0,010
0,057
0,081
0,053
0,186
0,227
0,047
0,045
0,087
0,067
0,183
0,226
0,051
0,384
0,032
0,054
0,063
0,038
0,161
0,134
0,380
0,035
0,045
0,061
0,038
0,186
0,151
0,009
-0,021
0,041
0,006
-0,001
-0,152
-0,188
0,385
0,032
0,053
0,063
0,038
0,161
0,134
0,380
0,030
0,055
0,052
0,036
0,156
0,131
0,010
0,012
0,012
0,046
0,012
0,030
0,030
0,385
0,029
0,044
0,062
0,034
0,142
0,119
0,376
0,038
0,047
0,059
0,038
0,172
0,141
0,386
0,039
0,032
0,148
0,025
0,374
0,049
0,030
0,126
0,035
0,024
-0,050
0,009
0,063
-0,056
0,387
0,039
0,032
0,146
0,025
0,379
0,043
0,031
0,144
0,024
0,015
0,017
0,005
0,005
0,007
0,390
0,042
0,024
0,149
0,019
0,366
0,051
0,031
0,119
0,034
0,090
0,100
-0,034
Matched(ATT)
0,090
0,090
0,001
0,088
Raw
0,100
Year 3 sample
Matched(ATT)
-0,039
0,089
0,076
0,044
0,050
-0,044
-0,046
0,087
-0,092
0,390
0,042
0,024
0,148
0,019
0,390
0,047
0,029
0,135
0,019
0,001
0,027
0,029
0,038
0,003
0,020
-0,053
-0,013
0,010
-0,024
-0,204
-0,243
0,386
0,029
0,043
0,062
0,034
0,142
0,118
0,377
0,023
0,046
0,051
0,039
0,136
0,116
0,018
0,036
0,016
0,048
0,027
0,043
0,028
0,055
-0,025
-0,059
0,010
0,003
-0,021
0,057
0,081
0,052
0,187
0,227
0,047
0,057
0,089
0,044
0,179
0,227
0,056
0,001
0,030
0,032
0,021
0,000
0,043
0,039
-0,032
0,019
-0,028
0,033
0,006
0,027
0,053
0,132
0,122
0,343
0,059
0,027
0,053
0,113
0,121
0,334
0,045
0,000
0,000
0,057
0,003
0,018
0,064
45
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0046.png
IV strategy
The OLS and PSM identification strategies essentially consider treatment status
as good as
exogenous conditional on a rich set of observables. I argued above that the availability of a rich
set of control variables is able to take account of selection into treatment, such that simple
linear regression and/or matching methods produce unbiased estimates.
However, to address the possibility that the rich set of controls may not
fully
describe assign-
ment to treatment, I exploit plausibly exogenous variation across counties in referral of SSE
students to regular classrooms.
18
I instrument students’ treatment status with the share main-
streamed students among all
other
grade 6 SSE students in the same municipality and cohort
(i.e. the focal student is removed in the calculation).
19
Figure B.2
Distribution of municipal level propensities to mainstream
Note:
The propensity to mainstream is defined as the share of other mainstreamed students in the same grade 6 cohort
and in the same municipality. The graph displays the respective municipal share of mainstreamed students among
all 6th grade SSE students in the cohort.
This instrumental variable is a direct measure of treatment probability, varying at the municipal
and cohort level; see Dalsgaard et al (2014)
20
who use assignment to hospitals with specialist
physicians to estimate causal effects of ADHD medication use. Figure B.2 shows the distribu-
tion of the propensities. Clearly, there is ample variation across municipalities’ propensities to
mainstream.
Such variation may stem from municipality level differences in referral culture. Some munici-
palities may be more eager to mainstream students to regular class than others leading to
18
Some municipalities might be more eager to mainstream SSE students than others leading to differential practices across
counties. Such variation may stem from municipality level differences in mainstreaming/referral culture. Thus, otherwise
similar SSE students, but living in different counties may face different risks of being mainstreamed. As long as families
do not engage in strategic settlement, it can be argued that this kind of between-municipality variation is exogenous for
the assignment to treatment of students.
The municipality and cohort are defined by the student’s municipality of residence while in grade 6 (last time) and the 9th
grade cohort (2015 & 2016).
Dalsgaard, S. Nielsen, H. S. & M. Simonsen (2014): Consequences of ADHD medication use for children’s outcomes.
Journal of Health Economics, 37:137–151.
19
20
46
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
differential practices across municipalities. Thus, otherwise similar SSE students, but living in
different municipalities may face different risks of being mainstreamed.
Formally, I define the instrument as: for student i the share of treated among other students in
the same grade 9 cohort and living the same municipality. To implement the IV-approach, in-
stead of estimating the effect of treatment directly as in the OLS equation above, I use the
predicted treatment probability from a first stage regression of treatment on the instrument (and
controls). This yields the two-stage IV estimator that estimates the local average treatment
effect (LATE).
Instrument validity
A valid instrument is strong, independent, exogenous and monotonic. Below, I address these
requirements one by one. First, for the instrument to be valid, the municipal level propensity to
mainstream must strongly predict the probability that a given grade 6 student in a segregated
program is referred to regular classes in grade 7-9. I test this assumption in section 3.1.1 (Table
3.2) and find that the instrument is highly and significantly correlated with treatment status. The
F-statistic is 183 for the full sample and 94 for the smaller year 3 sample. Both are well-above
the usual cut-off of 10.
Second, the instrument must be independent of the outcome through any mechanism other
than the treatment. This assumption means for example that the municipality’s propensity to
mainstream must not be correlated with other features of the school system that affect students’
outcomes. This is potentially a strong assumption. For example, if a municipality or school has
a general economic framework, a large number of mainstreamed students in regular classes
might affect other educational programs. However, the municipality’s propensity to mainstream
might also signal a downgrading of the municipal education system as a whole. I provide sug-
gestive evidence on this hypothesis by adding a range of control variables at the municipal
level that approximate the financial circumstances in the municipality, like the share receiving
cash benefits, the percentage of children in foster care, the share of immigrants. I find that
including municipality level controls does not significantly alter the results, which lends credi-
bility to the independence assumption (results available upon request).
The third assumption is exogeneity. As long as families do not engage in strategic settlement,
it can be argued that this kind of between-municipality variation I use as an instrument is exog-
enous for the assignment to treatment of students. Exogeneity would, for example, be violated
by selective settlement, i.e. parents strategically moving location to or from municipalities with
high propensities to mainstream. In the current setting - in a period where policy pushes to-
wards more inclusion - it is probably more likely that eg. well-educated parents try to avoid
treatment rather than explicitely seek it (just because it is not necessary to seek it as the political
agenda pushes in that direction). This behavior would most probably tend to bias the effect
estimate of mainstreaming downwards. Given the large positive estimates I find in the results
section, downward bias does not change the main conclusion.
The instrument must be exogenous. Exogeneity means for example that parents may not try
to seek or avoid treatment. In the current setting in a period where policy pushes towards more
inclusion, it is probably more likely that e.g. well-educated parents try to
avoid
treatment rather
than explicitely seek it (because it is not necessary to seek it as the political agenda pushes in
that direction). This behavior would most probably tend to bias the effect estimate of main-
streaming
downwards.
Given the large positive estimates found in the results section, down-
ward bias would not change the main conclusion. Exogeneity is not testable, but looking at the
conditional correlation between student background/municipality characteristics and the instru-
ment provides some suggestive evidence. I regress the instrument on student and parental
47
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
background and municipality characteristics. Overall, the correlation with the instrument is
small: only 4 out of 85 estimates are significant at the 5% level, which lends support to the
exogeneity assumption (results available upon request).
The last requirement, monotonicity, is not testable neither. A necessary condition for mono-
tonicity to hold is that a students’ probabilities to return to regular class increase with the mu-
nicipality’s propensity to mainstream. A quick calculation shows that the municipality’s propen-
sity to mainstream on average is higher among mainstreamed students (25%) than among the
non-mainstreamed (21%). Moreover, I estimated a local linear regression of the treatment in-
dicator (mainstreamed) on the municipal propensity to mainstream. The estimated function is
mostly monotonic increasing, suggesting that the monotonicity assumption is fulfilled (results
available upon request).
48
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0049.png
Appendix C: Data and sample
To investigate the effect of segregated programs on post school outcomes, I exploit panel mi-
crodata on full population student cohorts. The dataset is put together from various administra-
tive registers hosted by Statistics Denmark. Full population data are crucial for this analysis,
because only a small percentage of the total student population move from segregated settings
to regular classrooms each year.
Importantly for this analysis, the data allow me to track cohorts of students as they progress
through school and during the early years of their post-compulsory education transition. More-
over, the data also contain extensive and reliable information on students’ background charac-
teristics including test scores in earlier grades, psychiatric diagnoses, whether or not they were
placed in foster care or received preventive in-home interventions during childhood, gender,
ethnicity, parental income and education, as well as school and grade-level identifiers. Unique
IDs permit linking the student records with separate special-education information on the aca-
demic placement for SEN students in compulsory education (segregated or mainstream clas-
ses; also for earlier grades in their school career, allowing me to track students’ SEN placement
back in time). Thus, the data allow me to identify SEN students who move from segregated to
inclusive settings and those who continue in SSE.
Sample selection
The estimation sample is limited to students from two cohorts, because the analysis needs
data for students from grade 6 until well into upper secondary education. Thus, on the one hand
the cohorts cannot be too old, because data on educational placement of special needs stu-
dents in grade 6 is available for the 2015 grade 9 cohort and younger
21
; on the other hand,
cohorts cannot be too recent/young, because they have not had sufficient time to progress
through upper secondary programs to study retention and completion. With the data currently
available,
22
the most recent cohort that can be followed through year 3 after compulsory edu-
cation is the 2016 grade 9 cohort. This limits the estimation sample to the 2015 and 2016 grade
9 cohorts.
23
I estimate the effect of returning to an inclusive setting during the final years of compulsory
schooling (grades 7-9). Hence, the analysis tracks grade 6
24
SSE students through the last 3
years of compulsory education (who stays/exits?). While the full population of the grade 9 co-
horts of 2015 and 2016 consist of 135,481 students, only 6,071 (or 4.5%) were in SSE in grade
6 and thus form the estimation sample. Among these 6th grade SSE students, 1,358 students
(or 22.4%) return to mainstream classes in grades 7-9. Figure C.1 shows the timeline for the
empirical set-up.
21
22
23
Placement data is available from the academic years 2011/12 and onwards.
The last year of data is 2018 (autumn).
In the main analysis, students in both public and private schools are included. In additional analyses, I provide separate
results for student returning to public schools.
Students repeating grade 6 must be in segregated education in their last grade 6 year.
24
49
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0050.png
Figure C.1
Set-up of empirical analysis
Main outcome
In this study, the focus is on the early transition outcomes after compulsory education. The
main outcome is whether students are enrolled in a qualifying upper secondary education pro-
gram (i.e. regular vocational education and training or high school). I observe enrolment in
years 1-3 after compulsory education for both cohorts, and for year 4 only for the 2015-cohort.
Controls
School history.
How a student is doing in school is obviously important both for the decision to
mainstream the student and for academic outcomes. One of the key control variables is pre-
treatment academic achievement measured by test scores in the grade-levels op to grade 6.
The test scores come from the so-called National tests. These tests are IT based with the test
system automatically calculating test results. Test scores from the reading tests in grade 4 and
6 and from the math tests in grades 3 and 6 are included as controls.
25
The tests simultaneously
evaluated the skill levels in three cognitive domains of reading (language comprehension, de-
coding and reading comprehension) and mathematics (numbers and algebra, geometry, ap-
plied mathematics). To fully exploit the information available from the test scores, I include
scores from each profile area of reading and math separately. As many students in the estima-
tion sample do no sit these tests, I also include an indicator for missing test scores.
In order to approximate the degree of difficulties/disability the student has, I include a number
of additional controls:
The type of segregated school environment the student attended in grade 6. I distin-
guish between regular schools, special schools, and daycare/residential care facilities.
26
The share of the years in grades 3 to 5 the student has spent in segregated education.
Absence in grade 6 (sickness absence, excused absence, unexcused absence).
Student’s age in grade 6 as an indicator for earlier grade retention.
25
The national tests were introduced in 2010. By that time, most children of the cohorts in the estimation sample were
already in grade 3 or 4. Thus, scores from grade 2 reading tests are not available for these cohorts. Grade 3 math test
scores are available only for the older cohort (2016).
Only few students in our sample (0.3%) attend other types of segregated settings like private schools or youth schools in
grade 6.
26
50
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0051.png
Psychiatric diagnoses (pre-treatment).
Having a psychiatric diagnosis or not is another key
control variable. The data stem from the Danish Psychiatric Central Register. These data in-
clude information about psychiatric diagnoses for children diagnosed with Danish general hos-
pitals. Diagnoses are based on the International Classification of Diseases (ICD) diagnostic
manual developed by WHO. I code three diagnosis-variables: ADHD
27
, autism-spectrum dis-
order (ASD) and other diagnoses. Since treatment in my set-up begins no earlier than grade
7, I use psychiatric diagnoses that children have received before they enter grade 7.
Birth data.
Information around childbirth has been shown to be predictive for later child out-
comes (e.g. Ehrenstein et al. 2009
28
). I include the 5 minutes Apgar score
29
, birth weight and
mother’s and father’s age at childbirth as controls.
Vulnerability.
Vulnerable children face additional challenges in life that probably also influence
their school career. As proxies for vulnerability, I include indicators for whether students
are/have been in foster care or have received prevention services by grade 6.
Student and parental background characteristics (pre-treatment).
In the regressions, the usual
set of controls for student and parental background characteristics are added like student gen-
der, ethnicity, family type, and parental education, income and labour market status (all meas-
ured in grade 6).
Table C.1 shows summary statistics for the estimation sample for the treated (mainstreamed,
returners) and untreated (stayers) groups of students for all variables included in the regres-
sions. The lower panel holds statistics for student and parental background. Apart from family
type, there are only few significant differences. Mainstreamed students are more likely than
stayers to live with one biological parent rather than living with both biological parents (39% vs.
45%) or without biological parents (8% vs. 12%).
Differences are much starker when it comes to pre-treatment test scores and other school-
related variables. For example, returners are much less likely than stayers to:
Have missing math scores in grade 6 (39% vs. 59%); among those who sat the tests,
returners scored significantly higher.
Have attended a special school rather than a special class in a regular school in grade
6 (17% vs. 34%)
Have stayed full time in segregated settings during grades 3-5 (49% vs. 70%)
Have been diagnosed with an autism spectrum disorder (11% vs. 20%)
Have a birthweight below 2500 gram (10% vs. 6%)
Have received prevention service (21% vs. 32%)
27
ADHD is classified as an F90 diagnosis. This covers hyperkinetic disorders, activity and attention disorders, other hyper-
kinetic behavioral disorders, and hyper-kinetic behavioral disorders without further specification.
Ehrenstein, V., Pedersen, L., Grijota, M., Nielsen, G. L., Rothman, K. J. & H. T. Sørensen (2009): Association of Apgar
score at five minutes with long-term neurologic disability and cognitive function in a prevalence study of Danish con-
scripts. BMC Pregnancy and Childbirth, 9(14). doi: 10.1186/1471-2393-9-14.
The 5 minutes Apgar test is a quick test performed on a baby at 5 minutes after birth. The 5-minute score tells the health
care provider how well the baby is doing outside the mother's womb.
28
29
51
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0052.png
Table C.1
Summary statistics
Not mainstreamed
students (stayers)
Mainstreamed
students (returners)
n
838
838
838
1358
829
829
829
1358
634
634
634
1358
255
255
255
564
mean
-0.573
1.263
0.039
0.383
-0.250
-0.356
-0.721
0.390
-0.536
0.957
-0.234
0.533
0.261
0.371
0.371
0.548
-0.246***
-0.424***
-0.251***
0.188***
-0.224***
-0.242***
-0.253***
0.205***
-0.312***
-0.466***
-0.270***
0.109***
-0.312***
-0.295***
-0.417***
0.101***
Difference &
significance
Variable
Reading score (domain 1), grade 6
Reading score (domain 2), grade 6
Reading score (domain 3), grade 6
Reading score missing, grade 6
Math score (domain 1), grade 6
Math score (domain 2), grade 6
Math score (domain 3), grade 6
Math score missing, grade 6
Reading score (domain 1), grade 4
Reading score (domain 2), grade 4
Reading score (domain 3), grade 4
Reading score missing, grade 4
Math score (domain 1), grade 3
Math score (domain 2), grade 3
Math score (domain 3), grade 3
Math score missing, grade 3
School type, grade 6
Regular public school
Special school
Day care/Residential care facilities
Percentage of grades 3-5 in SSE
100%
51-100%
1-50%
0%
Sickness absence (% of time)
Excused absence (% of time)
Unexcused absence (% of time)
Age in grade 6: 14 years or older
ADHD
Autism
Other psych. diagnosis
5 minutes APGAR score
10
7-9
4-6
0-3
Birth weight
<1500
1500-2500
2500-3500
>3500
n
2021
2021
2021
4712
1911
1911
1911
4712
1687
1687
1687
4712
850
850
850
2424
mean
-0.819
0.839
-0.212
0.571
-0.474
-0.599
-0.974
0.594
-0.848
0.491
-0.504
0.642
-0.051
0.076
-0.046
0.649
4712
4712
4712
0.603
0.338
0.056
1358
1358
1358
0.752
0.174
0.066
-0.148***
0.165***
-0.010
4712
4712
4712
4712
4203
4203
4203
4712
4712
4712
4712
0.699
0.093
0.099
0.099
0.044
0.025
0.010
0.460
0.174
0.199
0.243
1358
1358
1358
1358
1157
1157
1157
1358
1358
1358
1358
0.490
0.133
0.168
0.189
0.043
0.023
0.015
0.417
0.182
0.109
0.230
0.209***
-0.039***
-0.069***
-0.090***
0.001
0.002
-0.005**
0.043**
-0.007
0.090***
0.013
4712
4712
4712
4712
0.886
0.095
0.015
0.003
1358
1358
1358
1358
0.910
0.082
0.005
0.002
-0.024*
0.013
0.010**
0.001
4712
4712
4712
4712
0.021
0.074
0.416
0.426
1358
1358
1358
1358
0.014
0.048
0.418
0.460
0.007
0.027***
-0.002
-0.034*
52
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0053.png
Not mainstreamed
students (stayers)
Mother age at childbirth (reference: >40)
<20
20-35
35-40
Father age at childbirth (reference: >40)
<20
20-35
35-40
Foster care
Prevention services
Male
Lives with both parents
Lives with mum & new partner
Lives with single mum
Lives with dad & new partner
Lives with single dad
Lives with neither mum nor dad
Immigrant
Mother's education
Compulsory education
Vocational education
High school
Short cycle higher education
Medium cycle higher education
Long cycle higher education
Father's education
Compulsory education
Vocational education
High school
Short cycle higher education
Medium cycle higher education
Long cycle higher education
Income, father
Income, mother
Father's labour market status
Self-employed
Wage earner, top
Wage earner, medium
Wage earner, bottom
Wage earner, other
Permanent income transfers
Other
Mother's labour market status
Self-employed
Wage earner, top
4712
4712
0.016
0.063
4712
4712
4712
4712
4712
4712
4712
0.045
0.090
0.070
0.272
0.187
0.221
0.046
4712
4712
4712
4712
4712
4712
4332
4112
0.343
0.380
0.035
0.045
0.061
0.038
0.164
0.213
4712
4712
4712
4712
4712
4712
0.348
0.374
0.049
0.030
0.126
0.035
4712
4712
4712
4712
4712
4712
4712
4712
4712
4712
4712
4712
4705
0.007
0.619
0.197
0.119
0.322
0.726
0.448
0.130
0.243
0.024
0.040
0.115
0.098
4712
4712
4712
0.029
0.790
0.132
Mainstreamed
students (returners)
Difference &
significance
1358
1358
1358
0.032
0.818
0.112
-0.002
-0.028*
0.020*
1358
1358
1358
1358
1358
1358
1358
1358
1358
1358
1358
1358
1357
0.010
0.666
0.170
0.096
0.205
0.732
0.393
0.151
0.275
0.035
0.069
0.077
0.089
-0.004
-0.048**
0.027*
0.023*
0.117***
-0.006
0.055***
-0.021*
-0.031*
-0.010*
-0.030***
0.037***
0.009
1358
1358
1358
1358
1358
1358
0.324
0.386
0.039
0.032
0.148
0.025
0.024
-0.012
0.010
-0.002
-0.022*
0.010
1358
1358
1358
1358
1358
1358
1128
1085
0.323
0.384
0.032
0.054
0.063
0.038
0.162
0.202
0.020
-0.005
0.004
-0.009
-0.001
0.000
0.003
0.011
1358
1358
1358
1358
1358
1358
1358
0.058
0.086
0.060
0.270
0.182
0.225
0.052
-0.013*
0.004
0.011
0.002
0.005
-0.004
-0.006
1358
1358
0.031
0.060
-0.015***
0.003
53
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0054.png
Not mainstreamed
students (stayers)
Wage earner, medium
Wage earner, bottom
Wage earner, other
Permanent income transfers
Other
4712
4712
4712
4712
4712
0.127
0.258
0.130
0.325
0.059
Mainstreamed
students (returners)
1358
1358
1358
1358
1358
0.132
0.244
0.122
0.332
0.054
Difference &
significance
-0.004
0.015
0.008
-0.007
0.004
54
BUU, Alm.del - 2019-20 - Bilag 222: Rapporten Tilbageførte elever og overgang til ungdomsuddannelse
2230200_0055.png