BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

Børne- og Undervisningsudvalget 2021-22
BUU Alm.del Bilag 69
Offentligt

Jesper Eriksen, Rie Thomsen

og David Reimer

Udsyn i Udskolingen

– Kvantitativ evaluering af

læringsorienteret

uddannelsesvejledning

AARHUS

UNIVERSITET

DPU

Jesper Eriksen, Rie Thomsen og David Reimer

Udsyn i Udskolingen – Kvantitativ

evaluering af læringsorienteret

uddannelsesvejledning

DPU, Aarhus Universitet 2021

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

Titel:

Udsyn i Udskolingen – Kvantitativ evaluering af læringsorienteret uddannelsesvejledning

Forfattere:

Jesper Eriksen, Rie Thomsen og David Reimer

Udgivet af:

DPU, Aarhus Universitet, 2021

Layout:

Knud Holt Nielsen

ISBN: 978-87-7684-503-2

Forsidefoto: Rita Buhl

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

Indhold

OPSUMMERING .......................................................................................................................................................... 5

DEL 1: FORMÅL, BAGGRUND OG RESULTATER ............................................................................................................ 8

NDERSØGELSENS FORMÅL

................................................................................................................................................... 8

1. BAGGRUND............................................................................................................................................................. 9

ORMÅLET MED

DSYN I

DSKOLINGEN OG EN LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

...................................................... 10

NDRE RELEVANTE UNDERSØGELSER AF VEJLEDNING

................................................................................................................ 13

2. RESULTATER ......................................................................................................................................................... 15

ESULTATER AF MATCHING

ANALYSEN

.................................................................................................................................. 15

ETEROGENITET I RESULTATERNE AF MATCHING

ANALYSEN

....................................................................................................... 22

ESULTATERNE AF

IFFERENCE

-D

IFFERENCE ANALYSER

........................................................................................................ 26

4. PERSPEKTIVERING................................................................................................................................................. 30

DEL 2: METODE OG DATA ......................................................................................................................................... 32

5. METODE ............................................................................................................................................................... 33

EFINITION AF EFFEKT AF VEJLEDNINGSAKTIVITETER

................................................................................................................. 33

N MODEL FOR SAMMENHÆNGEN MELLEM UDDANNELSESVEJLEDNING OG UDDANNELSESDELTAGELSE OG UDFORDRINGER FOR

EFFEKTMÅLINGEN

.............................................................................................................................................................. 34

NVENDTE MATCHING

METODER

......................................................................................................................................... 36

STIMERING AF EFFEKTER I MATCHING

ANALYSER

.................................................................................................................... 38

TATISTISK STYRKE I MATCHING

ANALYSEN

............................................................................................................................. 39

VALUERING AF MATCHING OG FORSKEL I KARAKTERISTIKA

........................................................................................................ 41

UPPLERENDE

IFFERENCE

-D

IFFERENCE ANALYSEMETODE

.................................................................................................... 44

6. DATA .................................................................................................................................................................... 47

EMOGRAFISK DATA

.......................................................................................................................................................... 47

DDANNELSESDELTAGELSESDATA

......................................................................................................................................... 48

DSYN

ELEVER OG ANDRE ELEVER I REGISTERDATA

.................................................................................................................. 48

KOLER OVER TID

.............................................................................................................................................................. 49

LITTERATURLISTE ...................................................................................................................................................... 51

APPENDIX ................................................................................................................................................................. 55

A. E

KSEMPEL PÅ BRUGEN AF EFFEKTBEGREBET

........................................................................................................................ 55

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

B. S

TATISTISK STYRKE OG ANTAL MATCHEDE KONTROLGRUPPE

ELEVER

........................................................................................ 57

C. M

ATCHING

EVALUERING

................................................................................................................................................ 58

D. L

ÆRINGSAKTIVITETERNE FRA

DSYN I

DSKOLINGEN

........................................................................................................... 61

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Opsummering

Udsyn i Udskolingen – Kvantitativ Evaluering af læringsorienteret uddannelsesvejled-

ning

formidler resultaterne af et forskningsprojekt, som kvantitativt undersøger, om imple-

mentering af læringsorienteret uddannelsesvejledning i udskolingen kan ændre mønstre i

uddannelsesdeltagelse efter 9. klasse for deltagende elever. Projektet fokuserer på deltagelse

i ungdomsuddannelserne STX og HTX/HHX, erhvervsuddannelserne og i 10. klasse samt

på, om eleverne er i uddannelse eller ej, og hvorvidt påvirkningerne varierer på tværs af køn

og elevernes forældres uddannelsesniveau og indkomst.

Forskningsenheden i vejledning på Danmarks institut for Pædagogik og Uddannelse (DPU)

har sammen med forskningsenheden Social Inequality in Education and Beyond og Styrel-

sen for Undervisning og Kvalitet (STUK) etableret denne opfølgende undersøgelse af pro-

jektet Udsyn i Udskolingen, gennemført i skoleåret 2015/2016. Udsyn i Udskolingen havde

til formål at udvikle og gennemføre en række vejledningsaktiviteter som brobygning, virk-

somhedsbesøg, forældreaftner, valgfag, besøg på ungdomsuddannelser og undervisning i

emnet uddannelse og job. Aktiviteterne skulle tage afsæt i teori om karrierelæring. Det vil

sige at aktiviteterne skulle planlægges, så eleverne fik mulighed for at opdage, sanse, høre,

opleve og mærke sig selv i forskellige situationer i og omkring ungdomsuddannelserne og

arbejdslivet (Law 2016). Aktiviteterne skulle også sætte fokus på elevernes forberedelse in-

den aktiviteterne, elevernes efterbehandling fx i form af refleksion med hinanden over akti-

viteterne (Klindt Poulsen et al., 2016). Dette kalder vi i denne rapport for læringsorienteret

uddannelsesvejledning. Målet med den læringsorienterede uddannelsesvejledning i Udsyn

i Udskolingen var, at eleverne skulle lære om og reflektere over et bredt udsnit af mulige

uddannelses- og karriereveje til forskel fra vejledning orienteret mod, at eleverne skulle

vælge en uddannelse. Aktiviteterne i projektet blev tilrettelagt med henblik på, at eleverne

lærte noget om sig selv i samspil med forskellige uddannelser og job.

Den empiriske analyse er bygget op omkring en sammenligning af uddannelsesdeltagelse

blandt elever, der deltog i Udsyn i Udskolingen projektet (udsyn-elever), og en gruppe af

elever, der lignede udsyn-eleverne på observerbare karakteristika, men ikke deltog i projek-

tet Udsyn i Udskolingen. Disse elever henviser vi til som match-elever eller match-gruppen.

Analysen viser, at der ikke kan påvises statistisk signifikante forskelle mellem udsyn-ele-

verne og match-elevernes uddannelsesdeltagelse, men at der er tendenser, der tyder på, at

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

elever, som har deltaget i den læringsorienterede uddannelsesvejledning, har større sand-

synlighed for at deltage i erhvervsuddannelse og uddannelse generelt sammenlignet med

elever, der ikke deltog i den undersøgte læringsorienterede vejledning. Supplerende analy-

ser, der forsøger at tage højde for, at skolerne, der deltog i Udsyn i Udskolingen, selv til-

meldte sig og derfor kunne adskille sig fra andre skoler, understøtter disse resultater med

hensyn til tendenser til deltagelse i EUD. Analysen viser også, at tendenserne til højere del-

tagelse i EUD og i uddannelse generelt er tydeligere for elever fra hjem, hvor familiens høje-

ste uddannelsesniveau er afsluttet grundskole, og hvor familieindkomsten ligger under me-

dianindkomsten blandt udsyn- og match-elevernes familier.

Undersøgelsen er baseret på dansk registerdata, som gør det muligt at observere uddannel-

sesdeltagelse for elever fra danske skoler og videre i det danske uddannelsessystem på må-

nedlig basis. Omkring 1.400 elever fra 7.-9. klasse deltog i Udsyn i Udskolingen på tværs af

de 17 deltagende skoler. I denne undersøgelse har det været muligt at genfinde 1.276 elever

i registerdata, som i den primære analyse efterfølgende matches til elever, der ligner udsyn-

eleverne mest muligt på observerbare karakteristika som forældrenes uddannelsesniveau og

uddannelse, men som har gået på andre skoler end de 17, som deltog i Udsyn i Udskolingen.

Antallet af deltagere, 1.276, og behovet for at finde en kontrolgruppe blandt elever, som ikke

deltog i Udsyn i Udskolingen, medfører, at det kvantitative studie har en lav statistisk styrke

samt høje standardfejl. Det betyder, at der kan være effekter af deltagelse i Udsyn i Udsko-

lingen, som det ikke har været muligt statistisk at påvise. I matching-analyserne fokuserer

vi på grund af den høje statistiske usikkerhed på, om der er klare tendenser i forskellene

mellem udsyn-eleverne og match-eleverne på tværs af anvendte matching-metoder og 3-36

måneder efter endt 9. klasse. Hvis forskellene

skiftevis

er positive og negative, tillægges esti-

materne ikke en generel tendens. Hvis estimaterne derimod er

vedvarende

positive

eller

nega-

tive på tværs af estimationsmetoder og tidsperioder, anser vi det for at være en tendens, som

kan antyde en effekt af den læringsorienterede uddannelsesvejledning

. Resultaterne skal

læses med forsigtighed og er udelukkende indikerende for faktiske effekter frem for klare

påvisninger af effekter på uddannelsesdeltagelse.

Rapporten er inddelt i to dele. Del 1 introducerer rapportens formål, baggrunden for rap-

porten, indholdet i og formålet med Udsyn i Udskolingen projektet, resultaterne af rappor-

Et eksempel på en vedvarende forskel kan ses i rapportens Figur 3.1. Et eksempel på en figur

med skiftevis positive og negative forskelle kan ses i Figur 3.4.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

tens analyser og en diskussion af resultater og perspektiver for fremtidig forskning i uddan-

nelsesvejledning. Del 2 beskriver det metodiske og datamæssige grundlag for analyseresul-

taterne i Del 1.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Del 1: Formål, baggrund og resul-

tater

Rapportens Del 1 introducerer formålet med rapporten, baggrunden for rapporten og her-

under projektet Udsyn i Udskolingen samt resultaterne af den kvantitative analyse af ud-

dannelsesdeltagelse efter 9. klasse blandt elever i Udsyn i Udskolingen. Del 1 afsluttes med

en perspektivering af resultaterne og deres betydning for fremtidig forskning i vejledning i

udskolingen.

Undersøgelsens formål

Denne rapport undersøger, om skiftet fra valg- og informationsorienteret vejledning til læ-

ringsorienteret uddannelsesvejledning gennemført i projektet Udsyn i Udskolingen har på-

virket de deltagende elevers uddannelsesmønstre op til tre år efter 9. klasse. Resultaterne af

den oprindelige evaluering af projektet Udsyn i Udskolingen indikerede, at størstedelen af

deltagerne i Udsyn i Udskolingen oplevede at få mere viden om uddannelsesmuligheder og

jobs. Nærværende rapport følger op på disse resultater og undersøger, om oplevelserne hos

udsyn-eleverne har udmøntet sig i ændret uddannelsesdeltagelse i forhold til unge, der ikke

deltog i Udsyn i Udskolingen, og hvorvidt der er variation i påvirkningerne relateret til køn

og familiernes uddannelsesniveau og indkomst.

Rapporten fokuserer på de uddannelsesveje, som unge oftest tager efter endt 9. klasse i fol-

keskolen: 10. klasse, de treårige gymnasiale uddannelser (STX, HHX og HTX) og erhvervs-

uddannelserne (EUD). Herudover kan eleverne eksempelvis også deltage i hf, Forberedende

Grunduddannelse (FGU), på frie fagskoler og de maritime uddannelser, men rapporten siger

ikke noget om deltagelse i de disse uddannelser grundet et begrænset datagrundlag med for

få observationer.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

1. Baggrund

Dansk uddannelsesvejledning i folkeskolen har siden 2004 været en professionaliseret op-

gave

, som i dag varetages af uddannelsesvejledere i den kommunale ungeindsats (KUI).

Dette sker bl.a. gennem den kollektive vejledning i udskolingens 8. og 9. klasse. I udskolin-

gen består de obligatoriske vejledningsaktiviteter af introduktion til de forskellige ungdoms-

uddannelser, introduktion optagelse.dk og processen frem mod ansøgning til ungdomsud-

dannelse, informationsmøder for elever og forældre og introduktionskurser til ungdomsud-

dannelser i 8. klasse, hvor eleverne typisk får undervisning på en eller to ungdomsuddan-

nelsesinstitutioner i sammenlagt fem skoledage. I 8.-10. klasse uddannelsesparathedsvurde-

res eleverne. For de elever, som er vurderet ikke-uddannelsesparate i 9. eller 10. klasse er

brobygning også obligatorisk. Brobygning er vejlednings- og undervisningsforløb, hvor ele-

verne i 9. eller 10. klasse er ude på en eller flere ungdomsuddannelsesinstitutioner. Nogle

skoler tilbyder

også eleverne erhvervspraktik, deltagelse i skills-konkurrence med fokus på

indholdet af erhvervsuddannelserne, virksomhedsbesøg, uddannelsesmesser, besøg af rol-

lemodeller mv. Gennem hele skoletiden skal eleverne undervises i det obligatoriske emne

uddannelse og job, der skal give eleverne kendskab til og viden om uddannelsessystemet og

arbejdsmarkedet og udvikle elevernes nysgerrighed i forhold til sig selv og omverdenen.

Alle unge og deres forældre har adgang til information om uddannelse og job på Uddannel-

sesGuiden (ug.dk), som er den nationale informations- og vejledningsportal, der samler al

information om uddannelser i Danmark, og til vejledning med uddannede vejledere hos den

nationale vejledningsenhed, eVejledning via telefon, mail, chat og webinarer.

De forskellige aktiviteter fremgår af Lov om Kommunal UngeIndsats (KUI-loven)

og fra 1.

august 2020 skal alle kommunalbestyrelser have en sammenhængende plan

for aktivite-

terne i 8. og 9. klasse. Formålet med den sammenhængende plan er at sikre, at vejledning af

udskolingselever med henblik på ungdomsuddannelser og undervisning på kommunernes

Vejledere skal have en diplomuddannelse i uddannelses, erhvervs- og karrierevejledning, en

master i professionel vejledning, en professionsbachelor i offentlig administration med vejled-

ningsspecialisering eller tilsvarende kompetence.

Elever i 8. og 9. klasse har ret til erhvervspraktik.

Retsinformation.dk:

https://www.retsinformation.dk/eli/lta/2021/1887. (§ 7, stk. 2)

https://www.uvm.dk/-/media/filer/uvm/udd/vejl/2021/210413-inspirationsmateriale-til-kom-

muner---om-udvikling-af-en-sammenhaengende-plan-for-vejledning.pdf

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

skoler foregår på en måde, så elever og forældre oplever, at der er en tydelig sammenhæng

mellem de forskellige vejledningsaktiviteter, undervisningen i fagene, valg af ungdomsud-

dannelse og overgangen til ungdomsuddannelse.

Figur 2.1. Oversigt over aktiviteter i udskolingen, der kan skabe grundlag for elevers valg af ungdomsuddannelse.

Kilde: Børne- og undervisningsministeriet, 2021

Formålet med Udsyn i Udskolingen og en læringsorienteret uddan-

nelsesvejledning

Udsyn i Udskolingen var et vejledningsorienteret forsknings- og udviklingsprojekt, som var

støttet af Fremfærd Børn og blev gennemført i et samarbejde mellem KL, Danmarks Lærer-

forening, Aarhus Universitet og University College (VIA) i 2015/2016. Af baggrundsmateri-

alet for Udsyn i Udskolingen fremgår flg. formål med projektet:



Projektet skal bidrage til, at der udvikles metoder og rammer, som kan give alle elever i

7.-9. klasse mulighed for at møde, sanse og opleve ungdomsuddannelserne og ordne

og fokusere og forstå dette møde.



Hensigten er at give dem mulighed for at reflektere over mødet på et erfaringsgrund-

lag og foretage et mere kvalificeret uddannelsesvalg ved udgangen af 9. klasse.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING



Det sker konkret ved gennemførelse af et antal forsøgsprojekter, hvor skoler og ung-

domsuddannelsesinstitutioner gennemfører forløb, hvor de samarbejder om dette.

Forsøgsarbejdet skal bidrage til inden for gældende rammer at kombinere den almin-

delige faglige undervisning i fx matematik og samfundsfag og valgfag med det obliga-

toriske emne uddannelse og job og en eller flere ungdomsuddannelser (Klindt Poulsen

et al., 2016).

Udsyn i Udskolingen havde som mål at udvikle og gennemføre læringsorienteret uddannel-

sesvejledning for eleverne i udskolingen på de deltagende skoler. I den læringsorienterede

uddannelsesvejledning var målet at understøtte et fokusskifte i vejledningsaktiviteterne; fra

at aktiviteterne og deltagerne var orienteret mod, at eleverne skulle vælge en uddannelse, til

at eleverne i stedet skulle lære om og reflektere over et bredt udsnit af mulige uddannelses-

og karriereveje og det liv, der knyttede sig til dem. Aktiviteterne skulle bidrage til, at ele-

verne lærte noget om sig selv i samspil med forskellige uddannelser og job. Den læringsori-

enterede uddannelsesvejledning havde fokus på elevernes forberedelse, gennemførelse og

efterbehandling af de oplevelser, som aktiviteterne gav dem. Og aktiviteterne skulle plan-

lægges og gennemføres på en måde, så eleverne fik mulighed for at opdage, sanse, høre,

opleve og mærke sig selv i forskellige situationer i og omkring ungdomsuddannelserne og

arbejdslivet.

Udsyn i Udskolingen introducerede et perspektivskifte i vejledningsaktiviteterne fra valgfo-

kus til læringsfokus baseret på bl.a. Bill Laws (2001) model for karrierelæring, som beskriver

læringsprocessen omkring uddannelse, job og arbejdsliv som bestående af fire niveauer: op-

dage, ordne, fokusere og forstå. I Udsyn i Udskolingen fik de skoler, som ønskede at deltage

derfor til opgave at videreudvikle aktiviteter, som de allerede tilbød, eller udvikle nye læ-

ringsaktiviteter for eleverne med afsæt i Bill Laws teori. Eksempelvis blev en række aktivi-

teter som introduktionskurser, aktiviteter i emnet uddannelse og job og i den kollektive vej-

ledning samt virksomhedsbesøg videreudviklet. I nærværende rapport er en række eksem-

pler på læringsaktiviteter medtaget i Appendix D. I Udsyn i Udskolingen samarbejdede læ-

rere med uddannelsesvejledere i forskningscirklerne og med forskerne om udviklingen af

de nye aktiviteter. Denne proces havde til formål at bidrage til kompetenceudvikling og til

at sikre, at aktiviteterne byggede på det valgte teoretiske udgangspunkt.

Omkring 1400 elever fra 7.-9. klasse deltog i Udsyn i Udskolingen på tværs af de 17 delta-

gende skoler. En kvalitativ evaluering af Udsyn i Udskolingen undersøgte under og efter

projektets afslutning elevernes, lærernes, vejledernes og virksomhedernes oplevelser af de-

res udbytte af projektet (Klindt Poulsen et al., 2016). Analysen af de kvalitative interviews

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

med elever, lærere og vejledere bidrager særligt med viden om flg. temaer, som alle uddybes

i bogen Udsyn i Udskolingen skrevet af Klindt Poulsen et al. (2016):



Eleverne opnår et udvidet perspektiv på job og arbejdsliv (og sig selv)

Eleverne udvikler åbenhed/nysgerrighed

Eleverne peger på en virkning i forhold til håb, motivation og skoletræthed

Eleverne bliver opmærksomme på spørgsmål som:

”Hvad skal du?” ”Hvad vil jeg?”

Eleverne oplever, at der er forskel på fordomme om EUD og egen oplevelse af at være

på EUD, og de kan indgå i dialoger, som udfordrer fordomme om et hierarki mellem

ungdomsuddannelserne.

Den oprindelige evaluering af Udsyn i Udskolingen bestod også af et spørgeskema sendt ud

til de deltagende elever efter afslutningen af vejledningen. Spørgeskemaet fokuserede på

elevernes oplevelse og læring af aktiviteterne. Af de 1.400 udsyn-elever besvarede 653 spør-

geskemaet. Besvarelserne fortæller, hvordan eleverne selv oplevede deres deltagelse i Ud-

syn-aktiviteterne.

Generelt oplevede de elever, der deltog i Udsyn i Udskolingen, at de havde fået mere viden

om forskellige uddannelser ved at deltage i læringsaktiviteterne (Klindt Poulsen et al., 2016).

59,1 procent af eleverne svarede, at de havde lært ’meget’ eller ’noget’ om forskellige uddan-

nelser i projektet. Kun 6,2 procent sagde at de ikke havde lært noget nyt om uddannelse, og

29,6 procent, at de havde lært lidt nyt om uddannelse. En stor del af eleverne oplevede både

at have ændret syn på erhvervsuddannelserne og de gymnasiale uddannelser, og langt stør-

stedelen af dem, der havde ændret syn på uddannelserne, havde fået et mere positivt indtryk

af dem. 79,3 procent af eleverne havde ændret deres syn ’lidt’, ’noget’ eller ’meget’ på de

gymnasiale uddannelser, og af disse havde 88,8 procent fået et mere positivt syn på uddan-

nelserne. En næsten tilsvarende andel, 80,9 procent, havde ændret syn på erhvervsuddan-

nelserne, og af disse havde 88,8 procent fået et mere positivt syn på dem. Eleverne lærte også

nyt om jobmuligheder og karriereveje. 56,4 procent har lært ’noget’ eller ’meget’ om jobs i

aktiviteterne, og 54,6 procent har lært ’noget’ eller ’meget’ om det at have et arbejde. 40,8

procent af eleverne svarede, at de efter deltagelse i Udsyn-aktiviteterne overvejede at tage

en EUD eller eux

. Til sammenligning ansøgte 18,5 procent af alle elever, der gik ud af 9. og

10. klasse i 2015, om at starte på en erhvervsuddannelse (EUD og eux) efter skoleåret (Børne-

og Undervisningsministeriet, 2021).

Eux består af en erhvervsuddannelse, fx til gartner, kok, tandtekniker eller en af de andre ud-

dannelser ved eux kombineret med en gymnasial eksamen.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Resultaterne fra Udsyn i Udskolingen er tilgængelige i e-bogen (Klindt Poulsen et al., 2016),

som frit kan downloades,

samt i en række videnskabelige artikler (se fx Klindt Poulsen,

2020).

Andre relevante undersøgelser af vejledning

Baggrunden for at etablere forsknings- og udviklingsprojektet Udsyn i Udskolingen i 2015 i

et samarbejde mellem skoler, interesse- og videninstitutioner skal bl.a. findes i forskning,

som pegede på et behov for større sammenhæng mellem de forskellige vejledningsaktivite-

ter i udskolingen. Fx opsummerer Larsen et. Al. (2011) i et forskningsreview rekvireret af

Undervisningsministeriet, at besøgsdage og praktik er væsentlige for elevernes beslutnings-

kompetence og følelse af afklaring, men for at aktiviteterne får den ønskede effekt, skal de

planlægges, følges op og indgå i et sammenhængende vejledningsforløb (Larsen et al., 2011,

p. 63–68). Samtidig havde igangværende forskningsprojekter, fx ph.d.-projektet af Randi

Skovhus (publiceret i 2018) ved Aarhus Universitet/VIA University College samt udviklings-

og følgeforskningsprojektet Unge På Tværs (UU DANMARK, 2015) finansieret af Under-

visningsministeriet og udført af Ungdommens Uddannelsesvejledning Danmark

peget på

at folkeskoleelever og deres forældre, som oplever uddannelsesvejledning som valgaktivite-

ter, finder, at aktiviteterne ikke er relevante at deltage i, hvis den unge føler sig afklaret eller

har valgt ungdomsuddannelsesretning. Det betyder, at aktiviteterne mister deres relevans,

når de rammesættes som aktiviteter, der overvejende har til formål at skabe afklaring i for-

hold til de unges valg. Ydermere viste en undersøgelse af emnet uddannelse og job, at det

ikke var et fokusområde for mange folkeskoler i Danmark (DEA, 2012).

Endelig understøttedes projektet Udsyn i Udskolingen også af en forskningskortlægning fo-

retaget af Gatsby Foundation, som peger på, at effektiv career education (det som vi i denne

rapport betegner som læringsorienteret uddannelsesvejledning) er karakteriseret ved en

række forskellige aktiviteter, som gennemføres godt og konsistent. Der er ikke tale om en

enkelt ’magic bullet’, men om at tilrettelægge aktiviteter, som samlet set bidrager til den un-

ges læringsproces, og disse aktiviteter er:

E-bogen er tilgængelig via følgende link:

https://vpt.dk/udsyn-i-udskolingen.

Ungdommens Uddannelsesvejledning Danmark er i forbindelse med nedlæggelsen af UU-cen-

trene og etableringen af Kommunal UngeIndsats (KUI) pr. 1. januar 2020 overflyttet til KL som

Enhed for uddannelses- og erhvervsvejledning i kommunerne (EUK). EUK skal understøtte kom-

munernes arbejde med at bringe unge i position til uddannelse og arbejde samt understøtte og

dokumentere udviklingen af den professionelle uddannelses- og erhvervsvejlednings virkefelt.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING



at skolen har et fast program for career education

at eleverne får information om karriere og arbejdsmarked

at den enkelte elevs behov for vejledning tilgodeses

at der skabes sammenhæng mellem fagenes læringsmål og mulige karrierer

at eleverne møder arbejdsgivere og medarbejdere

at eleverne oplever arbejdspladser/er på virksomhedsbesøg

at eleverne oplever ungdoms- og videregående uddannelser

at eleverne har adgang til individuel vejledning.

(Gatsby Charitable Foundation, 2014, p. 14).

Career education betegner netop en læringsorienteret uddannelsesvejledning, som kan bestå

af forskellige aktiviteter.

Senere forskningsprojekter inden for career education understøtter formålet med en opføl-

gende undersøgelse af den læringsorienterede uddannelsesvejlednings betydning for ele-

vernes uddannelsesmønstre, fx viser analyser af PISA-data fra 2012, at der er en stærk stati-

stisk signifikant sammenhæng mellem elevers deltagelse i career education, og hvorvidt de

har en positiv indstilling til nytten af skolegang, fx at de oplever, at skolen forbereder dem

til livet udenfor skolen (Kashefpakdel et al., 2016). Ydermere viser en international forsk-

ningskortlægning af career education foretaget af Hughes og Gration, at career education

bidrager til øget kapacitet til at navigere i uddannelsessystemet og med øget adgang til net-

værk, som den enkelte ellers ikke ville have adgang til (Hughes & Gration, 2009).

Det er i denne sammenhæng relevant at fremhæve at Danmarks Evalueringsinstitut (EVA)

har for nylig peget på, at det overvejende fokus for mange af de vejledningsaktiviteter som

vises i figur 2.1 i overvejende grad, har været på unges forestående valg af ungdomsuddan-

nelse og i mindre grad på, hvordan aktiviteter bidrager til de unges læring om job og uddan-

nelser og sig selv i relation til det (EVA, 2018).

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

2. Resultater

Rapportens hovedresultater er baseret på en sammenligning af uddannelsesdeltagelsen hos

udsyn-eleverne og en match-gruppe efter at eleverne har afsluttet 9. klasse. Match-gruppen

består af elever, der ikke deltog i den læringsorienterede vejledning tilbudt igennem projek-

tet Udsyn i Udskolingen. Match-gruppen er udvalgt så de ligner udsyn-eleverne mest muligt

på observerbare karakteristika, der kan påvirke uddannelsesdeltagelsen, eller på en estime-

ret sandsynlighed for at have modtaget den læringsorienterede vejledning. Ved at sammen-

ligne udsyn-eleverne med match-gruppen frem for eksempelvis alle andre elever fra samme

9. klasse årgang, mindsker vi risikoen for at observerede forskelle i uddannelsesdeltagelse

skyldes forskelle i gruppernes observerbare karakteristika og ikke-observerbare karakteri-

stika, der er stærkt korrelerede med de observerbare karakteristika.

Hovedresultaterne fra matching-analyserne er, at der ikke kan påvises statistisk signifikante

forskelle mellem udsyn-eleverne og match-gruppens uddannelsesdeltagelse, men at der er

tendenser, der tyder på, at udsyn-elever i højere grad deltager i erhvervsuddannelse og i

uddannelse generelt end elever, der ikke deltog i den læringsorienterede vejledning. Analy-

sen viser også, at tendenserne er tydeligere for unge fra hjem, hvor folkeskole er forældrenes

højeste uddannelsesniveau eller hvor familieindkomsten ligger under medianfamilieind-

komsten.

Da skolerne i Udsyn i Udskolingen projektet selv tilmeldte sig, er det muligt, at skolerne og

deres elever adskiller sig fra andre elever på ikke observerbare måder, som påvirker uddan-

nelsesdeltagelsen. Vi viser derfor også resultater fra Difference-in-Difference analyser, hvor

flere årgange af elever fra udsyn-skoler sammenlignes med elever fra skoler, der ikke deltog

i Udsyn i Udskolingen, inklusive årgange der ligger forud for Udsyn i Udskolingen projek-

tet. Analysen kan tage højde for konstante forskelle i uddannelsesdeltagelse mellem de to

typer af skoler og skal læses som supplement til hovedanalysen. Resultaterne fra Difference-

in-Difference analyserne understøtter hovedanalysen med hensyn til tendenserne til højere

deltagelse i EUD.

Resultater af matching-analysen

Vi illustrerer resultaterne fra matching analyserne i en række figurer, som viser, hvor meget

højere eller lavere sandsynligheden er for, at udsyn-eleverne deltager i EUD, STX, HHX/HTX

eller er uden for uddannelsessystemet i forhold til match-gruppen. Vi beregner forskellene i

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

deltagelse for hver tredje måned fra 3 til 36 måneder efter, at eleverne har afsluttet deres 9.

klasse eksamen. Vi viser også betydningen af at anvende forskellige matching-metoder og

at variere antallet af elever, som hver udsyn-elev matches til, ved at inkludere estimater for

matching-metode og antal match for hver måned. De estimerede forskelle for hver måned

og matching-fremgangsmåde er angivet med cirkler i figurerne, som vi refererer til som

punktestimater. De vertikale linjer omkring punktestimaterne viser 95-procents konfiden-

sintervaller, som indikerer den statistiske usikkerhed forbundet med hvert estimat. Punkt-

estimaterne er statistisk insignifikante, hvis konfidensintervallet indeholder en værdi på nul,

og det derfor ikke kan afvises på et typisk signifikansniveau, at deltagelse i læringsorienteret

vejledning ingen betydning har for uddannelsesdeltagelsen.

I fortolkningen af resultaterne lægger vi vægt på, om forskellene er statistisk forskellige fra

nul, og om der er tegn på højere eller lavere sandsynlighed for deltagelse. Da analyserne er

baseret på en relativt lille gruppe af elever, er den statistiske usikkerhed dog ofte for høj til,

at vi statistisk kan afvise selv forventelige effekter på uddannelsesdeltagelse som eksempel-

vis 1-3 procentpoint højere eller lavere deltagelse. Vi lægger derfor også vægt på, om der er

klare tendenser i, hvorvidt de estimerede forskelle peger i samme retning på tværs af måne-

der og matching-metoder.

Figur 3.1 viser de estimerede forskelle mellem udsyn-elever og match-gruppen for deltagelse

i EUD. På tværs af måneder og matching-metoder er næsten alle estimaterne statistisk insig-

nifikante. Ikke desto mindre er de enkelte punkt-estimater vedvarende positive for deltagel-

sen i EUD på tværs af matching-metoder og måneder, hvilket indikerer, at der er tendenser

til, at udsyn-eleverne har højere sandsynlighed for at deltage i EUD end match-gruppen. De

største forskelle ses i det andet år efter endt 9. klasse, hvor punktestimaterne viser forskellen

mellem 1 og 3,1 procentpoint. Det betyder, at deltagelsen i EUD var mellem 1 og 3,1 procent-

point højere for udsyn-eleverne end match-gruppen. Dette understøtter hypotesen om, at

den læringsorienterede uddannelsesvejledning har haft en positiv påvirkning på sandsyn-

ligheden for, at eleverne deltager i EUD.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur 3.1:

Procentpointforskel i deltagelse i EUD mellem udsyn-elever og match-gruppen.

Figuren viser den

estimerede forskel i sandsynligheden for deltagelse i EUD mellem udsyn-elever og match-grupperne med cirkler for

hver tredje måned fra 3-36 måneder efter 9. klasse og med brug af to forskellige matching-metoder, hvor hver udsyn-

elev matches til enten en, tre eller fem elever, der ikke deltog i Udsyn i Udskolingen projektet. Barerne omkring de

estimerede forskelle viser 95-procents konfidensintervaller beregnet ud fra standardfejl clustrede på det enkelte match-

niveau. De anvendte matching-metoder er Mahalanobis matching på observerede kovariate (MA) og propensity score

matching, hvor udsyn-elever matches til andre elever på baggrund af en estimeret sandsynlighed for at have deltaget i

Udsyn i Udskolingen. En positiv forskel indikerer, at udsyn-eleverne har højere estimeret sandsynlighed for at deltage

i EUD end match-gruppen, mens en negativ forskel indikerer, at de har lavere sandsynlighed for at deltage. Hvis

konfidensintervallet overlapper med en forskel på nul, kan det ikke statistisk afvises på et 5-procentssignifikansniveau,

at elever, der deltager i den læringsorienterede vejledning, har samme uddannelsesdeltagelse som elever, der ikke del-

tager i den læringsorienterede vejledning.

Deltagelse i 10. klasse har ikke som deltagelse på EUD klare tendenser på tværs af matching-

metoder

. Estimaterne kan ses i Figur 3.2. Ved Mahalanobis matching med ét match er der

indikationer på, at Udsyn-eleverne deltager mindre i 10. klasse. Modsat er der indikationer

på højere grad af deltagelse ved brug af de resterende matching-metoder.

For 10. klasse deltagelse er resultaterne alene interessante inden for de første 3-12 måneder efter

endt 9. klasse, da næsten ingen elever deltager i 10. klasse herefter. Vi viser estimater for alle

måneder for at fastholde et ens sammenligningsgrundlag på tværs af figurerne.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur 3.2:

Procentpointforskel i deltagelse i 10. klasse mellem udsyn-elever og match-gruppen.

Figuren viser

den estimerede forskel i sandsynligheden for deltagelse i 10. klasse mellem udsyn-elever og match-grupperne med cirkler

for hver tredje måned fra 3-36 måneder efter 9. klasse og med brug af to forskellige matching-metoder, hvor hver udsyn-

elev matches med enten en, tre eller fem elever, der ikke deltog i Udsyn i Udskolingen projektet. Barerne omkring de

estimerede forskelle viser 95-procents konfidensintervaller beregnet ud fra standardfejl clustrede på det enkelte match-

niveau. De anvendte matching-metoder er Mahalanobis matching på observerede kovariate (MA) og propensity score

matching, hvor udsyn-elever matches til andre elever på baggrund af en estimeret sandsynlighed for at have deltaget i

Udsyn i Udskolingen. En positiv forskel indikerer, at udsyn-eleverne har højere estimeret sandsynlighed for at deltage

i 10. klasse end match-gruppen, mens en negativ forskel indikerer, at de har lavere sandsynlighed for at deltage. Hvis

konfidensintervallet overlapper med en forskel på nul, kan det ikke statistisk afvises på et 5-procentssignifikansniveau,

at elever, der deltager i den læringsorienterede vejledning, har samme uddannelsesdeltagelse som elever, der ikke del-

tager i den læringsorienterede vejledning. Figuren adskiller sig fra de resterende figurer, da det kun meget sjældent er

tilfældet, at elever deltager i 10. klasse senere end 1 år efter endt 9. klasse.

For deltagelse i STX er der tilsvarende ikke klare tendenser i estimaterne. Estimaterne ses i

Figur 3.3. I det første år ligger et enkelt estimat omkring 2,5 procentpoint, mens de resterende

estimater ligger nær nul. I det andet år skifter fortegnene på de fleste estimater, men de fleste

ligger omkring nul. Endelig skifter fortegnene igen i tredje år efter 9. klasse, og estimaterne

ser positive ud.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur 3.3:

Procentpointforskel i deltagelse i STX mellem udsyn-elever og match-gruppen.

Figuren viser den

estimerede forskel i sandsynligheden for deltagelse i STX mellem udsyn-elever og match-grupperne med cirkler for hver

tredje måned fra 3-36 måneder efter 9. klasse og med brug af to forskellige matching-metoder, hvor hver udsyn-elev

matches til enten en, tre eller fem elever, der ikke deltog i Udsyn i Udskolingen projektet. Barerne omkring de estimerede

forskelle viser 95-procents konfidensintervaller beregnet ud fra standardfejl clustrede på det enkelte match-niveau. De

anvendte matching-metoder er Mahalanobis matching på observerede kovariate (MA) og propensity score matching,

hvor udsyn-elever matches til andre elever på baggrund af en estimeret sandsynlighed for at have deltaget i Udsyn i

Udskolingen. En positiv forskel indikerer. at udsyn-eleverne har højere estimeret sandsynlighed for at deltage i STX

end match-gruppen, mens en negativ forskel indikerer, at de har lavere sandsynlighed for at deltage. Hvis konfidensin-

tervallet overlapper med en forskel på nul, kan det ikke statistisk afvises på et 5-procentssignifikansniveau, at elever,

der deltager i den læringsorienterede vejledning, har samme uddannelsesdeltagelse som elever, der ikke deltager i den

læringsorienterede vejledning.

For deltagelse i HHX/HTX

er der tilsvarende ikke klare tendenser i estimaterne, som i de

fleste tilfælde ligger tæt på nul. Estimaterne ses i Figur 3.4. Enkelte estimater er tydeligt po-

sitive og andre negative, men det er ikke tydeligt, at deltagelsen i HHX/HTX skulle være

vedvarende højere eller lavere for udsyn-eleverne sammenlignet med match-gruppen.

Vi slår i analysen HHX og HTX sammen for at øge antallet af observationer, som analysen

baseres på.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur 3.4:

Procentpointforskel i deltagelse i HHX eller HTX mellem udsyn-elever og match-gruppen.

Figuren

viser den estimerede forskel i sandsynligheden for deltagelse i enten HHX eller HTX mellem udsyn-elever og match-

grupperne med cirkler for hver tredje måned fra 3-36 måneder efter 9. klasse og med brug af to forskellige matching-

metoder, hvor hver udsyn-elev matches til enten en, tre eller fem elever, der ikke deltog i Udsyn i Udskolingen projektet.

Barerne omkring de estimerede forskelle viser 95-procents konfidensintervaller beregnet ud fra standardfejl clustrede

på det enkelte match-niveau. De anvendte matching-metoder er Mahalanobis matching på observerede kovariate (MA)

og propensity score matching, hvor udsyn-elever matches til andre elever på baggrund af en estimeret sandsynlighed

for at have deltaget i Udsyn i Udskolingen. En positiv forskel indikerer, at udsyn-eleverne har højere estimeret sand-

synlighed for at deltage i HHX eller HTX end match-gruppen, mens en negativ forskel indikerer, at de har lavere

sandsynlighed for at deltage. Hvis konfidensintervallet overlapper med en forskel på nul, kan det ikke statistisk afvises

på et 5-procents signifikansniveau at elever, der deltager i den læringsorienterede vejledning, har samme uddannelses-

deltagelse som elever, der ikke deltager i den læringsorienterede vejledning.

Figur 3.5 viser estimaterne for at være uden for uddannelsessystemet. Som for EUD er der

her overvejende statistisk insignifikante forskelle, men i modsætning til deltagelse i STX,

HHX/HTX og 10. klasse er estimaterne overvejende negative på tværs af måneder og meto-

der. I det første og tredje år er omkring 1,5-2 procentpoint flere i uddannelse af udsyn-ele-

verne sammenlignet med match-gruppen. Estimaterne er mindre i det andet år, men er med

enkelte undtagelser tilsvarende negative. Dette kan indikere, at der muligvis er højere ud-

dannelsesdeltagelse hos udsyn-eleverne end hos match-gruppen, selvom estimaterne som

for de resterende dele af analysen skal læses med forsigtighed.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur 3.5:

Procentpointforskel i ikke at deltage i uddannelsessystemet mellem udsyn-elever og match-grup-

pen.

Figuren viser den estimerede forskel i sandsynligheden for ikke at deltage i uddannelsessystemet mellem udsyn-

elever og match-grupperne med cirkler for hver tredje måned fra 3-36 måneder efter 9. klasse og med brug af to forskel-

lige matching-metoder, hvor hver udsyn-elev matches til enten en, tre eller fem elever, der ikke deltog i Udsyn i Ud-

skolingen projektet. Barerne omkring de estimerede forskelle viser 95-procents konfidensintervaller beregnet ud fra

standardfejl clustrede på det enkelte match-niveau. De anvendte matching-metoder er Mahalanobis matching på ob-

serverede kovariate (MA) og propensity score matching, hvor udsyn-elever matches til andre elever på baggrund af en

estimeret sandsynlighed for at have deltaget i Udsyn i Udskolingen. En positiv forskel indikerer, at udsyn-eleverne har

højere estimeret sandsynlighed for ikke at deltage i uddannelsessystemet end match-gruppen, mens en negativ forskel

indikerer. at de har lavere sandsynlighed for at være uden for uddannelsessystemet. Hvis konfidensintervallet overlap-

per med en forskel på nul, kan det ikke statistisk afvises på et 5-procents signifikansniveau, at elever, der deltager i den

læringsorienterede vejledning, har samme uddannelsesdeltagelse som elever, der ikke deltager i den læringsorienterede

vejledning.

Opsummerende viser matching-analyserne ikke statistisk signifikante effekter af deltagelse

i Udsyn i Udskolingen. Der er for gymnasiale uddannelser og 10. klasse ikke klare tendenser

i effekterne. Derimod er der tegn på, at en højere andel af udsyn-eleverne deltog i EUD på

tværs af de første tre år, og færre elever var uden for uddannelsessystemet. Resultaterne skal

ikke ses som klare sandsynliggørelser af effekter af deltagelse i Udsyn i Udskolingen, men

som indikationer på, at projektet kan have haft langsigtede påvirkninger på elevernes ud-

dannelsesdeltagelse, hvor en højere andel deltager i EUD, og en lavere andel er uden for

uddannelsessystemet.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Heterogenitet i resultaterne af matching-analysen

I dette afsnit undersøger vi, om der er variation i de estimerede tendenser på tværs af ele-

vernes køn og socioøkonomiske baggrund. Vi opdeler datasættet i de to grupper, der sam-

menlignes, og beregner forskellen i uddannelsesdeltagelse for hver gruppe. Grupperne sam-

menlignes 3-36 måneder efter endt 9. klasse.

Da antallet af observationer i hver gruppe mindskes, vokser den statistiske usikkerhed for-

bundet med de enkelte estimater. Af samme årsag samles deltagelse i HHX/HTX og STX

under en samlet gymnasiekategori. I analysen er vi særligt interesserede i, om konfidensin-

tervallerne overlapper med nul, og om konfidensintervallerne ikke overlapper mellem grup-

perne. Resultaterne skal, som den primære matching-analyse, læses med forsigtighed som

indikationer på mulige påvirkninger, deltagelse i Udsyn i Udskolingen kan have haft for

elevgrupperne.

Figur 3.6 viser forskelle mellem udsyn-elever og match-elevers uddannelsesdeltagelse op-

delt efter køn. I figuren ses det, at udsyn-drenge deltager mere i de gymnasiale uddannelser

det første år efter endt 9. klasse end match-drengene. Pigerne tenderer i samme periode til

at deltage mere i 10. klasse. Der er ikke tegn på forskelle i, hvor meget udsyn-piger og -

drenge er uden for uddannelsessystemet i forhold til kontrolgruppe-drengene og -pigerne. I

modsætning hertil, er der indikationer på, at udsyn-drengene i højere grad deltager i EUD

sammenlignet med match-drengene.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur 3.6:

Procentpointforskel i uddannelsesdeltagelse for drenge og piger mellem udsyn-elever og match-

gruppe af samme køn.

Figuren viser med cirkler den estimerede forskel i sandsynligheden for at deltage i 10. klasse,

EUD, Gymnasie eller at være uden for uddannelsessystemet mellem drenge og piger, der deltog i Udsyn i Udskolingen

og matchede elever af samme køn. Eleverne er matchede ved brug af Mahalanobis matching på kovariate med tre match

per udsyn-elev. Barerne omkring de estimerede forskelle viser 95-procents konfidensintervaller beregnet ud fra stan-

dardfejl clustrede på det enkelte match-niveau. En positiv forskel indikerer, at udsyn-eleverne har højere estimeret

sandsynlighed for at være i uddannelse eller uden for uddannelsessystemet sammenlignet med match-gruppen, mens

en negativ forskel indikerer en lavere sandsynlighed. Hvis konfidensintervallet overlapper med en forskel på nul, kan

det ikke statistisk afvises på et 5-procents signifikansniveau, at elever, der deltager i den læringsorienterede vejledning,

har samme deltagelse som elever af samme køn, der ikke deltager i den læringsorienterede vejledning.

I den næste analyse opdeles eleverne efter forældrene uddannelsesniveau, hvor kategorierne

er højeste uddannelsesniveau folkeskole og højere end folkeskolen (eller ingen registreret

uddannelse). Estimaterne ses i Figur 3.7. Analysen viser, at der ikke er store forskelle i gym-

nasial uddannelsesdeltagelse set på tværs af forældrenes uddannelsesniveau. Der er modsat

tegn på, at flere udsyn-elever fra hjem, hvor folkeskolen er højst afsluttede uddannelse, del-

tager i 10. klasse end match-eleverne fra tilsvarende hjem. Der er tilsvarende tegn på, at disse

elever i højere grad deltager i EUD og i mindre grad er uden for uddannelsessystemet. Det

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

kan indikere, at læringsorienteret vejledning kan være en særlig brugbar ressource for ele-

verne fra hjem med folkeskole som højeste uddannelsesniveau. I analyserne er der ikke tegn

på, at der er forskelle mellem udsyn-eleverne og match-gruppen, hvis forældrene har højere

uddannelsesniveauer.

Figur 3.7:

Procentpointforskel i uddannelsesdeltagelse mellem udsyn-elever og match-gruppe fordelt efter

forældres uddannelsesniveau.

Figuren viser med cirkler den estimerede forskel i sandsynligheden for at deltage i 10.

klasse, EUD, Gymnasium eller at være uden for uddannelsessystemet mellem elever, der deltog i Udsyn i Udskolingen,

og matchede elever, når eleverne sammenlignes med andre elever, hvis forældre har tilsvarende uddannelsesniveau. Vi

opdeler forældrene i to grupper, hvor forældrene i første gruppe har folkeskole som højeste uddannelsesniveau, og

mindst én af forældrene i anden gruppe har et højere uddannelsesniveau end folkeskole. Eleverne er matchede ved brug

af Mahalanobis matching på kovariate med tre match per udsyn-elev. Barerne omkring de estimerede forskelle viser 95-

procents konfidensintervaller beregnet ud fra standardfejl clustrede på det enkelte match-niveau. En positiv forskel

indikerer, at udsyn-eleverne har højere estimeret sandsynlighed for ikke at deltage i uddannelsessystemet end match-

gruppen, mens en negativ forskel indikerer, at de har lavere sandsynlighed for at være uden for uddannelsessystemet.

Hvis konfidensintervallet overlapper med en forskel på nul, kan det ikke statistisk afvises på et 5-procents signifikans-

niveau, at elever, der deltager i den læringsorienterede vejledning, har samme deltagelse som elever med tilsvarende

forældre-uddannelsesbaggrund, der ikke deltager i den læringsorienterede vejledning.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur 3.8:

Procentpointforskel i uddannelsesdeltagelse mellem udsyn-elever og match-gruppe elever fordelt

efter forældres indkomstniveau.

Figuren viser med cirkler den estimerede forskel i sandsynligheden for at deltage i

10. klasse, EUD, Gymnasium eller at være uden for uddannelsessystemet mellem elever, der deltog i Udsyn i Udsko-

lingen og matchede elever, når eleverne sammenlignes med andre elever, hvis forældre har tilsvarende indkomstniveau.

Vi opdeler forældrene i to grupper, hvor forældrene i første gruppe har en samlet indkomst, som er mindre end median-

indkomsten blandt forældrene i udsyn-elev-gruppen og match-gruppen. Eleverne er matchede ved brug af Mahalanobis

matching på kovariate med tre match per udsyn-elev. Barerne omkring de estimerede forskelle viser 95-procents kon-

fidensintervaller beregnet ud fra standardfejl clustrede på det enkelte match-niveau. En positiv forskel indikerer, at

udsyn-eleverne har højere estimeret sandsynlighed for ikke at deltage i uddannelsessystemet end match-gruppen, mens

en negativ forskel indikerer, at de har lavere sandsynlighed for at være uden for uddannelsessystemet. Hvis konfiden-

sintervallet overlapper med en forskel på nul, kan det ikke statistisk afvises på et 5-procents signifikansniveau, at elever,

der deltager i den læringsorienterede vejledning, har samme deltagelse som elever med tilsvarende forældre-indkomst,

der ikke deltager i den læringsorienterede vejledning.

Endelig viser Figur 3.8 forskelle for børn, hvis forældre har over og under medianindkom-

sten blandt udsyn-eleverne og match-gruppen. Resultaterne fra denne analyse peger i

samme retninger som analysen relateret til forældrenes uddannelsesniveau. Der er tegn på

højere deltagelse i EUD og højere deltagelse i uddannelsessystemet blandt udsyn-eleverne

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

end match-gruppen, når eleverne kommer fra familier med indkomster under medianind-

komsten. I modsætning til analysen baseret på forældrenes uddannelsesniveau er der dog

begrænsede tegn på påvirkninger på deltagelse i de gymnasiale uddannelser. Resultaterne

fra uddannelses- og indkomst-analyserne indikerer, at indkomst og uddannelsesniveau

begge fungerer som indikatorer for elevens socioøkonomiske baggrund, og at den lærings-

orienterede uddannelsesvejledning kan være til større gavn for elever fra familier, hvor mor

og far højest har fået en folkeskoleuddannelse, og deres indkomst ligger i den nederste halv-

del af indkomstfordelingen.

Resultaterne af Difference-in-Difference analyser

Fundene fra matching-analyserne kan være påvirket af uobserverbare forskelle mellem ud-

syn-eleverne og eleverne i match-grupperne. Vi har særlig grund til at tro, at uobserverbare

karakteristika relateret til skoler kan påvirke resultaterne, da deltagende skoler selv tilmeldte

sig Udsyn i Udskolingen, og der derfor er risiko for, at deltagende skoler adskiller sig fra

andre skoler på måder, der ikke kan observeres, men kan påvirke deres elevers uddannel-

sesdeltagelse. I dette afsnit viser vi resultaterne fra Difference-in-Difference analyser, hvor

vi sammenligner uddannelsesdeltagelsen 3-33 måneder efter endt 9. klasse for elever på del-

tagende skoler og elever på skoler, der ikke deltog i Udsyn i Udskolingen. Vi fokuserer her

på 33 måneder grundet tilgængelighed af data for årgange forud for skoleåret 2015/2016. Vi

inddrager alle elever fra de danske skoler, som gik ud af 9. klasse i 2010-2019, i analysen.

Udsyn-eleverne vil indgå i gruppen af elever, der går ud af 9. klasse i 2016-2018, men vi

inddrager også tidligere årgange af elever fra skoler, der efterfølgende deltog i Udsyn i Ud-

skolingen.

Ideen i Difference-in-Difference analysen er at kontrollere for uobserverbare karakteristika

relateret til skolerne ved at sammenholde forskellen i uddannelsesdeltagelse mellem elever

fra deltagende og ikke-deltagende skoler for hver årgang, i forhold til forskellen for 2015-

årgangen. Hvis de uobserverbare forskelle mellem deltagende og andre skoler er konstante

over tid, vil der efter kontrol for 2015-forskellen ikke være forskelle i deltagelse forud for

2015, mens eventuelle effekter af skiftet til læringsorienteret uddannelsesvejledning vil

kunne observeres i de relative forskelle for 2016-2018-årgangene, hvor udsyn-eleverne ind-

går i sammenligningen. Hvis de uobserverbare forskelle mellem skolerne ikke er konstante,

hvilket kan ske, hvis nogle skoler over tid sender flere elever på bestemte uddannelser sam-

menholdt med de resterende skoler, er det ikke muligt at kontrollere for forskellen mellem

skolerne med denne metode. Det vil komme til udtryk ved, at der er varierende forskelle i

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

deltagelse i uddannelse blandt eleverne fra skolerne forud for 2016-2018, selv når der kon-

trolleres for forskellen fra 2015. I analysen er vi derfor interesserede i at undersøge, om de

kontrollerede forskelle er konstante og nær nul forud for 2015. Hvis det er tilfældet, vil for-

skellene skolerne imellem muligvis være konstante og en sammenligning af deltagelsen for

2016-2018-årgangene, når der kontrolleres for forskellen i 2015, vil kunne indikere eventuelle

effekter af den læringsorienterede uddannelsesvejledning. Da vi inkluderer alle elever fra de

deltagende skoler i analysen, vil vi forvente, at eventuelle effekter vil være stærkere for 2017

årgangen, som i skoleåret 2015/2016 gik i 8. klasse, end for 2016- og 2018-årgangene, da der

var en højere andel af 8. klasse elever, der deltog fra skolerne end 7. og 9. klasse elever.

Vi viser resultaterne af analysen grafisk i Figur 3.9, hvor en cirkel viser, hvor meget højere

eller lavere sandsynligheden er for at deltage i 10. klasse, EUD, STX end at være uden for

uddannelsessystemet er for eleverne på skoler, der deltager i Udsyn i Udskolingen, i forhold

til andre elever, når der kontrolleres for forskelle, der kunne observeres for 2015-årgangen.

10F

Vi beregner forskellen for hver måned og årgang af 9. klasse elever.

Barerne omkring esti-

materne viser 95-procents konfidensintervaller, clustrede på skoleniveau. Hvis barerne over-

lapper med en nulværdi, kan det ikke afvises, at der ikke er forskel på uddannelsesdeltagel-

sen for eleverne på skolerne, der deltog i Udsyn i Udskolingen, og eleverne på andre skoler.

Årgangen fra 2015 sammenlignes implicit med sig selv i analysen. Derfor er den relative forskel

fra 2015 til 2015 nul, og alle cirklerne fra 2015 ligger på nullinjen.

Deltagelse i HHX/HTX er udeladt fra figuren, da resultaterne kvalitativt ligner resultaterne for

den anden gymnasiale uddannelse STX, hvor der ikke kan påvises klare tendenser i deltagelsen.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur 3.9: Difference-in-Difference estimater, hvor uddannelsesdeltagelsen hos elever fra skoler, der deltog i Udsyn i

Udskolingen, sammenlignes med deltagelsen hos elever fra skoler, der ikke deltog i Udsyn i Udskolingen. Forskellen i

deltagelse i enten 10. klasse, EUD, STX eller at være uden for uddannelse vises med cirkler for hver måned 3-33

måneder efter endt 9. klasse for hver 9. klasse fra 2010-2019. En cirkel over den grå horisontale nullinje angiver, at en

højere andel af eleverne på skoler, der i 2015/2016 deltog i Udsyn i Udskolingen, deltog i den givne type uddannelse

eller var uden for uddannelsessystemet. En cirkel der angiver en negativ værdi, viser, at en mindre andel deltog end

blandt eleverne på de andre skoler, der ikke deltog i Udsyn i Udskolingen. Barerne omkring de estimerede forskelle viser

95-procents konfidensintervaller, der indikerer den statistiske usikkerhed forbundet med estimaterne. Konfidensinter-

vallerne er baseret på standardfejl clustrede på skoleniveau for at opfange korrelationer i uddannelsesdeltagelse relateret

til skolespecifikke faktorer, som ikke indfanges i den statistiske model.

Figuren viser, at der ikke er statistisk signifikante forskelle i uddannelsesdeltagelsen for ele-

ver på skoler, der deltog i Udsyn i Udskolingen og elever fra skoler, der ikke deltog. Det kan

ses ved, at næsten alle konfidensintervaller overlapper med den horisontale grå nullinje. Det

betyder, at det som udgangspunkt ikke er muligt at sandsynliggøre effekter af Udsyn i Ud-

skolingen på deltagelse i uddannelse med udgangspunkt i det tilgængelige data og oprinde-

lige projektdesign. Som i matching-analyserne er der dog tendenser, der kunne indikere, at

der er mulige påvirkninger af den læringsbaserede vejledning i forhold til deltagelsen i EUD.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Dette kan ses ved, at der ikke er klare tegn på forskelle i EUD-deltagelsen skolerne imellem

for årgangene forud for Udsyn i Udskolingen, men en mulig påvirkning i 2017. Der er ikke

tilsvarende tydelige tendenser i deltagelsen i de resterende uddannelser eller at være uden

for uddannelsessystemet, hvor der ofte er observerbare men statistisk insignifikante for-

skelle for årgange forud for 2016. Resultaterne for EUD-deltagelse understøtter hovedresul-

taterne med hensyn til en mulige positive effekter på deltagelse i EUD, men det er ikke til-

svarende muligt at underbygge, at der skulle være påvirkninger på at være uden for uddan-

nelse.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

4. Perspektivering

Udsyn i Udskolingens formål var at ændre vejledningspraksissen fra en valg- og informati-

onsorienteret aktivitet til en læringsorienteret aktivitet, hvor eleverne blev bedt om at deltage

i aktiviteter om uddannelser og jobs for at

lære

mere om deres uddannelses- og karrieremu-

ligheder og ikke for at tage stilling til, om det var noget, de ville

vælge.

Formålet med denne

rapport er at sandsynliggøre, om deltagelse i de læringsorienterede vejledningsaktiviteter

har påvirket elevernes efterfølgende uddannelsesdeltagelse.

Rapportens analyser har vist, at det ikke kan afvises, at skiftet til den læringsorienterede

uddannelsesvejledning ingen betydning har for elevernes uddannelsesdeltagelse. I gennem-

gangen af resultaterne har vi ikke desto mindre understreget, at der er tendenser i resulta-

terne, som antyder at udsyn-eleverne har en højere sandsynlighed for at deltage i EUD og

lavere sandsynlighed for at være uden for uddannelsessystemet inden for de første tre år

efter afslutningen af 9. klasse sammenlignet med elever, der ligner dem på observerbare ka-

rakteristika, men ikke deltog i Udsyn i Udskolingen. Der er tilsvarende tegn på, at hvis Ud-

syn i Udskolingen har påvirket folkeskoleelevernes uddannelsesdeltagelse, så er de mulige

påvirkninger stærkere for elever fra ressourcesvage hjem, hvor forældrene højest har afslut-

tet grundskolen, eller deres indkomst ligger i den nederste halvdel af indkomstfordelingen

blandt familierne i analysen. Den høje statistiske usikkerhed forbundet med estimaterne un-

derstreger, at resultaterne bedst kan læses som indikationer.

Undersøgelsens resultater er særligt relevante for de obligatoriske vejledningsaktiviteter i

udskolingen og for det obligatoriske emne uddannelse og job, som alle elever i folkeskolen

skal have på alle klassetrin

. Det fremgår af lovgivningen om vejledning i grundskolen

12F

(KUI-loven, § 7, stk. 2

), at lærere og professionelle uddannelsesvejledere skal samarbejde

13F

om tilrettelæggelsen af emnet i udskolingen. De tilgængelige evalueringer viser imidlertid,

at undervisningen i emnet i ringe grad udføres, og at samarbejdet mellem skolerne og vejle-

derne ikke fungerer optimalt (DEA, 2012; EVA, 2018). Samarbejdet skal bl.a. sikre, at den del

af vejledningen, som lærerne skal varetage, er systematisk og vejledningsfagligt funderet.

Udsyn i Udskolingen kan betragtes som et eksperiment med at få vejledningsfagligheden,

her i form af læringsorienteret uddannelsesvejledning, til at informere praksis i skolen og

https://emu.dk/grundskole/uddannelse-og-job?b=t5

Retsinformation.dk:

https://www.retsinformation.dk/eli/lta/2021/1887 (§ 7, stk. 2)

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

understøtte, at der undervises i emnet uddannelse og job. Dette skete i det oprindelige Ud-

syn i Udskolingen projekts organisering i forskningscirkler med deltagelse af lærere, vejle-

dere og forskere i vejledning. Forskningscirklen bidrog til kompetenceudvikling af de delta-

gende lærere, ligesom de deltagende forskere hele vejen gennem projektet ydede sparring i

forhold til at styrke vejledningsfagligheden forstået som systematik, sammenhæng og læ-

ringsorientering i aktiviteterne. Set i det lys kan resultaterne af den kvantitative opfølgning

illustrere, hvad der sker med elevernes uddannelsesmønstre og -deltagelse, når vejlednings-

fagligheden, her i form af den læringsorienterede uddannelsesvejledning, styrkes som

grundlag for aktiviteterne. Danmarks Evalueringsinstituts seneste undersøgelse af vejled-

ningen viser, at det overvejende fokus for mange af de vejledningsaktiviteter, som vises i

figur 2.1, har været på unges forestående valg af ungdomsuddannelse og i mindre grad på,

hvordan aktiviteter bidrager til de unges læring om job og uddannelser og sig selv i relation

til det (EVA, 2019).

Rapportens analyser er begrænset af udformningen af det oprindelige projekt Udsyn i Ud-

skolingen. Kun ca. 1.400 elever deltog i projektet på tværs af de 17 skoler, og af disse deltog

alle 1.400 elever i den læringsorienterede vejledning. Det var ikke en del af det oprindelige

projekt at indsamle kontakt- eller identifikationsoplysninger med henblik på at muliggøre

opfølgende analyser med alle deltagere. Disse udfordringer har tilsammen medført at ikke

alle 1.400 elever kunne inddrages i analysen, og at undersøgelsens resultater er underlagt en

høj grad af statistisk usikkerhed, som alene gør det muligt at pege på mulige tendenser i

analysen. Rapporten kan tilsvarende ikke undersøge andre relevante karakteristika omkring

elevernes uddannelsesvalg, som eksempelvis, hvorvidt en læringsorienteret vejledning

kunne øge elevernes oplevelse af sikkerhed i det uddannelsesvalg, de tager efter folkeskolen.

På baggrund af rapportens analyse er det muligt at opstille hypotesen, at et skifte fra valg-

orienteret vejledning til læringsorienteret uddannelsesvejledning kan have en positiv ind-

virkning på elevernes uddannelsesdeltagelse efter endt 9. klasse. Rapporten kan med ud-

gangspunkt heri ses som et pilotstudie for fremtidige studier af betydningen af vejlednings-

former i udskolingen. Disse studier vil med fordel kunne anvendes i et eksperimentelt pro-

jekt design med inddragelse af flere skoler og elever (se Gerber & Green, 2012). Ved at ind-

drage et tilpas stort antal deltagende skoler og elever vil det være muligt at validere eller

afvise effekter af størrelserne fundet i denne rapport som eksempelvis 1,5 procentpoint hø-

jere deltagelse i EUD, som fundet i nogle af rapportens delanalyser. En undersøgelse af

denne type vil desuden gøre det muligt at undersøge, om et skifte af vejledningsform i ud-

skolingen kan påvirke ikke blot elevernes deltagelse i uddannelse, men også deres trivsel og

tilfredshed med deres valgte uddannelse, fremtidige beskæftigelse og karriere.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Del 2: Metode og data

Rapportens Del 2 beskriver det metodiske og datamæssige grundlag for resultaterne i afsnit

3. Metodeafsnittet består af en generel introduktion til, hvordan effekter defineres i rappor-

ten, og hvordan mulighederne for at evaluere effekter af Udsyn i Udskolingen er begrænset

af udformningen af Udsyn i Udskolingen, hvor der ikke findes en egentlig kontrolgruppe

blandt de deltagende elever, og de deltagende skoler selv tilmeldte sig projektet. Afsnittet

introducerer herefter matching-metoderne, der anvendes til at undersøge eventuelle effek-

ter, og hvordan sandsynligheden for at kunne observere eventuelle effekter i matching-ana-

lyserne vil være påvirket af et lavt antal observationer, og hvor effektivt matching-meto-

derne kontrollerer for forskelle i observerbare karakteristika mellem udsyn-eleverne og

match-eleverne. Afsnittet afsluttes med en beskrivelse af Difference-in-Difference metoden,

der anvendes som supplement til matching-metoderne. Dataafsnittet introducerer det de-

mografiske og uddannelsesdata, der anvendes i rapporten, samt hvordan elever der deltog

i Udsyn i Udskolingen, findes i registerdataen, når der ikke er indsamlet identifikationsop-

lysninger på deltagerne. Afsnittet afsluttes med en gennemgang af, hvordan sammenlæg-

ninger af skoler håndteres i Difference-in-Difference analysen.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

5. Metode

Dette afsnit beskriver den metodiske fremgangsmåde anvendt til at undersøge effekter af

Udsyn i Udskolingen på elevernes efterfølgende uddannelsesdeltagelse. Det er særligt hen-

vendt til læsere med en grundlæggende viden om statistiske metoder og udfordringerne

med at gennemføre effekt-evalueringer med ikke-eksperimentelt data.

Definition af effekt af vejledningsaktiviteter

Dette afsnit introducerer en definition af effekter af vejledningsaktiviteter på uddannelses-

deltagelse med udgangspunkt i Rubin Kausal Modellen (Holland, 1986; Rubin, 1974).

For-

14F

målet med afsnittet er at beskrive, hvilken effekt rapporten forsøger at undersøge, og hvad

der empirisk er muligt at identificere i analyserne.

Definitionen af en effekt af vejledningsaktiviteter tager udgangspunkt i den enkelte elev, før

eleven har deltaget i enten læringsorienteret vejledning baseret på Bill Laws model for kar-

rierelæring eller den traditionelle vejledning. Effekten på uddannelsesdeltagelse, på et gi-

vent tidspunkt, er forskellen mellem elevens uddannelsesdeltagelse,

hvis

eleven modtager

den læringsorienterede vejledning, og elevens uddannelsesdeltagelse,

hvis

eleven modtager

den traditionelle vejledning. Definitionen lægger vægt på den enkelte elev, men da eleven

kun kan deltage i én type vejledning på et givent tidspunkt og ikke i begge samtidigt (fordi

skolerne enten deltog eller ikke deltog i Udsyn i Udskolingen), kan forskellen, og dermed

effekten, ikke beregnes for hver enkelt elev.

15F

En typisk tilgang til at håndtere udfordringen, som opstår, fordi den samme elev ikke kan

observeres som deltager og ikke-deltager i Udsyn i Udskolingen, er at flytte fokus fra effek-

ten på den enkelte elev til den gennemsnitlige effekt på flere elever og beregne forskellen i

uddannelsesdeltagelse mellem elever, som har deltaget i interventionshandlingen (lærings-

orienteret vejledning), og elever, som har deltaget i kontrolhandlingen (traditionel vejled-

ning). Hvorvidt forskellen i uddannelsesdeltagelse mellem de to grupper giver et retvisende

Appendix A indeholder et udførligt eksempel på, hvordan effektbegrebet kan forstås i relation

til Udsyn i Udskolingen.

Udfordringen med kun at kunne observere ét outcome per elev, så det ikke er muligt at mål

effekten for eleven, er blevet beskrevet som ”det fundamentale problem med kausal inferens” af

Holland (1986).

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

billede af den gennemsnitlige effekt af læringsorienteret vejledning i forhold til den traditi-

onelle vejledning, afhænger af, om den gennemsnitlige uddannelsesdeltagelse havde været

ens for de to grupper, hvis de havde modtaget den samme type vejledning. Hvis grupperne

har forskellige uddannelsesdeltagelsesmønstre, selv hvis de modtog samme type vejledning,

kan forskellen i gruppernes faktiske uddannelsesdeltagelse være et dårligt mål for den gen-

nemsnitlige effekt. I det næste afsnit opstiller vi en simpel model, som illustrerer, hvorfor

der kan være forskelle mellem elever, der deltog i Udsyn-projektet, og elever, der ikke deltog

i Udsyn-projektet.

En model for sammenhængen mellem uddannelsesvejledning og

uddannelsesdeltagelse og udfordringer for effektmålingen

Dette afsnit introducerer en simpel model for uddannelsesdeltagelse og uddannelsesvejled-

ning, som illustrerer hvorfor der kan være forskelle i uddannelsesdeltagelse for elever, der

har deltaget i Udsyn i Udskolingen projektet og elever, der ikke har, selv hvis de alle havde

modtaget samme slags vejledning. Modellen bruges til at illustrere hvorfor vi i den efterføl-

gende analyse anvender matching- og Difference-in-Difference metoder til at sandsynlig-

gøre effekterne af den læringsorienterede vejledning i forhold til den traditionelle vejled-

ning.

Den stiliserede model for sammenhængen mellem uddannelsesdeltagelse og variabler, der

påvirker uddannelsesdeltagelsen, illustrerer vi i grafisk i Figur 5.1.

Når en variabel påvir-

ker en anden, er det illustreret med en pil. Uddannelsesdeltagelse er det endelige outcome

og illustreres med en blå cirkel. Vi antager, at uddannelsesdeltagelsen påvirkes af en række

observerbare og uobserverbare variable på individ-, forældre- og skoleniveau. Herudover

lægger vi særlig vægt på betydningen af uddannelsesvejledningen, som en elev modtager i

skolen, og hvorvidt uddannelsesvejledningen er påvirket af, at elevens skole har deltaget i

Udsyn i Udskolingen projektet. Hver af disse hovedkarakteristika er vist med grå cirkler,

med undtagelse af den orange Udsyn i Udskolingen cirkel, som angiver, om en elevs skole

deltager i Udsyn i Udskolingen.

Modellen er en simpel DAG model (Imbens, 2019; Pearl, 2009). Modellen beskriver grafisk de

teoretiske mulige årsagssammenhænge mellem uafhængige variable, delvist afhængige variable,

interventions variable, og uafhængige variable.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur 5.1: Stiliseret model for sammenhængen mellem uddannelsesdeltagelse og observerbare individ-, forældre-, skole-

og vejledningskarakteristika, uobserverbare karakteristika og Udsyn i Udskolingen.

De observerbare variable omfatter individuelle, forældre- og skolekarakteristika, som hver

er angivet med en grå cirkel. De individuelle karakteristika omfatter eksempelvis køn og

etnicitet, mens forældre- karakteristika eksempelvis omfatter økonomiske og kulturelle ka-

pitaler (se fx Carlana, 2019; Jæger og Holm, 2007). Skolekarakteristikaene kan eksempelvis

omfatte elevsammensætningen og mængden af unge i specialklasser (se fx Rangvid, 2010).

Da børnenes karakteristika og forældrenes økonomiske og kulturelle kapital kan have be-

tydning for, hvilken skole en given elev deltager går på, har vi indtegnet pile fra de obser-

verbare individ- og forældrekarakteristika til skoler i modellen.

De uobserverbare karakteristika, både individuelle, forældre- og skolekarakteristika, som

ikke kan måles, kan alle påvirke uddannelsesdeltagelse. De kunne eksempelvis omfatte ele-

vernes motivation, hvor meget tid forældrene bruger sammen med deres børn, og lærernes

individuelle undervisningsstile på skolerne (se fx Alan et al., 2019; Del Boca et al., 2014).

Ligesom vi antager, at de observerbare individ- og forældrekarakteristika kan påvirke sko-

levalget, antager vi også, at de uobserverbare individ- og forældrekarakteristika kan påvirke

skolevalget.

De resterende elementer i modellen er, hvorvidt eleven deltager i Udsyn i Udskolingen, og

typen af vejledning eleven modtager i udskolingen. Deltagelse i Udsyn i Udskolingen pro-

jektet påvirker udformningen af uddannelsesvejledningen i den deltagende skole og derfor

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

eleven på skolen. Vejledningen antages at have en betydning for elevens uddannelsesdelta-

gelse. Uddannelsesvejledningen varetages i samarbejde med de kommunalt ansatte uddan-

nelsesvejledere i den kommunale ungeindsats (KUI), men vil typisk være påvirket af beslut-

ninger på den enkelte skole såsom tid, ressourcer og prioritering. Vi fanger sammenhængene

mellem skolerne, Udsyn i Udskolingen og uddannelsesvejledningen med pile løbende fra

Udsyn i Udskolingen til vejledningen, fra skole til vejledning og fra vejledning til elevens

uddannelsesvalg.

Vi retter nu fokus mod mulighederne for effektmåling i projektet og bruger modellen til at

illustrere udfordringerne for effektmåling i den kvantitative opfølgning på Udsyn i Udsko-

lingen. Den første udfordring for at kunne måle gennemsnitlige effekter er, at alle elever i

det oprindelige Udsyn i Udskolingen projekt modtog den læringsorienterede vejledning.

Det er derfor nødvendigt at sammenligne udsyn-elever med elever fra skoler, der ikke deltog

i Udsyn i Udskolingen.

Den anden udfordring er, at skolerne, der deltog i Udsyn i Udskolingen projektet, selv til-

meldte sig projektet. Dette har vi illustreret i modellen med en pil fra skolecirklen til Udsyn

i Udskolingen-cirklen. Fordi elevernes deltagelse på de enkelte skoler afhænger af både in-

divid-, forældre- og skole-karakteristika, kan der være både observerbare og ikke-observer-

bare forskelle mellem eleverne, der modtog henholdsvis læringsorienteret og traditionel vej-

ledning. Det kan medføre, at eleverne i grupperne kan have haft forskellige gennemsnitlig

uddannelsesdeltagelse,

selv hvis de modtog den samme type vejledning.

Hvis det er tilfældigt, vil

en simpel sammenligning af uddannelsesdeltagelse for elever fra skoler, der deltog i Udsyn

i Udskolingen, med elever, der ikke deltog i Udsyn i Udskolingen, indfange både den gen-

nemsnitlige vejledningseffekt og effekterne af andre observerbare og ikke-observerbare ka-

rakteristika.

Det er muligt at forsøge at kontrollere for dele af de observerbare og uobserverbare karakte-

ristika, der skaber en bias. I den empiriske analyse i projektet anvender vi to forskellige em-

piriske tilgange til at kontrollere for eventuelle andre påvirkninger på uddannelsesdeltagel-

sen. I de følgende afsnit beskriver vi uddybende de anvendte metoder.

Anvendte matching-metoder

Den primære analyse er baseret på sammenligning af uddannelsesdeltagelse hos udsyn-ele-

ver med elever, der er matchet til dem. Den grundlæggende idé i matchingen er, for hver

elev der deltog i Udsyn i Udskolingen, at finde en eller flere andre elever, som ligner udsyn-

eleven på

observerbare

eller

beregnede

karakteristika. Ved at sammenligne udsyn-eleverne

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

med elever, der ligner dem på relevante karakteristika, er det muligt at mindske risikoen for,

at forskelle i uddannelsesdeltagelse mellem udsyn-eleverne og sammenligningsgruppen op-

står på grund af observerbare karakteristika og ikke kun den læringsorienterede vejledning.

Matching-metoder er et længe anvendt redskab til at mindske bias i effektestimater, når der

ikke findes klare kontrol- og interventionsgrupper (Rosenbaum og Rubin, 1983).

Vi anvender to forskellige matching-metoder til at finde elever til match-gruppen, som ud-

syn-eleverne sammenlignes med i den primære analyse af uddannelsesdeltagelse, pro-

pensity score matching og Mahalanobis nærmeste nabo-matching. I propensity score

matching bruges observerbare karakteristika hos udsyn-elever og elever fra skoler, der ikke

deltog i Udsyn i Udskolingen, til at beregne en estimeret sandsynlighed, propensity score,

for at være i gruppen af udsyn-elever (Imbens og Rubin, 2015, kap. 15). Herefter matches

hver udsyn-elev til en eller flere elever, der ikke deltog i Udsyn i Udskolingen, der har en

propensity score tættest på udsyn-elevens. Fordi propensity score matching alene matcher

på en beregnet sandsynlighed, som er en funktion af de individuelle karakteristika, reduce-

res mængden af information, der kan matches til i forhold til matching på flere baggrunds-

variable (Heckman et al., 1997). King og Nielsen (2019) har vist, at det kan medføre unødig

statistisk støj i effektestimaterne sammenlignet med matching på individuelle karakteristika

i studier med relativt få observationer, som dette med 1.276 observationer. King og Nielsen

(2019) foreslår at matche på individuelle karakteristika, hvis muligt. Vi udfører derfor også

matching på observerbare karakteristika, Mahalanobis matching, hvor den nærmeste match

til en udsyn-elev, er en elev, hvis karakteristika er mindst mulig forskellige fra udsyn-ele-

vens, når forskellen beregnes som summen af afstande mellem standardiserede karakteri-

stika (Imbens og Rubin, 2015, kap. 15). Efter at variablene er blevet standardiseret, beregnes

for hvert muligt match summen af afstande mellem hver observerbar variabel. Udsyn-eleven

matches så med den eller

de andre elever, der er ’tættest’ på målt i summerede afstande.

Det er muligt at matche hver af de 1.276 udsyn-elever med mere end én observation, da vi i

analysen finder match ud fra den samlede gruppe af 7.-9.-klasse elever, der gik på skoler,

der ikke deltog i Udsyn i Udskolingen. Ved at matche hver udsyn-elev med mere end én

anden elev vokser det samlede antal observationer i analysen, hvilket potentielt kan mindske

den statistiske usikkerhed i analysen. Men når antallet af match per udsyn-elev vokser, vil

hvert nyt match også ligne udsyn-eleven mindre, og der er derfor risiko for, at den bias gen-

introduceres, som matching-analyserne skal forsøge at mindske ved at inkludere for mange

match per udsyn-elev. At matche med flere observationer kan altså genindføre det mulige

bias, som matching-analyserne har til formål at mindske. I analysen udfører vi derfor match

analyser for både en, tre og fem matches med Mahalanobis nærmeste nabo matching, og en

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

og tre naboer med Propensity score matching.

Ved at sammenligne resultaterne på tværs

17F

af matching-metoder opnås desuden en fornemmelse af graden af usikkerhed i estimaterne

bestemt af metodevalget.

Estimering af effekter i matching-analyser

I analyserne fokuserer vi på forskelle i deltagelse målt i procentpoint. Vi fokuserer på dette

effektmål, da diskussioner af deltagelse i ungdomsuddannelser i Danmark typisk fokuserer

på andele af en ungdomsårgang, som eksempelvis starter på en ungdomsuddannelse efter

folkeskolen (se “Aftale Om Et Fagligt Løft af Folkeskolen” (Regeringen, 2013)) eller andele

af studerende på en uddannelse, der falder fra uddannelsen (Regeringen, 2020).

18F

Til at estimere forskellene i uddannelsesdeltagelse mellem udsyn-eleverne og match-grup-

perne anvender vi en regressionsmetode, som gør det muligt let at estimere den statistiske

usikkerhed forbundet med estimaterne. Specifikt regresserer vi uddannelsesdeltagelsens va-

riabel på en binær variabel, som tager værdien 1, hvis eleven gik på en af skolerne, der deltog

i Udsyn i Udskolingen. Koefficienten for dummyvariablen viser så forskellen i middelvær-

dien for deltagelse, altså den procentpointsforskel, der er i deltagelse i den givne uddannelse

imellem udsyn-eleverne og match-gruppen (se Imbens og Kolésar, 2016).

Som mål for den statistiske usikkerhed forbundet med estimatet beregner vi standardfejl

clustrede på det enkelte match-niveau for at tage højde for den korrelation, der kan opstå

imellem fejlledet for de matchede elever som følge af matchingen (Abadie & Spiess, 2021).

Ud fra standardfejlen konstruerer vi et 95 procents konfidensinterval omkring estimatet, som

med 95 procents sandsynlighed vil indeholde den ’faktiske’ forskel mellem udsyn-elever

match-eleverne. Intervallet kan bruges til at indikere, hvor høj grad af sikkerhed de estime-

rede forskelle i gennemsnitlig uddannelsesdeltagelse skal tillægges. Er vi eksempelvis inte-

resserede i at undersøge om forskellen mellem udsyn- og match-elevernes deltagelse er for-

skellig fra nul, kan vi enten udføre en test for, om estimatet kan forventes at ligge nær nul,

eller vi kan se, om værdien nul ligger inden for 95-procent konfidensintervallet. I analysen

er vi interesserede i at sandsynliggøre effekter, hvorfor vi som udgangspunkt undersøger,

om forskellen mellem udsyn- og match-elevernes uddannelsesdeltagelse er forskellige fra

nul, og derfor om konfidensintervallet ikke indeholder nul.

Praktisk udføres matchingen ved brug af R softwaren ”MatchIt”

(Greifer, 2021; Ho et al., 2011).

Kraft (2020) udvikler en guideline til, hvordan effektstørrelser bedst måles og fortolkes. Vi føl-

ger her Krafts anvisninger ved at fokusere på effektmål, der er kontekstrelevante.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Statistisk styrke i matching-analysen

Hvorvidt det er muligt at sandsynliggøre effekter, når de eksisterer, afhænger af størrelsen

på effekterne, stikprøvestørrelsen, og den statistiske usikkerhed forbundet med estimaterne.

I statistiske termer kaldes sandsynligheden for at afvise ’nul-effekter’, når der eksisterer ef-

fekter for den statistiske styrke af en given test (Cohen, 1988, kap. 1). Vi illustrerer i dette

afsnit, at matching-analysen har en lav sandsynlighed for statistisk at påvise effekter, hvis

de eksisterer, på grund af en forholdsvis lille stikprøve og forventelige effektstørrelser. I

matching-analyserne er den afhængige variabel en indikator for, om en elev deltager i en

given uddannelse på et givent tidspunkt, og vi har derfor foretaget en illustrativ beregning

af den mulige statistiske styrke for forskelle i andele i to stikprøver (se Cohen, 1988, kap. 6,

for en introduktion).

Vi er både interesserede i positive og negative effekter, hvorfor vi

19F

fokuserer på tosidede hypotesetest på et fem procents signifikansniveau svarende til de 95

procents konfidensintervaller, vi anvender i den empiriske analyse. Vi sætter desuden det

samlede antal observationer til 2.500 elever, svarende cirka til antallet af udsyn-elever og

match-gruppen, når hver udsyn-elev matches til en enkelt anden elev.

20F

I eksemplet varierer vi effekten af interventionen, deltagelse i læringsorienteret vejledning,

fra nul til fem procentpoint på deltagelse i en given uddannelse. Vi antager desuden, at an-

delen af unge i sammenligningsgruppen, som er i uddannelsen, er 18 procent.

Intervallet

21F

er baseret på tidligere forskning i betydningen af uddannelsesvejledning i Udskolingen i

Danmark. Høst et al. (2013) undersøgte effekterne af overgangen fra lokalt lærerbaseret ud-

dannelsesvejledning til professionel uddannelsesvejledning i udskolingen i 2004. De fandt,

Denne test afviger fra den, der faktisk udføres i matching-analyserne, da vi i matching-analy-

serne anvender en regressionstest, hvor standardfejlene omfatter heterogenitet i matching-par-

rene. I den egentlige matching-analyse beregner vi effekter som forskelle i andele ved regression

og statistisk usikkerhed ved brug af clustrede standardfejl for at indfange korrelationer mellem

matchede observationers uddannelsesdeltagelse, som ikke beskrives af regressionsmodellerne

(Abadie og Spiess, 2021). Som resultat vil den statistiske usikkerhed, som repræsenteres i under-

søgelsen af statistisk styrke i dette afsnit sandsynligvis overvurdere den faktiske statistiske

styrke, da denne falder med øget usikkerhed i estimaterne (Cohen, 1988, kap. 1). Da dette afsnits

primære fokus er udfordringen med for lav statistisk styrke som følge af få observationer, vil den

højere usikkerhed blot forstærke problematikken og relevansen af problemet.

I appendiks B viser vi den statistiske styrke i testen, når der matches med tre og fem forskellige

individer.

I 2021 ansøgte 18 procent af 9. klasse eleverne i de danske folkeskoler om optagelse på EUD

efter endt 9. klasse (Børne- og Undervisningsministeriet, 2021a).

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

at effekten af vejledningen var omkring 0,7 til et procentpoint for deltagelse i ungdomsud-

dannelse generelt for etnisk danske børn og omkring 5,3 til 6,3 procentpoint for ikke-etnisk

danske børn. Da hovedparten af det anvendte sample i undersøgelsen består af etnisk dan-

ske børn, kan det muligvis forventes, at effekter af Udsyn i Udskolingen vil ligge tættere på

et procentpoint end fem procentpoint.

Resultatet af styrkeundersøgelsen ses i Figur 5.2, hvor den statistiske styrke er angivet for

hvert niveau af procentpointforskel (effekt) mellem udsyn- og match-grupperne. I takt med

at effekten vokser, stiger den statistiske styrke. Figuren viser, at for effekter mellem nul og

to procentpoint er den statistiske styrke mindre end 25 procent. Først når effekten nærmer

sig fem procentpoint opnås en statistisk styrke på over 80 procent. Da ændringen fra traditi-

onel til læringsorienteret vejledning er en relativt begrænset intervention sammenholdt, ek-

sempelvis, med omlægning af uddannelsesvejledningen i udskolingen til i højere grad at

være en professionaliseret opgave udført af vejledere i 2004 (se Høst et al. 2013), forventer vi

ikke effekter på op imod fem procentpoint. Det betyder, at sandsynligheden for statistisk at

kunne afvise nul-effekter i undersøgelsen er begrænset, og resultaterne skal læses med for-

sigtighed.

Det er som udgangspunkt ikke muligt at omgå udfordringen med få observationer i Udsyn

i Udskolingen projektet. Matching-analysen skal derfor ses som en bedst mulig løsning på

udfordringerne der opstår som følge af et lille antal observationer og manglen på en egentlig

kontrolgruppe i det oprindelige projektdesign.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur 5.2:

Eksempel på statistisk styrke.

Beregningen af statistisk styrke er udført ved brug af en proportionsbe-

regning med to stikprøver af størrelse 1.250 og 1.250. Proportionen for sammenligningsgruppen er 0,18. Procentpo-

intforskel angiver forskellen for interventionsgruppen til sammenligningsgruppen.

Evaluering af matching og forskel i karakteristika

Vi evaluerer, hvorvidt matchingen medfører den ønskede mindskning af forskelle mellem

udsyn-elever og match-gruppen ved at beregne den absolutte forskel i en standardiseret

matching-variabels middelværdi først mellem udsyn-eleverne og de ca. 200.000 elever, der

ikke deltog i Udsyn i Udskolingen i skoleåret 2015/2016, og derefter mellem de ca. 1.250,

2.500 og 3.750 elever, som udsyn-eleverne matches til med henholdsvis Mahalanobis

matching og Propensity Score matching. Jo mere eleverne ligner hinanden både før og efter

matching, jo mindre vil forskellen være, og jo mindre vil risikoen være for, at observerbare

karakteristika påvirker matching-analysens resultater.

Betydningen af matchingen for, hvor meget elevgrupperne ligner hinanden, er illustreret i

Figur 5.3 for Mahalanobis matching og Figur 5.4 for Propensity score matching. I begge fi-

gurer viser vi sammenligning med tre match per udsyn-elev. Figurer for et og fem match

findes i Appendix C. I figurerne viser grønne punkter forskelle i matching-variablene, når

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

udsyn-eleverne sammenlignes med alle ca. 200.000 7.-9. klasse elever, der ikke deltog i Ud-

syn i Udskolingen. De orange punkter viser forskellen efter matching. Forskelle over 0,1 er

anseelige, mens forskelle under er af begrænset betydning (King og Nielsen, 2019). Vi inklu-

deret lodrette barer, som indikerer forskelle på både 0,05, 0,1 og 0.25 i absolut standardiseret

middelværdi. Punkter til højre for den fuldt optegnede bar ved 0,25 viser altså forskelle i

standardiseret middelværdi, som ligger over 0,25.

Figur 5.3:

Forskel i standardiseret middelværdi for matching-variable efter Mahalanobis matching med tre

match per udsyn-elev.

Grønne prikker svarende til ”All” gruppen viser den absolutte forskel i middelværdien for

standardiserede matching-variable mellem udsyn-elever og alle elever i 7.-9. klasse i 2015/2016, som gik på skoler, der

ikke deltog i Udsyn i Udskolingen. De orange prikker viser den tilsvarende forskel i middelværdi for udsyn-eleverne og

eleverne, de matches til.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur 5.4:

Forskel i standardiseret middelværdi for matching-variable efter propensity score matching med

tre match per udsyn-elev.

Grønne prikker svarende til ”All” gruppen viser den absolutte forskel i middelværdien for

standardiserede matching-variable mellem udsyn-elever og alle elever i 7.-9. klasse i 2015/2016, som gik på skoler, der

ikke deltog i Udsyn i Udskolingen. De orange prikker viser den tilsvarende forskel i middelværdi for udsyn-eleverne og

eleverne, de matches til.

Figurerne viser, at den gennemsnitlige udsyn-elev adskiller sig fra elever i sammenlignings-

grupperne med hensyn til eksempelvis klassetrin, forældrenes uddannelsesniveau, og hvor-

vidt eleven bor med sine forældre eller ej. Efter Mahalanobis matchingen er alle gennemsnit-

lige forskelle imellem udsyn-eleverne og match-eleverne forsvundet. Dette indikerer, at

matchingen fungerer effektivt med hensyn til dens primære formål at matche eleverne på

observerbare karakteristika. Dette er ikke tilsvarende tilfældet for Propensity Score match-

ingen, hvor der efter matchingen fortsat er forskelle mellem udsyn-eleverne og match-ele-

verne, som ikke bliver udlignet i matchingen. Resultatet reflekterer King og Nielsens (2019)

diskussion, hvor de beskriver at særligt i mindre stikprøver vil propensity score matching

ofte introducere unødvendige forskelle mellem matchede observationer, da der alene mat-

ches på et enkelt karakteristikum (den estimerede sandsynlighed for at være i interventions-

handlingsgruppen). Resultaterne er tilsvarende for et og fem match for begge grupper.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Evalueringen af matching-metoden indikerer, at der bør lægges mindre vægt på resultaterne

fra propensity score matching end Mahalanobis matchingen. Vi inddrager alligevel pro-

pensity score matching resultaterne, da de kan indikere, hvor meget den anvendte matching-

metode påvirker resultaterne i analysen.

Supplerende Difference-in-Difference analysemetode

Vi supplerer den primære matching-analyse med en Difference-in-Difference analyse, hvor

vi sammenligner uddannelsesdeltagelse for elever, der har gået på skoler, som i 2015/2016

deltog i Udsyn i Udskolingen, og elever fra andre skoler. Ved at sammenligne på tværs af

skoler, både efter at Udsyn i Udskolingen er gennemført og før, er det muligt at tage højde

for eventuelle uobserverbare karakteristika relateret til skolerne og eleverne, der går på sko-

lerne (se Angrist og Pischke, 2009, kap. 5.2; Cunningham, 2021, kap. 9).

Figur 5.5 viser et eksempel på den grundlæggende idé i metoden. I eksemplet antages, at

eleverne på Udsyn-skolerne har en højere sandsynlighed for at deltage i EUD på et givent

tidspunkt end andre elever på grund af uobserverbare karakteristika hos skolerne, der del-

tog i Udsyn i Udskolingen. Det kunne eksempelvis skyldes, at flere af lærerne havde erfa-

ringer med EUD og derfor guidede deres elever i denne retning. I figuren vises den gennem-

snitlige deltagelsesrate for henholdsvis årgange fra skolerne, der deltog i Udsyn i Udskolin-

gen, og skoler der ikke deltog. Den grå stiplede linje angiver starttidspunktet, hvor elever fra

årgange på Udsyn-skolerne

begynder at modtage læringsorienteret vejledning. ”Difference-

in-difference”

estimatet af effekten på elever på skolerne, der deltog i Udsyn i Udskolingen,

og andre skoler, findes nu som forskellen mellem de to grupper, efter at læringsorienteret

vejledning indføres,

fratrukket

forskellen i tidligere perioder. Det svarer i figuren til at foku-

sere på en årgang forud for den grå linje og rykke den orange Udsyn-linje ned, så forskellen

mellem elever fra skolerne, der deltog i Udsyn i Udskolingen. og andre elever fjernes i denne

foregående periode. Under antagelserne om, at det kun er udsyn-elever, der påvirkes af Ud-

syn i Udskolingen, og at skole-effekterne er faste over tid, kan vi nu se effekten af Udsyn i

Udskolingen som den ”kontrollerede” forskel efter den grå linje.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur 5.5:

Eksempel på intuition i Difference-in-Difference metoden.

I figuren indikerer grønne punkter en fiktiv

kontrolgruppes gennemsnitlige deltagelse i EUD. Den orange linje angiver den gennemsnitlige deltagelse i EUD

blandt en fiktiv gruppe af elever, der antages at have deltaget i Udsyn i Udskolingen. Da deltagelse er en binær variabel,

kan gennemsnittet fortolkes som andelen af elever fra hver gruppe, der deltog i EUD. Punkterne er optegnet for tids-

punktet, hvor hver årgang af elever går ud af 9. klasse. Den grå stiplede linje angiver tidspunktet for afslutningen af

skoleåret 2015/2016, hvor den første gruppe af deltagere i Udsyn i Udskolingen afslutter 9. klasse.

Hvis de uobserverede variable relateret til skolerne ikke er konstante over tid, vil de to linjer

ikke ligge parallelt forskudt forud for Udsyn i Udskolingen, og det er ikke på samme vis

muligt at tilskrive forskelle efter den grå linje til Udsyn i Udskolingen. Dette kan eksempelvis

være tilfældet, hvis lærere og vejledere, som særligt påvirker elevernes uddannelsesdelta-

gelse, skifter job, eller hvis der sker pludselige ændringer i lokale økonomiske forhold, som

påvirker elevernes interesse i bestemte uddannelser (Acton, 2021; Mulhern, 2021). Da det er

forventeligt, at skolespecifikke faktorer varierer over tid, må Difference-in-Difference esti-

materne i bedste fald anses for at være supplerende til de primære matching-analyser.

I praksis udfører vi analyserne ved at estimere forskellen mellem, hvad der svarer til den

grønne og den orange linje for hver kohorte på skolerne, der deltog i Udsyn i Udskolingen,

og andre skoler, når vi kontrollerer for forskellen for 2015-kohorten, som er den seneste år-

gang, der ikke

har kunnet deltage i Udsyn. Denne ”event-study” tilgang gør det muligt vi-

suelt og statistisk at undersøge, om der er tegn på at uobserverede forskelle mellem skolerne,

der deltog i Udsyn i Udskolingen, og andre skoler er konstante over tid, og hvorvidt det er

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

muligt at sandsynliggøre effekter af Udsyn i Udskolingen på elevernes uddannelsesdelta-

gelse (Freyaldenhoven et al., 2021). Som for matching-estimaterne beregner vi standardfejl

og konstruerer 95-procent konfidensintervaller omkring estimaterne, som indikerer den sta-

tistiske usikkerhed forbundet med estimaterne.

Praktisk anvendes standardfejl clustrede på skoleniveau, som opfanger korrelationer i elever-

nes uddannelsesdeltagelse inden

for de enkelte skoler, der ikke fanges i ”Difference-in-Diffe-

rence” modellen, som eksempelvis kan skyldes individuelle læreres påvirkning på flere elevers

uddannelsesdeltagelse (Cameron og Miller, 2015).

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

6. Data

Projektet er baseret på registerdata gjort tilgængeligt via Danmarks Statistiks Forskningsser-

vice. Det tilgængelige registerdata indeholder informationer om demografiske karakteristika

og uddannelsesdeltagelse for elever, der har deltaget i 9. klasse i den danske folkeskole i

perioden 2010 til 2020. Dataet indeholder også demografiske informationer for elevernes for-

ældre, som kan linkes til eleverne i dataet.

Data for deltagelse i uddannelse kommer fra KOTRE elevregisteret, som indeholder registre-

rede uddannelsesforløb for alle personer med et CPR-nummer. Dataet kan bruges til at måle,

hvorvidt en elev har deltaget i en given type uddannelse på et givent tidspunkt, eksempelvis

tre eller 15 måneder efter forventet afslutning af 9. klasse.

Demografisk data

Det demografiske data beskriver en række karakteristika for børn og forældre. Forældrene

og børnene kan linkes sammen via CPR-register-bindinger. Et barn kan linkes til en forælder,

hvis barnet ved fødsel eller adoption har en sådan forælder registreret.

Dataet indeholder grundlæggende karakteristika som alder, civilstand, etnicitet, køn for

både børn og forældre. Herudover indeholder det også information om, hvorvidt eleven bor

med to, én eller ingen af sine forældre. I analyserne anvender vi de observerede karakteri-

stika for 2016 for at kunne sammenligne alle elever på tværs af skoler og årgange, når der

matches inden for klassetrin.

Vi konstruerer en række socioøkonomiske variable for forældrene med fokus på uddannelse

og indkomst. For hver forælder trækker vi fra registerdata personens højeste uddannelses-

niveau i 2016. Uddannelsesniveauet inddeles herefter i kategorierne mindre end ungdoms-

uddannelse, ungdomsuddannelse og tertiær uddannelse. For hver forælder måler vi indivi-

dets indkomst som den gennemsnitlige samlede indkomst fra løn og formueafkast i årene

2010-2015 og tager logaritmen heraf for at simplificere sammenligninger.

23F

For personer

uden indkomst imputerer vi en værdi på 1.000 DKK som basisværdi. Vi anvender et gen-

nemsnit af indkomst over fem år for at kunne tage højde for midlertidige fluktuationer i

Da det ikke er muligt at tage logaritmen til negative eller nulværdier, transformerer vi de min-

dre end én procent observationer med indkomst lig eller under 0 kroner til 1.000 DKK.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

indkomst, som ikke er repræsentativ for personens langsigtede indkomst- og socioøkonomi-

ske niveau (Nybom og Stuhler, 2017).

Uddannelsesdeltagelsesdata

Elevernes uddannelsesdeltagelse opgøres på månedlig basis efter forventet afslutning af 9.

klasse og opdeles efter deltagelse i EUD, STX, HTX/HHX, 10. klasse og at være uden for

uddannelsessystemet. Det forventede tidspunkt for afslutning anvendes i stedet for den fak-

tiske afslutning af 9. klasse, da vi ikke ønsker at sammenligne elever, der går en klasse om,

med andre elever i analyserne. I analyserne går 9. klasse eleverne ud af 9. klasse i 2016, 8.

klasse i 2017 og 9. klasse i 2018. Det betyder, at det kun er muligt at observere uddannelses-

deltagelse for 7. klasse eleverne op til to år efter endt uddannelse og 8. klasse op til tre år og

9. klasse op til fire år. For at undgå et for lille antal observationer i analysen afgrænser vi

analyserne til kun at se frem til tre år efter endt 9. klasse, da mindre end 30 procent af udsyn-

eleverne gik i 9. klasse i 2016, og den samlede stikprøve derfor vil bestå af for få observatio-

ner, hvis disse ikke blev udeladt. De udvalgte uddannelser omfatter uddannelsesgrupperne

med flest deltagere og udelader dem med færrest deltagere som eksempelvis FGU. Vi fra-

vælger disse uddannelser, da antallet af udsyn-elever i grupperne er så små, at det ikke er

muligt statistisk at sandsynliggøre effekter på dem.

Udsyn-elever og andre elever i registerdata

Udsyn-projektet indsamlede ikke informationer, der kan bruges til at identificere eleverne i

opfølgende analyser som eksempelvis CPR-numre. Det er derfor nødvendigt at identificere

mulige udsyn-elever på anden vis i registerdata.

Vi finder mulige udsyn-elever i registerdata ved at identificere elever, der har gået på delta-

gende skoler i 2015/2016. I det tilgængelige registerdata kan vi observere, hvilken årgang

eleverne gik på og på hvilken skole, men ikke hvilken specifik klasse på årgangen eleverne

gik i.

På 14 af de 17 deltagende skoler har hele eller hovedparten af en årgang deltaget i Udsyn-

aktiviteterne. På de resterende skoler har mindre end hele årgangen (eksempelvis halvdelen

af klasserne eller få udvalgte elever) deltaget i Udsyn-aktiviteterne. For at undgå at inddrage

elever fra de resterende skoler, udelades de resterende tre skoler fra analysen, og eleverne

fra disse skoler indgår derfor heller ikke i gruppen af mulige kontrolgruppe-elever.

Den samlede stikprøve af udsyn-elever i registerdata består af 1.276 elever ud af de samlede

ca. 1.400 elever, som deltog i det oprindelige Udsyn i Udskolingen projekt. Den samlede

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

gruppe af elever, der ikke deltog i Udsyn i Udskolingen, består af 200.000 7.-9. klasse elever

på andre skoler i Danmark, som ikke har været en del af Udsyn-projektet. I matching-analy-

serne findes de enkelte match til hver udsyn-elev blandt de 200.000, og det er derfor kun

mellem ca. 1.270 og 3.800 elever fra den samlede gruppe, der indgår i matching-analyserne.

Skoler over tid

I enkelte tilfælde sammenlægges eller opdeles danske skoler, fx af administrative grunde.

Det samme gælder for skolerne, der deltog i Udsyn i Udskolingen, hvor nogle skoler forud

for 2015/2016-skoleåret har været en del af andre skoler og efterfølgende sammenlægges

med andre skoler. Det betyder, at det i Difference-in-Difference analysen ikke er muligt at

opdele de danske skoler i skoler, der kom til at deltage i Udsyn i Udskolingen, og skoler, der

ikke deltog, for hele perioden fra 2010 til 2018.

For at omgå udfordringen i analysen har vi ved brug af det danske institutionsregister fundet

de institutioner, som skolerne, der deltog i Udsyn i Udskolingen, før eller efter 205/2016 sko-

leåret deles op i eller samles i. Dette påvirker i alt fire ud af de 14 skoler, der deltager i Dif-

ference-in-Difference analysen som illustreret i Figur 6.1, hvor vi for hver af skolerne, der

deltog i Udsyn i Udskolingen, og 2010-2018-kohorterne illustrerer, om der anvendes

”pseudo-Udsyn-skoler”, hvis en skole er blevet opdelt eller lagt sammen med

andre skoler.

Det kan ses i figuren, at udfordringen er mest udtalt for de tidligste kohorter, 2010-2012, og

ikke er et problem igen før 2017.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur 6.1:

Oversigt over hvilke årgange på skolerne, der deltog i Udsyn i Udskolingen.

Grønne prikker angiver,

hvor en skole kan observeres i dataet. Orange prikker angiver det år, hvor skolen er opdelt i en eller flere andre skoler,

eksempelvis grundet sammenlægninger. Ingen prikker angiver de skoler, der har deltaget i Udsyn i Udskolingen der

ikke længere findes, eksempelvis grundet at disse er blevet sammenlagt med andre skoler.

Brugen af ”pseudo-Udsyn”-skoler

betyder, at udsyn-eleverne i Difference-in-Difference ana-

lysen omfatter elever, der sandsynligvis ikke vil have samme uobserverbare karakteristika

som eleverne på andre uddannelser, som på de faktiske skoler der deltog i Udsyn i Udsko-

lingen.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Litteraturliste

Abadie, A., & Spiess, J. (2021). Robust Post-Matching Inference.

Journal of the American Statis-

tical Association,

1–13.

Acton, R. K. (2021). Community College Program Choices in the Wake of Local Job Losses.

Journal of Labor Economics, 39(4),

1129–1154.

Alan, S., Boneva, T., & Ertac, S. (2019). Ever Failed, Try Again, Succeed Better: Results from

a Randomized Educational Intervention on Grit. The Quarterly Journal of Economics.

Angrist, J. D., & Pischke, J.-S. (2009).

Mostly Harmless Econometrics: An Empiricist’s Companion.

Princeton University Press.

Børne- og Undervisningsministeriet. (2021a). Tilmelding til ungdomsuddannelser efter 9. Og

10. Klasse. Uddannelsesstatistik. https://uddannelsesstatistik.dk/Pages/Reports/1684.aspx

Børne-

Undervisningsministeriet.

(2021b).

Det

ordinære

uddannelsessystem.

https://www.uvm.dk/uddannelsessystemet/overblik-over-det-danske-uddannelsessy-

stem/det-ordinaere-uddannelsessystem

Cameron, A. C., & Miller, D. L. (2015). A Practitioner’s Guide to Cluster-Robust

Inference.

Journal of Human Resources, 50(2),

317–372.

Carlana, M. (2019). Implicit Stereotypes: Evidence from Teachers’ Gender Bias. The Quar-

terly Journal of Economics, 134(3), 1163–1224.

Cohen, J. (1988).

Statistical power analysis for the behavioral sciences

(2nd ed). L. Erlbaum Asso-

ciates.

Cunningham, S. (2021).

Causal Inference: The Mixtape.

Yale University Press

DEA (2012): ”Vejledning som holdsport –

survey blandt landets UU-ledere, http://dea.nu/si-

tes/default/files/DEA%20-%20Vejledning%20som%20holdsport.pdf

Del Boca, D., Flinn, C., & Wiswall, M. (2014). Household Choices and Child Development.

The Review of Economic Studies, 81(1), 137–185.

Danmarks Evalueringsinstitut [EVA]. (2018). Unges oplevelse af uddannelsesvalg og vejled-

ning i 9. klasse. Unges vej mod ungdomsuddannelse. København: EVA.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Freyaldenhoven, S., Hansen, C., Pérez, J. P., & Shapiro, J. M. (2021). Visualization, Identifi-

cation, and Estimation in the Linear Panel Event-Study Design.

NBER Working Paper No.

29170.

Gerber, A. S., & Green, D. P. (2012).

Field Experiments: Design, Analysis, and Inter-

pretation

(Illustrated edition). W. W. Norton & Company.

Greifer, N. (2021, May 26).

MatchIt.

Cran.r-Project.Org. https://cran.r-project.org/web/pack-

ages/MatchIt/vignettes/MatchIt.html

Heckman, J. J., Ichimura, H., & Todd, P. (1997). Matching As an Econometric Evaluation Es-

timator: Evidence from Evaluating a Job Training Programme.

Review of Economic Studies, 64,

605–654.

Holland, P. W. (1986). Statistics and Causal Inference. Journal of the American Statistical As-

sociation, 81(396), 945–960.

Ho, D., Imai, K., King, G., & Stuart, E. A. (2011). MatchIt: Nonparametric Preprocessing for

Parametric Causal Inference.

Journal of Statistical Software, 42(1),

1–28.

Hughes, D., & Gration, G. (2009). Literature review of research on the impact of careers and

guidance-related interventions. Reading: CfBT Education Trust.

Høst, A., Jensen, V., & Nielsen, L. (2013). Increasing the admission rate to upper secondary

school: The case of lower secondary school student career guidance.

Education Economics,

21(3),

213–229.

Imbens, G. (2019).

Potential Outcome and Directed Acyclic Graph Approaches to Causality: Rele-

vance for Empirical Practice in Economics.

NBER Working paper No. w26104. National Bureau

of Economic Research.

Imbens, G. W., & Kolesár, M. (2016). Robust Standard Errors in Small Samples: Some Practi-

cal Advice.

Review of Economics and Statistics, 98(4),

701–712.

Imbens, G. W., & Rubin, D. B. (2015).

Causal Inference for Statistics, Social, and Biomedical Sci-

ences: An Introduction.

Cambridge University Press.

Jæger, M. M., & Holm, A. (2007).

Does parents’ economic, cultural, and social capital explain

the social class effect on educational attainment in the Scandinavian mobility regime?

Social

Science Research, 36(2),

719–744.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Kashefpakdel E. T., A. Mann and M. Schleicher (2016). The Impact of Career Development

Activities on Student Attitudes Towards School Utility: An Analysis of Data from The Or-

ganization For Economic Cooperation and Development’s Programme For International Stu-

dent Assessment (PISA), Education and Employers Research, London, www.educa-

tionandemployers.org/wpcontent/uploads/2016/12/The-impact-of-career-development-ac-

tivities-on-student-attitudesDecember-2016-2.pdf

King, G., & Nielsen, R. (2019). Why Propensity Scores Should Not Be Used for Matching.

Political Analysis, 27(4),

435–454.

Klindt Poulsen, B., Thomsen, R., Buhl, R., & Hagmayer, I. A. (2016). Udsyn i Udskolingen.

København: KL & DLF.

Klindt Poulsen, B. (2020). Insights and outlooks: career learning in the final years of compul-

sory school.

Education Inquiry, 11(4),

316-330.

Kraft, M. A. (2020). Interpreting Effect Sizes of Education Interventions.

Educational Re-

searcher, 49(4),

241–253.

Larsen, M. S., Christensen, G., Tiftikci, N., & Nordenbo, S. E. (2011). Forskning om effect af

uddannelses- og erhvervsvejledning. Et systematisk review [Research on the effects of edu-

cational and vocational guidance

–

a systematic review]. Aarhus: Danish clearinghouse for

educational research, Aarhus University.

Law, B. (2001): New thinking for Connexions and Citizenship. Lokaliseret den 17. november

2015 på: http://www.derby.ac.uk/files/icegs_new_thinking_for_ connexions2001.pdf

Mulhern, C. (2021). Beyond

Teachers: Estimating Individual Guidance Counselors’ Effects

on Educational Attainment.

Unpublished Manuscript.

Nybom, M., & Stuhler, J. (2017). Biases in Standard Measures of Intergenerational Income

Dependence.

Journal of Human Resources, 52(3),

800–825.

Organization for Economic Co-Operation and Development (OECD). (2004). Career guid-

ance: A

handbook for policy makers. Paris: OECD Publications.

Pearl, J. (2009). Causality: Models, Inference, and Reasoning (2nd ed.). Cambridge University

Press.

Rangvid, B. S. (2010). School Choice, Universal Vouchers and Native Flight from Local

Schools. European Sociological Review, 26(3), 319–335.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Regeringen. (2013).

Aftale mellem regeringen (Socialdemokraterne, Radikale Venstre og Socialistisk

Folkeparti), Venstre og Dansk Folkeparti om et fagligt løft af folkeskolen.

https://www.altin-

get.dk/misc/130607_Endelig%20aftaletekst.pdf

Regeringen. (2020).

Trepartsaftale om flere lærepladser og entydigt ansvar.

Børne- og Under-

visningsministeriet. https://www.uvm.dk/-/media/filer/uvm/aktuelt/pdf20/nov/201121-tre-

partsaftale-om-flere-laerepladser-og-entydigt-ansvar.pdf

Rosenbaum, P. R., & Rubin, D. B. (1983). The Central Role of the Propensity Score in Obser-

vational Studies for Causal Effects.

Biometrika, 70(1),

41–55.

Rubin, D. B. (1974). Estimating causal effects of treatments in randomized and nonrandom-

ized studies.

Journal of Educational Psychology, 66(5),

688–701.

Skovhus, R. B. (2018).

Vejledning—Valg og læring.

Trykværket og Via University College.

The Gatsby Charitable Foundation (2014). Good Career Guidance. London: the Gatsby Char-

itable Foundation.

Ungdommens Uddannelsesvejledning. (2015).

Slutrapport: Unge på tværs, 2013-2014

(p. 46).

Ungdommens

LET.pdf

Uddannelsesvejledning.

https://uudanmark.dk/wp-content/uplo-

ads/2015/04/Slutrapport-Unge-p%C3%A5-tv%C3%A6rs-projektnummer-135459-SAM-

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Appendix

A. Eksempel på brugen af effektbegrebet

Rapportens metodeafsnit definerer en effekt af uddannelsesdeltagelse på et givent tids-

punkt, som forskellen mellem elevens uddannelsesdeltagelse,

hvis

eleven modtager den læ-

ringsorienterede vejledning, og elevens uddannelsesdeltagelse,

hvis

eleven modtager den

traditionelle vejledning. De følgende paragraffer illustrerer, hvordan effektbegrebet kan for-

stås i relation til Udsyn i Udskolingen med et eksempel. Antag at eleven Jesper går i 8. klasse

på (den fiktive) Aarhus-skolen. På ethvert tidspunkt efter sin 9. klasse er Jesper en enhed

–

en person observeret på et bestemt tidspunkt. Jespers deltagelse i uddannelse på hvert af

disse tidspunkter er det relevante outcome. Kontrolhandlingen er, at Jesper deltager i den

traditionelle valgorienterede vejledning. Interventionshandlingen er, at Jesper deltager i læ-

ringsorienteret vejledning baseret på Bill Laws model for karrierelæring. Jespers potentielle

outcome er hans deltagelsesstatus i en given uddannelse på et givent tidspunkt efter 9.

klasse, hvis (1) Jesper deltager i den traditionelle vejledning, og (2) Jesper deltager i lærings-

orienteret vejledning. Vi anvender her distinktionen, at Jesper kun kan modtage én af ty-

perne af vejledning, da vi antager, at Jesper modtager vejledningen på et bestemt tidspunkt.

Effekten af at modtage læringsorienteret vejledning og ikke den traditionelle vejledning kan

nu defineres som forskellen i uddannelsesdeltagelse på et givent tidspunkt, hvis Jesper til-

deles den ene eller den anden vejledningshandling. Hvis Jesper deltager i EUD tre måneder

efter 9. klasse efter at have deltaget i læringsorienteret vejledning, og han ikke deltager i

EUD, hvis han modtager den traditionelle vejledning, så er der en kausal effekt på Jespers

uddannelsesdeltagelse tre måneder efter endt 9. klasse. Hvis Jesper deltager i den samme

type uddannelse, uanset hvilken vejledning han har modtaget, så er der ingen effekt af læ-

ringsorienteret vejledning i forhold til den traditionelle vejledning på uddannelsesdeltagel-

sen tre måneder efter 9. klasse.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Da vi ikke kan observere Jesper modtage begge former for vejledning, kan vi ikke observere

effekten af vejledningen direkte på Jesper. Vi er nødt til at finde andre elever, hvis uddan-

nelsesdeltagelse Jespers kan sammenlignes med. Hvis Jesper og de andre elever ligner hin-

anden meget

–

sådan at de ville have samme EUD-deltagelse, hvis de modtog samme type

vejledning

–

er sammenligningen et godt udgangspunkt for at sige noget om effekterne af

den læringsorienterede vejledning i forhold til den traditionelle vejledning. Hvis de ikke lig-

ner hinanden på måder, som kan påvirke uddannelsesdeltagelse, selv når de modtager

samme type vejledning, vil det ikke være muligt at tillægge forskelle i vejledningstypen

alene betydning.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

B. Statistisk styrke og antal matchede kontrolgruppe- elever

Figur A.1 illustrerer en beregning af statistisk styrke med et, tre og 5 match per elev i en 1.250

elevers Udsyn-stikprøve. Fremgangsmåden følger Cohen (1988, kap. 6). Der antages et fem

procents signifikansniveau og tosidede hypotesetest for forskelle i andelen af udsyn-elever i

EUD sammenholdt med match-gruppen, samt at 18 procent af match-gruppens elever del-

tager i EUD. Antallet af udsyn-elever sættes til 1.250.

Figur A.1:

Eksempel på statistisk styrke.

Beregningen af statistisk styrke er udført ved brug af en proportionsbe-

regning med to stikprøver af størrelsen 1.250 observationer i den primære stikprøve og 1.250, 3.750 og 6.250 observa-

tioner i den matchede kontrolgruppe. Andelen for kontrolgruppen er 0,18.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

C. Matching-evaluering

Metodeafsnittet gennemgår betydningen af matching for ligheden mellem udsyn-elever og

match-elever i matching-analyserne for tre match per udsyn-elev. Evalueringen er baseret

på at beregne forskellen i standardiseret middelværdi for udsyn-eleverne og match-grup-

pen. En mindre forskel betyder, at grupperne ligner hinanden mere på observerbare karak-

teristika. Der sammenlignes desuden med et udgangspunkt, hvor kontrolgruppen består af

alle skoleelever fra 7-9. klasse i skoleåret 2015/2016. Dette afsnit viser tilsvarende grafer for

et og fem match per udsyn-elev.

Figur C.1:

Forskel i middelværdi for matching-variable efter Mahalanobis matching med et match-elev per

udsyn-elev.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur C.2:

Forskel i middelværdi for matching-variable efter Mahalanobis matching med fem match-elever

per udsyn-elev.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Figur C.3:

Forskel i middelværdi for matching-variable efter propensity score matching med et match per

udsyn-elev.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

D. Læringsaktiviteterne fra Udsyn i Udskolingen

Udsyn i Udskolingen havde til formål at udvikle og gennemføre læringsorienteret uddan-

nelsesvejledning for eleverne i udskolingen. Målet var at understøtte et fokusskifte i vejled-

ningsaktiviteterne fra at aktiviteterne var særligt orienteret mod, at eleverne skulle vælge en

uddannelse, til at eleverne i stedet skulle lære om og reflektere over et bredt udsnit af mulige

uddannelses- og karriereveje. I bogen Udsyn i Udskolingen indgår beskrivelser af 13 ud-

valgte læringsaktiviteter, som giver forslag til konkret indhold i læringsorienteret uddannel-

sesvejledning. Læringsaktiviteterne indgår altid i en større sammenhæng, hvor der er fokus

på læring frem for valg samt fokus på unges egen personlige udvikling og stillingtagen. Ak-

tiviteterne skal altså bidrage til, at eleverne lærer noget om sig selv i samspil med forskellige

uddannelser og job, samt bidrage til elevernes karrierelæring.

Aktiviteterne har fokus på forberedelse, gennemførelse og efterbehandling og skal bidrage

til, at eleverne får mulighed for at opdage, sanse, høre, opleve og mærke sig selv i forskellige

situationer i og omkring ungdomsuddannelserne og arbejdslivet.

Målgruppen er elever i udskolingen - altså 7.-9. klasse. Mange kan bidrage til aktiviteterne,

og målet med aktiviteterne er at inspirere lærere, vejledere, undervisere i ungdomsuddan-

nelserne, medarbejderne i en virksomhed og forældre til at bidrage til elevernes læring om

sig selv, om uddannelse samt de mange forskellige slags arbejde, som findes, og forskellige

liv, som kan leves.

De 13 udvalgte aktiviteter består af en beskrivelse af før, under og efter aktiviteten. En før-

aktivitet kunne fx være, at eleverne inden selve aktiviteten skulle have været på et virksom-

hedsbesøg med forskellige erhverv i selvsamme virksomhed. Fx på et sygehus. Selve aktivi-

teten går således ud på, at eleverne nedskriver alle de erhverv, de kan huske fra besøget

gennem en stafet. Derefter skal eleverne efter aktiviteten lave en præsentation af en spæn-

dende uddannelsesvej. Denne aktivitet bidrager altså til, at eleverne får viden om forskellige

uddannelsesveje. Udover før, under og efter aktiviteterne er der i tilknytning til læringsakti-

viteterne også nedskrevet vigtige erfaringer, som man kan tage højde for, når man selv skal

afprøve aktiviteterne. Ydermere er der forslag til forskellige varianter, så aktiviteterne kan

konstrueres anderledes og tilpasses konteksten.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Læringsaktivitet 1 – jobliste-stafet

Aktiviteten:

En klasse laver stafet opdelt i grupper af 4-6 elever. Hver

gruppe hænger et A3-papir op på en væg foran sig. Ele-

verne skiftes til at skrive job, de har mødt gennem den for-

løbne uge, op på egen gruppes papir. I baggrunden kører

høj musik. Når den stopper, må eleverne gå rundt og se de

andres lister. Musikken kører igen, nu må eleverne kort gå

tilbage og skrive flere jobs på egen liste, indtil musikken

stopper. Til sidst finder man den gruppe med flest job på

listen, og en vindergruppe kåres.

Forinden:

Eleverne har været på forskellige virksomhedsbesøg i den

forgangne uge. Virksomhedsbesøgene har været tilrette-

lagt, så netop de mange forskellige erhverv, der er på fx et

sygehus eller en fabrik, bliver tydelige for eleverne. Virk-

somhederne er orienteret om dette fokus og i sammen har

lærer og virksomhedsrepræsentant derfor afstemt, hvilke

aktiviteter eleverne laver på besøgsdagen. Et eksempel var

at arbejde med nogle ”rigtige” problemstillinger, som

sundhedspersonalet på sygehuset også skal forholde sig

til, selvfølgelig afstemt efter elevernes aldersgruppe.

Efterfølgende:

Eleverne kan nu se, hvor mange jobfunktioner, der findes.

Den viden kan bruges som afsæt for at tale om, hvilke ud-

dannelsesveje man kan gå for at arbejde i nogle af de job-

funktioner. I dette konkrete tilfælde skulle eleverne sidst

på ugen selv lave en præsentation af uddannelsesmæssige

veje til et job, de synes var spændende.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Vigtige erfaringer:

Konkurrenceelementet, den høje glade musik og det at opga-

ven kunne løses af de fleste, gav et friskt pust og lidt fysisk

afveksling

–

noget eleverne i mange projekter var glade for.

Varianten:

Utallige varianter kan opstå, men pointen er at bruge noget af

det, eleverne har erfaret gennem emneuge, virksomhedsbesøg

eller lignende og

så lade dem ”komme i tanker om det igen” –

her på en lidt fest-

lig måde. Konkurrenceelementet kan også understøttes af digi-

tale værktøjer fx Kahoot (kahoot.it), hvor man kan arbejde med

social pejling i en form for konkurrence. Også it-værktøjer som

fx Socrative (socrative.com), som giver mulighed for interak-

tive afstemninger og quizzer, MindMup (mind-mup.com),

hvor mindmaps kan deles med andre eller Lino (lino.it), hvor

eleverne kan slå billeder og videoer op og dele med andre, kan

hjælpe med at understøtte og fastholde processer, også digitalt.

Variationerne inden for apps, it-programmer mv. er enorm, så

vi må her opfordre til grundig research på aktuelle, relevante

platforme.

Udsyn i Udskolingen s. 39-40

Læringsaktivitet 2 – Karrierefortællinger

Aktiviteten:

En klasse og deres lærer besøger en større virksomhed. Ele-

verne ser og oplever, hvad de enkelte afdelinger laver, og de

mange forskellige arbejdsfunktioner, smede, elektrikere, inge-

niører, administration mv. Tre ansatte fortæller om deres kar-

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

rierevej, om den eller de uddannelser, de har, videreuddan-

nelse, deres aktuelle arbejdsområde, arbejdslivets betydning

for familielivet mv.

Forinden:

Kommunens lærere samt virksomhedens HR-ansvarlige per-

son har i starten af projektperioden været til opstartsmøde,

hvor karrierelæringsteori er blevet introduceret. Lærere og

virksomhedsrepræsentant har efterfølgende aftalt og forvent-

ningsafstemt, hvilket slags besøg de ønskede (fokus på karri-

erelæring, fx vise bredden af jobfunktioner, de mange uddan-

nelsesveje til job mv.). Eleverne har hørt om virksomheden,

inden de kommer, og har fået konkrete opgaver, de skal løse

undervejs, fx tage billeder og skrive deres oplevelser ned på

deres tablet. Læreren er med hele vejen.

Efterfølgende:

Elever og lærere taler sammen i klassen om de konkrete ople-

velser, personerne, de mødte, og de ting, personerne fortalte.

Eleverne arbejder videre med opgaver, som virksomheden

stiller til rådighed, fx inden for marketing, oversættelse, tek-

nisk produktudvikling mv. Dette præsenteres til slut for virk-

somheden.

Vigtige erfaringer:

Det fungerede godt, at virksomhed, elever og lærere var for-

beredt på, hvad der skulle ske, og havde klare opgaver. Læ-

rerne oplevede overraskende stor velvilje fra flere virksomhe-

ders side. Virksomheden kunne bruge karrierelæringstanke-

gangen til at kvalificere de skoleklassebesøg, de normalt ple-

jede at have.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Varianten:

Karrierefortællinger kan nemt indgå i et samarbejde med for-

ældre også. Det gælder for den aktivitet, ligesom når det er

medarbejdere i en virksomhed, at det er vigtigt, at forældrene

er forberedt på, hvad der skal foregå, og hvad deres fortællin-

ger skal bruges til.

Udsyn i Udskolingen s. 45-46

Læringsaktivitet 3 – U-løb (uddannelsesløb)

Aktiviteten:

Eleverne er i grupper på fire på løb rundt i skolens omkring-

liggende bykvarter. Posterne, der hver tager 45 minutter, er:

Lav hver en collage med overskriften: “Sådan ser mit

drømmeliv ud om 10 år

–

og sådan var vejen der-

hen”. Klip billeder og tekst ud fra blade, lim

på.

2. Gå ud på gaden og indsaml data til statistisk under-

søgelse. Spørg først om det er o.k., at I stiller spørgs-

mål. Spørg herefter og noter i skema: Har du gen-

nemført en ungdomsuddannelse? Hvilken? Hvor-

for valgte du lige den? Skriv hovedpointer ned, og

giv tilbage til lærer.

3.Gå på uddannelsesguiden

www.ug.dk/webform/mi

ne-jobforslag

og udfyld styrkekort. Fortæl de andre

i gruppen om de fem styrker, du har prioriteret. Af-

lever arket med dit navn på til læreren.

4.Gå

på caféen og ’check ind’ i baren. Her får I en kuvert.

Sæt jer ved bordet og åbn den. (I kuverten: I skal

skiftes til at svare på de tre spørgsmål, de andre må

ikke afbryde: ”Hvad skal du efter 9. klasse? Hvor-

for? Er det dit eget valg?”.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

5.Fortæl på skift i gruppen om jeres praktik. Find et bil-

lede fra FB-gruppen, og fortæl de andre om det. De

andre må gerne stille spørgsmål undervejs.

6.Vælg et billedkort, der fortæller noget om dine tanker

for din fremtid. Fortæl på skift gruppen om valget

af billedet. Hvorfor valgte du lige det billede? Hvad

fortæller det om dine tanker for din fremtid? Hæng

billedet op på gangen.

Forinden og efterfølgende

Aktiviteten er en del af at binde allerede eksisterende aktivi-

teter sammen ud fra en karrierelæringstankegang. Fx da ele-

verne var i praktik og undervejs skulle udfylde refleksions-

øvelser, tage billeder, de delte med klassen i et Facebook-

grupperum mv.

Vigtige erfaringer:

Det var formålet, at eleverne ud over at lære uddannelses- og

arbejdslivet at kende også skulle lære sig selv at kende, i for-

hold til det de oplevede i de forskellige delaktiviteter. I denne

konkrete aktivitet blev lokalområdets særkende, bymiljø med

caféer, brugt aktivt. Eleverne fik følelsen af at deltage i noget

særligt, fx da de var alene på café for at tale uddannelsesvalg.

Grupperne gjorde det nemmere for eleverne at reflektere.

Varianten:

Ligger skolen i et helt andet slags område, fx tæt på industri-

kvarter, en skov, havet, biblioteket, er der måske andre mulig-

heder for at inddrage de ’særlige rum’, som lokalområdet til-

byder, til at give en scene for nogle af elevernes aktiviteter

Udsyn i Udskolingen s. 52-53

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Læringsaktivitet 4 – Jobansøgninger og 'rigtige' job

Aktiviteten:

En klasse besøger en stor produktionsvirksomhed. Eleverne

arbejder side om side med de ansatte i de forskellige afde-

linger. Eleverne er med til små arbejdsopgaver, og de an-

satte fortæller undervejs.

Forinden:

Lærer har i samarbejde med UU-vejleder kontaktet virk-

somheden og aftalt rammer og koncept for samarbejdet.

Eleverne skriver før besøget ’jobansøgninger’. I klassen af-

holdes jobsamtale med udvalgte elever, hvor virksomhe-

dens leder er interviewer. Han forklarer eleverne, hvad han

kigger på og hvorfor, når han ansætter. Alle elever fordeles

ud fra ansøgningerne på afdelinger.

Efterfølgende:

I klassen fortæller eleverne hinanden om deres afdelinger.

Senere besøger eleverne ungdomsuddannelsesinstitutioner,

hvor man kan uddanne sig i retning af det ’job’, de havde

på virksomheden.

Vigtige erfaringer:

Tæt samarbejde mellem virksomhed, lærer og UU-vejleder

er vigtigt. Besøget på ungdomsuddannelserne var denne

gang ikke aftalt ’særligt’ i forhold til karrierelæringstanke-

gang. Det ønsker projektet at gøre næste gang

Udsyn i Udskolingen s. 60

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Læringsaktivitet 5 – Interviewteknik

Aktiviteten:

Elever ’adopteres’ af virksomheder i lokalområdet. Tre-fire

gange er eleverne på to timers besøg hos deres virksomhed,

én gang er det et dagsbesøg. Eleverne samler undervejs infor-

mationer, fx billeder af virksomheden, interviews med ansatte

om deres arbejde, efter aftale med virksomheden. Én gang

kommer læreren på besøg.

Forinden:

Eleverne har i dansk lært om interviewteknik. Virksomhe-

derne har nogle uger forinden været på besøg på skolen og

præsenteret sig for eleverne, som på baggrund heraf vælger,

hvor de gerne vil hen. Eleverne har i dansk derfor også arbej-

det med at skrive ansøgninger.

Efterfølgende:

Eleverne skal fremlægge det, de har fundet ud af under besø-

gene, for skolekammerater (når de er halvt igennem forløbet)

og til sidst for forældre og virksomheder.

Vigtige erfaringer:

Eleverne får med interviewteknikken nogle redskaber til at gå

nysgerrigt og åbent til værks, når de undersøger uddannelses-

og arbejdslivsverdenen. Tydelig start-, løbende og afsluttende

information til forældre, virksomheder og elever fungerede

godt.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Varianten:

Man kan lave en uddannelsesavis på baggrund af det, ele-

verne oplever i interviews og ved research om uddannelser.

Til sidst præsenteres uddannelsesavisen for forældrene.

Udsyn i Udskolingen s. 63

Læringsaktivitet 6 – Progression i 7., 8. og 9. klasse

Aktiviteten:

Hvert klassetrin har en uge om Udsyn i Udskolingen.

7. klasse

har fokus på det nære, hvor forældre og tidligere ele-

ver fortæller om den vej, de er gået og hvorfor, elever og lærer

besøger sygehuset, sæbefabrikken m.fl.

8. klasse

har fokus på erhvervsuddannelserne og besøger en

erhvervsskole, hvor de undervejs skal producere fx blomster-

kasser og lave mad med urter og til sidst være med på udstil-

ling på erhvervsskolen.

9. klasse

besøger virksomheder i en større by, taler med en fol-

ketingspolitiker og besøger gymnasiale ungdomsuddannel-

ser. Fokus er generelt på opmærksomt at opleve de steder,

man besøger, det kan alle være med til, også selvom man må-

ske ikke skal den vej selv.

Forinden:

Lærerne har gjort meget ud af kommunikation og forvent-

ningsafstemning med virksomheder og ungdomsuddannel-

sesinstitutioner, fx i forhold til at specificere, hvad de gerne

vil, eksempelvis høre om forskellige erhverv og uddannelses-

veje, som virksomhedens ansatte har haft. Alle elever (med

mødepligt) og forældre har været til fælles opstartsforedrag

om den gode overgang fra skolen til ungdomsuddannelse

med en fremtidsforsker.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Efterfølgende:

Undervejs igennem ugen udfylder eleverne refleksionsark,

hvor de skal forholde sig til Laws (2009) kategorier: Laws kate-

gorier: mærke, ordne, fokusere og forstå. Til sidst og igen efter

noget tid taler læreren og eleverne om, hvad de har oplevet og

lært.

Vigtige erfaringer:

Kommunikation og afstemning med virksomheder og uddan-

nelsesinstitutioner er ekstremt afgørende for udbyttet. For ele-

verne kan det være øjenåbnende og befriende at se, at mange

(uddannelses)veje kan føre til målet. Og at målet også kan æn-

dre sig undervejs.

Udsyn i Udskolingen s. 65-66

Læringsaktivitet 7 – Logbog

Aktiviteten:

Hver gang eleverne laver en aktivitet eller har et emne, der

handler om uddannelse og arbejde, skriver de undervejs deres

indtryk ned i en logbog på deres tablet. Appen Book Creator

anvendes til dette. Her er det muligt at tage billeder, som ele-

verne skriver kommentarer til.

Forinden:

Eleverne er vant til at arbejde med tablet i skolens øvrige un-

dervisning.

Efterfølgende:

Over et stykke tid har eleverne samlet indtryk, billeder og op-

levelser og kan vende tilbage til dem og kigge på billeder af

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

aktiviteter, de har deltaget i, og læse de tekster, de har skrevet.

Den digitale understøttelse giver nem adgang til udsagn og

indtryk, de har haft over en længere periode.

Vigtige erfaringer:

En måde at hjælpe eleverne til at huske indtryk og refleksioner

med muligheden for at vende tilbage til det løbende.

Varianten:

Elever, som er i praktik, benytter en Facebookgruppe til at do-

kumentere og undersøge egen læring under praktikopholdet.

Eleverne skal hver dag uploade et billede som svar på spørgs-

mål, deres lærer har stillet. De skal også skrive en kommentar

til billedet. Når eleverne vender tilbage fra praktik, kan de ar-

bejde videre med eget og andres materiale.

Udsyn i Udskolingen s. 70

Læringsaktivitet 8 – Gruppevejledning som valgfag

Aktiviteten:

Oprette valgfag med fokus på Udsyn i Udskolingen, dvs. et

særligt tema, fx at kunne gå glad til eksamen, styrker og

svagheder, besøge virksomheder, uddannelsesinstitutioner

mv., dele bekymringer, glæder, sorger og holdninger med

hinanden. Der kan arbejdes med forskellige metoder og til-

gange, fx ‘den kognitive diamant’, hvor forholdet mellem

tanker, følelser, krop og handling undersøges. Der kan ar-

bejdes med et synliggjort ‘humørbarometer’, som almengør

bekymringer, glæder og sorger. Eller der kan arbejdes med

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

styrkekort, og det kan undersøges, hvilke styrker man bru-

ger i forskellige situationer, og hvordan disse gør en forskel

i forhold til uddannelse og job og arbejdsliv.

Forinden:

Eleverne er måske blevet spurgt, om de kunne have lyst til

at være med, fx hvis det handler om eksamensangst, eller

hvis de ikke er vurderet uddannelsesparate. Der dannes en

gruppe, for hvem der vil være et fælles meningsfuldt tema

at arbejde med. Det kunne være piger fra 8. og 9. klasse, som

ikke er vurderet uddannelsesparate. Når årgange blandes,

vil det være vigtigt forinden at overveje, hvad man vil

bruge alders- og erfaringsforskellen aktivt til. Læreren gør

sig overvejelser over fokus, formål, struktur, aktiviteter, og

hvordan gruppen skal evaluere valgfaget.

Efterfølgende:

Læreren kan, efter aftale med eleverne, videregive nogle af

oplysningerne til klasselæreren, så vedkommende er un-

derrettet og kan være med til at arbejde videre i den retning,

eleven i gruppevejledningen har fundet frem til, fx noget de

gerne vil blive bedre til. Det kan også foregå som treparts-

samtale mellem eleven og de to pågældende lærere. Eller

gruppevejledningsforløbet kan give anledning til et særligt

fokus i samarbejdet med forældre.

Vigtige erfaringer:

At være i en ny og anden konstellation end stamklassen kan

give nye muligheder for deltagelse. At arbejde med uddan-

nelse, job og egne styrker i fællesskab kan udvide perspek-

tivet og almengøre problemstillinger, som den enkelte føler

sig alene med. Trygheden i en gruppe, hvor deltagerne er

fælles om en problemstilling, kan være et alternativt rum

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

for læring og for, at ‘de stille’ kan komme til orde. Eleverne

udvikler empati i en gruppe, hvor man hører om andres

styrker såvel som svagheder, eller når man hører, hvorfor

en skolekammerat nogle gange er i dårligt humør.

Varianten:

At lade ’valgfaget’ indgå som en del af et andet forløb, fx på

linje med værkstedsfag.

Udsyn i Udskolingen s. 76-77

Læringsaktivitet 9 – Stamtræ med uddannelse og erhverv

Aktiviteten:

Eleverne laver et stamtræ over uddannelses- og erhvervshi-

storien i deres egen familie to generationer tilbage.

Forinden:

Eleverne taler med forældre og eventuelt bedsteforældre om

deres uddannelse og arbejde. Fx om begrundelsen for den el-

ler de uddannelser, de har taget (eller ikke taget), om noget

har ændret sig i løbet af deres arbejdsliv, og hvad der har væ-

ret vigtigt for dem.

Efterfølgende:

Uddannelses- og jobstamtræet kan give et grundlag, som ele-

verne kan arbejde videre med, både på et personligt plan og

også i forhold til mere fagfaglige emner, fx samfundsmæssige

og historiske aspekter.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Vigtige erfaringer:

Aktiviteten kan danne grundlag for, at klassen undersøger

normer og normers betydning for uddannelse og job dels i en

familie, dels i et lokalområde. Det er vigtigt at være opmærk-

som på, hvordan der tages hensyn til elever fra hjem, hvor der

ikke er uddannelses- og måske heller ikke mange erhvervser-

faringer.

Varianten:

En variant

kan dreje sig om, at eleverne ’låner’ hinandens fa-

miliemedlemmer, hvis der er nogen i en klassekammerats fa-

milie, der laver noget, en elev synes er spændende, men som

eleven ikke selv umiddelbart har tilgang til mere læring om.

Som alternativ til den enkelte elevs uddannelses- og jobstam-

træ kunne klassens uddannelses- og jobstamtræ produceres.

Denne variant ville bidrage til at have mindre individfokus og

til almengørelse.

Udsyn i Udskolingen s. 81

Læringsaktivitet 10 – Cafémodellen for forældre

Aktiviteten:

Til et forældremøde. I grupper af fem-seks forældre + en fa-

cilitator arbejdes med spørgsmål og refleksion. Facilitato-

rerne er medlemmer af skolebestyrelsen, skoleleder eller

lignende og er særligt inviteret til arrangementet. Hver

gruppe sidder ved et bord med en papirdug på, hvor der

undervejs tegnes og skrives ud fra input fra facilitatoren.

Vedkommende læser spørgsmål op (givet på forhånd fra

lærerne) og åbner diskussionen ud fra en styret facilitering.

Der skiftes mellem at skrive og tegne på dugene og tale.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Grupperne skifter bord undervejs og ender til sidst ved eget

bord igen. Temaerne kan fx være: “Vi ændrer os med ti-

den”, og spørgsmålene kan være ”Hvad har du skrevet ned

på dugen, da du hørte overskriften blive læst op? Hvordan

kan det være, at det lige var det, du hæftede dig ved? Hvor-

for var det interessant for dig? Hvad er vigtigt for dig i for-

hold

til “vi ændrer os med tiden”?”.

Forinden:

Lærerne har instrueret facilitatorerne i deres særlige op-

gave, uden at forældrene er til stede. En UU-vejleder har

holdt oplæg om uddannelsessystemet for alle til forældre-

mødet.

Efterfølgende:

Når grupperne er tilbage ved eget bord, skal de udvælge de

vigtigste udsagn, som rangordnes ved en hemmelig afstem-

ning, så forældregruppen til sidst har en liste af priorite-

rede, vigtige udsagn. Disse udsagn danner nu grundlag for

de spørgsmål, lærerne laver til eleverne, når de skal igen-

nem Cafémodellen.

Vigtige punkter:

Det kan være en god idé at holde et fokus på at udfordre

vante forestillinger, så det ikke blot bliver en reproduktion

af normer, men at man faktisk sætter spørgsmålstegn ved

(ende)gyldigheden af bestemte normer.

Varianten:

At lave Cafémodellen for eleverne enten med tidligere ele-

ver som facilitatorer eller med udvalgte elever fra klassen.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Udsyn i Udskolingen s. 84

Læringsaktivitet 11 – Samarbejdet med flere små virksomheder

Aktiviteten:

Eleverne får besøg af MANGE små virksomheder på en te-

madag. Eleverne vælger sig ind på den eller de virksomhe-

der, de finder interessante, og besøger dem nogle uger se-

nere.

Forinden:

Skolelederen har skrevet venligt ud til 70 små virksomhe-

der med en eller få ansatte i lokalområdet og fortalt om pro-

jektet og det ønskede samarbejde.

Efterfølgende:

Inden de to møder mellem elever og virksomheder (først på

skolen, siden i virksomheden) har skolen skrevet til virk-

somhederne og forældrene med information om status på

forløbet.

Vigtige erfaringer:

Her er lokalområdets særpræg inddraget

–

det vil sige de

mange mindre virksomheder. Ingen virksomheder var

store nok til at rumme en hel årgang, men mange bække

små gav nye muligheder. At det var skolelederen, der hen-

vendte sig, gav projektet en vis pondus. Information før,

under og efter besøgene samt at virksomhedernes dagsor-

den blev tænkt ind (lokalpresse, være med til at gøre noget

for området mv.) kan have været medvirkende til projektets

store tilslutning.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Udsyn i Udskolingen s. 92

Læringsaktivitet 12 – Hele kommunen udbreder udsyn

Aktiviteten:

Hver gang der havde været afholdt forskningscirkelmøde,

hvor projektdeltagerne fra det lokale projekt deltog, tog pro-

jektdeltagerne efterfølgende hjem og mødtes med repræsen-

tanter for uddannelsesinstitutionerne i egne ’forsknings-

cirkler’. Her kunne det aftales, hvordan forskellige tiltag skulle

føres ud i livet, og der var fra starten ledelsesopbakning (de var

med i kommunens egen ”forskningscirkel”).

Forinden:

Alle kommunens udskolingslærere var til opstartsmøde om

karrierelæring og projektet.

Efterfølgende:

Der er planer om at udrulle Udsyn i Udskolingen til hele kom-

munen. Samarbejdet herom eksisterer allerede i kraft af mø-

derækken, der er gennemført undervejs.

Vigtige erfaringer:

Kommunen har på grund af beliggenhed særlige potentialer

og udfordringer, både på grund af geografi og også i forbin-

delse med skolesammenlægninger på forskellige matrikler

samt ændringer for ungdomsuddannelsesmuligheder i kom-

munen. Det var derfor særlig vigtigt at arbejde på tværs af in-

stitutionelle grænser. En lille praktisk ting, der muliggjorde

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

dette, var, at møderne i eget projektregi på forhånd var fastsat,

man skulle altså ikke bruge tid undervejs på at finde datoer.

Varianten:

Andre former for netværk på tværs af skoler og institutioner

kan etableres i forbindelse med at understøtte implementering

eller blot at fastholde praksis med et særligt fokus og perspek-

tivskifte. Det kan fx være i form af UJ-vejledere, der mødes og

drøfter praksis og problemstillinger eller udviklingsmulighe-

der i praksis. Disse netværk kunne have UU-repræsentation.

Udsyn i Udskolingen s. 94+95

Læringsaktivitet 13 – Forlagt undervisning i samarbejde med erhvervs- skole

Aktiviteten:

En klasse og en matematiklærer besøger en erhvervsskole til

en ’produktdag’. Eleverne skal sammen med erhvervsskolens

faglærer fremstille et konkret produkt, fx en grillstarter eller

mure en frise med skolens navn.

Forinden:

Erhvervsskolens faglærer har været på besøg i klassen og for-

talt om sit fag og den opgave, eleverne skal arbejde med på

produktdagen. I de følgende fire-otte uger indtil produktda-

gen arbejder lærer og elever med temaet, fx materialevalg og

matematiske udregninger. Lærer og erhvervsskolelærer er en-

til-en-ansvarlige for dialog og tidspunkter for besøg på tværs.

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren

UDSYN I UDSKOLINGEN – KVANTITATIV EVALUERING AF

LÆRINGSORIENTERET UDDANNELSESVEJLEDNING

Efterfølgende:

Eleverne præsenterer deres produkt for forældrene samme

dag på erhvervsskolen.

Vigtige erfaringer fra projektet:

Den enkelte lærers ejerskab i forhold til aktiviteten og forstå-

else af karrierelæringstankegangen har betydning for, hvor

godt forløbet integreres, og i hvilken grad læringspotentialet

udnyttes. Det kan inspirere til at lave fx matematik integreret i

materielle ting eller ’hente matematik ud af tingene’.

Varianten:

Faglærer fra skolen, fx matematiklæreren, mødes med mate-

matiklæreren fra ungdomsuddannelsen. De udveksler under-

visningsformer og i fællesskab tilrettelægger de forlagt mate-

matikundervisning på ungdomsuddannelsen for en 7., 8. eller

9. klasse.

Udsyn i Udskolingen s. 99-100

BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren BUU, Alm.del - 2021-22 - Bilag 69: Orientering om opfølgende evaluering af projektet "Udsyn i udskolingen", fra børne- og undervisningsministeren