Børne- og Undervisningsudvalget 2013-14
BUU Alm.del Bilag 14
Offentligt
1289203_0001.png
1289203_0002.png
1289203_0003.png
1289203_0004.png
1289203_0005.png
1289203_0006.png
1289203_0007.png
1289203_0008.png
1289203_0009.png
1289203_0010.png
1289203_0011.png
1289203_0012.png
Til
Undervisningsministeriet(Kvalitets- og Tilsynsstyrelsen)Dokumenttype
Bilag til Evaluering af de nationale test i folkeskolenDato
September 2013
BILAG 3:DETALJERET REDEGØ-RELSE FOR REGISTER-ANALYSER

DETALJERET REDEGØRELSE FOR REGISTERANALYSER

RambøllHannemanns Allé 53DK-2300 København ST +45 5161 1000F +45 5161 1001www.ramboll.dk
1BILAG

BILAG 3

DETALJERET REDEGØRELSE FOR REGISTERANALYSER

Hvordan undersøges effekten af de nationale test?Som udgangspunkt er det meget vanskeligt at undersøge effekten af de nationale test. Data fradet nationale testsystem kan vise, hvordan eleverne har klaret testene over tid, men som ud-gangspunkt er det ikke til at sige, om en eventuel fremgang er en effekt af testene eller en effektaf andre forhold. Udfordringen er, at vi ikke har nogen at sammenligne med. Alle eleverne i test-systemet har taget testene, og vi ved derfor ikke, hvordan de ville have klaret sig, hvis de ikkehavde taget en test.For at imødegå disse vanskeligheder med at undersøge effekten af de nationale test i sig selv,har evaluator til denne evaluering anvendt to metoder. Til effekter på elev- og skoleniveau be-nytter vi os af et sammenbrud i it-systemet i 2010, der gjorde, at ikke alle elever blev testet detår. Til effekter på landsplan undersøger vi forskelle mellem årgange lige før og lige efter testenesindførelse.Til førstnævnte analyse af elev- og skoleniveau udnytter vi, at it-systemet brød sammen i en pe-riode på ni dage fra den 2. til 10. marts 2010. Det betød, at de elever, der skulle have gennem-ført en test på det tidspunkt, slet ikke fik nogen test.1Ved at sammenligne disse elevers resulta-ter ved efterfølgende nationale test med resultaterne for alle de andre elever, der gennemførtetesten i 2010, kan vi undersøge effekten af de nationale test. Denne analyse hviler på den anta-gelse, at det var tilfældigt hvilke elever, der blev ramt af nedbrud.Vi fokuserer på nedbrud i dansk, læsning i 2., 4. og 6. klasse i 2010 og ser på sammenhængenmellem, hvorvidt elever er blevet testet i 2010 og efterfølgende testresultater i dansk, læsning i4., 6., og 8. klasse i 2012. Der er i alt 147.197 elever, som deltog i den nationale test i dansk,læsning i 2012 på de nævnte klassetrin, og somentenhar været udsat for nedbrud (10.907)el-lerer blevet testet (136.290) i dansk, læsning i 2010. Vi ser således bort fra de ca. 10 pct. afeleverne, som er blevet fritaget, som har været i udlandet eller på friskole og vendt tilbage, samtelever som uden en gyldig grund ikke er blevet testet i dansk, læsning. Dette skyldes, at det ikkekan forventes, at det er tilfældigt, om disse deltager eller ej. I robusthedsanalyser ser vi også påandre fag for de relevante klassetrin.Vi benytter anonymiserede registerdata fra Danmarks Statistik til at sammenligne den socialebaggrund for de elever, der gennemførte testen, med de elever, der ikke gennemførte på grundaf nedbruddet. Tabel A.1 viser, at disse to grupper ligner hinanden meget på alle baggrundsfor-hold. I tabel A.2 tester vi, om der er statistisk signifikante forskelle mellem de to grupper. Denneanalyse bekræfter, at der kun er meget få signifikante forskelle.
1
Skolerne blev tilbudt mulighed for at booke en ny test, men det skete kun for 14 elever ud af de 10.906, der blev udsat for et ned-
brud, og har derfor ikke nogen praktisk betydning for resultaterne i disse analyser.Nationale test
2BILAG
Tabel A.1 Gennemsnit og standardafvigelser for baggrundskarakteristika
(1)TestetGnsBarns karakteristika:Dreng4. klasse6. klasseTidligt i skoleSent i skoleEtnisk danskerEtnisk europæerEnebarnAntal børnMangler, antal børnForældres uddannelse:Mor, gymnasial uddannelse eller mindreMor, erhvervsuddannetMor, kort videregående uddannelseMor, mellemlang videregående uddannelseMor, lang videregående uddannelseMangler, mors uddannelse
(2)NedbrudStd.afv. Gns Std.afv.0.5000.4730.4730.1160.3830.2900.1680.2930.9570.1350.2610.4840.2070.4140.2660.1380.2180.4900.2470.3220.2930.2750.1790.1020.1790.3480.1280.2730.0410.1420.2510.2740.4220.4950.4400.1130.3780.1750.2780.1330.5070.3650.3370.0130.1870.9150.0260.1042.3420.0200.0750.3660.0440.2200.0850.0210.0530.3920.0620.1180.1010.0880.0320.0110.0340.1380.0170.0830.0020.0190.0660.0870.2300.4240.2710.0150.1720.0330.0820.016109070.5000.4820.4730.1140.3900.2780.1600.3050.9660.1390.2640.4820.2050.4140.2790.1420.2230.4880.2410.3220.3010.2830.1760.1050.1810.3450.1300.2760.0420.1380.2480.2820.4210.4940.4450.1200.3770.1790.2740.126
0.5060.3370.3380.0140.1790.9070.0290.0952.3600.0190.0730.3740.0450.2200.0760.0190.0500.4000.0650.1180.0950.0820.0330.0100.0330.1410.0170.0810.0020.0210.0670.0820.2310.4300.2630.0130.1730.0320.0850.018136290
Far, gymnasial uddannelse eller mindreFar, erhvervsuddannetFar, kort videregående uddannelseFar, mellemlang videregående uddannelseFar, lang videregående uddannelseMangler, fars uddannelse
Arbejdsmarkedsstatus og forældres gns. indkomst:Mor, selvstændigMor, under uddannelseMor, ledigMor, øvrig aktivitetMangler, mors beskæftigelse
Far, selvstændigFar, under uddannelseFar, ledigFar, øvrig aktivitetMangler, fars beskæftigelse
Gennemsnitsindkomst, m. 125.000-220.000Gennemsnitsindkomst, m. 220.000-345.000Gennemsnitsindkomst, o. 345.000Mangler, gennemsnitsindkomst
Mor, ledig m. 1-50%Mor, ledig o. 50%Far, ledig m. 1-50%Far, ledig o. 50%Antal observationerNationale test
3BILAG
Tabel A.2 Regression af nedbrud i dansk, læsning, på baggrundskarakteristika
(1)Nedbrud, dansk, læsning 2010Barns karakteristika:Dreng4. klasse6. klasseTidligt i skoleSent i skoleEtnisk danskerEtnisk europæerEnebarnAntal børnForældres uddannelse:Mor, gymnasial uddannelse eller mindreMor, erhvervsuddannelseMor, kort videregående uddannelseMor, mellemlang videregående uddannelseMor, lang videregående uddannelseFar, gymnasial uddannelse eller mindre-7.02e-05(0.00139)0.0114***(0.00171)0.00529***(0.00168)-0.00334(0.00591)0.00309*(0.00186)0.00895***(0.00320)0.000763(0.00494)0.00775***(0.00276)0.000507(0.000921)0.00258(0.00304)-0.000724(0.00207)-0.00124(0.00372)2.78e-05(0.00245)0.00659*(0.00348)0.00391(0.00348)
Nationale test
4BILAG
Tabel A.2 (fortsat)
Far, erhvervsuddannelseFar, kort videregående uddannelseFar, mellemlang videregående uddannelseFar, lang videregående uddannelseArbejdsmarkedsstatus og forældres gns. indkomst:Mor, selvstændigMor, under uddannelseMor, LedigMor, øvrig aktivitetFar, selvstændigFar, under uddannelseFar, ledigFar, øvrig aktivitetGennemsnitsindkomst, m. 125.000-220.000Gennemsnitsindkomst, m. 220.000-345.000Gennemsnitsindkomst, o. 345.000Mor, ledig m. 1-50%Mor, ledig o. 50%Far, ledig m. 1-50%Far, ledig o. 50%Antal observationer
(1)Nedbrud, dansk, læsning 2010-0.000852(0.00198)-0.00315(0.00318)-0.000166(0.00272)0.00186(0.00306)-0.00325(0.00395)0.00328(0.00714)0.00132(0.00448)-0.000187(0.00251)0.00274(0.00257)0.00252(0.0168)0.00203(0.00579)0.000773(0.00297)0.000783(0.00334)-0.000372(0.00353)0.000446(0.00374)0.00131(0.00194)0.00537(0.00451)-0.00158(0.00263)-0.00508(0.00602)147,197
Note: Et konstant led og indikator variabler for manglende variabler er inkluderet. Stdfejl i parenteser. *** p<0.01, ** p<0.05, * p<0.1.Nationale test
5BILAG
På baggrund af disse sammenligninger af elever, der gennemførte og ikke gennemførte nationaletest på grund af nedbrud, benytter vi i analyserne forskellen i efterfølgende nationale testresulta-ter mellem de to grupper, som et mål for effekten af de nationale test.Vi anvender en almindelig OLS (Ordinary Least Squares) regressionsmodel til at undersøge densamlede effekt. Tabel A.3 viser resultatet af disse analyser både med og uden kontrol for de bag-grundsvariable, der også blev anvendt i tabel A.1 og A.2. De afhængige variable er testscoresved de nationale test i dansk, læsning i 4., 6. og 8. klasse, både for det samlede resultat og op-delt på de tre profilområder. Testskalaen er oprindelig en Rasch-skala, der er blevet standardise-ret til et gennemsnit på 0 og en standardafvigelse på 1. Model 1 viser resultatet for den samledetestscore uden brug af kontrolvariabler. Model 2-4 tilføjer gradvist flere kontrolvariabler. Det ses,at estimatet af effekten af nedbrud (som er det omvendte af effekten af at gennemføre en test –derfor er fortegnet negativt), ikke påvirkes betydeligt af indførelsen af kontrolvariablerne, hvilketbestyrker, at sammenhængen ikke er drevet af, at det var elever med særlige forudsætninger,der blev ramt af nedbrud. I model 5-7 opdeles effekten på hvert af de tre profilområder, der erindeholdt i dansk, læsning. Det ses, at den største effekt stammer fra afkodning.Tabel A.3 Hovedresultater, effekten af nedbrud i dansk, læsning 2010 på resultater idansk, læsning i 2012(1)(2)(3)(4)(5)(6)(7)Total Score Total Score Total Score Total Score Sprogforståelse Afkodning TekstforståelseOLSNedbrud-0.0484** -0.0478** -0.0557*** -0.0558***(0.0236) (0.0236)(0.0152)(0.0151)147,1970.000147,1970.005147,1970.153147,1970.153-0.0429***(0.0161)147,1970.114-0.0659***(0.0147)147,1970.097-0.0370**(0.0147)147,1970.143
NobsR-squared
Kontrolvariable:KønNEJ+ klasseniveauNEJ+ ung/gammel-for-klasse, immig.statusNEJ+ forældres uddannelseNEJ+ familie struktur og søskende statusNEJ+ forældreindkomst og arbejdsmarkeds historikNEJNote: Robuste standard fejl i parenteser.*** p<0.01, ** p<0.05, * p<0.1
JAJANEJNEJNEJNEJ
JAJAJAJANEJNEJ
JAJAJAJAJAJA
JAJAJAJAJAJA
JAJAJAJAJAJA
JAJAJAJAJAJA
I de følgende tabeller er effekten opdelt for hhv. drenge og piger, klassetrin, mors og fars uddan-nelsesbaggrund samt indvandrerbaggrund. Dette er gjort ved at indføje såkaldte interaktionsled imodellen. Interaktionsleddene er produktet af nedbrud og den pågældende baggrundsvariabel.De viser, om der er statistisk signifikant forskel mellem baggrundsvariablen og den pågældendesammenligningsgruppe. Som det ses, er der kun få signifikante sammenhænge.
Nationale test
6BILAG
Tabel A.4 Heterogene effekter, køn og klassetrin(1)(2)(3)(4)(5)(6)(7)(8)Total score Sprogforståelse Afkodning Tekstforståelse Total score Sprogforståelse Afkodning TekstforståelseOLSNedbrudNedbrud * drengNedbrud * 4. klasseNedbrud * 6. klasse-0.0417**(0.0168)-0.0278(0.0199)-0.0330*(0.0190)-0.0195(0.0193)-0.0473***(0.0164)-0.0366*(0.0204)-0.0292*(0.0159)-0.0154(0.0196)-0.0696***(0.0267)-0.0406(0.0298)-0.0963***(0.0255)-0.0420*(0.0249)
0.00921(0.0336)0.0311(0.0337)
-0.00567(0.0339)-0.000600(0.0406)
0.0285(0.0332)0.0596*(0.0318)147,1970.097
-0.00395(0.0325)0.0191(0.0301)147,1970.143
Nobs147,197147,197147,197147,197147,197147,197R-squared0.1530.1140.0970.1430.1530.114Note: Alle kontrolvariable er medtaget, inklusiv de relevante main effects. Robuste standard fejl i parenteser.*** p<0.01, ** p<0.05, * p<0.1
Tabel A.5 Heterogene effekter, forældres uddannelse og indvandrerbaggrund
(1)(2)(3)(4)(5)(6)Total score Total score Total score Sprogforståelse Afkodning TekstforståelseOLSNedbrud-0.0572*** -0.0608*** -0.0592***(0.0167)(0.0174)(0.0156)Nedbrud * Far, videregående udd.0.00487(0.0204)Nedbrud * Mor, videregående udd0.0144(0.0194)Nedbrud * Indvandrer0.0401(0.0381)-0.0447***(0.0167)-0.0682***(0.0151)-0.0416***(0.0151)
0.0214(0.0398)
0.0276(0.0392)
0.0541(0.0352)147,1970.143
Nobs147,197147,197147,197147,197147,197R-squared0.1530.1530.1530.1140.097Note: Alle kontrolvariable er medtaget, inklusiv de relevante main effects. Robuste standard fejl i parenteser.*** p<0.01, ** p<0.05, * p<0.1
Endelig har vi også undersøgt, om der er forskel på, hvilke skoler der har haft effekt af de natio-nale test. Her grupperes skolerne efter deres karakterer ved afgangsprøverne i 2009, det vil sigeinden indførelsen af de nationale test. Som det ses af tabel A.6 tyder det på, at de 10 pct. bedstpræsterende skoler i 2009 ikke har haft effekt af testene. For de andre grupper af skoler er derikke signifikante forskelle.Tabel A.6 Heterogene effekter, karaktergennemsnit på skolen i 2009(1)(2)(3)(4)(5)(6)Total score Total score Total score Sprogforståelse Afkodning TekstforståelseOLSNedbrud-0.0673*** -0.0453*** -0.0532*** -0.0410** -0.0592*** -0.0385**(0.0192)(0.0162)(0.0168)(0.0177)(0.0165)(0.0159)Nedbrud * lavt scorende skole (<25%)0.0245(0.0495)Nedbrud * højt scorende skole (>75%)0.0448(0.0343)Nedbrud * meget lavt scorende skole (<10%)0.0181(0.0794)Nedbrud * meget højt scorende skole (>90%)0.0773**0.05810.05800.0862*(0.0369)(0.0359)(0.0388)(0.0490)Nobs125,001125,001125,001125,001125,001125,001R-squared0.1590.1570.1570.1180.0980.146Note: Alle kontrolvariable er medtaget, inklusiv de relevante main effects. Færre observationer, da ikke alle skoler har 9. klassetrin.Robuste standard fejl i parenteser. *** p<0.01, ** p<0.05, * p<0.1
Nationale test
7BILAG
Vi har undersøgt, om elever som tager de frivillige test i dansk, læsning efter 2010 påvirkes min-dre af at have været udsat for nedbrud. Estimaterne tyder ikke umiddelbart på dette, jf. tabelA.7. Det er dog væsentligt at være opmærksom på, at det ganske givet ikke er tilfældigt, hvilkelærere der – efter at have været udsat for nedbruddet – har valgt at lade en klasse deltage i detilsvarende frivillige test.Tabel A.7 Heterogene effekter, frivillige test
(1)(2)(3)(4)Total score Sprogforståelse Afkodning TekstforståelseOLSNedbrudFrivillig testNedbrud * frivillig test-0.0411**(0.0203)0.162***(0.0107)-0.0116(0.0265)147,1970.158-0.0290(0.0215)0.111***(0.0129)-0.0162(0.0291)147,1970.116-0.0583***(0.0198)0.172***(0.00972)0.00542(0.0258)147,1970.102-0.0185(0.0187)0.144***(0.00973)-0.0223(0.0249)147,1970.147
NobsR-squared
Note: Alle kontrolvariable er medtaget. Robuste standard fejl i parenteser.*** p<0.01, ** p<0.05, * p<0.1Vi har undersøgt om nedbrud i ét fag har effekt på resultaterne i andre fag. Hvis det var tilfældet,ville det indikere, at effekten af de nationale test (til dels) skyldtes, at eleverne blev bedre til detatgennemføreen test generelt og ikke så meget blev dygtigere af den feedback, som testresul-taterne giver. Resultaterne viser imidlertid, at det ikke er tilfældet, se tabel A.8. Nedbrud i dansk,læsning i 2., 4. eller 6. klasse har ikke nogen statistisk signifikant effekt på resultaterne i hhv.matematik i 3., matematik i 6. eller fysik/kemi, biologi eller geografi i 8. klasse. Tilsvarende harnedbrud i matematik i 6. klasse heller ikke nogen statistisk signifikant effekt på fysik/kemi, biolo-gi eller geografi i 8. klasse. Disse resultater bestyrker derfor den tolkning, at gennemførelse afnationale test har en effekt, fordi eleverne bliver dygtigere til det fag, de bliver testet i, og ikkeblot dygtigere til at gennemføre test.
Nationale test
8BILAG
Tabel A.8 Effekter af nedbrud på tværs af fag
(1)Matematik3. klasseOLSNedbrud, Læsning, 2. klasseNedbrud, Læsning, 4. klasseNedbrud, Læsning, 6. klasseNedbrud, Matematik, 6. klasse
(2)Læsning4. klasse
(3)(4)(5)(6)(7)(8)Læsning Matematik Læsning Fysik Biologi Geografi6. klasse 6. klasse 8. klasse 8. klasse 8. klasse 8. klasse
0.00192 -0.0597***(0.0292) (0.0228)-0.0386* 0.0315(0.0231) (0.0304)-0.0490*(0.0277)-0.0403(0.0301)-0.0149(0.0307)-0.0305(0.0312)-0.0259(0.0271)0.0123(0.0322)-0.0322(0.0291)-0.00917(0.0362)
NobsR-squared
50,5270.111
49,8930.145
49,7900.159
49,7240.143
45,4630.159
44,4900.123
44,5220.134
44,4250.152
Note: Alle kontrolvariable er medtaget, inklusiv de relevante main effects. Robuste standard fejl i parenteser.*** p<0.01, ** p<0.05, * p<0.1Til analyser af effekt på landsplan for de første årgange, der gennemførte nationale test i 8. klas-se, har vi med en såkaldt difference-in-differences-analyse sammenlignet karaktererne ved af-gangsprøverne i testfagene (dansk, læsning, fysik/kemi, geografi og biologi) med ikke-testfagene(matematik og engelsk). Den metode beregner ændringerne (differences) i henholdsvis testfage-ne og ikke-testfagene fra 2009- og 2010-afgangsprøverne til 2011- og 2012-afgangsprøverne forhenholdsvis testfagene og ikke-fagene. Forskellen (difference) mellem disse ændringer (differen-ces) benyttes som mål for effekten af at indføre de nationale test. Forklaringen er, at hvis der eren generel forskel mellem på den ene side 2009- og 2010-årgangene og på den anden side2011- og 2012-årgangene (ud over hvad der kan kontrolleres for med de tilgængelige bag-grundsvariabler), så opfanges denne forskel ved at sammenligne ikke-testfagene mellem de toførste og de to efterfølgende årgange. Tilsvarende: Hvis der er en generel forskel i udgangspunk-tet mellem testfag og ikke-testfag, så opfanges den af forskellen mellem testfag og ikke-testfag i2009 og 2010. Den forskel, der er tilbage, når man på den måde har fratrukket både forskellenmellem årgangene og forskellene mellem fagene i udgangspunktet, kan derfor benyttes som målfor effekten af at indføre de nationale test.Vi benytter to årgange før og to årgange efter testenes indførelse for at gøre analyserne mererobuste over for ikke-kontrollerede forskelle mellem årgangene.Da årgangen, der tog afgangsprøve i 2012, var blevet testet i engelsk i 7. klasse i 2010, foreta-ges separat analyse, der inkluderer engelsk blandt prøvefagene. Det forstærker blot resultaterneen smule. Tilsvarende foretages en robusthedstest ved at ekskludere ordenskaraktererne i dansk,læsning fra prøvefagene, da orden ikke er en del af det, der testes ved prøverne i dansk, læs-ning. Det ændrer heller ikke substantielt ved resultaterne. I alle analyser kontrolleres for desamme kontrolvariable, der anvendes i tabel A.1 og A.2.Der anvendes en skoleårgangs ”fixed effects”-model for også at kontrollere for nogle faktorer,der ellers ikke er data på. Der anvendes såkaldte klyngekorrigerede standardfejl som en mereforsigtig test, der tager højde for, at elever inden for en årgang på samme skole kan ligne hinan-den mere end elever på forskellige skoler og årgange. Resultaterne er også robuste for disse mo-delspecifikationer.Resultatet ses i tabel A.9. Resultatet viser, at testfagene havde en nettostigning i karaktererne,der var 0,5 karakterpoint (på 7-trinskalaen) højere end ændringen i ikke-testfagene.
Nationale test
9BILAG
Tabel A.9 Differerences-in-difference analyse af effekten af nationale test på elevår-gange
(1)År 2011-12TestfagÅr 2011-12 *TestfagBarns karakteristika:DrengTidligt i skoleSent i skoleEtnisk danskerEtnisk europæerEnebarnAntal børnForældres uddannelse:Mor, gymnasial uddannelse eller mindreMor, erhvervsuddannelseMor, kort videregående uddannelseMor, mellemlang videregående uddannelseMor, lang videregående uddannelse-0,4135***(0,0308)-0,7050***(0,0131)0,4979***(0,0175)-0,3552***(0,1340)0,4405(0,4689)-1,1690***(0,1842)-0,3696*(0,2144)0,0093(0,3364)0,1514(0,2630)-0,1004(0,0808)1,3623***(0,4118)0,9481***(0,2082)1,9557***(0,4604)1,9031***(0,2285)2,1143***(0,3543)
Nationale test
10BILAG
Tabel A.9 (fortsat)
(1)Far, gymnasial uddannelse eller mindreFar, erhvervsuddannelseFar, kort videregående uddannelse0Far, mellemlang videregående uddannelseFar, lang videregående uddannelseArbejdsmarkedsstatus og forældres gns. indkomst:Mor, selvstændigMor, under uddannelseMor, LedigMor, øvrig aktivitetFar, selvstændigFar, under uddannelseFar, ledigFar, øvrig aktivitetGennemsnitsindkomst, m. 125.000-220.000Gennemsnitsindkomst, m. 220.000-345.000Gennemsnitsindkomst, o. 345.000Mor, ledig m. 1-50%Mor, ledig o. 50%Far, ledig m. 1-50%Far, ledig o. 50%NobsNationale test
2,0867***(0,3512)0,8542***(0,1989)1,7746***(0,3343)1,5616***(0,2652)2,0637***(0,2994)-0,2413(0,3530)0,5762(0,7134)-0,4717(0,3849)-0,5172**(0,2490)0,4480*(0,2421)1,1771(2,0249)0,4639(0,5434)-0,7261***(0,2717)-0,6677**(0,3383)-0,4146(0,3592)0,6544(0,3997)-0,2995(0,2387)-0,5859(0,4166)-0,5500**(0,2640)-0,4263(0,5446)147.197