S 744 - 2018-19 (1. samling) - Endeligt svar på S 744: Vil ministeren oplyse, hvad ministerens holdning er til Politikens artikel »Ministerium kendte til fejl i tests« fra den 3. april 2019, herunder om forskerne har ret i deres kritik, og om ministeriet var bekendt med, at de nationale test gav forkerte resultater i over halvdelen af de gennemførte test?

Undervisningsudvalget 2018-19 (1. samling)
S 744
Offentligt

05/09/14

PISA-relatering af de kriterie-

baserede nationale test

Delrapport 1

–

formidling af resultater

S 744 - 2018-19 (1. samling) - Endeligt svar på S 744: Vil ministeren oplyse, hvad ministerens holdning er til Politikens artikel »Ministerium kendte til fejl i tests« fra den 3. april 2019, herunder om forskerne har ret i deres kritik, og om ministeriet var bekendt med, at de nationale test gav forkerte resultater i over halvdelen af de gennemførte test?

For information on obtaining additional copies, permission

to reprint or translate this work, and all other correspondence,

please contact:

DAMVAD

[email protected]

damvad.com

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

Indhold

Indledning og sammenfatning

1.1

1.2

Hovedkonklusioner

Læsevejledning

Sammenhænge i de nationale test og til PISA-undersøgelserne

2.1

2.2

2.3

2.4

Indplacering af elever ud fra den normbaserede og den kriteriebaserede skala

Sammenhængen mellem kriteriebaserede nationale test og niveauer i PISA-

undersøgelserne

Sammenhængen mellem PISA-resultater og de forskellige profilområder

Opsamling

Betydningen af baggrundsvariable

3.1

3.2

3.3

Baggrundsvariables gennemsnitlige betydning for nationale test og PISA

Baggrundsvariables rolle i forudsigelse

Opsamling

Forudsigelse af PISA-resultater på baggrund af de nationale test

4.1

4.2

4.3

4.4

4.5

Den statistisk baserede model

Sammenhæng mellem PISA-resultater og de nationale test

Eksempler på modellens forudsigelser

Forudsigelser på baggrund af en samlet kriteriebaseret kategorisering

Opsamling

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

Indledning og sammenfatning

Undervisningsministeriet har for at styrke opfølgnin-

gen af de faglige mål i aftalen om den seneste fol-

keskolereform,

“Et

fagligt løft af folkeskolen”, igang-

sat et arbejde med at kriteriebasere de nationale

test. Da de nationale test første gang blev indført i

2010, var tilbagemeldingerne af testresultaterne

normbaserede og derfor uden faste kriterier for,

hvornår en elevs resultater i et givent fag på et gi-

vent klassetrin var tilfredsstillende. I stedet blev re-

sultaterne for den enkelte elev sammenlignet med

andre elevers resultater, opgjort som landsgennem-

snittet i 2010.

“Et

fagligt løft af folkeskolen” er der formuleret en

række konkrete faglige mål for folkeskolen. Målene

er bl.a., at mindst 80 pct. af eleverne skal være gode

til at læse og regne i de nationale test, og at andelen

af de allerdygtigste elever i dansk og matematik skal

stige år for år. Derudover skal andelen af elever

med dårlige resultater i de nationale test for læsning

og matematik reduceres år for år. For at der kan føl-

ges op på disse nationale mål, kriteriebaseres de

nationale test, så der fremover også er en fast skala,

der indikerer om en elevs resultater er gode eller

dårlige på baggrund af fagligt fastsatte kriterier.

Arbejdsgrupper af personer med faglig indsigt i de

enkelte testfag (opgavekommissionerne) har i før-

ste halvdel af 2014 formuleret en række foreløbige

kriterier for at vurdere den enkelte elevs resultater i

de nationale test. På baggrund af kriterierne indde-

les elevernes testresultater i en række kategorier,

der spænder fra

utilstrækkelig

til

fremragende.

På

tidspunktet for afrapporteringen er de foreløbige kri-

terier ved at blive pilotafprøvet.

Den nærværende undersøgelse skal ses i sammen-

hæng med, at der ud over de nationale test samtidig

gennemføres PISA-undersøgelser i Danmark, der

også indeholder kategoriseringer af elevernes fag-

lige niveau. I forbindelse med dette projekt er der

derfor blevet lagt vægt på at undersøge sammen-

hængen mellem de foreløbige kriteriebaserede ka-

tegorier og PISAs kategorier.

Det overordnede formål med projektet er at opstille

en sandsynlighedsbaseret model for at relatere re-

sultaterne i de nationale test til resultaterne i PISA-

undersøgelsen fra 2012. Undersøgelsens formål er

nærmere beskrevet i boks 1.1 nedenfor.

Undersøgelsen tager dermed sit udgangspunkt i de

foreløbige kriterier for vurdering af elevers præstati-

oner i de nationale test og sammenholder dem med

resultaterne i PISA-undersøgelsen fra 2012.

Boks 1.1 Formålet med opgaven

Formålet med opgaven er at klarlægge, hvorvidt resultater i de

nationale test kan relateres til PISA-resultater. Målsætningen

med afdækningen er således at udarbejde:



En sandsynlighedsbaseret model for relateringen af re-

sultater i de nationale test på test- og profilområdeniveau

til PISA. Testniveauer, som skal inddrages, er:



matematik (herunder profilområderne: (1) tal og al-

gebra, (2) geometri og (3) matematik i anvendelse)

læsning (herunder profilområderne: (1) sprogforstå-

else, (2) afkodning og (3) tekstforståelse)

Relatering af de kriteriebaserede kategorier i de nationale

test med kategorier i PISA

Derudover ønskes det afdækket:

hvor stort et sammenfald, der er blandt elever, der

ikke har deltaget i de nationale test og PISA.

eventuelt hvorvidt de socioøkonomiske effekter er

ens i de nationale test og PISA.

Kilde: Kvalitets- og Tilsynsstyrelsen 2014

Grundet undersøgelsens tekniske natur afrapporte-

res den i to delrapporter: Delrapport 1

–

formidling

af resultater og Delrapport 2

–

teknisk rapport og

dokumentation. Hvor Delrapport 2 fokuserer på op-

stillingen af den statistiske model og metodiske og

datamæssige udfordringer i den forbindelse, afrap-

porterer vi i denne rapport (Delrapport 1) resulta-

terne af tre spørgsmål:

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

1. Er der en sammenhæng mellem resulta-

terne i de nationale test og resultaterne i

PISA-undersøgelsen,

hvordan

ser

denne sammenhæng i givet fald ud?

2. Hvilken rolle spiller baggrundsvariable som

elevens køn, herkomst og socioøkonomi-

ske status samt sen eller normal skolestart

for evnen til at forudsige testresultaterne?

3. Kan vi

–

og i så fald hvordan

–

fremover for-

udsige PISA-undersøgelserne på baggrund

af de nationale test?

Undersøgelsen er gennemført for Kvalitets- og Til-

synsstyrelsen i et samarbejde mellem DAMVAD og

professor emeritus ved Københavns Universitet,

cand.stat. Svend Kreiner.

1.1

Hovedkonklusioner

I de nationale test måles elevernes niveau i læsning

og matematik ud fra tre såkaldte profilområder in-

den for begge testfag. Analysen viser, at elevernes

præstationer i PISA-undersøgelsen for læsning

stemmer bedst overens med præstationerne inden

for

“tekstforståelse”

i de nationale test. Når det kom-

mer til matematik, er sammenhængen mellem

PISA-undersøgelsen og profilområderne

“tal

og al-

gebra”,

“geometri”

“matematik

i anvendelse”

mere jævnt fordelt med en svag overvægt for

“ma-

tematik i anvendelse”.

Den tydelige sammenhæng mellem resultaterne fra

de nationale test og PISA betyder samtidig, at de to

test uafhængigt af hinanden når til relativt ensly-

dende vurderinger af elevers faglige niveauer. Det

er en bekræftelse af, at de nationale test siger noget

relevant om elevernes faglige niveau i de områder,

hvori de testes.

Nedenfor opsummeres analysens hovedkonklusio-

ner:

1. Der er en tydelig sammenhæng mellem resul-

taterne fra de nationale test og resultaterne fra

PISA-undersøgelserne. Sammenhængen kan

observeres på tværs af profilområder i både læs-

ning og matematik, men er ikke nødvendigvis

jævnt fordelt.

Analyserne viser, at der er en statistisk robust sam-

menhæng mellem, hvordan eleverne klarer sig i de

nationale test, og hvordan eleverne klarer sig i

PISA-undersøgelserne. Dette betyder, at der er en

høj grad af overensstemmelse imellem, hvilke kate-

gorier eleverne indplaceres i i henholdsvis de natio-

nale test og PISA. Elever, der indplaceres i de la-

vere kategorier i de nationale test som

utilstrækkelig

mangelfuld,

vil som regel også være indplaceret

i de laveste kategorier i PISA-undersøgelserne,

hhv. under 1b, 1a, 1 og 2. Sammenhængen mellem

resultaterne fra de nationale test og PISA-undersø-

gelserne er især stærk for elever, der klarer sig min-

dre godt.

2. Køn, herkomst og socioøkonomisk status samt

sen eller normal skolestart har betydning for re-

sultaterne i de nationale test og i PISA-undersø-

gelserne. Endvidere bliver forudsigelserne af re-

sultaterne i PISA-undersøgelserne mere præ-

cise, hvis man tager højde for oplysninger om ele-

vens baggrund.

Oplysninger om elevens baggrund som køn, her-

komst og socioøkonomisk status samt sen eller nor-

mal skolestart har en betydning for resultaterne i de

nationale test og i PISA-undersøgelserne. Generelt

påvirker baggrundsvariablene elevernes gennem-

snitlige resultater på samme måde i de to test.

F.eks. opnår piger i gennemsnit bedre testresultater

i læsning, mens drenge i gennemsnit opnår bedre

testresultater i matematik i begge testsystemer. Det

gælder dog, at nationale test foretages på et be-

stemt klassetrin, hvorimod PISA-undersøgelserne

er rettet mod 15-16-årige elever uanset klassetrin.

Dette betyder, at en sen eller normal skolestart sær-

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

ligt får betydning for resultatet af PISA-undersøgel-

serne, idet elever med en sen skolestart har haft et

års mindre skolegang.

Beregninger foretaget i Delrapport 2 viser samtidig,

at de baggrundsvariable, der er nævnt ovenfor,

også har en selvstændig betydning, når vi forsøger

at forudsige PISA-resultatet på baggrund af elevens

præstationer i de nationale test. Dette gælder sær-

ligt køn, herkomst samt sen eller normal skolestart.

Med andre ord hænger PISA-resultatet i læsning og

matematik ikke kun sammen med elevernes resul-

tater i de nationale test, men påvirkes også selv-

stændigt af de nævnte baggrundsvariable.

Hvis vi f.eks. tager udgangspunkt i en dreng af

dansk herkomst med normal skolestart, kan der på

baggrund af disse oplysninger og hans resultater fra

den nationale test foretages en statistisk baseret

forudsigelse. Forestiller vi os, at hans testresultater

i læsning i 8. klasse kan kategoriseres som

god

“sprogforståelse”,

god

“afkodning” og

jævn

“tekst-

forståelse”,

vil forudsigelsen være, at han i en se-

nere PISA-undersøgelse vil score omkring 465.

Dette er lidt under middel i forhold til PISAs katego-

riseringer.

1.2

Læsevejledning

Den resterende del af rapporten er disponeret efter

3. Der kan fremover foretages en statistisk base-

ret forudsigelse af, hvad en given elev vil score i

en PISA-undersøgelse på baggrund af vedkom-

mendes resultater fra den nationale test. Forudsi-

gelser bygger på den statistiske model, der er op-

stillet i projektet og tager også højde for oplysnin-

ger om elevens baggrund

de tre hovedspørgsmål i analysen.

kapitel 2

viser vi, at der en sammenhæng mellem

de nationale test og PISA-undersøgelserne, og gen-

nemgår, hvordan denne ser ud.

kapitel 3

viser vi, hvilken rolle baggrundsvariable

Det er muligt på baggrund af en given elevs præsta-

tion i de nationale test at komme med en statistisk

baseret forudsigelse af, hvordan vedkommende vil

klare sig i en PISA-undersøgelse. På baggrund af

resultaterne fra et enkelt profilområde inddelt i kate-

gorier kan de gennemsnitlige PISA-resultater (med

begrænset præcision) forudsiges. Man kan ligele-

des (med langt højere præcision) forudsige resulta-

terne i læsning og matematik ved at foretage en

række beregninger på baggrund af matematiske

modeller, der viser sammenhængen mellem de to

test, ved at benytte baggrundsvariablene, køn, her-

komst samt sen eller normal skolestart.

kapitel 4

viser vi, hvordan vi kan forudsige PISA-

undersøgelserne på baggrund af de nationale test.

som køn, herkomst og socioøkonomisk status mv.

og sen eller almindelig skolestart spiller for evnen til

at forudsige testresultaterne.

Det bør for en god ordens skyld tilføjes, at da formålet med PISA-under-

søgelserne alene er at måle resultaterne for større grupper af elever, skal

forudsigelserne kun anvendes på aggregeret niveau, som f.eks. landeni-

veau, og ikke for enkelte elever. Derudover gælder det, at den bagvedlig-

gende statistiske model ikke kan anvendes til sammenligninger med andre

lande, blandt andet på grund af mangel på sammenlignelige data.

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

Sammenhænge i de nationale test og til PISA-

undersøgelserne

mellem de fagligt stærkeste og de fagligt svageste

elever. Dette betyder, at de nye kriteriebaserede ka-

tegorier styrker mulighederne for at differentiere

mellem forskellige grupper af særligt dygtige og

særligt svage elever.

For

“tekstforståelse”

i 8. klasse (tabel 2.1) fordeles

elever, som scorer blandt de laveste 10 pct. på den

normbaserede skala, f.eks. i de tre laveste kriterie-

baserede kategorier fra

utilstrækkelig

til

jævn,

med

hovedparten i kategorien

mangelfuld.

For midter-

gruppen, der er mellem 35 og 65 pct. på den norm-

baserede skala, gælder det, at samtlige elever ind-

placeres i den kriteriebaserede kategori

god.

Blandt

de 10 pct. bedste elever på den normbaserede

skala indplacerer knap 80 pct. sig i kategorien

rigtig

god,

mens de resterende godt 20 pct. er i kategorien

fremragende.

For matematik i 6. klasse er der ligeledes en god

sammenhæng mellem placeringen i kriteriebase-

rede kategorier og elevernes resultater på den

normbaserede skala. Det vises for profilområdet

”matematik

i anvendelse” i tabel 2.2.

I det følgende kapitel sammenlignes først indplace-

ringen af eleverne ud fra de nationale test, når man

anvender de nye foreløbige kriterier med indplace-

ringen af eleverne i forhold til de gamle normbase-

rede mål. Dernæst vises, hvordan de kriteriebase-

rede indplaceringer af elever relaterer sig til PISAs

kategoriseringer. Dette gøres ved at se på, hvordan

elever konkret har klaret sig i hver af de to test. En-

delig vises sammenhængen mellem de forskellige

profilområder inden for læsning og matematik (med

og uden de kriteriebaserede resultater) og de tilsva-

rende PISA-undersøgelser.

2.1

Indplacering af elever ud fra den normba-

serede og den kriteriebaserede skala

Som nævnt indledningsvis, er der tidligere i år

(2014) blevet formuleret en række foreløbige krite-

rier for præstationerne i de nationale test. Som det

fremgår af tabel 2.1 og tabel 2.2, der viser resulta-

terne for henholdsvis

“tekstforståelse”

“matema-

tik i anvendelse”, er der en fin sammenhæng mel-

lem den nye kriteriebaserede og den gamle norm-

baserede skala. Samtidig viser tabellerne, at de kri-

teriebaserede resultater er velegnede til at sondre

TABEL 2.1

Profilområde

“tekstforståelse”

i 8. klasse

Kriteriebaseret skala

Utilstrækkelig

Interval, normbaseret skala

Op til 10 pct.

10 - 35 pct.

35 - 65 pct.

65 - 90 pct.

90 pct. og derover

Samlet fordeling

14,3

1,6

61,9

6,7

23,8

73,0

21,7

27,0

100,0

49,1

46,3

50,9

78,3

21,4

21,7

2,3

100

Mangelfuld

Jævn

God

Rigtig god

Fremragende

Total

Kilde: Delrapport 2

–

teknisk rapport og dokumentation.

Note: Antal elever=7.112

Note: Kun elever, der både har deltaget i de nationale test og i PISA-undersøgelsen, indgår i opgørelsen

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

Elever indplaceret i de forskellige normbaserede in-

tervaller placeres i to kriteriebaserede kategorier.

Blandt de svageste 10 pct. af eleverne placeres om-

kring 2/3 af eleverne i

mangelfuld,

mens godt 1/3

placeres i

utilstrækkelig.

For gruppen fra 10 til 35

pct. er der ligeledes ca. 2/3 i

mangelfuld,

mens godt

1/3 placeres i

jævn.

Sammenlignet med

“tekstfor-

ståelse” i 8. klasse (tabel 2.1) er der således en ten-

dens til, at eleverne i højere grad koncentreres i ka-

tegorierne

mangelfuld

god,

mens

jævn

fanger

ca. 20 pct. af eleverne.

Afsnittet har dermed vist, at den normbaserede og

den kriteriebaserede skala hænger fint sammen, og

at de nye foreløbige kriteriebaserede kategorier er

bedre til at nuancere forskelle blandt de svageste

og stærkeste elever. De næste afsnit ser nærmere

på sammenhængen mellem elevernes præstationer

målt på den kriteriebaserede skala og PISA.

Boks 2.1 De nationale test

De nationale test (DNT) er it-baserede adaptive test, der si-

den 2010 årligt er blevet afholdt i folkeskolen. Der er tale

om i alt 10 obligatoriske test fordelt på fagene dansk (læs-

ning), matematik, engelsk, geografi, biologi og fysik/kemi.

Der testes i læsning på 2., 4., 6. og 8. klassetrin og i mate-

matik på 3. og 6. klassetrin.

Testenes funktion er først og fremmest at understøtte læ-

rernes løbende evaluering af elevernes faglige niveau og

derfor give en indikator på elevernes faglige niveau inden

for hvert af de delområder, som hver test afdækker. Disse

delområder kaldes profilområder. Hver af de nationale test

består af tre profilområder. Eksempelvis er profilområ-

derne i læsning

sprogforståelse ,

afkod

i g og

tekst-

forståelse . I

matematik er de

tal og algebra , geo etri

og mamatik i anvendelse

Med den seneste folkeskolereform er det blevet besluttet,

at resultaterne af de nationale test fremover skal gøres kri-

teriebaserede. Det betyder, at de nationale test ikke læn-

gere skal opgøres i forhold til landsgennemsnittet, men i

forhold til fastlagte kriterier for, hvornår en elev f.eks. er

god til geometri. Fremover vil elevernes præstationer in-

den for hvert profilområde derfor kunne kategoriers som

enten

utilstrækkelig, mangelfuld, jævn, god, rigtig god

eller

fremragende.

TABEL 2.2

Profilområde

“matematik

i anvendelse” i 6. klasse

Kriteriebaseret skala

Utilstrækkelig

Interval, normbaseret skala

op til 10 pct.

10 - 35 pct.

35 - 65 pct.

65 - 90 pct.

90 pct. og derover

Samlet fordeling

34,5

5,6

65,5

63,9

32,5

36,1

28,8

19,5

71,2

97,7

35,4

2,3

86,2

6,1

13,8

0,9

100

Mangelfuld

Jævn

God

Rigtig god

Fremragende

Total

Kilde: Delrapport 2

–

teknisk rapport og dokumentation.

Note: Antal elever=1.420

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

2.2

Sammenhængen mellem kriteriebaserede

nationale test og niveauer i PISA-under-

søgelserne

Boks 2.2 PISA-undersøgelsen

PISA er en verdensomspændende undersøgelse af kompe-

tencer i matematik, læsning og naturfag. Testene udføres i

OECD-regi med en række ikke-OECD-lande som samar-

bejdspartnere. Første test var i år 2000, og de foretages

hvert tredje år på 15-16-årige, der fortsat går i skole. Sene-

ste test er udført i år 2012. Resultaterne opgøres i PISA-

rapporterne på nationale niveauer og ikke på elev-, skole-

eller regionalt niveau.

Et resultat af en PISA-undersøgelse rapporteres typisk som

en såkaldt PISA-score, der spænder i intervallet fra 0 til

1000. Gennemsnittet i OECD er derfor omkring (men ikke

nødvendigvis lig) 500 for alle de tre testområder. PISA-sco-

ren er beregnet ud fra værdier fra den Rasch-model, der

ligger bag ved testene (se boks 4.1). Som en følge af denne

statistiske model vil elevernes resultater koncentrere sig

om de midterste værdier. Der er eksempelvis langt flere

elever, der scorer mellem 400 og 500, end elever, der sco-

rer mellem 600 og 700.

Denne PISA-score kan oversættes til nogle på forhånd fast-

satte kategorier i intervallet fra 1 til 6, evt. med underop-

delinger af kategori 1 i 1b og 1a i læsning. Kriterierne for,

hvilken PISA-score det kræver at opnå en bestemt kategori,

varierer lidt fra område til område. Eksempelvis kræver det

i PISA 2012 en score på 607 i matematik og 626 i læsning at

opnå et elevresultat i kategori 5, og 669 i matematik og 698

i læsning for at opnå kategori 6. Kategori 5 og 6 benævnes

af PISA so top-perfor ers . PISA beteg er kategori 2

som et baseline-niveau for, hvad der skal til for at deltage

effektivt og produktivt i livet .

For at nå dette niveau skal

eleven have scoren 420 i matematik og 407 i

læsning.

Ud over de nationale test testes danske elever også

i regi af OECD i de såkaldte PISA-undersøgelser. I

dette afsnit belyses sammenhængen mellem de kri-

teriebaserede nationale test og PISA-undersøgel-

sen fra 2012.

I PISA-undersøgelserne opdeles eleverne i ni-

veauer fra 1 til 6 baseret på baggrund af det opnå-

ede PISA-resultat. Der anvendes forskellige skæ-

ringspunkter af niveauerne for matematik og læs-

ning, ligesom der er forskellige niveauer i bunden af

skalaen (f.eks. er niveau 1 opdelt i flere underni-

veauer for læsning). PISA-undersøgelsen er nær-

mere beskrevet i boks 2.2.

TABEL 2.3

Profilområdet

“tekstforståelse” i 8. klasse

i 2011–2012 sammenholdt med PISAs læseresultater fra 2012

PISA-kategori

<1b

Kriteriebaseret skala, DNT

Utilstrækkelig

Mangelfuld

Jævn

God

Rigtig god

Fremragende

Samlet fordeling

10,5

4,5

2,4

0,3

0,1

1,0

26,3

17,9

6,2

1,4

0,2

3,3

26,3

35,0

25,4

8,5

1,5

1,0

11,9

28,9

34,6

39,9

32,5

12,1

3,1

28,9

5,3

6,9

23,2

37,8

36,1

15,6

31,8

2,6

1,2

2,6

14,6

38,2

47,9

17,3

0,2

4,7

10,3

31,3

5,3

0,1

1,4

1,0

0,4

100

Total

Kilde: Delrapport 2

–

teknisk rapport og dokumentation.

Note: Antal elever=4.156

Note: Elever under niveau 2 har i PISA-undersøgelsens terminologi

“utilstrækkelige

læsefærdigheder”

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

I tabel 2.3 ses, at der er en stærk sammenhæng

mellem placeringen i de kriteriebaserede kategorier

i de nationale test for profilområdet

“tekstforståelse”

og placeringen i kategorierne for resultaterne af

PISA-undersøgelsens læsetest. Da tendensen er

den samme for alle tre profilområder, præsenteres

her kun en tabel for

“tekstforståelse”, som har den

stærkeste korrelation med PISA. Tabeller for de re-

sterende profilområder findes i Delrapport 2.

Tabel 2.3. viser, at elever, som får den kriteriebase-

rede score

utilstrækkelig,

fordeler sig i PISA-niveau-

erne fra under 1b til 4, dog ligger størstedelen i 1b

til 2. Det samme mønster gør sig gældende for ele-

ver som får placeringen

mangelfuld,

hvor der dog er

en større koncentration af eleverne, som placeres i

PISA-niveauerne 1a og 2, og færre i de laveste ka-

tegorier (1b og derunder).

Elever, der placeres i kategorien

rigtig god

ud fra de

kriteriebaserede nationale test indplaceres over

hele spektret i PISA-niveauerne, men med en klar

hovedvægt i kategorierne 3 og 4 i den efterfølgende

PISA-test i læsning. Overordnet set viser tabel 2.3

dog stadig den fine sammenhæng, at de elever,

som bliver placeret i de lave kategorier i de natio-

nale test, også indplaceres i de lavere kategorier i

PISA.

Der kan være flere årsager til, at nogle elever scorer

meget lavere

–

eller højere

–

i den efterfølgende

PISA-undersøgelse i læsning, end indplaceringen

på den kriteriebaserede skala ved den nationale

test tilsagde. For det første kan det skyldes reelle

bevægelser i elevernes faglige niveau, fordi der er

en vis tidsforskel mellem gennemførsel af de to test.

For det andet kan det skyldes forskelle i, hvad og

hvordan der måles i de to test. Endelig er det vel-

kendt, at elever nogle gang har en 'dårlig dag' på

testningstidspunktet, og at testresultatet derfor ikke

afspejler elevens egentlige faglige niveau.

Det er i den sammenhæng betryggende, at der er

så relativt få elever, som scorer 'helt ved siden af'.

Det indikerer, at de to første forklaringsmuligheder

formentligt ikke skal tillægges for meget vægt. Dette

er vigtigt for muligheden for at forudsige et fremtidigt

PISA-resultat på baggrund af resultaterne fra de na-

tionale test, som vi vil se nærmere på i kapitel 4.

TABEL 2.4

“Matematik

i anvendelse”

fra sene skolestartere 6. klasse

i 2010 og PISAs matematikresultater for 2012

PISA-kategori

Kriteriebaseret skala, DNT

Utilstrækkelig

Mangelfuld

Jævn

God

Rigtig god

Fremragende

Samlet fordeling

85,4

56,4

35,8

20,2

7,9

10,0

35,9

7,3

31,8

32,8

34,1

14,5

10,0

30,5

2,4

9,4

25,9

27,7

28,9

20,5

4,9

2,4

5,5

16,0

28,9

30,0

10,4

2,0

19,7

40,0

2,5

10,0

0,1

100

Total

Kilde: Delrapport 2

–

teknisk rapport og dokumentation.

Note: Antal elever=1.063. Niveau under 1 findes ikke matematik-testen.

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

Der er den samme tendens mellem placeringen på

den kriteriebaserede kategorisering af den natio-

nale test i matematik i 6. klasse og PISAs matema-

tiktest i 2012, som der var for læseområdet. I tabel

2.4 ses sammenhængen for profilområdet

“mate-

matik i anvendelse”.

2.3

Sammenhængen mellem PISA-resultater

og de forskellige profilområder

De nationale test i henholdsvis matematik og læs-

ning består af hver tre profilområder, der måles for

at vurdere elevernes præstation. Af pladshensyn vi-

ste det ovenstående afsnit alene resultaterne for det

profilområde med den stærkeste sammenhæng til

PISA-resultatet. I dette afsnit illustreres sammen-

hængen mellem hvert enkelt af de tre profilområder

og det tilsvarende PISA-resultat i henholdsvis læs-

ning og matematik.

Sammenhængen illustreres ved hjælp af såkaldte

korrelationskoefficienter, der på en skala fra 0 (in-

gen sammenhæng) til 1 (perfekt lineær sammen-

hæng) viser, hvor stor sammenhæng der er mellem

profilområderne og det tilsvarende PISA-resultat. Jo

højere korrelationskoefficienten er, desto større er

sammenhængen.

Det fremgår af tabel 2.5, at der er en stærkere sam-

menhæng mellem profilområdet

“tekstforståelse” og

PISAs læsetest, end der er for de to andre profilom-

råder,

“sprogforståelse” og “afkodning”.

Endvidere

ses, at

“tekstforståelse” også er mere korreleret

med de to andre profilområder, end disse to er med

hinanden. Dette resultat understøtter, at der er en

konsistent sammenhæng mellem målingen af profil-

områder i de nationale test og resultaterne i PISA-

undersøgelsen.

Tal og

algebra

Geometri

Matematik i

anvendelse

PISA

matematik

TABEL 2.5

Korrelation mellem værdier fra Rasch-modellen på

profilområder i de nationale test og PISA-undersø-

gelsen for læsning

Sprog-

forståelse

Sprog-

forståelse

Afkodning

Tekst-

forståelse

PISA

læsning

Afkod-

ning

0,55

Tekst-

forståelse

0,61

0,62

PISA

læsning

0,46

0,49

0,62

Kilde: Delrapport 2

–

teknisk rapport og dokumentation.

Note: Alle korrelationer er statistisk signifikante på et 1 pct. niveau. 7.118

elever har resultater for DNT og 5.156 for PISA. Af disse har 4.162 resul-

tater for begge test.

For matematik har profilområderne en lidt højere

indbyrdes korrelation. Korrelationen til PISA er af

nogenlunde samme styrke som for læsning, men

korrelationerne er mere ensartede. Det fremgår af

tabel 2.6, at

“matematik

i anvendelse” har den stør-

ste korrelation til såvel de andre profilområder som

til PISA-undersøgelsen. Dette billede er altså tilsva-

rende, hvad vi så for læsning.

TABEL 2.6

Korrelation mellem værdier fra Rasch-modellen på

profilområder i de nationale test og PISA-undersø-

gelsen for matematik.

Tal og

algebra

Geo-

metri

0,58

Matematik i

anvendelse

0,67

0,62

PISA ma-

tematik

0,48

0,51

0,55

Kilde: Delrapport 2

–

teknisk rapport og dokumentation.

Note: Alle korrelationer er statistisk signifikante på et 1 pct. niveau. 1.420

elever har resultater for DNT og 7.441 for PISA. Af disse har 1.063 resul-

tater for begge test. Den store forskel skyldes, at det alene er sene skole-

startere, der har DNT-data i matematik. Se i Delrapport 2 for uddybning.

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

2.4

Opsamling

Dette kapitel har vist, er der en tydelig sammen-

hæng mellem resultaterne fra de nationale test og

PISA-undersøgelserne. Sammenhængen kan ob-

serveres på tværs af profilområder i både læsning

og matematik, men er dog generelt set lidt stærkere

i matematik. I det følgende kapitel ses nærmere på,

hvilken betydning baggrundsvariable som køn, her-

komst, socioøkonomisk status og sen eller normal

skolestart har for resultaterne i de nationale test og

PISA-undersøgelserne.

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

Betydningen af baggrundsvariable

Dette kapitel ser nærmere på, hvilken betydning op-

lysninger om elevens baggrund har for resultaterne

i de nationale test og i PISA-undersøgelsen. Her-

med får vi en indikation af, hvorvidt baggrundsvari-

able som køn, herkomst, sen eller normal skolestart

samt socioøkonomisk status kan bruges til at forud-

sige PISA-resultatet på baggrund af resultaterne i

de nationale test.

3.1

Baggrundsvariables gennemsnitlige be-

tydning for nationale test og PISA

Det er velkendt, at både køn, herkomst, socioøko-

nomisk status samt sen eller normal skolestart har

en betydning for elevernes præstationer i folkesko-

len. Derfor er det ingen overraskelse, at dette også

ses i resultaterne fra de nationale test og PISA-un-

dersøgelserne. Tabel 3.1 viser de gennemsnitlige

PISA-resultater fordelt på ovennævnte baggrunds-

variable set i forhold til det samlede gennemsnit for

de danske elever i testen. Som det fremgår af tabel-

len, er der en tendens til, at drenge klarer sig lidt

bedre end piger til matematik, mens piger i gennem-

snit klarer sig bedre i læsning.

Det ses endvidere, at elever af dansk herkomst i

gennemsnit klarer sig en del bedre end elever med

en anden herkomst både i matematik og læsning.

Sene skolestartere, som er testet et klassetrin la-

vere end normale skolestartere i PISA-undersøgel-

serne, klarer sig ligeledes dårligere.

Som mål for socioøkonomisk status er anvendt PI-

SAs ESCS, der er et samlet indeks for socioøkono-

misk status, som tager udgangspunkt i forældres

uddannelse, beskæftigelse og et mål for besiddel-

ser i hjemmet (økonomiske som kulturelle faktorer).

I tabel 3.1 vises de gennemsnitlige PISA-resultater

for de børn, som ligger blandt de øverste 20 pct., de

midterste 20 pct. og de nederste 20 pct. på dette

ESCS-indeks. Ikke overraskende ses det, at jo hø-

jere socioøkonomisk status en elev har, desto bedre

klarer vedkommende sig i PISA-undersøgelserne.

Effekten af socioøkonomisk status er ganske bety-

delig.

TABEL 3.1

Effekt af baggrundsvariable på gennemsnitlige re-

sultater i PISA-undersøgelserne

PISA

matematik

Gennemsnitlig PISA-score i

datasættet

Køn

Dreng

Pige

Dansk herkomst

Anden herkomst

Sen

Normal

Høj

Socio-

økono-

misk sta-

tus

(PISA-

ESCS)

(øverste 20 pct.)

Middel

(midterste 20

pct.)

Lav

(nederste 20 pct.)

449

447

494

492

489

494

484

506

442

451

498

532

PISA

læsning

487

476

498

503

442

443

497

527

Herkomst

Skole-

start

Kilde: Delrapport 2

–

teknisk rapport og dokumentation

Note: Kun elever, der både har deltaget i de nationale test og i PISA-un-

dersøgelsen, indgår i opgørelsen

Note: Data om socio-økonomisk status stammer fra PISA (ESCS).

Et tilsvarende mønster kan genfindes i resultaterne

for de nationale test. Af tabel 3.2 fremgår, at retnin-

gen for de forskellige baggrundsvariable er den

samme som i PISA-undersøgelserne: Drenge har

generelt bedre resultater på de tre matematiske pro-

filområder, piger på to af de tre profilområder for

PISA Results 2012: ”What Students Know and Can Do”

(OECD,

2014).

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

læsning, ligesom elever af dansk herkomst generelt

har bedre resultater end de af anden herkomst osv.

3.2

Baggrundsvariables rolle i forudsigelse

påvirker resultaterne lige kraftigt? Dette har en stor

betydning for, hvordan en statistisk baseret forudsi-

gelsesmodel, der relaterer resultater fra de natio-

nale test til PISA-resultaterne, skal tage sig ud.

Er effekten helt ensartet i de to test, vil baggrunds-

variablene ikke bidrage med yderlige forklarings-

kraft, når PISA-resultaterne skal forudsiges ved

Som det fremgik af forrige afsnit, har baggrundsva-

riablene stor betydning for såvel resultaterne i PISA-

undersøgelserne som resultaterne i de nationale

test. Et oplagt spørgsmål er derfor, om variablene

TABEL 3.2

Betydningen af baggrundsvariable i de nationale test illustreret ved det gennemsnitlige resultat på hvert

profilområde for forskellige grupper af elever

-------- Matematik ----------

Profilområde

Gennemsnit for:

De nationale test

(i det anvendte data)

Køn*

Dreng

Pige

Herkomst

Dansk herkomst

Anden herkomst

Skolestart

Sen

Normal

Socioøkonomisk status

(målt ved PISA ESCS)

Høj (top 20 pct.)

Middel (20 pct.)

Lav (bund 20 pct.)

106

188

311

17,3

16,0

14,2

18,5

16,1

14,8

16,3

14,9

13,2

1.093

1.210

1.224

31,0

27,3

23,9

18,0

16,2

13,8

26,5

25,1

23,4

1.508

5.610

24,2

27,3

14,5

16,0

23,1

24,9

687

382

16,1

14,4

16,8

14,3

15,2

13,3

4.459

1.608

28,6

23,5

16,8

13,8

25,7

23,0

670

399

16,0

14,7

16,3

15,4

15,0

13,7

3.038

3.029

26,7

27,7

16,2

15,8

24,8

25,1

Antal

elever

1.420

Tal og

algebra

15,0

Geometri

Matematik i

anvendelse

14,1

Antal

elever

7.118

--------- Læsning --------

Tekst-

forståelse

26,6

Sprog-

forståelse

15,7

Afkod-

ning

24,5

15,6

Kilde: Delrapport 2

–

teknisk rapport og dokumentation.

Note: *Da der mangler oplysninger om køn, herkomst, skolestart og socioøkonomisk status for en række elever, indgår disse ikke i beregningen af

gennemsnitsresultatet fordelt på disse baggrundsvariable. De indgår dog i beregningen af det samlede gennemsnitlige resultat. For opdelingen på køn

betyder det, at det gennemsnitlige resultat for såvel drenge som piger er højere end landsgennemsnittet. Samme problem gør sig gældende for herkomst,

skolestart og socioøkonomisk status, men problemet er ikke på samme måde tydeligt for disse variable, da det samlede gennemsnit falder mellem de to

gennemsnit for baggrundsvariablene.

Note: De gennemsnitlige kriteriebaserede scorer for matematik bygger alle på resultater for elever med sen skolestart. Det følger heraf, at cellerne for

matematik med normal og sen skolestart er tomme (og gennemsnittet for de med sen skolestart er det fra de nationale test i øverste række).

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

hjælp af de nationale test. Er effekten derimod for-

skellig, vil baggrundsvariablene bidrage til forudsi-

gelsen af PISA-resultaterne, ud over hvad resulta-

terne i de nationale test kan forklare. Som det frem-

går af det følgende kapitel, er baggrundsvariablene

vigtige, for at den statistiske model så præcist som

muligt kan forudsige et PISA-resultat på baggrund

af resultaterne i de nationale test.

Dette kan grundlæggende skyldes to forhold: 1) at

baggrundsvariablene af forskellige årsager påvirker

resultaterne i de nationale test mere eller mindre

end resultaterne i PISA-undersøgelserne, og/eller

2) at baggrundsvariablene påvirker den faglige ud-

vikling, der er sket for eleven, fra de nationale test

er gennemført, til at PISA-undersøgelserne foreta-

ges

–

altså med andre ord forskelle i, hvor stort ud-

bytte der opnås af skolegangen, imellem de to test

foretages. Med det nuværende datagrundlag er det

ikke muligt at undersøge nærmere, hvilken forkla-

ring der dominerer, og det er heller ikke af særskilt

interesse i denne rapport. I forhold til en model, der

relaterer de nationale test til PISA-undersøgelserne,

kan vi blot konstatere, at baggrundsvariablene bi-

drager til modellens præcision og dermed til evnen

til at forudsige et PISA-resultat på baggrund af re-

sultater fra de nationale test.

3.3

Opsamling

gelserne, og derfor ikke er tilgængelig fra de natio-

nale test, er denne variabel ikke medtaget i den fo-

retrukne statistiske model til forudsigelse af PISA-

resultater på baggrund af de nationale test, som

præsenteres i det følgende kapitel.

I dette kapital har vi vist, at køn, herkomst og socio-

økonomisk status samt sen eller normal skolestart

har betydning for de gennemsnitlige resultater i de

nationale test og i PISA-undersøgelserne. Bereg-

ninger på den statistiske model, der er foretaget i

Delrapport 2 viser, at når der er kontrolleret for køn,

herkomst og sen/normal skolestart, så bidrager den

socioøkonomiske variabel ESCS kun med en be-

grænset forklaringskraft til modellen. Da det samti-

dig er en variabel, der kommer fra PISA-undersø-

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

Forudsigelse af PISA-resultater på baggrund af de nationale

test

Indholdsmæssigt er der ikke større forskel på en

“Rasch-skala”

og de skalaer, som de nationale test

og PISA-undersøgelserne anvender, end der er på

Celsius og Fahrenheit. Begge skalaer fortæller,

hvad temperaturen er. På samme måde viser både

et resultat målt på

“Rasch-skalaen” og PISAs egen

skala, hvor god en elev er til f.eks. læsning.

Imidlertid viser beregninger foretaget i Delrapport 2,

at resultaterne i de nationale test og i PISA-under-

søgelserne hænger lineært sammen, hvis man må-

ler dem på

“Rasch-skalaen”.

Der kan derfor med

fordel opstilles en lineær regressionsmodel, der be-

skriver den matematiske sammenhæng med ud-

gangspunkt heri.

Boks 4.2 Regressionsmodellerne for læsning og

matematik

Med udgangspunkt i Rasch-modellen kan der opstilles en re-

gressionsmodel for de forventede resultater i PISA-undersø-

gelsen for henholdsvis matematik og læsning. Modellerne vi-

ser sammenhængen mellem logit-værdierne for de tre profil-

områder i enten læsning eller matematik og den forventede

PISA-logit givet ved oplysningerne om elevens baggrund.

Modellen for læsning er givet ved:

− ,

∗ ø

− ,

∗ ��

�� = − ,

+ ,

∗ + ,

∗ �� + ,

∗

Som det fremgik af kapitel 2, er det muligt at sam-

menligne resultaterne fra de nationale test med re-

sultaterne fra PISA-undersøgelserne. Der er såle-

des generelt set overensstemmelse mellem elever-

nes testresultater i de to test. Spørgsmålet, der be-

svares i dette kapitel er derfor, hvordan vi fremover

kan forudsige PISA-resultaterne ud fra resultater i

de nationale test og oplysninger om elevens bag-

grund?

4.1

Den statistisk baserede model

Det tekniske grundlag for at kunne forudsige PISA-

resultaterne bygger på beregninger foretaget i Del-

rapport 2. Både de nationale test og PISA-undersø-

gelserne er baseret på en

“Rasch-skala”,

hvorfra de

oprindelige testresultater konverteres til en ny skala,

hvor elevernes præstationer kan opdeles i katego-

rier. Rasch-modellen er nærmere beskrevet i ne-

denstående boks.

Boks 4.1 Rasch-modellen

Rasch-modellen er en statistisk model udviklet af den danske

matematiker Georg Rasch omkring 1960. Modellen bruges til

analyse af ’duelighedstest’,

f.eks. intelligenstest eller spørge-

skemaer, der måler folks holdninger til et givent emne.

Rasch-modellen er en sandsynlighedsmodel. Et særligt ken-

detegn ved den er sammenhængen mellem elevernes dygtig-

hed og opgavernes sværhedsgrad, som beregnes på samme

skala. Sværhedsgraden af en opgave defineres som lig med

dygtigheden af den elev, der har præcis 50 procent sandsyn-

lighed for at svare korrekt. Både PISA og de nationale test

benytter Rasch-modellen til at beskrive effekten af elevernes

dygtighed på svarene på spørgsmålene i de pædagogiske

test.

I modellen måles elevernes færdigheder på såkaldte logit-

skalaer. Man kan derfor tale om en

“PISA-logit” for matematik

og læsning og en

“logit-værdi” for hver profilområder i de nati-

onale test. En af fordelene ved logit-skalaer er, at de har in-

tervalskalaegenskaber. Det er derfor værdier på disse ska-

laer, som er blevet anvendt i forbindelse med forudsigelserne

af, hvad en given elev scorer i en PISA-undersøgelse.

I Delrapport 2 kan man læse mere om Rasch-modellen, og

hvordan den finder anvendelse i forbindelse med de nationale

test og PISA-undersøgelserne.

hvor PISA

er resultatet af læsning i PISA-målingen, S er re-

sultatet af

“sprogforståelse” i den nationale test, A er resulta-

tet af

“afkodning” i den nationale test,

og T er resultatet af

“tekstforståelse” i den nationale test

=0,442).

Modellen for matematik er givet ved:

+ ,

∗ ø

−

∗ ��

�� = − ,

+ ,

∗

+ ,

∗ �� + ,

∗

∗ ��

+ ,

��

hvor PISA

er resultatet af læsning i PISA-undersøgelsen, T

er resultatet af “tal og algebra” i den nationale test, G er re-

sultatet for “geometri” i den nationale test,

og A er resultatet

for “matematik

i anvendelse”

i den nationale test

=0,412).

For begge modeller gælder det, at

“køn” er 1 for dreng og 0

for pige;

“herkomst” er 1, hvis der er tale om en elev med an-

den etnisk herkomst end dansk, og 0, hvis eleven er etnisk

dansk af herkomst;

“skolestart” er 1, hvis eleven har en sen

skolestart, og 0, hvis eleven har haft en normal skolestart.

+ ,

��

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

Indtil videre er der kun blevet set på sammenhæn-

gen ud fra et profilområde ad gangen eller på den

gennemsnitlige forskel på f.eks. drenges og pigers

præstationer i de to test. Med en statistisk baseret

model stilles et mere præcist spørgsmål, der benyt-

ter alle oplysningerne på et og samme tidspunkt til

at forudsige, hvad resultatet af en PISA-undersø-

gelse vil blive.

4.2

Sammenhæng mellem PISA-resultater og

de nationale test

Antag, at der foreligger testresultater fra de natio-

nale test i læsning i 8. klasse, og der ønskes et bud

på, hvor eleven vil placere sig, hvis eleven senere

skulle deltage i en PISA-undersøgelse.

Udgangspunktet kunne f.eks. være, at der var tale

om en etnisk dansk dreng med normal skolestart.

Forestiller vi os, at den pågældende elevs testresul-

tater kan kategoriseres som

god

“sprogforståelse”,

god

“afkodning” og

jævn

“tekstforståelse”, kan vi

forvente, at han i en senere PISA-undersøgelse vil

score omkring 465, givet at hans scorer i den natio-

nale test ligger midt i kategorierne. Dette svarer til

niveau 2 i PISAs kategoriseringer i 2012, som går

fra 407 til 480.

For at benytte regressionsmodellen for læsning i det

konkrete tilfælde er det nødvendigt at omregne vær-

dierne fra den skala, der anvendes i de nationale

test, til

“Rasch-skalaen”. Vi bliver med andre ord

nødt til at gå fra Celsius til Fahrenheit. Dette er mu-

ligt, da vi i Delrapport 2 har udviklet en række meto-

der, der bruges til at omregne testværdier fra én

skala til en anden.

og PISA-undersøgelserne beregnes altid først på

“Rasch-skalaen”

og konverteres derefter til skalaer,

der er lettere at tolke på. Boks 4.3 beskriver, hvor-

dan værdier målt på

“Rasch-skalaen” omregnes til

PISA-scorer.

Boks 4.3 Omregning af logit-værdier til PISA-scorer

For at kunne gennemskue, hvordan et testresultat målt på

“Rasch-skalaen” skal tolkes, kan det blive nødvendigt at kon-

vertere en række værdier fra én skala til en anden. I Delrap-

port 2 er derfor udarbejdet funktioner, som kan konvertere lo-

git-værdier fra PISA-undersøgelserne til PISA-scorer, der er

lettere at tolke på.

For sammenhængen mellem testresultater målt på

“Rasch-

skalaen”

og de scorer, som PISA anvender i egne målinger i

henholdsvis læsning og matematik, benyttes følgende funkti-

oner:

�� =

∗

– ,

∗

hvor

“logit”

angiver logit-værdien målt på

“Rasch-skalaen”.

I Delrapport 2 kan man læse mere om funktionerne, og hvor-

dan det rent teknisk er muligt at opstille en matematisk formel

herfor.

Endvidere bør det bemærkes, at PISA-undersøgel-

serne ikke har til hensigt at måle den enkelte elevs

præstationer, hvorfor forudsigelserne i praksis også

vil fokusere på den samlede population af elever

omfattet af begge test.

4.3

Eksempler på modellens forudsigelser

For at give et mere nuanceret billede af, hvordan

modellens forudsigelser fungerer, kan det være nyt-

tigt at tage udgangspunkt i to illustrative eksempler,

selvom forudsigelserne i praksis vil have fokus på

grupper af elever og ikke den enkelte elev.

Første eksempel

Når regressionsmodellerne skal bruges i virkelighe-

den, vil processen i praksis ikke starte med, at sco-

ren fra den nationale test omregnes til en værdi på

“Rasch-skalaen”.

Testresultater fra de nationale test

Aisha er 13 år og går i 6. klasse. Aisha er af anden

herkomst end dansk og begyndte i skole et år se-

nere end normalt. I den nationale test i matematik

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

klarede Aisha sig ud fra de kriteriebaserede katego-

rier som følger:

jævnt

“tal og algebra”,

mangelfuldt

“geometri”

mangelfuldt

i “matematik

i anven-

delse”.

På baggrund ovenstående beskrivelse kan vi for-

vente, at Aisha ca. to år senere vil score omkring

290 i PISA-undersøgelsen i matematik. Dette svarer

til niveauet

“under

1” i PISAs kategorisystem. Da

PISA-målingen i matematik er rettet mod 15-16

årige elever, vil Aisha gå i 8. klasse, på det tidspunkt

testen gennemføres.

Tabellen tager udgangspunkt i den score, som

Aisha ifølge modellen for matematik statistisk set

ville opnå. Herfra viser tabellen, hvor meget denne

score påvirkes af, at der ændres på oplysninger fra

eksemplet (“Forventet ændring”).

Som vi kan se af tabellen, er de baggrundsvariable,

der betyder mest for resultatet af Aishas forventede

PISA-score i matematik, den sene skolestart og

spørgsmålet om herkomst.

Andet eksempel

FIGUR 4.1

Eksempel på forventede ændringer i PISA-resulta-

tet i matematik

Forventet

PISA-score

Person fra eksemplet (Aisha)

290

Ændring fra eksemplet

Forventet ændring (+/-)

DNT-resultater

Tal og algebra

+14

Jævn

god

Geometri

+40

Mangelfuld

god

Matematik i anvendelse

+99

Mangelfuld

rigtig god

Alle 3 profilområder

+183

Rigtig god

Baggrundsvariable

Køn

+13

Pige -> dreng

Skolestart

+41

Sen -> normal

Etnicitet

+45

Anden herkomst -> dansk

Kilde: Delrapport 2

–

teknisk rapport og dokumentation.

Jesper er 14 år, dansk af herkomst og går i 8.

klasse. Jesper begyndte i skole som normalt. I den

nationale test i læsning klarede Jesper sig ud fra de

kriteriebaserede kategorier som følger:

Rigtig godt

“sprogforståelse”,

godt

“afkodning” og

godt

“tekst-

forståelse”.

På baggrund af ovenstående beskrivelse kan vi for-

vente, at Jesper ca. et år senere vil score omkring

506 i PISA-undersøgelsen i læsning. Dette svarer til

niveau 3 i PISAs kategorisystem. Da PISA-under-

søgelsen i læsning er rettet mod 15-16 årige elever,

vil Jesper gå i 9. klasse, på det tidspunkt testen gen-

nemføres.

I tabel 4.2 er vist, hvordan det forventede resultatet

i PISA-undersøgelsen i læsning vil ændre sig, hvis

vi ændrer Jespers præstationer i den nationale test

og oplysninger om hans baggrund.

Ligesom for Aisha er det også tidspunktet for skole-

starten og spørgsmålet om herkomst, der er de bag-

grundsvariable, som betyder mest for den forven-

tede PISA-score i læsning for Jesper. De nævnte

variable påvirker dog i højere grad Aishas matema-

tik-score end Jespers score i læsning.

I tabel 4.1 er vist, hvordan det forventede resultat i

PISA-undersøgelsen i matematik vil ændre sig, hvis

vi ændrer på Aishas præstationer i den nationale

test. Af tabellen fremgår også, hvilke ændringer vi

kan forvente, hvis vi ændrer på oplysninger om

Aishas baggrund - altså hvis hun f.eks. havde været

en dreng eller af dansk herkomst.

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

Boks 4.4 Eksempel på forudsigelser på baggrund

af intervaller

Som beskrevet i denne rapport, er den mest præcise måde,

hvorpå man kan forudsige et PISA-resultat, at opstille stati-

stisk baserede modeller, der benytter alle relevante oplysnin-

gerne på et og samme tidspunkt.

Modellerne kan også give indblik i, hvordan eleverne inden

for et bestemt interval af logit-værdierne for et bestemt profil-

område forventes at klare sig i en senere PISA-undersø-

gelse. Sådanne beregninger giver muligheder for mere enkle

fremstillinger af relationen mellem profilområder og PISA-re-

sultater, men forudsigelserne er selvsagt upræcise og usikre,

idet de både inkluderer oplysninger fra de andre profilområ-

der og oplysninger om elevens baggrund.

Nedenstående tabel viser således et eksempel på, hvilke re-

sultater i PISA-undersøgelsen i læsning der kan forventes in-

den for bestemte intervaller i de nationale test for

“sprogfor-

ståelse”. Tabellen viser intervallerne som logit-værdier målt på

“Rasch-skalaen” og de dertilhørende

forventede PISA-scorer.

I parentesen ud for PISA-scoren er endvidere angivet det

PISA-niveau, som scoren placerer sig indenfor.

Forventede PISA-scorer på baggrund af opnået testresultat i

“sprogforståelse”

i de nationale test i 8. klasse

Sprogforståelse (logits)

-4 til -3

-3 til -2

-2 til -1

1 til 0

0 til 1

1 til 2

2 til 3

3 til 4

Forventet PISA-score

253 (niveau <1b)

345 (niveau 1a)

394 (niveau 1a)

442 (niveau 2)

490 (niveau 3)

526 (niveau 3)

537 (niveau 3)

534 (niveau 3)

TABEL 4.2

Eksempel på forventede ændringer i PISA-resulta-

tet i læsning

Forventet

PISA-score

Person fra eksemplet (Jesper)

506

Ændring fra eksemplet

Forventet ændring (+/-)

DNT-resultater

Sprogforståelse

+10

Rigtig god

fremragende

Afkodning

-17

God

mangelfuld

Tekstforståelse

+72

God

fremragende

Alle 3 profilområder

-70

Jævn

Baggrundsvariable

Køn

+13

Dreng -> pige

Skolestart

-27

Normal -> sen

Etnicitet

-22

Dansk -> anden herkomst

Kilde: Delrapport 2

–

teknisk rapport og dokumentation.

Kilde: Delrapport 2

–

teknisk rapport og dokumentation.

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

4.4

Forudsigelser på baggrund af en samlet

kriteriebaseret kategorisering

Da der er gradsforskelle inden for hver af de sam-

lede kriteriebaserede kategorier (og da der også er

andre forhold, der har betydning for resultatet af en

PISA-undersøgelse), kan der forventes flere for-

skellige PISA-niveauer til hver kategori. Der er i de

fleste tilfælde tale om et eller højst to dominerende

PISA-niveauer til hver kriteriebaserede kategori.

Tabellerne viser det PISA-niveau, som det forven-

tes, at flest elever (se procentsats) vil placere sig

indenfor, på baggrund af en samlet kriteriebaseret

kategorisering for henholdsvis læsning (tabel 4.3)

og matematik (tabel 4.4). Resultaterne vises sær-

skilt for elever med sen og normal skolestart, idet

PISA-resultatet som illustreret i forrige afsnit særligt

afhænger af, om eleven testes af PISA i 8. eller 9.

klasse.

TABEL 4.3

Forudsigelse af PISA-resultatet i læsning ud fra en

samlet kriteriebaseret kategorisering

DNT-kategori

Sene

skolestartere

4 (44 %)

3 (73 %)

2 (78 %)

1a (64 %)

1a (56 %)

<1b (78 %)

Normale

skolestartere

4 (76 %)

3 (71 %)

3 (61 %)

2 (85 %)

1a (70 %)

1b (67 %)

De nationale test giver et mere nuanceret billede af

elevernes færdigheder end PISA-undersøgelserne.

Resultatet af de nationale test består således af en

'elev-profil' med oplysninger om, hvordan eleven

har klaret sig inden for tre forskellige profilområder.

I modsætning hertil giver PISA-undersøgelsen kun

en samlet score for elevens færdigheder i henholds-

vis læsning og matematik.

Forudsigelser af PISA-resultaterne forudsætter, at

der tages højde for alle tre profilområder på et og

samme tidspunkt. Med andre ord udnyttes, at de na-

tionale test giver et mere nuanceret billede til at for-

bedre

forudsigelserne.

Imidlertid

vanskeliggør

denne metode formidlingen, da 'elev-profilerne' om-

fatter mange forskellige kombinationer af resultater

profilområderne imellem.

For at råde bod herpå, viser tabel 4.3 og 4.4 de for-

ventede PISA-resultater i forhold til en samlet krite-

riebaseret kategorisering, som er defineret i neden-

stående boks.

Boks 4.5 En samlet kriteriebaseret kategorisering

Testresultatet opfattes som:

“Fremragende”,

hvis præstationen har været

fremragende

på

mindst 2 ud af tre profilområder og mindst

god

i det tredje.

“Rigtig god”, hvis præstationen har været

rigtig god

eller

bedre på mindst 2 ud af tre profilområder og mindst

jævn

det tredje.

“God”, hvis præstationen har været

god

eller bedre på mindst

2 ud af tre profilområder og mindst

mangelfuld

i det tredje.

“Jævn”, hvis præstationen har været

jævn

eller bedre i

mindst 2 ud af tre profilområder.

“Mangelfuld”, hvis præstationen har været

mangelfuld

eller

bedre i mindst 2 ud af tre profilområder.

“Ikke tilstrækkelig”, hvis præstationen har været

utilstrækkelig

på to eller tre profilområder.

Kilde: Kategoriseringen er foreslået af Kvalitets- og Tilsynsstyrelsen

Fremragende

Rigtig god

God

Jævn

Mangelfuld

Ikke tilstrækkelig

Kilde: Delrapport 2

–

teknisk rapport og dokumentation.

Note: Parentesen angiver, hvor mange pct. af eleverne der forventes at

opnå det pågældende PISA-resultat på baggrund af den samlede kriterie-

baserede kategorisering.

Af tabel 4.3 ses, at der er god overensstemmelse

mellem den samlede kriteriebaserede kategorise-

ring for læsning og de forventede PISA-resultater

for både sene og normale skolestartere. Det ses

dog også af både tabel 4.3 og 4.4, at det samme

PISA-niveau kan forventes at være det hyppigst fo-

rekommende resultat inden for flere kategorier.

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

4.5

TABEL 4.4

Forudsigelse af PISA-resultatet i matematik ud fra

en samlet kriteriebaseret kategorisering

DNT-kategori

Fremragende

Rigtig god

God

Jævn

Mangelfuld

Ikke tilstrækkelig

Sene

skolestartere

4 (67 %)

3 (67 %)

3 (49 %)

2 (73 %)

1 (79 %)

1 (100 %)

Normale

skolestartere

5 (90 %)

4 (75 %)

3 (77 %)

2 (62 %)

2 (59 %)

1 (100 %)

Opsamling

Dette kapitel har vist, hvordan det fremover er mu-

ligt at foretage en statistisk baseret forudsigelse af,

hvordan en given elev vil score i en PISA-undersø-

gelse på baggrund af vedkommendes resultater fra

den nationale test og oplysninger om elevens bag-

grund. Endvidere er der givet eksempler på, hvor-

dan forudsigelserne fungerer.

Såfremt man er interesseret i at læse mere om un-

dersøgelsens tekniske baggrund, henvises læseren

til Delrapport 2.

Boks 4.6. Rapportens datagrundlag

Datagrundlaget for analyserne i denne rapport består af re-

sultater fra de nationale test i matematik og læsning i 6.

klasse i 2010 og læsning i 8. klasse fra 2011 og 2012 samt

testresultater i læsning og matematik fra PISA 2012.

Datamaterialet omfatter resultaterne fra de nationale test, så-

fremt disse forelå fra de elever, der deltog i PISA i 2012. De

fleste af de elever, der deltog i PISA i 2012 gik i 6. klasse i

2009 og 2010. Idet der kun foreligger de nationale testresul-

tater fra 6. klasse i 2010 og fra 8. klasse i 2012, da de blev

testet af PISA, har det været nødvendigt at estimere effekten

af undervisningen i 9. klasse, som de fleste PISA-elever

havde modtaget, for at kunne opstille en statistisk model til

forudsigelse.

Ud over testresultater fra de nationale test ligger oplysnin-

gerne om elevens køn, herkomst, alder og socioøkonomiske

status også til grund for analyserne.

Kilde: Delrapport 2

–

teknisk rapport og dokumentation.

Note: Parentesen angiver, hvor mange pct. af eleverne der forventes at

opnå det pågældende PISA-resultat på baggrund af den samlede kriterie-

baserede kategorisering. Forudsigelserne af PISA-undersøgelsen i mate-

matik for normale skolestartere baserer sig på modelberegninger, idet

testresultaterne fra DNT ikke er tilgængelige for disse elever.

Af tabel 4.4 ses, at der også for matematik kan ob-

serveres en god overensstemmelse mellem de for-

ventede PISA-resultater og den samlede kriterieba-

serede kategorisering.

Både i matematik og læsning gør det sig også gæl-

dende, at de forventede PISA-resultater for de nor-

male skolestartere generelt set er bedre. F.eks. for-

ventes 90 pct. af de normale skolestartere, hvis

præstation ud fra den samlede kriteriebaserede ka-

tegorisering kan betegnes som

fremragende,

opnå PISA-niveauet 5 i matematik. For de sene sko-

lestartere forventes det mest hyppige resultat (67

pct.) ud fra en tilsvarende præstation i den nationale

test for matematik at være PISA-niveau 4.

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM

Klarabergsviadukten 63,

SE-101 23 Stockholm

Badstuestræde 20

DK-1209 Copenhagen K

Grensen 13

N-0159 Oslo

PISA-RELATERING AF DE KRITERIEBASEREDE NATIONALE TEST | DAMVAD.COM