BUU, Alm.del - 2014-15 (1. samling) - Bilag 164: Henvendelse af 2/6-15 fra Niels Christoffersen, Rorup om PISA - stikprøve, stratifikation, vægtning. repræsentation mv.

Børne- og Undervisningsudvalget 2014-15 (1. samling)
BUU Alm.del Bilag 164
Offentligt

Niels Christoffersen

[email protected]

Undervisningsministeriet

Ministeren

Frederiksholms Kanal 21

1220 København K

Tlf. 3392 5000

Fax 3392 5547

E-mail [email protected]

www.uvm.dk

Kære Niels Christoffersen

Tak for din mail fra den 10. april 2015 og dine opfølgende spørgsmål og

interesse i PISA.

Da der er tale om meget tekniske spørgsmål, har jeg bedt Danmarks Sta-

tistik, som indgår det danske PISA-konsortium, om at kommentere din

henvendelse. Danmarks Statistik er eksperter i repræsentative stikprøver,

og de gennemfører i 2015 dataindsamlingen på de danske skoler i for-

bindelse med PISA 2015.

Danmarks Statistik anfører følgende:

”Når man stratificerer en undersøgelse med henblik på at opnå viden om

fx tosprogede elever, defineres stratificeringen på forhånd ud fra registre

og skolernes indrapportering. Delpopulationen er således fastlagt, før

stikprøven udtrækkes. Udvælgelsen sker ved hjælp af det stikprøvepro-

gram, som det internationale PISA-konsortium kræver, at landene bru-

ger. Da det internationale konsortium kender listerne, kan de kontrollere,

at udvælgelsen er sket korrekt.

Du har ret i, at vægten er dannet ud fra princippet om, at summen af

elever i delpopulationen divideres med summen af gennemførte test i

samme delpopulation. Vægtene afhænger af, hvilken delpopulation man

tilhører, når stikprøven trækkes. Opregningen laves derudover skole for

skole. Hvis der på en skole fx er valgt hver anden tosprogede elev og

fjerde dansksprogede elev, har de tosprogede elever på denne skole den

halve vægt i forhold til dansksprogede elever, fordi de har den dobbelte

udvalgschance. Det er måden, man sikrer repræsentativitet på.

Det mest sikre resultat opnås, hvis man bruger alle observationer i en

repræsentativ undersøgelse. Hvis man i eksemplet ovenfor tilfældigt

smed halvdelen af de tosprogede testpersoners besvarelser væk, ville de

resterende besvarelser for tosprogede og dansksprogede elever få den

30-04-2015

BUU, Alm.del - 2014-15 (1. samling) - Bilag 164: Henvendelse af 2/6-15 fra Niels Christoffersen, Rorup om PISA - stikprøve, stratifikation, vægtning. repræsentation mv.

samme vægt, fordi de har den samme udvalgschance. Dette resultat ville

være lidt anderledes, fordi det er baseret på færre observationer, men det

ville også være repræsentativt. Sikkerheden ville dog være lidt mindre,

fordi man ikke har brugt hele datagrundlaget. Repræsentativitet og sik-

kerhed er således ikke det samme. Repræsentativitet kræver, at man ken-

der hele populationen på forhånd, trækker tilfældigt i hver delgruppe, og

med vægte korrigerer for udvalgschancen. Repræsentativitet er en egen-

skab, der har med designet, udvælgelsen og opregningen at gøre. Det har

ikke noget at gøre med, hvor mange man spørger. En repræsentativ stik-

prøve bliver mere og mere sikker, jo flere man spørger. Det er derfor, at

det internationale PISA-konsortium for Danmark – og for de andre lan-

de med ekstra stikprøver – har valgt ikke at smide den ekstra stikprøve

væk. Det ville også se mærkeligt ud, hvis der for Danmark var to lidt

forskellige tal: Et med den lille stikprøve i den internationale rapporte-

ring, og et lidt andet i den danske rapport, hvor man analyserer forskel-

len mellem tosprogede og dansksprogede elevers resultater. At de ikke

kan være helt ens skyldes, at det er to forskellige repræsentative mål for

det samme, med hver deres statistiske sikkerhed.

Eleverne får forskellige delmænger af det samlede opgavesæt. Det fast-

lægges forud for hver test på skolen og sker på en balanceret måde i det

stikprøveprogram, som alle landene skal bruge. Nogle får fx delmængde

1 og 2, andre 2 og 3, og andre igen 3 og 1. Man kan korrigere for, at man

ikke har svaret på alle opgaverne på mange måder, men den bedste er at

imputere den delmængede, eleverne ikke har svaret på ud fra den del-

mængde, de har svaret på. Det er også denne løsning det internationale

konsortium har valgt.

I alle lande er der skoler eller elever, der ikke ønsker at deltage, samt spe-

cialskoler og internationale skoler, der ikke deltager. Alle landene skal

forud for, at stikprøven trækkes, sende lister med samtlige skoler i landet

til det internationale PISA-konsortium. Det internationale konsortium

har uafhængige kontrollanter i alle landene, der styres og betales af det

internationale konsortium. På baggrund af de officielle lister over samtli-

ge skoler estimeres, hvor mange skoler og elever der har deltaget, og

deres andel af elever. Dette sker på samme måde i Danmark som i alle

andre lande”.

Angående dine betragtninger om Færøerne, skal det anføres, at de færø-

ske data ikke indgår i det danske datasæt.

Jeg henholder mig til Danmarks Statistiks besvarelse, og det er fortsat

min vurdering, at de danske PISA-resultater er repræsentative for 15-16-

årige under uddannelse i Danmark.

BUU, Alm.del - 2014-15 (1. samling) - Bilag 164: Henvendelse af 2/6-15 fra Niels Christoffersen, Rorup om PISA - stikprøve, stratifikation, vægtning. repræsentation mv.

Hvis du har yderligere spørgsmål til den praktiske gennemførelse af stik-

prøve mv., vil jeg anbefale, at du kontakter Danmarks Statistik. Du kan

henvende dig til kontorchef Peter Linde i DST Survey ([email protected]).

Med venlig hilsen

Christine Antorini