Børne- og Undervisningsudvalget 2015-16
BUU Alm.del Bilag 274
Offentligt
Validitet og reliabilitet
–
hvad måler vi og med hvilken sikkerhed?
●
1
Reliabilitet
Hvor præcist kan testen udtale sig om den enkelte elev?
●
Hvor præcist kan testen udtale sig om populationen?
●
●
Validitet
●
Hvad udtaler testen sig om – og er det det vi har brug for
at vide?
Jeppe Bundsgaard
Professor MSO i fagdidaktik og it
DPU, Aarhus Universtitet
 BUU, Alm.del - 2015-16 - Bilag 274: Præsentationer fra høring om nationale test afholdt den 14/9-2016
1664042_0002.png
Man kan aldrig blive helt sikker!
●
2
Mål: At vide hvad den enkelte elev
kan, sådan nogenlunde
Jo flere opgaver eleven besvarer,
des mindre bliver usikkerheden på
estimatet.
Mål: Standard Error of
Measurement (SEM)
●
Hvor lille skal SEM være?
Eksempel: Elev med score
på 40
●
●
●
Beregning af Morten Rasmus Puck
 BUU, Alm.del - 2015-16 - Bilag 274: Præsentationer fra høring om nationale test afholdt den 14/9-2016
1664042_0003.png
Hvad kan læreren regne med?
●
3
Ministeriets præsentation af
problemet
Kriteriebaserede resultater
–
●
Seks vurderede faglige niveauer
●
Hvor mange elever vil læreren
få forkerte vurderinger af fra
nationale test?
Kan denne viden bruges
”pædagogisk”?
●
UVM’s ”Bilagsnotat til: De nationale tests måleegenskaber”, s. 7
Beregnet med et toleranceinterval på 1 standardafvigelse
Dvs. at knap en tredjedel vil ligge uden for de angivne intervaller
 BUU, Alm.del - 2015-16 - Bilag 274: Præsentationer fra høring om nationale test afholdt den 14/9-2016
1664042_0004.png
Forudsiger den frivillige test den obligatoriske?
●
4
Hvad er sammenhængen mellem
frivillige og obligatoriske test?
Nedenfor: Scatterplot af udvikling i Θ i
profilområdet tekstforståelse fra frivillig
test til obligatorisk for 2. klasse 2014.
●
Nedenfor: Ministeriets
korrelationsanalyser for alle fag
Fra UVM’s ”Undersøgelse af de
nationale tests reliabilitet”, marts 2016.
”En korrelationskoefficient under 0,60
anses som regel som utilfredsstillende.”
●
●
 BUU, Alm.del - 2015-16 - Bilag 274: Præsentationer fra høring om nationale test afholdt den 14/9-2016
1664042_0005.png
Validitet
– Måler nationale test det det siges den gør?
5
 BUU, Alm.del - 2015-16 - Bilag 274: Præsentationer fra høring om nationale test afholdt den 14/9-2016
1664042_0006.png
6
Hvad er konsekvenserne?
●
Lærerne ved ikke hvordan
resultaterne skal tolkes
→ Fejldiagnoser
Lærerne forbereder i høj
grad eleverne på testen
→ Fagligt tunnelsyn
Eleverne har dårlige
oplevelser
→ Mistet motivation
●
●