Folketingets Uddannelsesudvalg
Svar på spørgsmål 127 (Alm. del):
I brev af 22. marts 2006 har udvalget stillet mig følgende spørgsmål:
Spørgsmål 127:
â€Har Undervisningsministeriet gennemført en evaluering af erfaringerne med den nye multiple choice-prøve inden for fysik/kemi og i givet fald med hvilket resultat, jf. alm. del - bilag 319?â€
Svar:
Der er indtil nu gennemført 2 evalueringer af prøveformen ved den digitale naturfagsprøve med udgangspunkt i afprøvning af prøveformen i august 2005, hvor ca. 1.200 elever deltog.
1. En spørgeskemaundersøgelse blandt elever og lærere
1.162 elever fordelt på 43 skoler deltog i en afprøvning af den digitale naturfagsprøve i august 2005.
1.053 af de deltagende elever svarende til 90,6 pct. besvarede et spørgeskema efter afprøvningen. I spørgeskemaet blev der spurgt om forskellige forhold knyttet til prøven, herunder elevens opfattelse af den sproglige sværhedsgrad, brugervenlighed, fagligt niveau og selve prøveformen.
Lærerne blev spurgt om de samme forhold. Men da der kun var 24 lærere, svarende til 55 pct. af de deltagende, som besvarede spørgeskemaet, kan der ikke udledes noget signifikant fra denne gruppes besvarelser. De refererede tilkendegivelser fra lærernes side skal derfor tages med forbehold.
Dog kan det oplyses, at 48 pct. af lærerne vurderer, at sproget samlet set i prøverne var svært eller meget svært. Til sammenligning kan det ses, at kun 15 pct. af eleverne vurderer sproget svært eller meget svært. Af lærernes kommentarer fremgår, at de har meget fokus på de læsesvage elever, hvilket kan være årsagen til, at lærerne finder sproget vanskeligere end eleverne.
Henholdsvis 47 pct. og 44 pct. af eleverne vurderede det faglige niveau i henholdsvis Biologi- og Fysik/kemi-prøven som svært eller meget svært. Elevernes faktiske resultater fordeler sig i begge prøver efter en pæn normalfordeling, så eleverne synes tilsyneladende, at prøven er sværere, end deres faktiske resultater viser.
Lærernes vurdering viser, at de generelt angiver, at der er nogen eller stor overensstemmelse mellem det faglige indhold i prøverne og slutmålene for fagene.
Eleverne bedømmer generelt prøveformen meget positivt. Kun 6 pct. vurderer prøveformen som dårlig eller mindre god.
2. En foreløbig analyse af besvarelserne
Undervisningsministeriets leverandør @ventures, Kompetencecenter for e-læring ved Århus Købmandsskole, der står for den tekniske og testpædagogiske afvikling, har foretaget en såkaldt Rasch-analyse af testresultaterne.
Rasch-analysen viser først og fremmest, at datagrundlaget kan anvendes til at bestemme testpersonernes dygtighed. Rasch-analysen viser også, at testpersonernes dygtighedskurve følger en normalfordeling, samt at spørgsmål i opgaverne fordeler sig nogenlunde omkring middelsværhedsgraden med lidt udtynding i de yderste sværhedsgrader.
Ved udvikling af prøvesættene er de 20 opgaver i hvert sæt grupperet på 3 hovedområder: fagets basisviden, dvs. det alle forventes at besidde (ca. 60 pct.), viden som en stor del forventes at besidde (ca. 30 pct.) og viden, som kun få forventes at besidde (ca. 10 pct.). Denne gruppering er valgt for at kunne rangordne eleverne over en bred skala.
Rasch-analysen viser, at der kan skelnes signifikant mellem 3 dygtighedsniveauer på baggrund af de gennemførte test. Dvs. at det er muligt at rangordne eleverne i 3 grupper efter om deres resultat er dårligt, middel eller godt. Oven på denne rangordning er efterfølgende lagt karakterskalaen, der gør det muligt at omsætte elevernes opnåede point i prøven til en karakter.
Det har ikke på nuværende tidspunkt været muligt at foretage yderligere kontroller af datamaterialet i forhold til muligheden for at forbedre metoden.
Denne besvarelse fremsendes i 5 eksemplarer