Seneste nyt om projektet til fremme af evalueringskulturen i folkeskolen (pr. 29. april 2007)

 

Dette notat er en kort opfølgning på statusnotatet om projektet til fremme af evalueringskulturen i folkeskolen dateret den 16. april 2007. I notatet fra den 16. april 2007 blev der redegjort for COWIs vurdering af den opgavebank, der vil blive anvendt i forbindelse med første version af de nationale test. COWI konkluderede:

 

·        At der med hensyn til bredden i opgavernes sværhedsgrad er tilstrækkeligt mange opgaver til bÃ¥de stærke og svage elever, dog med et forbehold ifht. de allersvageste elever.

 

·        At testene kan gennemføres pÃ¥ 7 ud af 9 profilomrÃ¥der (hver test har normalt 3 profilomrÃ¥der). I to profilomrÃ¥der har opgaverne ikke bestÃ¥et kvalitetskontrollen. Det drejer sig om profilomrÃ¥det ”afkodning” i læsning 8. klasse og profilomrÃ¥det ”tal og algebra” i matematik 6. klasse. COWI anbefaler som følge heraf, at testen i læsning og testen i matematik i den første version kommer til at indeholde hver 2 profilomrÃ¥der i stedet for 3. Endvidere vil længden af disse to være 30 min. i stedet for 45 min.

 

·        At opgavebanken ikke er fuldt udbygget, men at der vurderes at være et tilstrækkeligt antal opgaver til at gennemføre test indenfor 7 profilomrÃ¥der i første runde.

 

I denne opfølgning redegøres for de seneste oplysninger vedrørende de nationale test, bl.a. med udgangspunkt i generalprøven på de nationale test gennemført den 25. april 2007.

 

1.       Problemstillinger forud for generalprøven

Tjenesteyder (COWI) har den 22. april orienteret Skolestyrelsen om to problemstillinger vedrørende de nationale test. De to problemstillinger omhandler følgende:

·              En identificeret risiko for ikke-berettiget adgang til at modtage rapporter fra de nationale test.

·              Finpudsning af det adaptive system fra generalprøven den 25. april til lanceringen af de nationale test den 1. maj.

COWI har efterfølgende den 27. april oplyst, at den justerede version først kan realiseres fra den 10. maj.

 

Ikke-berettiget adgang til testresultater

Resultaterne af de nationale test er fortrolige. Derfor er testsystemet indrettet således, at kun de, som direkte har brug for testresultaterne, kan få adgang til dem.

 

Den 22. april blev COWI i forbindelse med belastningstest og funktionsprøver i perioden 18.-20. april opmærksom på en teoretisk sikkerhedsrisiko i rapportsystemet. Det betød ifølge COWI, at der i den daværende version af testsystemet ikke var fuld sikkerhed for, at en lærer kun kunne trække de rapporter, som han/hun havde fået tildelt rettighed til.

 

COWI oplyste imidlertid, at det ville kræve en særlig it-indsigt og et bevidst forsæt for uberettiget at skaffe sig adgang til rapporterne. Endvidere ville det være muligt at identificere personer, der havde foretaget ikke-legal adgang til rapporterne.

 

COWI oplyste på baggrund af ovenstående, at de ville gå i gang med en fejlretning. Dette arbejde pågår.

 

For de skoler, der gennemfører de obligatoriske nationale test den 1., 2. og 3. maj, betyder dette, at der først kan trækkes testrapporter fra den 7. maj og ikke dagen efter testens gennemførelse. Fra den 7. maj forventer COWI, at systemet vil fungere normalt, dvs. at rapporter kan trækkes dagen efter. Skolestyrelsen har orienteret skolerne om dette i et brev, der blev udsendt tirsdag den 24. april.

 

Den omtalte sikkerhedsrisiko var tilsvarende gældende for generalprøven, der blev afviklet onsdag den 25. april. Imidlertid besluttede Skolestyrelsen, at de deltagende skoler skulle have adgang til alle testrapporter med den begrænsede sikkerhedsrisiko, som dette ville indebære. Som nævnt vil det kræve en særlig it-indsigt og et bevidst forsæt at få uberettiget adgang til rapporterne, og det blev vurderet ikke at være i skolernes interesse at få uberettiget adgang til testresultater fra en generalprøve.

 

Den adaptive virkemåde

COWI orienterede samtidig (den 22. april) Skolestyrelsen om, at generalprøven ville blive afviklet efter det adaptive princip. Det adaptive princip betyder, at testene tilpasser sig den enkelte elev. Imidlertid ville COWI også efter generalprøven den 25. april arbejde på at forfine det adaptive system med henblik på en finjusteret version af systemet.

 

COWI orienterede Skolestyrelsen om, at der ikke ville være principiel forskel mellem de to versioner, men at der ville være tale om en forfinelse af den adaptive metode frem mod den 1. maj. COWI anbefalede, at generalprøven blev gennemført den 25. april på grundlag af den daværende adaptive metode. COWI har endvidere forsikret om at kunne indhente yderligere ressourcer, såfremt generalprøven skulle afdække flere problemer.

 

På denne baggrund blev generalprøven gennemført.

 

COWI har efterfølgende den 27. april orienteret Skolestyrelsen om, at det ikke er muligt at anvende den justerede version af det adaptive system før den 10. maj, hvorfor testene frem til den 10. maj gennemføres efter den første version.

Skolestyrelsen har taget dette til efterretning og har bedt COWI om at fremlægge en analyse af overensstemmelsen mellem bedømmelserne baseret på de to versioner efter den 10. maj.

 

2.      Generalprøve pÃ¥ de nationale test den 25. april 2007

I det seneste statusnotat af 16. april orienterede Skolestyrelsen om, at der var indgået aftale med COWI om at gennemføre en generalprøve på de adaptive test. Formålet med generalprøven var dels at forebygge tekniske problemer, dels at afprøve systemet med den maksimale belastning af samtidige brugere.

 

De 235 skoler, der deltog i afprøvningen af testopgaver i december 2006 og marts 2007, fik tilbud om at deltage i generalprøven.

 

Der blev åbnet for booking til generalprøven den 20. april. Ved bookingperiodens udløb havde knap 4.800 elever booket plads til generalprøven. De bookede elever var fordelt på 210 skoler i hele landet.

 

Generalprøven blev afviklet den 25. april i tidsrummet 11.00-13.00 (inklusiv forlængelse af test). Dokumentationen fra COWI viser, at ca. 3.700 elever og 160 skoler deltog i gennemførelsen af testene. COWI fyldte på den baggrund systemet op med yderligere virtuelle brugere for at simulere den nødvendige belastning. Det lykkedes at udsætte systemet for en belastning, der nærmede sig den maksimale belastning.

 

COWI har efter generalprøven dokumenteret generalprøvens afvikling overfor Skolestyrelsen. Generalprøven forløb efter planen i matematik og fysik/kemi. Imidlertid viste der sig at være en væsentlig programmeringsfejl i læsning, hvilket betød, at programmet gik ned, og at det ikke var muligt for eleverne at logge sig på testen fra start. Det tog 20 minutter at rette fejlen, hvorefter testen kunne gennemføres. Dette forhold har givetvis resulteret i, at nogle skoler slet ikke har haft mulighed for at deltage i generalprøven.

 

Efterfølgende blev der registreret meget lange svartider fra opgave til opgave, bl.a. i læsning. Ifølge COWI skyldes dette en programmeringsfejl, som ikke tidligere er identificeret. Denne fejl vil nu blive rettet.

 

Derudover viste generalprøven enkelte skønhedsfejl, f.eks. ved at eleverne oplevede, at testhjemmesiden ”faldt ud” eller viste ”time-out”. Endvidere fremgik det ikke tydeligt for eleven, hvornår testen var afsluttet. Der vil fra COWIs side blive rettet op på disse fejl.

 

På grund af de identificerede fejl har COWI set sig nødsaget til at prioritere ressourcerne med henblik på at gøre de nationale test klar til den 1. maj. Dette betyder, at COWI først kan gøre testrapporterne fra generalprøven tilgængelige for de deltagende skoler den 30. april. Dette har Skolestyrelsen meddelt skolerne.

 

Sammenfattende opfyldte generalprøven sit formål, idet der blev identificeret flere væsentlige fejl. Det gælder særligt inden for læsning. COWI konkluderer, at generalprøven har vist sig at have meget stor betydning for succes ved lanceringen af de nationale test den 1. maj. Samtidig har COWI oplyst, at der frem mod 1. maj arbejdes på at rette de konstaterede fejl.