BUU, Alm.del - 2013-14 - Bilag 14: Orientering om offentliggørelse af evaluering af de nationale test, fra undervisningsministeren

BILAG 1: METODEBESKRIVELSENærværende bilag indeholder en detaljeret beskrivelse af metoden anvendt i evalueringen af denationale test. Som supplement hertil har evaluator udarbejdet en deltaljeret redegørelse for re-gisteranalyserne anvendt til effektanalyserne, som fremgår af bilag 3.Evalueringen af de nationale test baserer sig på en række aktiviteter og dokumentation, der ergennemført/indsamlet i perioden november 2012 til juni 2013:Desk researchInteressentinterviewEksplorative casestudierRegisterdataSpørgeskemaundersøgelser (blandt skoleforvaltninger, skoleledere og lærere)Analyse af testdataCasestudierEkspertvurdering 1 og 2.Kommissoriet fra Kvalitets- og Tilsynsstyrelsen indeholder en række evalueringsspørgsmål, somskal belyses i denne evaluering. I kommissoriet er disse markeret med bogstaverne A til P. Medhenblik på at skabe overblik over, hvilke datakilder der belyser hvilke evalueringsspørgsmål, harevaluator udarbejdet nedenstående tabel. Det skal bemærkes, at interessentinterview og eksplo-rative casestudier ikke fremgår af tabellen, da disse ikke udgør selvstændige datakilder, menderimod har bidraget til at kvalificere den øvrige dataindsamling. Dog beskrives formål med ogtilgang til disse aktiviteter nedenfor i afsnittet.Som det fremgår af rapporten, har vi i analysen lagt vægt på at datatriangulere, da dette bidra-ger til at forstærke og/eller nuancere analyser og konklusioner. Nedenstående tabel viser, at der ihøj grad har været mulighed for datatriangulering, eftersom de fleste evalueringsspørgsmål bely-ses gennem flere datakilder.

Analysestrategi til analyse af effekt og sammenhængeEvalueringen af de nationale test undersøger årsagssammenhængen mellem nationale test ogskolernes evalueringskultur samt elevernes faglige resultater, jf. formålet ovenfor. Disse analyserskal belyse, hvorvidt anvendelsen af de nationale test som et pædagogisk værktøj har styrketskolernes evalueringskultur og herigennem elevernes faglige niveau.Overstående er i evalueringen omsat til følgende tre selvstændige analyser:1. I den første analyse udføres der en række regressionsanalyser, der sammenligner fagligeresultater mellem elever, der har deltaget i nationale test, og elever der ikke har deltaget inationale test. Variationen skabes ved at analysere testresultater for elever, der går på for-skellige årgange og derfor afskiller sig mht. deltagelse i test. Ligeledes analyserer vi, om derer forskelle på resultater hos elever, der har varet udsat for testnedbrud og altså ikke fikrespons på deres resultat, og elever, der deltog i testen og således fik mulighed for at fåfeedback på deres præstation.2. I en anden analyse søger vi via spørgeskemaundersøgelser at vurdere, om skolernes evalue-ringskultur er styrket efter indførelse af nationale test. Dette sker bl.a. ved at spørge skolerneom deres evalueringskultur har ændret sig over tid, samt ved at inkludere et mindre antalspørgsmål, der er anvendt i en spørgeskemaundersøgelse, inden de nationale test blev ind-ført (Calmar Andersen 2004). Skolernes svar uddybes ved dybdegående casestudier, og dersammenlignes med tidligere studier af danske skolers evalueringskultur for at vurdere, omder er sket en eventuel forbedring.3. I den tredje form for analyse kombineres spørgeskemadata om skolernes evalueringskulturmed testresultater. Metodisk set foretages en korrelationsanalyse for at undersøge, hvorvidtder er en sammenhæng mellem styrken af skolernes evalueringskultur og elevernes fagligeresultater.Kombination af effektevaluering og virkningsevalueringFor at kunne undersøge ovenstående årsagssammenhænge har evaluator til nærværende evalue-ring udviklet et evalueringsdesign, der kombinerer virkningsevaluering og effektevaluering, menstilgangen contribution analysis danner rammen for analysen. Evalueringsdesignet er udviklet medhenblik på at kunne etablere viden om effekter af nationale test samt systematiske årsagssam-menhænge til forklaring af, hvordan effekter er skabt. Dette uddybes nedenfor.Evalueringstilgangen contribution analysis er udviklet med henblik på at sandsynliggøre sam-menhængen mellem indsats og effekt i situationer, hvor det ikke er muligt at etablere en evalue-ringstilgang med brug af eksperimentelt design. I forhold til de nationale test er det ikke muligtat lave et randomiseret kontrolleret forsøg, da alle folkeskoler i henhold til loven skal gennemførenationale test. En indsatsgruppe og kontrolgruppe kan derfor ikke etableres. Contribution analy-sis-perspektivet kan imidlertid bidrage til at sandsynliggøre, i hvilken grad effekt kan tilskrivesden pågældende indsats, og via udvikling af en forandringsteori identificeres endvidere de fakto-rer, som forventes at lede frem til de endelige mål.For at kunne sandsynliggøre årsagssammenhænge benytter contribution analysis en teoribaseretevalueringsmetode med definition af en forandringsteori for årsags-virknings-kæder mellem in-put-aktivitet-output-outcome-impact samt opstilling af hypoteser om drivkræfter og barrierer forat realisere antagelserne i forandringsteorien. Endvidere kræver contribution analysis opstilling afalternative forklaringer på en positiv eller negativ effekt, der kan testes og dermed bidrage til atbe- eller afkræfte forandringsteoriens vs. alternative forklaringers kraft som drivende for deskabte effekter. Evaluator har således udviklet en forandringsteori med to spor; et spor med fo-kus på lærerne og den pædagogiske praksis og et spor med fokus på ledelse. Med afsæt heri harevaluator endvidere udviklet en række hypoteser, der løbende testes i evalueringens analyser.Forandringsteorier såvel som hypoteser er præsenteret i nærværende bilag.

Model for evalueringskulturSom en del af evalueringsdesignet har evaluator operationaliseret begrebet evalueringskultur irelation til evalueringen af de nationale test og udviklet en model herfor. Modellen beskrivesnærmere i bilag 2.Modellen består af fire niveauer, som udgør et kontinuum fra niveau 1 (der udtrykker overholdel-se af kravet om afholdelse af obligatoriske test, men hvor resultaterne ikke anvendes i overens-stemmelse med lovens intentioner) til niveau 4 (der udtrykker fremadrettet brug af testene somet pædagogisk redskab, der kan understøtte høj grad af undervisningsdifferentiering).Modellen afspejler først og fremmest Kvalitets- og Tilsynsstyrelsens egen definition af evalue-ringskultur samt Peter Dahler Larsens definition af evalueringskultur/evalueringskapacitet, dersupplerer denne definition med nogle ekstra elementer.Den gode evalueringskultur medvirker ligeledes til kontinuerlig pædagogisk udvikling og foran-dring. Derfor har evaluator i arbejdet med modellen inddraget undersøgelser/reviews, der pegerpå de elementer, der understøtter dette i en undervisningssammenhæng. Først og fremmestCreating Effective Teaching and Learning Enviroments. First Results from TALIS. OECD (2009),School leadership and student outcome: Identifying what works and why. Auckland: University ofAuckland, Robinson, V et al (2009), Ledelse, læring og trivsel i folkeskolen. SFI. Det NationaleForskningscenter for Velfærd, Andersen, S.C. et al. (2011) samt Review on Evaluation and As-sessment in Education: Denmark 2011, OECD.Modellen anvendes især som etanalytisk værktøjtil at kategorisere skoler i forhold til, hvordande arbejder med evaluering, ligesom modellen har dannet grundlag for udvikling af spørgeske-maer og interviewguides.Forandringsteorier og hypoteserEvalueringens analytiske afsæt er en overordnetforandringsteorifor den intervention, der ergenstand for evalueringen, dvs. en forandringsteori for indførelse af de nationale test i folkesko-len. Forandringsteorien står centralt i evaluators evalueringsdesign (virkningsevaluering uddybetmedcontribution analysis).Med udgangspunkt i såvel forandringsteori som modellen for evalueringskultur (beskrives neden-for) har evaluator formuleret en rækkehypoteserom sammenhænge i forandringsteorien. Brugaf hypoteser til at skærpe de forhold, der skal testes empirisk, er særdeles udbredt inden forforskning og nyere evalueringstilgange, herunder virkningsevaluering. Hypoteserne repræsente-rer de forhold, som evaluator finder afgørende at teste som led i evalueringen og med et klart af-sæt i kommissoriets evalueringsspørgsmål. Tabellen nedenfor præsenterer evalueringens hypote-ser, ligesom det fremgår, på hvilken baggrund hypotesen er dannet.Tabel 2: Oversigt over hypoteser

Hypoteser7. Inddragelse af resultaterne af de nationale test giver – sammen med re-sultaterne af den øvrige evalueringsindsats – et styrket grundlag for aktivpædagogisk skoleledelse (fx ved at følge op på elevpræstationer og i dialogudvikle undervisningen)Lærerne8. Resultatet af de nationale test styrker lærerens løbende evaluering afelevernes faglige styrker og svagheder (bidrager til et nuanceret billede afelevernes kundskaber og færdigheder)9. Resultatet af de nationale test målretter den enkelte lærers planlægningaf undervisning i relation til klassen og den enkelte elev10. Resultatet af de nationale test styrker den enkelte lærers differentieringaf undervisning11. Inddragelse af resultater fra de nationale test styrker og kvalificerer di-alogen i lærerteams om udvikling af undervisning12. Inddragelse af ressourcepersoner styrker fortolkningen af resultatet afde nationale test og målretter lærerens opfølgning i relation til den enkelteelev/klassenEleven13. Lærerens tilbagemelding og dialog med eleven om resultatet af natio-nale test styrker elevernes bevidsthed om egne læreprocesser og dermedmotivation for læringSkole-hjem-samarbejdet14. Nationale test styrker skole-hjem-samarbejdet15. Dialog med hjemmet om resultatet af de nationale test fremmer foræl-drenes mulighed for at understøtte deres barns læringForvaltningen16. Skolernes og forvaltningens aktive samarbejde/dialog om skolens test-resultater fører til en målretning af skolernes arbejde (og dermed forbedre-de faglige resultater)17. Et klart kommunalt fokus på faglige resultater har en positiv indflydelsepå skolernes faglige niveau

DataindsamlingsaktiviteterDataindsamlingsaktiviteterne og kvaliteten af de tilvejebragte data beskrives i det følgende for deenkelte datakilder i evalueringen.Desk research, interessentinterview og eksplorative casestudier blev gennemført som led i evalu-eringens opstartsfase og beskrives kort herunder, mens beskrivelsen af de øvrige dataindsam-lingsaktiviteter beskrives mere udførligt.Desk researchEt væsentligt afsæt for evalueringen er, at evaluator er informeret om og funderet i den viden,som eksisterer på området. Det gælder lovgrundlag, relevante undersøgelser og forskning samtden dokumentation, som Kvalitets- og Tilsynsstyrelsen besidder efter en årrække med forbere-delse og gennemførelse af projektet om de nationale test.I forhold til sidstnævnte har evaluator afholdt et møde med styrelsens nøglemedarbejdere og erblevet opdateret på den viden, som styrelsen ligger inde med. Derudover har evaluator gennem-ført egen research af relevant viden, som er indgået i arbejdet med hypoteser, forandringsteoriermv.

InteressentinterviewsEvaluator har i opstartsfasen gennemført interviews med en række interessenter på folkeskole-området. Følgende organisationer blev interviewet:Danmarks Lærerforening v. afdelingschef Jesper StøierSkolelederforeningen v. formand Anders BalleKommunernes Landsforening v. chefkonsulent Anette AunbirkSkole og Forældre v. nu afgået formand Benedikte Ask SkotteDanske Skoleelever v. nu afgået formand Vera Rosenbeck.Interviewene er gennemført med henblik på at give interessenterne mulighed for at give input tilevalueringen. Temaerne for interviewene var følgende: Interessenternes involvering i projektet,status for anvendelse af test; styrker og svagheder ved brug af de nationale test (herunder må-lopfyldelsen); anvendelse og nytte af de nationale test; opmærksomhedspunkter for evaluerin-gen, samt bud på rivaliserende/alternative forklaringer på effekt.Interviewene har bidraget til at kvalificere udarbejdelsen af en model for evalueringskultur og atskærpe fokus i den kommende spørgeskemaundersøgelse blandt skoleledere. De vil på sammemåde indgå og understøtte udarbejdelse af henholdsvis spørgeskemaundersøgelse blandt forvalt-ninger og spørgeskemaundersøgelse blandt lærere.To eksplorative casestudierEvaluator har ligeledes i opstartsfasen gennemført eksplorative casestudier på to skoler.Formålet har været at sikre evaluator en fokuseret forståelsesramme i dialog med praktikere. Detvil sige at få et indblik i skoleledere og læreres aktuelle forståelse af evalueringspraksis, begre-berneevalueringskulturogstyrket faglighedsamt deres kobling til de nationale test. Desudenblev der spurgt ind til daglig praksis og konkrete erfaringer i relation til testene.Evaluator har endvidere anvendt de eksplorative casestudier til at spørge ind til, hvilke alternati-ve forklaringer der kan være på elevers fremgang inden for testfagene. Også disse interview harbidraget til at kvalificere og skærpe det videre arbejde med ikke mindst skoleleder- og lærer-spørgeskemaer samt alternative forklaringer.Samlet set har deskresearch, interessentinterview og eksplorative casestudier bidraget til at til-vejebringe viden, der skærper analysestrategien og kvalificerer dataindsamlingen.RegisteranalyserRegisteranalyserne har til formål at undersøge effekten af de nationale test.Som udgangspunkt er det meget vanskeligt statistisk at undersøge effekten af de nationale test.Data fra det nationale testsystem kan vise, hvordan eleverne har klaret testene over tid, mensom udgangspunkt er det ikke til at sige, om en eventuel fremgang er en effekt af testene elleren effekt af andre forhold. Udfordringen er, at der ikke har noget at sammenligne med. Alle ele-verne i testsystemet har taget testene, og vi ved derfor ikke, hvordan de ville have klaret sig,hvis de ikke havde taget en test.For at imødegå disse vanskeligheder med at undersøge effekten af de nationale test i sig selv,har evaluator til denne evaluering anvendt to metoder. Til effekter på elev- og skoleniveau be-nytter vi os af et sammenbrud i it-systemet i 2010, der gjorde, at ikke alle elever blev testet detår. Til effekter på landsplan undersøger vi forskelle mellem årgange lige før og lige efter testenesindførelse. Datagrundlag og gennemførte analyser beskrives nærmere i bilag 3.SpørgeskemaundersøgelserDer er gennemført spørgeskemaundersøgelser blandt hhv. forvaltninger, skoleledere og lærere.Det primære formål med spørgeskemaundersøgelserne blandt kommunale forvaltninger var atopnå et overblik over kommunale politikker, strategier og vurderinger af evalueringsspørgsmålom karakteren af evalueringskultur på kommunens skoler.

Det primære formål med spørgeskemaundersøgelserne blandt hhv. skoleledere og lærere var atopnå et overblik over skolelederes og læreres erfaringer med test og vurderinger af evaluerings-praksis. I hvilken grad og hvordan de nationale test skaber en evalueringskultur og bidrager tilrefleksion over elevernes faglige styrker, svagheder og potentialer, og en efterfølgende planlæg-ning og tilrettelæggelse af undervisningen, der søger at gavne de enkelte elevers udvikling mestmuligt.Således har spørgeskemaundersøgelserne bidraget til at identificere og forklare eventuelle sam-menhænge mellem indførelsen af de nationale test og hhv. evalueringskultur og elevernes fagligeniveau. For at kunne identificere og forklare disse sammenhænge har spørgeskemaundersøgel-serne belyst en række temaer, som er uddybet nedenfor.Temaer i spørgeskemaundersøgelse til forvaltningerneDet overordnede formål med spørgeskemaundersøgelsen til forvaltningerne var at afdække,hvordan de nationale test anvendes som værktøj i kommunernes kvalitetsarbejde. Samtidig vardet vigtigt at undersøge, i hvor høj grad kommunen har et klart fagligt fokus på skolernes fagligeresultater, og om de formulerer resultatmål i relation til dette. Intentionerne i lovgrundlaget (lov-forslaget om de nationale test mv.) har været et væsentligt grundlag for at formulere spørgsmåltil spørgeskemaet.På den baggrund blev spørgeskemaet struktureret efter følgende temaer:1. Kommunale indsatsområder og fokus på kvaliteta. Kommunale initiativer på skoleområdetb. Har kommunen opstillet mål for skolers faglige resultater, trivsel e.l.?2. Dialog mellem forvaltning og skolera. Hvilken form antager dialogen mellem skoler og forvaltning (skolelederkonference,tilsyn, rådgivning fra pædagogiske konsulenter, ad hoc kontakt)b. Hvor hyppig er kontakten mellem skoler og forvaltningc. Hvilke områder har forvaltningen kontakt med skolerne om (skolens økonomi, fagligudvikling af skolen, pædagogisk udvikling af skolen, elever med særlige behov, soci-alt udsatte elever, personalejuridiske problemstillinger, kommunens skolepolitiskemålsætning, kvalitetsudviklingsredskaber)3. Kvalitetsrapportera. Hvilke parametre indgår i kvalitetsrapporterne, og hvordan anvendes kvalitetsrappor-terne som styrings- og dialogværktøj over for skolerne?b. Kommunernes anvendelse af den nationale præstationsprofil og resultaterne fra denationale testc. Hvordan inddrages skolerne i udarbejdelsen af rapporterne?d. Hvordan følger kommunerne op på (utilfredsstillende) resultater i kvalitetsrapporter-ne?Temaer i spørgeskemaundersøgelse til skolelederneDet overordnede formål med spørgeskemaundersøgelsen til skolelederne var at afdække skolensoverordnede evalueringskultur, herunder hvilke redskaber skolen bruger til evaluering, og særligthvordan resultaterne fra de nationale test anvendes i skoleledelsens pædagogiske ledelse.Spørgsmålene er designet med henblik på at kunne vurdere, om der er sket en udvikling i sko-lens evalueringskultur efter de nationale test blev indført. Derudover ønskes der et overordnetindblik i, hvordan de nationale test anvendes blandt lærergruppen (efter skoleledelsens opfattel-se).På den1.2.3.4.baggrund blev spørgeskemaet struktureret efter følgende temaer:Kontaktoplysninger på lærereBaggrundsoplysningerOrganiseringSkoleledelse

5. Evaluering og evalueringskultur6. Anvendelse og holdninger til nationale test.Temaer i spørgeskemaundersøgelsen til lærerneDet overordnede formål med spørgeskemaundersøgelsen til lærerne er at undersøge, hvordan dedanske folkeskolelærerei praksisanvender de nationale test. Det vil sige, om testresultaternebruges til at vurdere elevers faglige styrker og svagheder og derefter anvendes resultaterne somgrundlag for en bedre fremadrettet planlægning af undervisningen?På den baggrund blev spørgeskemaet struktureret efter følgende temaer:1. Baggrundsoplysninger på lærernea. Alder, køn, uddannelse, erfaring etc.2. Implementeringsmiljø/organisering af arbejdeta. Prioritering/vurdering af opgaverb. Vurdering af egne kompetencerc. Vurdering af ledelsens involvering i drøftelser af metode og undervisning3. Evaluering generelta. Anvendelse af forskellige evalueringsredskaber/metoder (forandring i anvendelseover tid)b. Anvendelse af evalueringsresultater4. De nationale testa. De overordnede rammer for arbejdet med nationale testb. Lærerens anvendelse af nationale test til at vurdere og følge elevernes faglige styr-ker, svagheder og potentialer og som bidrag til et bedre grundlag for planlægningenaf undervisningenc. Lærerens syn på nationale test (formål, anvendelighed, tilbagemelding til lærerne iform af forskellige resultatvisninger, bidrag til at læreren får et nuanceret billede afelevernes kundskaber og færdigheder)d. De nationale tests indflydelse på lærernes prioritering af undervisningens indholde. Lærerens brug af resultaterne i skole-hjem-samarbejdetf. Skoleledelsens dialog med læreren om testresultaterne (opfølgning, sparring).Spørgeskemaundersøgelserne bidrager således til at belyse alle temaer i evalueringen (jf. tabel 1i nærværende bilag). Indholdsmæssigt har nogle dele af spørgeskemaet været det samme for al-le tre respondentgrupper, mens andre dele af skemaet har varieret på tværs af de tre respon-dentgrupper.Population og fremgangsmådeDataindsamlingen foregik i perioden december 2012 til februar 2013, hvor spørgeskemaundersø-gelsen til skolelederne og til forvaltningen blev udsendt først, hvorefter spørgeskemaundersøgel-sen til lærerne blev udsendt. Spørgeskemaundersøgelsen er gennemført som en totalundersøgel-se blandt skoleledere på samtlige af landets folkeskoler og blandt alle 98 (skole-)forvaltninger,hvor skolecheferne udgør respondentgruppen.Spørgeskemaundersøgelserne involverer derfor følgende tre populationer:1. Samtlige kommunale (skole-)forvaltninger i Danmark2. Samtlige skoledere i Danmark3. Omkring 4.000 lærere, der blev udvalgt af deres ledere på baggrund af evaluators opstil-lede kriterier.Spørgeskemaundersøgelsen til skolelederne blev sendt til skolens overordnede e-mail og adres-seret til skolelederen. Det fremgik af følgemailen, at respondenten skulle være repræsentant forden samlede skoleledelse og have indsigt i skolens arbejde med de nationale test. Det behøverderfor ikke være skolelederen selv, der besvarede spørgeskemaet.Nationale test

Spørgeskemaundersøgelsen til lærerne blev sendt til de lærere, som skolelederne havde udvalgtud fra følgende kriterier (opstillet af evaluator):En lærer for hvert af de nedenstående fem fag, der sidste skoleår underviste i:- Dansk, læsning i 2. klasse- Matematik i 3. klasse- Dansk i 4. klasse- Enten matematik eller dansk i 6. klasse- Engelsk i 7. klasse.To lærere, der sidste år underviste i ét af følgende fire fag på 8. klassetrin:- Geografi, biologi, dansk, læsning eller fysik/kemi.Inden udsendelse af spørgeskemaerne blev de pilottestet på 3-5 respondenter, der repræsente-rede henholdsvis forvaltning, skoleledere og lærere.SvarprocenterDer er høje svarprocenter i alle spørgeskemaundersøgelserne. Population og svarprocenter frem-går af tabellen nedenfor.Tabel 3: Svarprocenter for spørgeskemaundersøgelserne

DatakvalitetSpørgeskemaundersøgelsen er som nævnt gennemført med høje svarprocenter for forvaltning,skoleledere og lærere. Mellem 59 og 80 pct. for hver af de tre respondentgrupper, der har besva-ret spørgeskemaet. Dertil kommer, at spørgeskemaundersøgelsen blandt forvaltningen dækkernæsten alle kommuner i Danmark og således næsten udgør en totalundersøgelse. Samlet setmedfører de høje besvarelsesprocenter et repræsentativt kvantitativt datagrundlag, der bidragertil at sikre en høj datakvalitet.DatafremstillingData fra spørgeskemaundersøgelserne er primært præsenteret i tabeller, hvor de simple frekven-ser er vist. For alle spørgsmål i spørgeskemaundersøgelsen til lærerne gælder det, at der er kon-trolleret for sammenhænge mellem hhv. klassetrin og testfag. De steder, hvor der fremgik en re-levant sammenhæng, vil det være bemærket og/eller illustreret ved en tabel. For de andre tospørgeskemaundersøgelser er der ikke konsekvent kontrolleret for en sammenhæng, men der erkontrolleret for udvalgte spørgsmål, som ud fra en teoretisk eller empirisk begrundet forventningkunne have en sammenhæng. Derudover er der konstrueret indeks (fx over lærernes holdning tilde nationale test) til at teste for bredere sammenhænge, hvor det var relevant. Samtlige indekshar et Cronbachs Alpha på 0,8 eller derover, og korrelationerne mellem hver item er på 0,3 ellerderover (Pearsons r )1.Ekspertvurdering 1 og 2Ekspertvurdering betegner en metodisk tilgang, hvor evaluator inddrager relevante eksperter ianalyserne af udvalgte evalueringsspørgsmål i evalueringen. Til nærværende evaluering er dergennemført to ekspertvurderinger. Ekspertvurdering 1 har fokus på styrker og svagheder vedfag, faglig kvalitet i opgaverne mv., mens ekspertvurdering 2 har fokus på fordele og ulemperved det adaptive princip. Tilgangen i de to ekspertvurderinger er lidt forskellig. Dette beskrivesnedenfor.

Ekspertvurdering 1Ekspertvurdering 1 har til formål at vurdere testenes udvalg af fag, faglige emner og relation tilfagenes trinmål i Fælles Mål samt testopgavernes faglige kvalitet og antallet af opgaver.Evaluator har udvalgt følgende fire ud af de seks testfag til ekspertvurderingen; dansk, læsning,matematik, fysik/kemi og engelsk. Dansk, læsning, matematik og fysik/kemi er blandt andet ud-valgt, fordi de indgik i reviewpanelets rapport fra 2007, og det derfor kunne styrke analysen inærværende evaluering at kunne inddrage og sammenholde analysen med observationer ogkonklusioner herfra. Engelsk er udvalgt som repræsentant for sprogfagene.Ekspertvurdering 1 er gennemført vha. interview med nøglepersoner og seminarer med fagligeeksperter. Interview med nøglepersoner er gennemført som personlige interview og har bidragetmed baggrundsviden om de nationale test, ligesom de har bidraget til at kvalificere de efterføl-gende seminarer med eksperter.Der er gennemført et heldagsseminar for hvert af de fire udvalgte testfag. Med afsæt i en af eva-luator udviklet skabelon har de faglige eksperter drøftet en række temaer vedrørende indholdet ide nationale test. De faglige eksperter har bl.a. drøftet styrker og svagheder ved fagenes profil-områder, opgaveemner og trinmål. Endvidere er kvaliteten af opgaver i opgavebanken blevetdrøftet bl.a. i forhold til spørgsmålsformuleringer, distraktorer, illustrationer, layout mv.Til brug for de faglige seminarer har evaluator udvalgt en række opgaver fra opgavebanken, somfungerer som afsæt for de faglige eksperters drøftelser. I udvælgelsen af opgaver er det priorite-ret, at samtlige opgavetyper og opgaveemner er repræsenteret. Der er endvidere opgaver re-præsenteret fra samtlige fem sværhedsgrader. Herudover har kriteriet været, at de udvalgte op-gaver i et vist omfang skulle afspejle den reelle fordeling af opgavetyper, -niveauer og svær-hedsgrader. Det er prioriteret, at der er eksempler på opgavetyper med samme opgaveemne ogsværhedsgrad, således eksperterne kan vurdere, hvorvidt sværhedsgraden reelt er den samme.Det er ligeledes prioriteret, at der er eksempler på opgavetyper med samme opgaveemne menmed forskellig sværhedsgrad, således det er muligt at vurdere, om der er passende forskel påsværhedsgraderne. Det skal dog bemærkes, at der i matematik og fysik/kemi er mange opgave-typer set i forhold til dansk, læsning og engelsk. For at sikre, at alle disse opgavetyper blev re-præsenteret mere end en gang, er der i mindre omfang skelet til den reelle opgavefordeling.Evaluator har faciliteret seminarer med eksperter og har for hver af de fire udvalgte testfag ud-arbejdet et internt fagnotat, der sammenfatter de faglige eksperters vurderinger af ovenståendeområder. Analyser af de nationale tests indhold baserer sig bl.a. på tværgående analyse af dissefagnotater.Ekspertvurdering 2Ekspertvurdering 2 har til formål at belyse fordele og ulemper ved det adaptive princip, der be-nyttes i de nationale test. Der foretages vurderinger af tekniske, økonomiske og pædagogiskefordele og ulemper.Ekspertvurdering 2 er baseret på et internationalt litteraturstudie og analyse udarbejdet til nær-værende evaluering af professor Peter Allerup, Aarhus Universitet. Herudover benyttes indsamle-de data fra spørgeskemaundersøgelser og casestudier. Ekspertvurderingen afrapporteres i selv-stændigt notat vedlagt som bilag 4 til evalueringsrapporten. Hovedpointer er inddraget i evalue-ringsrapporten.DatakvalitetSom det fremgår ovenfor forudsætter gennemførelse af ekspertvurdering 1 og 2 indgående tek-nisk og faglig indsigt. Evaluator har derfor gennemført disse i samarbejde med førende eksperterpå pågældende områder. Dette bidrager til at sikre kvaliteten af disse analyser. Ydermere erbegge ekspertvurderinger gennemført på baggrund af på forhånd udarbejdede skabeloner, derbidrager til at sikre systematik og gennemsigtighed. Samlet set er det således evaluators vurde-ring, at datakvaliteten af ekspertvurdering 1 og 2 er god.

CasestudierCasestudierne har som formål at supplere de bredere og kvantitativt funderede dataindsamlings-aktiviteter (spørgeskemaundersøgelserne og effektanalyserne). Casestudierne udgør den kvalita-tive forskningsmetode, der skal bidrage til en dybdegående forståelse af den kompleksitet, somkendetegner anvendelsen af nationale test og evalueringskultur. Casestudierne har bidraget medviden til at belyse den pædagogiske anvendelse af de nationale test, samt skolernes evaluerings-kultur.Der er i alt gennemført 10 casestudier for at få en bredde på tværs af skolerne. Oprindeligt varder planlagt 12 casestudier, men grundet lockouten af lærerne i perioden fra den 2. til 26. april2013 blev samtlige planlagte casestudier aflyst og skulle genbookes. Flere skoler faldt fra somfølge af lockouten, hvorefter nye skoler skulle rekrutteres. Det lykkedes os at rekruttere nye sko-ler, men i sidste øjeblik sprang enkelte skoler fra grundet tidsmæssigt pres som følge af lockou-ten.FremgangsmådeCasestudierne er gennemført over to hele dage på de udvalgte skoler. Over de to dage var derarrangeret fokusgruppeinterviews og interviews med elever, lærere, skoleleder, forvaltning ogforældre til børn, der havde gennemført de nationale test2. Der blev gennemført to interviewsmed skolelederen, et i starten af besøget og et som afslutning på besøget. Dette var for at kunneforholde dem og få en uddybning af de umiddelbare konklusioner fra casestudiet. Derudover varder i en eller flere klasser klasserumsobservationer af testafviklingen. Tilrettelæggelsen af case-studierne tog hensyn til, at interviews og observationer skulle foregå, når det var hensigtsmæs-sigt og muligt på den enkelte skole.Grunden til, at casestudierne strækker sig over to dage, er for at sikre bredde i respondenterne(fx på elever og læreres holdninger, testfag og klassetrin). Samtidig var det vigtigt at evaluatorkunne nå at få en fornemmelse af og se indikatorer på, hvordan skolerne anvender de nationaletest, primært gennem forskellige klasserumsobservationer. Derudover var det vigtigt for at kun-ne vurdere data at få forskellige kilder inden for hvert casestudie til at belyse anvendelse af denationale test og skolens evalueringskultur.Forud for casestudierne blev der udarbejdet spørgeguides målrettet den enkelte informanttype oginterviewform. Der blev ligeledes udarbejdet observationsark til brug for klasserumsobservatio-nerne. Observationsarket indeholdt skalerede afkrydsningsmuligheder i forhold til vurdering aftestafviklingen, lærerens rolle heri og elevernes oplevelse af de nationale test. Derudover var deri observationsarket mulighed for at notere kommentarer og refleksioner til vurdering af testafvik-lingen.På baggrund af interviews og observationer er der udarbejdet caserapporter for hvert af de 10casestudier (til intern brug i evalueringsteamet). I caserapporterne er skolens organisering, sko-leledelse, evalueringspraksis, anvendelse af de nationale test og informanternes vurdering af ef-fekter af de nationale test beskrevet.Udvælgelse af forsøgDe 10 casestudier er foretaget på skoler, der er udvalgt, så der sikres dybdegående kvalitativedata. For at øge validiteten af data er skolerne udvalgt med henblik på at få spredning i forhold tilgeografisk placering, kommune, skolestørrelse, evalueringskultur og præstation i de nationaletest. Dette for at sikre, at der ikke fremkommer et skævvredet billede af anvendelsen af de nati-onale test. En oversigt over de 10 casestudier vises nedenfor.

Skolerne er blevet rangeret i forhold til evalueringskultur og præstation i de nationale test for atkunne sikre variation mellem skolerne. Skolerne er rangeret i forhold til evalueringskultur påbaggrund af skolelederbesvarelserne, hvorfra et indeks for evalueringskultur blev opstillet påbaggrund af skolens anvendelse af de nationale test. Skolernes rangering i forhold til præstation ide nationale test bygger på præstation i dansk, læsning i 8. klasse, da der var en klar sammen-hæng mellem præstation og evalueringskultur ved denne test.DatakvalitetKvaliteten af casestudier vurderes typisk ud fra to kriterier. Kriterierne er dækningsgraden (ergenstandsfeltet for casen veldefineret og afgrænset, vurderes data at være tilstrækkeligt ogdækkende, og er der allokeret nok tid og ressourcer til at gennemføre casestudiet?) og mulighe-den for alternative perspektiver (har casestudiet involveret en tilsigtet afdækning af rivaliserendeperspektiver?).Der er gennemført 10 casestudier af to dages varighed. De 10 cases er udvalgt, så der sikresdybdegående kvalitativ viden fra forskellige typer af skoler. Der er sikret spredning i relation tilde af evaluator udvalgte kriterier. Casestudierne er gennemført som en kombination af interviewog observation. Interviewene sikrer, at der er indsamlet viden om de nationale test fra alle de in-volverede parter, mens observationerne bidrager med viden om praksis i relation til gennemfø-relsen af de nationale test. På denne baggrund vurderer evaluator, at kvaliteten af data tilveje-bragt gennem de gennemførte casestudier er særdeles god.ForandringsteorierPå de følgende to sider præsenteres forandringsteorier, evaluator har udviklet.Forandringsteori for indførelse af nationale test i folkeskolen: LærersporetForandringsteori for indførelse af nationale test i folkeskolen: Ledersporet