Uddannelsesstyrelsen Frederiksholms Kanal 26 1220 København K Tlf 3392 5300 Fax 3392 5302 www.uvm.dk 25. april 2005 Folketingets Uddannelsesudvalg Svar på spørgsmål 21 (Alm. del.): I brev af 29. marts 2005 har udvalget stillet mig følgende spørgsmål: Spørgsmål 21: ”Ministeren bedes kommentere vedlagte artikler fra Folkeskolen nr. 11, 2005: ”PISA sjusker med opgaverne”, ”PISA skal strammes op” og ”PI- SA er et politisk projekt.” Svar: Som kommentar til de pågældende tre artikler bragt i Folkeskolen vil jeg henvise til nedenstående kommentarer, som Undervisningsministeriet har modtaget fra de ansvarlige danske PISA-forskere, og som jeg i øvrigt finder fuldt ud tilfredsstillende. De to først citerede kommentarer fra professor Niels Egelund og lektor Lena Lindenskov er tidligere offent- liggjort af Folkeskolen på internettet, www.folkeskolen.dk . 1. Kommentar fra Niels Egelund, professor ved Danmarks Pædagogiske Universitet og projektleder for Danmarks deltagelse i PISA 2006: ”Inge Henningsen (Folkeskolen nummer 11) har i lighed med andre ana- lyseret de test, der er offentliggjort fra PISA-undersøgelsen, og fundet forskellige mangler, som derefter bruges i argumentationen mod PISA. Det gælder overordnet, at de offentliggjorte test er eksempler, der er kasseret på grund af problemer, herunder de problemer, der er ved på forskellige sprog at finde dækkende ord for samme begreber, på grund af svag evne til at differentiere mellem svage og stærke elever eller slet og ret på grund af mangelfulde oversættelser. De offentliggjorte test har været tænkt som eksempler, hvor man kunne studere de overordnede principper for testenes opbygning, og få har formentlig tænkt på, at no- gen ville sætte sig ned og hudflette dem. Efterfølgende kan vi så fundere over, hvorfor vi ikke har bragt advarsler mod, at de fremlagte eksempler er kasserede test – det må vi gøre i fremtiden.

2 En anden ting, som kritikerne ikke er opmærksomme på, er, at det er test udviklet til at blive løst af 15-16-årige med den viden og bevidsthed, de har på det trin. Testene er udviklet på baggrund af forslag indsendt fra samtlige deltagende lande, og det er først og fremmest det hollandske evalueringsinstitut CITO, der med sine næsten 500 medarbejdere har den psykometriske ekspertise, som skal til for at detailudforme testene. Kriti- kerne kigger på testene med deres ikke bare voksne, men voksne eks- pertøjne, og det er noget ganske andet. Mange, blandt andre DLF, har bedt om, at alle test blev offentliggjort, men det ville selvsagt umuliggøre, at man kan studere udvikling over tid, hvad der netop er et af PISAs formål.” 2. Kommentar fra Lena Lindenskov, lektor ved Danmarks Pædagogiske Universitet og med i den danske PISA-forskergruppe med særligt ansvar for matematik:   ”Offentlig dokumentation af PISA-undersøgelserne er i høj grad tilgæn- gelig for ikke-forskere og for forskere. Det opfatter jeg som et ubetinget gode. Da matematikområdet var i fokus i 2003, er der nu frigivet relativt mange nye opgaver, i alt 31 af de 85 spørgsmål fra 2003. Jeg vil stærkt opfordre til, at man læser rapporterne og selv foretager undersøgelser ved hjælp af http://www.pisa.oecd.org og fx www.dpu.dk/site.asp?p=4286. Desuden kan jeg melde, at PISA-undersøgelsen diskuteres i forsknings- mæssige fora. Jeg kan også melde, at der hverken ligger sjusk eller ligegyldighed i udvik- lingen og finpudsningen af opgaverne!! En testopgave skal ikke vurderes som en undervisningstekst eller -opgave. Testopgaver er en særlig genre, som bruges til at afspejle, hvad eleverne kan, og hvad de ikke kan. PISA- opgaverne skal vurderes ud fra - om de aktiverer relevante kompetencer hos eleverne   - om de repræsenterer både lette og svært tilgængelige tekster og lette og svære udfordringer, der vurderes som passende i forhold til tekster og udfordringer i uddannelse, på arbejde, privat og i samfundet.   Derfor er der ikke brugt en matematisk fagterm som ’væksthastighed’, på trods af at fagprofessionelle kan synes, at det både er en nem og præcis term. Og derfor indgår der også opgaver, hvor eleverne skal kunne og ville foretage beregninger ud fra en foreslået formel som i opgaven ’Gang’.

3 Endelig kan jeg melde, at jeg ikke forstår, hvad der kan være ærindet med at opfordre til at undervise danske børn i testteknik. Det vil da hverken forbedre kompetencer eller debatten om dansk skole.” 3. Supplerende kommentarer fra lektor Lena Lindenskov til opgaven ”Gang”: ”Opgaven ”Gang” har været genstand for en del diskussion i Danmark, og blandt andet også i Norge. I Norge er opgaven ”Gang” indgående og relevant diskuteret side 89-90 i den nationale rapport Rett spor eller ville veier?, Universitetsforlaget 2004. Diskussionen angår, hvorvidt der i virkelighedens verden findes struktu- relle sammenhænge mellem hvor lange skridt en person tager, og hvor mange skridt personen tager per minut. Det kunne være oplæg til spæn- dende undervisningssekvenser at undersøge sådanne sammenhænge, men det ligger uden for PISA-testningens rammer for nærværende at teste en sådan bred modelleringskompetence. Ligeledes er autenticiteten af opgavernes situationsbeskrivelser og spørgsmålsformuleringer et om- råde, der kan misforstås i en dansk sammenhæng, fordi PISA lægger sig relativt tæt op ad den hollandske tradition for realistisk matematikunder- visning. Man forsøgte før PISA 2000 at arbejde med begreberne reali- stisk, autentisk og virtuel, men det er man ikke gået videre med i PISA 2003.   I den norske rapportering gives der følgende vurdering, som jeg [Lena Lindenskov] kan tilslutte mig:  ”Opgaven eksemplificerer en vigtig pointe om begrebet autentisk kontekst, som det defineres i PISA-frameworket. For det første har opgaven en autentisk "overflade"-kontekst med et billede af fodspor i sand, noget de fleste elever vil genkende. Når det gælder autenticiteten af den konkrete problemstilling må svaret være, at den er i nogen grad konstrueret. Det er vanskeligt at tænke sig, at nogen skulle have behov for at benytte akkurat denne formel. Men den mate- matiske kompetence, der er involveret, er i højeste grad en type indsigt, som er nødvendig i realistiske problemstillinger, hvor matematiske ræ- sonnementer er nyttige. Autenticitet kan med andre ord bruges for ulige lag i forståelsen af, hvad opgaven handler om. Det afgørende for PISA er primært det første lag - at fænomenet er autentisk, og det sidste - at kompetencen, som testes i opgaven, anses for at være central i en "ma- tematik for alle". Citat fra den norske rapport s. 90. Opgaven er i orden i kraft af, at den er tydelig i sine krav til eleverne. De bliver præsenteret for en foreslået sammenhæng om et fænomen, som de gennem en tegning mindes om, de faktisk kender til, og eleverne bliver bedt om at foretage en konsekvensberegning. At der kunne udformes mange andre glimrende opgaver omkring fænomenet, der kunne teste

4 andre lige så relevante matematiske kompetencer, diskvalificerer ikke denne opgave.” 4. Kommentar vedr. opgaven ”Gang” fra Mogens Niss, professor ved Roskilde Uni- versitet og medlem af det internationale PISA-konsortiums ekspertgruppe i matema- tik med rådgivende funktioner vedr. udarbejdelse af PISA-test i matematik:   ”I opgaven refereres til et billede af fodsporene for en mand, og det an- føres at forholdet n/P er konstant 140, hvor n angiver antallet af skridt pr. minut og P angiver skridtlængden i meter. I opgaven stilles så to spørgsmål, som begge tænkes løst med indsættelse i denne formel. I det første spørgsmål er n givet og P skal bestemmes. I det andet spørgsmål er det omvendt. Opgaven har en "ældgammel" historie i PISA. I det oprindelige forslag fra opgavekonstruktørerne blev det nævnt, at den omhandlede ligning (n/P = 140) skal betragtes som en empirisk fremfundet "ligevægtsmo- del", der beskriver en sammenhæng for en stor skare af mennesker, der går i deres normale tempo, altså hverken særlig hurtigt eller særlig lang- somt. (Om denne model så har empirisk belæg eller ej, og i givet fald for hvilken population af mennesker, er så en anden diskussion, som ikke er så vigtig her.) I opgavekonstruktørernes efterfølgende mange bestræbel- ser på at tilrette, klargøre og til sidst skære opgaveteksten ned til et mi- nimum af læsekrav nåede man så frem til den nu gældende opgavepræ- sentation. Fotografiet er i øvrigt ikke alt for vellykket, idet man får indtryk af at mandens to skridt ikke er lige lange. (Tilfældigvis kender jeg den mand, hvis fodspor er fotograferet, og hans ben er for mig at se lige lange, så det er hans skridt sikkert også, i gennemsnit!) Den resulterende opgavepræsentation giver imidlertid anledning til en helt anden - og misvisende - fortolkning af modellen, nemlig som en mo- del, der gælder for DEN ENKELTE ved alle mulige skridtlængder og hastigheder, og ikke kun i en ligevægtssituation. Man kan stadig til nød forsvare modellen som en enkeltpersonsmodel i forhold til en mindre afvigelse fra en ligevægtssituation, men ved større afvigelser er modellen simpelthen meningsløs, idet den ville føre til, at f.eks. en fordobling af skridtlængden f.eks. fra 1 til 2m ville ledsages af en fordobling af antallet af skridt pr. minut, eller tilsvarende ved en halvering af skridtlængden osv. Problemer er nu, at den elev, der måtte sætte sig og reflektere over modellen (selv om det ikke efterspørges i opgaven) - og det ønsker ”PI- SAs” ånd jo ideelt set, at eleverne gør, og faktisk er det i høj grad det, PISA går ud på - vil blive særdeles rundforvirret og tvivlrådig overfor, hvad der foregår. I bedømmelsen af disse aspekter af opgaven er der, så vidt jeg kan se, visse nuancer mellem Lena Lindenskov og mig.

5 Imidlertid er det overhovedet hverken efterspurgt eller påkrævet for at besvare opgavens to spørgsmål, at man indgår i overvejelser over model- lens grundlag eller berettigelse. Det er helt tilstrækkeligt, og giver fuld kredit, hvis man - uden nærmere overvejelser over modellen - foretager de fornødne indsættelser og ledsagende beregninger og når frem til kor- rekte svar. Jeg er fuldstændig enig med Lena Lindenskov i, at dette i sig selv er værdifuldt og fornuftigt at teste, og i at opgaven - også PISA- statistisk set - gør dette udmærket. Hvorfor kalder Lena Lindenskov så opgaven udmærket, og jeg opgaven misvisende og kassabel, når vi næsten (?) er enige om sagens fakta? Fordi jeg lægger så megen vægt på, at ånden i PISA er at lægge vægt på tænk- somhed i omgangen med matematiske forhold som bringes ind i 15-16- åriges livssfære. Det er dybest set det, vi mener med mathematical litera- cy/funktionelle matematikkompetencer. Vi ønsker netop ikke at fremme isolerede "sætte-ind-kundskaber", hvor man ikke forholder sig reflekteret til sagens rammer. Når så opgaven ikke alene har været stillet i PISA (hvor den ikke gav anledning til problemer overhovedet), men fremhæ- ves til eksemplifikation af ånden i PISAs egne publikationer, kan man på et alt for billigt grundlag komme af sted med at stille spørgsmål ved, hvad det hele så går ud på. Dette er et synspunkt, jeg har drøftet med mine matematikekspertgruppekolleger Jan de Lange (Holland) og Wer- ner Bælum (Tyskland) (som også er hovedperson i matematikdelen af tysk PISA), og vi er helt enige om denne forståelse af situationen. Lena Lindenskov tillægger det større vægt, at den omtalte refleksivitet, uanset dens udfald, ikke spiller nogen rolle for de efterfølgende i øvrigt hæder- værdige opgavehensigter og -aktiviteter.” 5. I fortsættelse af drøftelserne af PISA under samrådet i Uddannelses- udvalget den 30. marts 2004, hvor der ligeledes på baggrund af kritik fra Ingen Henningsens side (i Folkeskolen) blev rejst spørgsmål vedrørende en konkret PISA-opgave, en opgave der handler om bier, har Undervis- ningsministeriet indhentet en udtalelse fra Jan Mejding, lektor ved Danmarks Pædagogiske Universitet og projektleder for Danmarks deltagelse i PISA 2003. Det problem, som Inge Henningsen (i Folkeskolen) påpeger ved denne opgave, drejer sig om det sidste af 4 spørgsmål, som eleverne skal besva- re på baggrund af en kort tekst i testhæftet.   Spørgsmålet præsenteres på følgende måde i hæftet: ”Spørgsmål 4: BIER (halv-åbent svar)     Læsekrav: At finde information Teksttype: Kontinuerlig (beskrivende) Læseformål: for at lære

6 Angiv tre af hovedkilderne til nektar. 1. …… 2. …… 3. …… ” Ved offentliggørelsen af opgaven er der givet følgende kommentar, som findes sammen med testen på DPU’s hjemmeside. www.dpu.dk : ”For at kunne besvare spørgsmål 4 skal eleverne kunne lokalisere den sidste sætning i teksten, som siger: “Nogle af de vigtigste nektar-kilder er frugttræer, kløver og blomstrende træer.” Det er noget overraskende, at kun 66% af alle eleverne besvarer dette spørgsmål korrekt, når man tager i betragtning, at informationen findes direkte i teksten, og at spørgsmålet direkte spørger efter tre hovedkilder til nektar. Da der i spørgsmålet ikke henvises direkte til teksten, er det muligt, at nogle elever har forsøgt at besvare spørgsmålet ud fra deres egen baggrundsviden uden at forsøge at finde den information, som findes sidst i teksten.” Lektor Jan Mejding har herefter følgende kommentar: ”Kritikken går på, at hvis man skriver raps - som størstedelen af de dan- ske bier trækker på, så får man en fejl. Netop dette (at eleverne trak mere på egne erfaringer end teksten) var en af grundene til, at denne opgave ikke kom med i hovedundersøgelsen, men kun optræder i pilottesten. Man kunne have rådet bod på det ved en tilføjelse til spørgsmålet: "An- giv tre af de hovedkilder til nektar, som teksten nævner." - men det valg- te man ikke at gøre. Det er netop for at fange den slags problemer, at man er nødt til at have en grundig afprøvning af testene, inden de bru- ges. Inge Henningsen kan ikke have troet, at dette er en af de anvendte opgaver, da der i vores introduktion til materialet på nettet står:   "I dette bilag er gengivet en række forskellige typer af tekster med ud- valgte spørgsmål, ligesom retningslinierne for vurderingen af de åbne spørgsmål er gengivet. Teksterne har været anvendt i pilotundersøgelsen (i foråret 1999) forud for hovedundersøgelsen. De pågældende tekster blev ikke blevet brugt i den endelige undersøgelse, fordi der var tilsva- rende tekster, der fungerede bedre på tværs af landene og som derfor blev anvendt. Teksterne er dog tilstrækkeligt repræsentative for den type af tekster, der har været anvendt, til, at de kan give et mere nøjagtigt bil- lede af den prøve, eleverne har været igennem." ” Jeg finder de pågældende kommentarer fra de danske PISA-forskere fuldt ud tilfredsstillende. Der er således intet i den rejste kritik, som giver anledning til at stille spørgsmål i forhold til PISA-undersøgelsen og dens resultater. PISA er et særdeles nyttigt instrument, og vi har i meget høj grad brug for de internationale sammenligninger, som PISA præsenterer

7 os for. I alt væsentligt rammer kritikken mod PISA ved siden af. At der for et projekt i denne størrelsesorden på visse konkrete og mindre afgø- rende punkter vil være behov for justeringer og forbedringer i undersø- gelses- og testmaterialet, er kun naturligt. Jeg er sikker på, at de ansvarlige PISA-forskere arbejder seriøst med forbedring og videreudvikling på de punkter, der måtte være behov for det. Denne besvarelse fremsendes i 5 eksemplarer. Med venlig hilsen Bertel Haarder