BUU, Alm.del - 2011-12 - Bilag 152: SFI-rapport om positiv adfærd i læring og samspil (PALS)

POSITIV ADFÆRD I LÆRING OG SAMSPIL (PALS). EN EVALUERING AF ENSKOLEOMFATTENDE INTERVENTION PÅ 11 PILOTSKOLERAfdelingsleder: Anne-Dorthe HestbækAfdelingen for børn og familieUndersøgelsens følgegruppe:Trine Danø, Børne- og Ungdomsforvaltningen, Københavns KommuneLisa Krogh Christensen, Skoleafdelingen, Aalborg KommuneDorte Georgsen, SocialstyrelsenHelle Hindø, Sdr. Felding Skole, Herning KommuneChristina Hviid, Social- og IntegrationsministerietAndreas Rasch-Christensen, VIA University CollegeGøye Thorn Svendsen, SocialstyrelsenThomas Bläske Vestergaard, Kariseskolen, Faxe KommuneISSN: 1396-1810ISBN: 978-87-7119-087-8e-ISBN: 978-87-7119-088-5Layout: Hedda BankForsidefoto: Joachim Adrian (POLFOTO)Oplag: 300Tryk: Rosendahls – Schultz Grafisk A/S� 2012 SFI – Det Nationale Forskningscenter for VelfærdSFI – Det Nationale Forskningscenter for VelfærdHerluf Trolles Gade 111052 København KTlf. 33 48 08 00[email protected]www.sfi.dkSFI’s publikationer kan frit citeres med tydelig angivelse af kilden.Skrifter, der omtaler, anmelder, henviser til eller gengiver SFI’spublikationer, bedes sendt til centret.

FORORDEt godt og inkluderende læringsmiljø er vigtigt, hvis folkeskolerne ifremtiden skal kunne fortsætte med at løfte deres opgave optimalt. Sko-leudviklingsprogrammet PALS – Positiv Adfærd i Læring og Samspil eren nordisk version af det amerikanske SWPBS-program (School-WidePositive Behavior Support), som på foranledning af Socialstyrelsen erblevet indført på en række danske skoler. PALS er et skoleomfattendeprogram, der skal forbedre læringsmiljøet på danske skoler ved at styrkeelevernes sociale kompetencer og forebygge problemadfærd. PALS vir-ker gennem en pædagogisk og proaktiv model, der lægger vægt på positivinvolvering, ros og anerkendelse samt kollektiv belønning af positiv ad-færd.Denne rapport evaluerer de 11 første danske PALS-pilotskoler. IDanmark er PALS ikke tidligere blevet evalueret, og vi har derfor ikkehaft nogen national erfaringsramme at trække på. Formålet med evalue-ringen er følgelig afsøgende i forhold til at afdække, hvorvidt PALS ladertil at sætte positive spor på de 11 pilotskoler. Rapporten forsøger at giveindikationer på, at PALS virker, og hvilke forhold der i givet fald synes atvære forbedret med indførelsen af PALS på pilotskolerne. Samtidig hardet været et formål med evalueringen at pege på fremtidige udfordringerog mulige modeller i forhold til at udarbejde et effektstudie af PALS iDanmark.

Rapporten bygger på data fra Danmarks Statistiks registre samtdata fra UNI-C og data, som er venligt udleveret af henholdsvis kom-muner, pilotskoler og Socialstyrelsen. Fra disse forskellige kilder har viindhentet oplysninger om specialundervisning, karakterer, ulovligt fravær,socioøkonomiske og skolemæssige baggrundsoplysninger samt data ved-rørende implementeringen af PALS på skolerne og data fra et mindrelodtrækningsforsøg i forbindelse med et delelement af PALS-program-met. Desuden bygger rapporten på resultater fra en spørgeskemaunder-søgelse blandt ansatte på de 11 pilotskoler.I forbindelse med projektet har der været nedsat en følgegruppe,som vi takker for værdifulde kommentarer. Desuden takker vi professorAnders Holm, Aarhus Universitet, der som referee omhyggeligt har læstog givet konstruktive kommentarer til det næsten færdige manuskript.Endvidere takker vi pilotskolelederne, som har været behjælpelige medevalueringen.Rapporten er udarbejdet af videnskabelig assistent og projektle-der Pernille Skovbo Rasmussen samt videnskabelig assistent Peter SkovOlsen. Professor ved Københavns Universitet og SFI – Det NationaleForskningscenter for Velfærd, Mette Ejrnæs, har bidraget med fagligsparring i forbindelse med metodiske analysespørgsmål.Rapporten er bestilt og finansieret af Socialstyrelsen.København, marts 2012JØRGEN SØNDERGAARD

Denne rapport evaluerer det skoleomfattende program Positiv Adfærd iLæring og Samspil (PALS). PALS er på Socialstyrelsens foranledningblevet indført på 11 PALS-pilotskoler i Danmark, og det er Socialstyrel-sen, der har bestilt og finansieret denne evaluering.Rapporten belyser, hvorvidt der kan findes indikationer på, atPALS virker som tilsigtet på pilotskolerne. PALS-programmet er i et tid-ligt udviklingsstadie i en dansk kontekst og er ikke før blevet evalueret iDanmark. Derudover belyser rapporten, hvordan man bedst tilrettelæg-ger et fremtidigt egentligt effektstudie af PALS i Danmark.HVAD ER PALS?

Indledningsvist i rapporten beskriver vi PALS-programmet og de 11 pi-lotskoler, som evalueringen omhandler. PALS er en nordisk version afden amerikanske School-Wide Positive Behavior Support-model(SWPBS) (Sprague & Walker, 2005). PALS er en manualbaseret pædago-gisk model, der bygger på fælles retningslinjer for positiv adfærd, syste-matisk opmuntring, anerkendelse og kollektiv belønning (Arnesen &Askeland, 2006). Ideen bag PALS er proaktivt at påvirke skolens kultur,rammer og organisation til i endnu højere grad at forebygge udviklingenaf adfærdsproblemer og derved øge elevernes sociale og skolefaglige

Udviklingen i evalueringsmålene for PALS-pilotskolerne sammenlignervi med udviklingen i samme periode for andre skoler i de pågældendekommuner, samtidig med at vi kontrollerer for relevante baggrundsfor-hold som elevernes socioøkonomiske status og antal elever på skolernesamt kommunalt udgiftsniveau for undervisning.Derudover er evalueringen baseret på en spørgeskemaundersø-gelse blandt ansatte på de 11 pilotskoler. Formålet med spørgeskemaun-dersøgelsen er at belyse, hvorvidt PALS har forbedret elevernes socialeog skolefaglige kompetencer samt forbedret kulturen og trivslen blandtansatte og elever.Evalueringen ser endvidere på implementeringen af PALS på de11 pilotskoler, som er angivet via en Tjekliste A, udfyldt af personalet påpilotskolerne. Tjekliste A indeholder oplysninger om, hvorvidt en rækkeaf kernekomponenterne i PALS er til stede på skolen, og hvorvidt derfindes et forbedringsbehov for disse komponenter. Endelig evaluerer viet lodtrækningsforsøg for et delelement i PALS, der hedder Stop NowAnd Plan (SNAP).IMPLEMENTERINGSFORLØB FOR PALS

teringen, som man kunne formode. Efter 3 år med PALS skulle mindst80 pct. af skolernes ansatte ideelt set vurdere, at implementeringsområ-derne i tjeklisten er tilstrækkeligt implementeret. Dette er imidlertid ikketilfældet. Generelt vurderer kun lidt over halvdelen af de ansatte på pilot-skolerne, at PALS er implementeret i 2011. Der er imidlertid stor forskelpå, hvor langt skolerne er nået i implementeringen. Mens to skoler ernået meget langt med implementeringen, ligger de øvrige skoler lidt lave-re, hvad angår implementeringsgraden. Resultatet indikerer, at der er væ-sentlige udfordringer forbundet med at implementere en skoleomfatten-de model som PALS.FORSKELLE MELLEM PALS-PILOTSKOLERNE OG ØVRIGE SKOLER

Når vi ser på ændringer i antallet af elever, der modtager specialunder-visning i specialklasser, ændringer i karakterer i dansk og matematik forafgangselever og andelen af ulovligt fravær blandt eleverne på pilotsko-lerne sammenlignet med andre folkeskoler i kommunerne, er der ikketale om statistisk signifikante ændringer over tid. En del af årsagen tildette kan være, at pilotskolerne i de evaluerede år ikke har været igennemden fulde 3-årige implementering af PALS, og at eventuelle virkninger afPALS først vil sætte sig igennem på evalueringsmålene efter fuldendtimplementering.Spørgeskemaundersøgelsen viser overordnet yderst positive til-kendegivelser i forhold til, om der er sket forbedringer i henholdsvis sko-le- og klassemiljøet i løbet af de 3 år, PALS har fungeret på skolerne. I alt295 ansatte fra de 11 pilotskoler har deltaget i spørgeskemaundersøgel-sen. Overordnet vurderer pædagoger i højere grad end lærere, at der ersket forbedringer efter PALS, og ligeledes vurderer ansatte fra bestemteskoler i højere grad end andre ansatte, at der er sket forbedringer. Det erdog ikke muligt på baggrund af spørgeskemaundersøgelsen nærmere atbestemme, hvad der betinger, om en skole vurderer, at implementerin-gen af PALS har ført til store eller mindre forbedringer.Ud over det yderst positive samlede resultat af spørgeskemaun-dersøgelsen skal det dog samtidig bemærkes, at relativt mange ansatteoplever, at skole- og klassemiljø ikke har ændret sig bemærkelsesværdigt,hvilket muligvis hænger sammen med, at forbedringspotentialet har væ-ret lille, før PALS blev implementeret. I de åbne besvarelser i spørge-skemaundersøgelsen lægger mange ansatte desuden vægt på, at det også

Evalueringen indeholder desuden en gennemgang af resultaterne af etlodtrækningsforsøg i forbindelse med interventionen SNAP – Stop NowAnd Plan. SNAP er et delelement af PALS og er målrettet elever medbegyndende adfærdsvanskeligheder. Lodtrækningsforsøget i forbindelsemed SNAP er en form for pilotstudie, forstået på den måde, at forsøgeter det første i Danmark og mindre af omfang.Analyserne af lodtrækningsforsøget med SNAP-interventionengiver et lidt blandet billede af, hvorvidt interventionen fungerer efterhensigten. Analyserne viser, at de elever, der indgår i SNAP-interventionen, bliver vurderet som værende gennemsnitligt mindreprosociale end deres kontrolklasser, både ved før- og eftermålingen.Vurderingerne er imidlertid foretaget af lærere og dermed baseret på sub-jektive vurderinger. De manglende fund med hensyn til en reduktion afen række adfærdsmæssige problemer kan muligvis forklares ved, atSNAP-interventionen anvendes på hele klasser og ikke kun på elevermed adfærdsvanskeligheder, som SNAP oprindeligt er udviklet til. Resul-taterne af SNAP-interventionen peger på, at det vil være givtigt at gen-nemføre endnu et lodtrækningsforsøg for at skabe mere sikker viden ominterventionens effekter.FREMTIDIGE EVALUERINGER AF PALS

Socialstyrelsen1har igennem de senere år implementeret en række manu-albaserede behandlingsmetoder i Danmark for børn og unge med ad-færdsmæssige vanskeligheder. Vi ved fortsat relativt lidt om, hvordanbehandlingsmetoderne virker i en dansk kontekst, hvilket er en del afbaggrunden for, at Socialstyrelsen har indledt en række evalueringer affølgende programmer: Parent Management Training Oregon (PMTO),Multidimensional Treatment Foster Care (MTFC), Multifunktionel be-handling i institution og nærmiljø (MultifunC) og Positiv Adfærd i Læ-ring og Samspil (PALS). Programmerne har internationalt vist positiveresultater, hvilket har været en del af motivationen for at indføre meto-derne i Danmark. Overordnet har programmet PALS, som er i fokus idenne rapport, til formål at modvirke udvikling af antisocial adfærd hoseleverne og skabe mere inklusion blandt eleverne.FORMÅLET MED EVALUERINGEN

dansk kontekst. Faktisk er kun 11 pilotskolerigennemden 3-årige imple-menteringsfase, som PALS-programmet bygger på. Denne evaluering harsåledes karakter af et pilotstudie, der dels kan give indikationer på, omPALS i sin nuværende form ser ud til at virke, dels kan belyse, hvordanPALS bedst evalueres i fremtidige evalueringer.Evalueringen skal således først og fremmest fungere som et red-skab i det videre arbejde med at evaluere PALS. Det betyder, at rappor-ten dels belyser indikationer på PALS’ virkninger, dels belyser mulighe-der og udfordringer i forbindelse med at evaluere PALS i Danmark.Rapporten henvender sig primært til skoler, kommuner og andre offent-lige forvaltninger, der aktuelt eller fremtidigt interesserer sig for PALS.I Danmark er PALS endnu ikke blevet evalueret på anden mådeend internt på de enkelte skoler. Der har således ikke været nogen natio-nal erfaringsramme at trække på i forbindelse med evalueringen. Erfarin-ger af PALS fra Norge, der er et skridt længere fremme end Danmark iforhold til at implementere og evaluere PALS, viser positive resultater.2På baggrund af et kvasieksperimentelt studie udført på fire grundskolermed PALS og fire sammenligningsskoler (i alt 5.735 elever i 3.-7. klasseog deres lærere) finder Sørlie & Ogden (2007) blandt andet:••

Sørlie & Ogdens evaluering af PALS henviser samtidig til amerikanskestudier af SWPBS (School-Wide Positive Behavior Support), som er detskoleprogram, den danske og norske PALS-model tager udgangspunkt i.SWPBS viser lovende resultater i forhold til elevadfærd målt på blandtandet elevernes selvkontrol, antallet af ”læreradvarsler” og elevers oglæreres indbyrdes forhold.32. Norge var det første land i Norden, der oversatte den oprindelige amerikanske PALS-model tilnordiske termer. På norsk står PALS for Positiv elevatferd og støttende læringsmiljø i skolen.3. Island har desuden indført dels PMTO – Parent Management Training Oregon, dels SMT –School Management Training, som begge indeholder mange lighedstræk med PALS. Program-merne på Island er indført på en række grundskoler, og implementeringen af programmerne erblevet evalueret. De islandske erfaringer tyder på en reduktion i problemadfærden blandt elever-ne samt positive tilkendegivelser fra både lærere og forældre og desuden på en reduktion i hen-

I USA har man anvendt SWPBS, som svarer til PALS, på skolergennem mindst 20 år. Den lange tradition for at anvende SWPBS i USAhænger blandt andet sammen med, at man tilsvarende gennem længeretid end i Danmark har kendt til alvorlige sociale og adfærdsmæssige pro-blemer hos elever i en grad, som langt overstiger de sociale og adfærds-mæssige problemer, vi ser hos danske skolebørn.Baggrunden for, at Socialstyrelsen har iværksat PALS-program-met i Danmark, er blandt andet, at Socialstyrelsen har til opgave aktivt atbidrage til en vidensbaseret socialpolitik, til udvikling af nye redskaber ogtil at iværksætte nye initiativer blandt andet inden for børne- og ungeom-rådet (Svendsen, 2009). Et af de primære mål med at indføre PALS iDanmark har været at reducere problemadfærden blandt børn og unge(Svendsen, 2009). Desuden står den danske folkeskole over for udfor-dringer som eksempelvis det stigende antal henvisninger til specialunder-visning, hvilket også har været en del af baggrunden for, at PALS er ind-ført i Danmark (Svendsen, 2009). Kommunerne ønsker at inkludere flereelever i almenundervisningen af såvel økonomiske som faglige årsager,og PALS kan ses som et potentielt middel hertil (Rasch-Christensen,2009).RAPPORTENS OPBYGNING

I kapitel 2 beskriver vi PALS-programmet. Vi gennemgår, hvad PALSstår for, hvorfra det oprinder, hvad målsætningerne er med PALS, oghvordan PALS udfolder sig. Det har ligget uden for denne evalueringsrammer at undersøge præcist, hvordan hver enkelt PALS-pilotskolepraktiserer de enkelte dele af PALS-programmet, og kapitlet baserer sigderfor på den relativt sparsomme litteratur, der findes omkring indførel-sen af PALS i Danmark. Implementeringen af PALS er grebet vidt for-skelligt an i de fire kommuner, hvor pilotskolerne ligger. I alle kommu-nerne indgår PALS i et kommunalt evidensarbejde (Svendsen, 2009).Som det vil fremgå, er PALS et bredspektret program, der søger at favnemange problemstillinger, hvilket medfører en række udfordringer, nårprogrammets virkning skal evalueres.I kapitel 3 præsenterer vi faktuelle oplysninger om PALS-pilotskolerne. Det drejer sig om i alt 11 skoler fordelt på fire kommuner,som vi ganske kort og i anonymiseret form vil beskrive for dermed atvisninger til serviceloven, hvilket dog understreges at være et mere usikkert resultat (Björnsdóttir& Sigmarsdóttir, 2009).

give læseren indblik i skolernes forskelligheder og ulige grundlag for atimplementere og opnå virkninger af PALS.I kapitel 4 gennemgår vi evalueringens design og metode. Vigennemgår blandt andet en række metodemæssige udfordringer og for-behold, der må tages ved evalueringen af PALS på de 11 pilotskoler. Viforholder os blandt andet til, at PALS er en blandt flere pædagogiskemodeller, der anvendes i kommunerne, idet også andre skoleinterventi-onsprogrammer er iværksat på folkeskolerne, herunder modellen for Læ-ringsmiljø og Pædagogisk analyse (LP-modellen). Kapitlet har desuden tilformål at afklare designet bag denne evaluering, og hvordan vi i det heletaget har grebet evalueringsopgaven an. Det vil fremgå af kapitlet, at enrække mål, som vi forud for evalueringen havde tænkt os at inddrage ievalueringen, har vist sig ikke at være anvendelige, enten fordi det ikkehar været muligt at indhente tilstrækkelige oplysninger, eller fordi oplys-ningerne, der findes, er for uensartede. De anvendte evalueringsmål ”an-tal elever i specialklasser”, ”karakterer” og ”fravær” bliver ligeledes in-troduceret i kapitlet. Evalueringsmålene er behæftet med en række for-behold og usikkerheder, som ligeledes bliver beskrevet i kapitlet. Gen-nemgående lægger vi i gennemgangen af design og metode vægt på, at viundersøger indikationer på, om PALS virker, og ikke belyser kort- ellerlangsigtede effekter af PALS.I kapitel 5 gennemgår vi, i hvilken udstrækning pilotskolerne ef-ter egne vurderinger har implementeret PALS. Implementeringsgradenvurderes på baggrund af standardiserede implementeringstjeklister (Tjek-liste A), som er et indbygget redskab i PALS-programmet. Tjeklisterneviser foruden graden af implementering også, hvilket forbedringsbehov iforhold til implementeringen af PALS, skolernes ansatte vurderer, er tilstede.I kapitel 6 gennemgår vi, hvordan en række evalueringsmål harudviklet sig på pilotskolerne over tid, siden PALS blev påbegyndt. Vibeskriver udvælgelsen af de konkrete evalueringsmål og gør rede for for-behold og usikkerheder knyttet til evalueringsmålene. Først gennemgår viudviklingen i antallet af specialklasser, dernæst kigger vi på udviklingen ielevernes karakterer, og endelig fremlægger vi, i det omfang det har vistsig muligt, udviklingen i ulovligt fravær blandt pilotskolernes elever. Ud-viklingen i målene beskrives, så vidt muligt, før og efter PALS blev påbe-gyndt på skolerne.

I kapitel 7 præsenterer vi spørgeskemaundersøgelsen på pilot-skolerne. I kapitlet gennemgår vi rationaler bag spørgeskemaundersøgel-sen, opbygning af spørgeskemaet, indsamling af besvarelser blandt pilot-skolernes lærere, svarprocenten og ikke mindst resultaterne set i forholdtil de overordnede områder: skolemiljø, klassemiljø og psykosocialt ar-bejdsmiljø.I kapitel 8 præsenterer vi resultaterne fra et lodtrækningsforsøg iforbindelse med den såkaldte SNAP-intervention (Stop Now And Plan-intervention). SNAP-interventionen er et delelement i PALS-program-met, som særligt er orienteret mod elever med adfærdsproblemer. Da derher er tale om et såkaldt randomiseret studie, tillader det mere avancere-de analysemetoder end de øvrige anvendte mål i evalueringen af PALS.Dele af de statistiske analyser vil formentligt primært interessere den me-tode- og statistikkyndige læser og er derfor medtaget i bilag 4 bagest irapporten.I kapitel 9 foretager vi en erfaringsopsamling med henblik påfremtidige evalueringer af PALS. Vi sammenfatter vores erfaringer medat evaluere PALS og kommer med en række anbefalinger til, hvilke tingman bør være opmærksom på i en eventuel effektevaluering af PALS.Erfaringsopsamlingen vil være metodisk såvel som praktisk i sit sigteuden at komme med direkte færdigformede løsninger.I kapitel 10 samler vi op og konkluderer på baggrund af de forri-ge kapitler, hvorvidt PALS ser ud til at have den ønskede virkning. Kon-klusionen er primært en sammenfatning af allerede fremstillede diskussi-oner, overvejelser og resultater vedrørende PALS på pilotskolerne.Bagest i rapporten findes desuden en litteraturoversigt over an-vendt litteratur i rapporten samt relevante bilag, vi henviser til i kapitler-ne.

PALS (Positiv Adfærd i Læring og Samspil) er en udviklingsmodel, deromfatter hele skolen. PALS har til formål at forebygge adfærdsproblemerved at skabe et støttende læringsmiljø, der styrker elevernes sociale ogskolefaglige kompetencer (Svendsen, 2011; Sørlie & Ogden, 2007; Sørlie& Torsheim, 2011). PALS er en nordisk version af den amerikanskeSchool-Wide Positive Behavior Support-model (SWPBS) (Sprague &Walker, 2005), som bygger på principper bag familiebehandlingspro-grammet Parent Management Training Oregon (PMTO), udviklet vedOregon Social Learning Center. Principperne i SWPBS er blevet tilpasset

de norske kulturelle og organisatoriske forhold (Arnesen & Askeland,2006; Arnesen, Sørlie & Ogden, 2007).PALS blev indført og afprøvet på fire pilotskoler i Norge i årene2002-2004. For at undersøge, om der var forskelle på de norske PALS-pilotskoler og fire andre skoler, der lignede disse, foretog de norske for-skere en før- og eftermåling4på alle skolelærere, der underviste i, samtelever, der gik i 3.-7. klasse. Før- og eftermålinger blev gennemført forbåde sammenligningsskolerne og pilotskolerne. Resultaterne fra dettepilotstudie viste, at den lærerobserverede problemadfærd blev reduceretblandt pilotskolernes 3.-7.-klasses-elever, og at antallet af elever i sammeklassetrin med antisocial og udadreagerende adfærd blev reduceret (Sørlie& Ogden, 2007). Modsat i USA og Danmark har man i Norge valgt ikkeat lade PALS omfatte udskolingen, det vil sige de ældste elever på sko-lerne, hvorfor der ikke forefindes resultater i nordisk sammenhæng fordenne aldersgruppe. Ansporet af resultaterne af det norske studie blevPALS videreudviklet på en række andre skoler i Norge, men fortsat ikkefor udskolingsklasser.Blandt de 11 danske pilotskoler, der startede i 2008, er der otteaf skolerne, der har afgangsklasser. Det betyder, at det ikke har væretmuligt at trække på eksempelvis de norske erfaringer igennem hele for-løbet, og dette har givet udfordringer i forhold til implementeringen afPALS i Danmark. Se kapitel 5, der omhandler implementeringen afPALS i Danmark.Siden pilotskolernes opstart i 2008 er PALS blevet sat i gang påen række andre skoler, med og uden afgangsklasser, og der er således iøjeblikket i alt 52 danske skoler, der er i gang med at implementerePALS-programmet. Den hidtidige forskning i PALS-programmet anty-der, at implementeringen af PALS kræver udvikling af lærerkompetenceri forhold til relationsarbejdet og læringsledelse, og at skolen må udviklesig som lærende organisation med fokus på skoleledelse (Sørlie & Ogden,2007).Teoretisk bygger PALS på en lang række af fortrinsvis amerikan-ske og canadiske teorier om social interaktion, læringsteori og læringsmil-jøets kontekstuelle forhold. I PALS-modellen anskues læringsmiljøetskontekstuelle faktorer i et socialøkologisk lys med afsæt i den amerikan-ske psykolog Bronfenbrenners holistiske tænkning (specifikt byggerPALS på Bronfenbrenner, 1979). Det betyder, at antagelsen bag PALS er,4. Eftermålingen blev foretaget 20 måneder efter, at PALS var blevet igangsat på de fire pilotskoler.

at det er systemer, ikke individer, der kan komme i ubalance. Det er der-for ikke konstruktivt med en fejl- og mangeltænkning. I stedet bør manfokusere på positiv adfærd. Desuden bygger PALS-modellen på en rækkestrategier for at forebygge eskalerende konflikter i læringsmiljøet (Walker,Colvin & Ramsey, 1995).I den traditionelle skoletænkning bliver elever med adfærdspro-blemer ofte udsat for usystematiske tiltag og eksklusion, hvilket har væretforbundet med straf for den enkelte elev (Patterson, Reid & Dishion,1998). Forskning viser imidlertid, at elever med alvorlige adfærdsproble-mer har størst gavn af at være inkluderet i skolen og lokalmiljøet (Sørlie,2000).Læringsmiljøet skal søge at inkludere elever, der er i risiko for atblive ekskluderet fra normalklasserne pga. udadreagerende adfærdspro-blemer.PALS er en pædagogisk model, der lægger vægt på positiv invol-vering, systematisk opmuntring, ros og anerkendelse og bygger på enmanual, der indeholder retningslinjer for, hvordan adfærd blandt eleverog lærere håndteres inden for rammerne af modellen (Arnesen &Askeland, 2006).Ideen bag PALS er at påvirke skolens kultur, rammer og organi-sation til i højere grad at forebygge udviklingen af adfærdsproblemer.PALS bygger på proaktive tiltag i stedet for reaktive tiltag. Det vil sige, atPALS-modellen søger at forebygge problemadfærd. Dette gøres ved atopstille forventninger til eleverne gennem systematisk opmuntring ogkollektiv belønning af positiv adfærd, samtidig med at der er milde kon-sekvenser af negativ adfærd.Målet med PALS er at skabe et trygt læringsmiljø for alle og enfælles kultur, der skal øge elevernes faglige og sociale kompetencer. End-videre skal der foregå en kontinuerlig kompetenceudvikling af skolenspersonale, og forældrene skal involveres i skolens arbejde og børneneshverdag (Arnesen & Askeland, 2006).Derudover er det formålet med PALS at sætte ind over for ele-ver, der udviser begyndende problematisk adfærd, og elever, der udviseradfærdsmæssige problemer i skolen. Midlet til at opnå disse mål er fokuspå gode og effektive beskeder, systematisk opmuntring, grænsesætningog konsekvenser, problemløsning, positiv involvering, regulering affølelser samt løbende kortlægning og vurdering af adfærd(www.servicestyrelsen.dk).

Skolen selv oplever og definerer behov for at udvikle positiv adfærdog fremme et støttende læringsmiljøMindst 80 pct. af skolens ansatte støtter op om at deltage i projektetSkolens ledelse støtter og deltager aktivt i udviklingsarbejdetSkolens administration og anden støttefunktion skal støtte og med-virke i udviklingsarbejdet for PALSSkolen skal finde frem til mindst et mål, som skal forbedres ved sko-lens læringsmiljøDer skal være villighed til at afsætte tilstrækkelig tid, prioritere res-sourcer og have fokus på programmet i mindst 3 årDer skal være uddannede PMTO-terapeuter i kommunen, hvor sko-len liggerSkolerne skal være villige til at bidrage til indsamling af evaluerings-data (Arnesen & Askeland, 2006).

Når en PALS-skole er etableret, udvælges personale fra skolen til skolensPALS-team. Dette team tilknyttes en uddannet PALS-vejleder. PALS-vejlederen skal hovedsageligt fungere som sparringspartner for skolernesPALS-team.PALS-teamet består af fem til syv personer, der er repræsentativtsammensat af skolens ledelse, skolens ansatte, forældre til eleverne ogPPR.5PALS-teamet står for at koordinere skolens udviklingsarbejde vedat involvere alle ansatte, elever og forældre i PALS. PALS-teamet stårendvidere for at tilrettelægge og følge op på skolens kompetenceudvik-ling og skal være tilgængeligt for personalet i hverdagene (Arnesen &Askeland, 2006). Endelig står PALS-teamet for at varetage den videreindsats på skolen, når oplæringsåret er afsluttet. I rapportens kapitel 5 vilevalueringskriterier i forhold til at vurdere graden af implementeringen afPALS på skolerne blive præsenteret.Skolerne skal opbygge et trygt læringsmiljø for alle på skolerne.Dette gøres ved, at skolerne koncentrerer sig om at definere forventetadfærd, der eksempelvis kan være, at eleverne ikke skal løbe på gangen,5. PPR står for Pædagogisk Psykologisk Rådgivning.

For at realisere de mål, der er opsat for PALS, anvendes forskellige for-mer for individuelle støttetiltag, der særligt retter sig mod elever med ad-færdsmæssige problemer, men også mod elever, der ikke har alvorligeadfærdsmæssige problemer.De støttende tiltag er gradueret efter elevernes behov og kanopdeles i henholdsvisgrønne, guleogrødestøttetiltag.Grønne tiltagvedrørergodt 80 pct. af eleverne på en skole og er tiltag målrettet elever i normal-området, det vil sige elever, der ikke er i risiko for at udvikle problemad-færd. De grønne tiltag omfatter undervisning i forventet adfærd og socia-le færdigheder og formuleringen af tre til fem positivt opstillede regler.Endvidere etableres forudsigelige konsekvenser for brud på de opsatteregler og for problemadfærd. Konsekvenser gives dog først efter, at ele-verne er blevet undervist i forventet adfærd. De grønne tiltag omfattersåkaldte universelle forebyggende tiltag.Degule tiltagomfatter godt 15 pct. af eleverne på skolerne, nem-lig de elever, der er i risiko for at udvikle negativ adfærd. Behovet forgule tiltag identificeres gennem et skoleomfattende informations- ogkortlægningssystem, School-Wide Information System (SWIS). SWIS erindbygget i den amerikanske udgave af PALS, og programmet er direktekopieret til brug i den danske PALS-model. De elever, der modtager guletiltag, modtager også samtidig universelle forebyggende tiltag (PALS ge-nerelt). Gule tiltag omfatter specifik træning af sociale færdigheder, op-følgning og støtte (Tjek ind – Tjek ud-indsats6), brug af individuelle be-lønningssystemer og udarbejdelse af planer for positiv adfærdsstøtte.Dette kan eksempelvis være udfyldningen af en tjekliste med positivehandlinger, som eleven skal udføre i løbet af dagen (Arnesen & Askeland,2006).6. Tjek ind – Tjek ud er betegnelsen for en type støtteprogram, skolerne anvender i forbindelse medgule og røde tiltag.

Derøde tiltagomfatter godt 5 pct. af eleverne og er målrettet ele-ver med særlige behov, det vil sige elever, som har alvorlige adfærdspro-blemer. Disse elever bliver ud over de tilbud, der gives i forbindelse medgrønne og gule tiltag, tilbudt intensiv støtte og social færdighedstræning,herunder blandt andet PMTO-forældregrupper7, Stop Now And Plan(SNAP) samt forældrerådgivning.SNAP er særligt rettet mod elever med problemadfærd. SNAPer en kognitiv adfærdsstrategi, der går ud på, at eleverne lærer at håndterevredesudbrud. Dette gøres ved at lære børnene at stoppe op og tænke,før de handler. SNAP udbydes til skoleklasser, hvori der er mindst toelever med alvorlige adfærdsvanskeligheder. Disse elever er identificeretaf enten en lærer, pædagog eller socialarbejder. De udvalgte skoleklasserdeltager i en periode på 12 uger i et forløb, hvor der holdes ugentligesessioner. Forløbene afholdes i klasselokalerne sammen med klasselære-ren og en SNAP-lærer. En SNAP-lærer er en lærer, der har deltaget i etsærligt kursus i SNAP-interventionen. I forbindelse med pilotskolernesimplementering af PALS igangsattes et lodtrækningsforsøg for at evalue-re effekterne af SNAP. I kapitel 8 gennemgås resultaterne af SNAP-lodtrækningsforsøget. Vi skal understrege, at selvom kapitlet om SNAPfylder relativt meget i denne rapport, er det ikke et udtryk for, at SNAPanvendes mere end de øvrige støttetiltag i PALS-programmet, men blotet udtryk for, at netop SNAP har været genstand for et lodtrækningsfor-søg, som følgelig kalder på grundige analyser.PMTO-forældregrupper er et andet individuelt støttetiltag underPALS-programmet. PMTO-forældregrupper er en forebyggende indsats,der tilbydes forældre, hvis børn udviser tegn på at være i adfærdsvanske-ligheder, jf. en undersøgelse efter servicelovens § 50. PMTO-forældre-grupper er gruppeterapi, som er gratis og frivillig for forældre at deltage i.Et yderligere støttetiltag i PALS er forældrerådgivning. Forældre-rådgivning er et kortere forløb for forældrene til børn på PALS-skolerne,hvor principperne for PALS videreføres til forældrene. Metoden ud-springer af PMTO. Det er gratis og frivilligt for forældrene at deltage iforældrerådgivningen på samme måde som med PMTO-gruppeterapien.Forældrerådgiveren er uddannet i PALS og kan være en af skolens lærere,pædagoger eller fra Pædagogisk Psykologisk Rådgivning (PPR).7. Pilotskolerne har yderligere haft mulighed for at tilbyde individuel PMTO. Men da PMTO somstøttetiltag ikke vil blive genstand for yderligere analyse i denne rapport, har vi valgt ikke atkommentere på individuel PMTO.

Endelig kan Tjek ind – Tjek ud nævnes som et yderligere støtte-tiltag i PALS. Tjek ind – Tjek ud er et system, hvor enkeltelever med ri-siko for at komme i adfærdsvanskeligheder aftaler nogle faste regler fordagen, fx at eleven skal møde til tiden, eller at eleven skal lade være medat afbryde læreren, når denne taler. Skolen og hjemmet samarbejder omelevens problemstillinger. Ved Tjek ind – Tjek ud belønnes eleven fordet, der går godt, via et pointsystem. Blandt andet modtager eleven etbevis for sin opførelse via et såkaldt ”Flotkort”. Ved pointsystemet op-gøres, hvorvidt eleven har opnået sine fastsatte mål. En lærer gennemgårsammen med eleven Tjek ind – Tjek ud-listen, og de positive elementeraf elevens adfærd fremhæves, mens eleven og læreren taler om, hvad derkan gøres, for at de fastsatte mål kan nås.

Implementeringen af PALS følger en fast grundstruktur og implemente-ringsstrategi. Forud for implementeringen af PALS skal mindst 80 pct. afskolens ansatte godkende, at PALS skal implementeres på den pågæl-dende skole. Alle skolens ansatte, herunder lærere, pædagoger, pedeller,administrativt personale mv., deltager derefter i udvikling og implemen-tering af PALS. Et vigtigt niveau i forhold til implementeringen af PALSer ledelsesniveauet, der er både toneangivende og afgørende i forhold tilarbejdet med PALS.Den danske PALS-model gennemføres efter følgende skabelon:Det første år fokuseres på de generelle, forebyggende tiltag: Alle skolensansatte deltager i undervisning om PALS samt i udviklingen af en lokaltilpasset PALS-model til skolen. Der sammensættes et PALS-team, derrepræsenterer skolen bredt, og som sikrer et vedvarende fokus på PALS.Pædagogiske refleksioner, kompetenceudvikling, træning af nye færdig-heder og udarbejdelse af fælles forventninger i forhold til adfærd, fællesregler og procedurer er væsentlige arbejdsområder i det første år medPALS. Alle skolerne fremsætter nogle få, enkle regler, der er et resultat afskolens arbejde med PALS i det første år. Disse regler kan eksempelvisvære ”vis respekt”, ”vis ansvar” eller ”vis omsorg”.Det andet år er handlingens år, hvor de generelle, forebyggendetiltag, som er blevet planlagt og udviklet i løbet af det første år, igangsæt-tes. Elever og forældre involveres i starten af det andet år. Dette år er

også et oplæringsår. Her sker en oplæring i samt planlægning og tilrette-læggelse af individuelle støttetiltag, blandt andet ved hjælp af datamate-riale indsamlet i et skoleomfattende informationssystem kaldet PBS Sur-vey (Positive Behavior Support Survey). Der skabes forbindelser til sup-plerende indsatser forankret i fx børne-, unge- og familieafdelingen, lige-som forældrerådgivning kan påbegyndes i denne fase.Det tredje år i implementeringen af PALS-modellen vedligehol-des og opretholdes de forebyggende tiltag, som blev udviklet i det førsteår og igangsat i det andet år. De individuelle støttetiltag, der blev udvikleti det andet år, igangsættes. Fokus rettes nu også mod de elever, der harbrug for supplerende indsatser for at kunne trives adfærdsmæssigt. Hvisdet ikke allerede er sket, iværksættes forældrerådgivning og forældre-grupper. Der etableres procedurer i forhold til supplerende indsatser.Når de ovenstående komponenter er på plads, vurderes PALS atfungere på alle niveauer. Det vil sige, at PALS fungerer for både majori-teten af elever uden adfærdsvanskeligheder, for elever med særlige behovsamt for skolens personale.I rapportens kapitel 5 beskriver vi, i hvilken udstrækning PALSer implementeret på de 11 pilotskoler, som vi evaluerer i denne rapport.

BESKRIVELSE AFPALS-PILOTSKOLERNEVed udgangen af 2011 har i alt 52 skoler fordelt på ni kommuner imple-menteret PALS eller er i gang med det. Af disse er der 11 skoler fordeltpå fire kommuner, som startede som ”pilotskoler” i 2008. Det er disse11 pilotskoler, vi evaluerer i denne rapport. Pilotskolerne har længst erfa-ring med PALS og kan dermed bedst give indikationer på, hvorvidtPALS virker positivt. Dette kapitel gennemgår kort nogle baggrundsop-lysninger for de 11 PALS-pilotskoler.PALS-pilotskolerne er på ingen måde tilfældigt udvalgt, menderimod specifikt udpegede til at være ”parate” til at implementere PALS.For at en skole kan erklæres parat til at implementere PALS, kræves det,at 80 pct. af skolens ansatte ønsker PALS på skolen, samt at kommunenhar uddannet eller ønsker at uddanne PMTO-terapeuter. Det skal imid-lertid bemærkes, at ansatte på de første 11 pilotskoler har skullet tilken-degive et ønske om at implementere et program, som de på daværendetidspunkt ikke havde grundigt kendskab til. De efterfølgende PALS-skoler i Danmark har i videre udstrækning mulighed for at sætte sig ind iPALS, og hvordan det praktiseres på andre skoler, i takt med udbredel-sen af programmet i Danmark. Dette kan reelt have betydet, at pilotsko-lerne er gået ind i PALS-programmet mere eller mindre uvidende, ogdermed, at skolernes ansatte (og de respektive ledelser på skolerne) har

været mindre parate til at implementere PALS, end tilfældet er for denystartede PALS-skoler.I tabel 3.1 præsenterer vi nogle faktuelle oplysninger om PALS-pilotskolerne, som hver især kan tænkes at have betydning for implemen-teringen og udfoldelsen af PALS-programmet. Tabellen viser, hvilkenkommune pilotskolerne befinder sig i, antallet af elever på pilotskolerne,og hvorvidt skolerne har afgangsklasser. Tabellen viser, at der er for-holdsvis stor spredning i forhold til størrelsen af skolerne, og at der erbåde små skoler (200 elever eller færre) og en del store skoler (400 elevereller flere). Henholdsvis store og små skoler samt skoler med og udenafgangselever møder sandsynligvis hver deres respektive problematikker iforbindelse med at implementere PALS.PALS-pilotskolerne er så vidt muligt anonymiseret. Dette for atfokus rettes mod evalueringen af PALS-interventionen og ikke mod dekonkrete skolers udvikling og respektive situationer. En total anonymise-ring er imidlertid ikke mulig pga. det relativt lille antal af skoler i evalue-ringen (11 PALS-pilotskoler), som fordeler sig på i alt fire kommuner oghar forskellige størrelser mv., hvorfor de hver især er lettere genkendelige,end en total anonymisering ville kræve.TABEL 3.1Oversigt over PALS-pilotskolerne, fordelt på kommuner, antal elever i runde tal,og om skolen har afgangsklasser.PALS-pilotskole12345678910111.

nemsnittene for de fire deltagende kommuner er henholdsvis 4 pct. ikommune A, 9 pct. i kommune B, 10 pct. i kommune C og 3 pct. ikommune D). Endvidere har nogle skoler tilknyttet særlige specialklasser,mens andre af skolerne kun tilbyder specialundervisning sideløbendemed almindelig undervisning i en almindelig klasse. Andelen af elever(klassekvotienten) varierer også mellem skolerne, ligesom lærerstaben,hvad angår uddannelse, alder og anciennitet, varierer. Når det er relevantat nævne forekomsten af sådanne variationer, hænger det sammen med,at skolernes individuelle karakteristika alle kan influere på implemente-ringen og udfoldelsen af PALS. Forskelle mellem skolerne og betydnin-gen af disse forskelle for implementeringen af PALS er væsentligt atnævne som et forbehold for resultaterne af denne evaluering.Ud over forskelle i forhold til elev- og lærersammensætning samtkommunale forhold er der også forskel på den måde, de 11 PALS-pilotskoler har valgt at arbejde med PALS på. Som et led i implemente-ringen af PALS vælger skolerne nogle centrale begreber, som fx ”re-spekt”, ”ansvar” og ”omsorg”, som de arbejder ud fra. Af de 11 pilot-skolers hjemmesider fremgår det, at en enkelt skole har valgt at fokuserepå ”respekt og ansvar”, en anden skole har valgt at fokusere på ”ansvarog omsorg”, en tredje har valgt at fokusere på ”respekt, ansvar og forstå-else”, mens to skoler har valgt at arbejde ud fra ”respekt, ansvar og tryg-hed”. Der er formentlig en sammenhæng mellem valg af centrale begre-ber i forbindelse med implementeringen af PALS og skolernes generelletrivsel og udfordringer, som igen kan have betydning for måden, hvorpåPALS udfolder sig på skolerne. Sådanne forhold har vi imidlertid ikkehaft mulighed for at medtage i forbindelse med denne evaluering, hvilketer et forbehold, der skal medtages, når evalueringen præsenteres på defølgende sider.

Pilotskolernes 3-årige implementering af PALS er først afrundet isommeren 2011, hvilketkanbetyde, at sporene af PALS kan værevanskelige at opfange i en evaluering på så tidligt et stadie.Pilotskolerne er som beskrevet i kapitel 3 forskellige, fx har nogleafgangsklasser, mens andre ikke har, nogle pilotskoler er meget store,og andre er meget små osv., og skolerne fungerer inden for forskel-lige kommunale rammer. Implementeringen af PALS præges af sko-lernes karakteristika og rammer, hvorfor det kan være vanskeligt atdrage generaliserbare konklusioner om PALS’ virkning på baggrundaf pilotskolerne.Det har været en stor udfordring at fremskaffe anvendelige evalue-ringsmål, især evalueringsmål, der kan belyse udviklingen i elevernessociale kompetencer.

Hver af de 11 PALS-pilotskolers særlige karakteristika kan sandsynligvisinfluere på PALS’ virkning på skolerne, og på hvordan skolerne i det heletaget har implementeret PALS.8Samtidig kan eksempelvis kommunalerammer spille en rolle i forhold til implementering og udfoldelse af PALSpå skolerne. Økonomiske forhold (fx besparelser i lærertimer eller un-dervisningsmateriale), ressourcemæssige forhold (fx adgang til brugen afspecialundervisning) eller sideløbende kommunale interventioner på sko-len (fx overordnede skolepolitiske målsætninger for kommunen) kan ha-ve indflydelse på den måde, PALS indarbejdes og virker på skolens læ-ringsmiljø og kultur. Det har i forbindelse med denne evaluering imidler-tid hverken været muligt at tage højde for forskelle i implementeringen,forskelle i skolekarakteristika eller forskelle i kommunepraksis og/ellerpolitiske rammer på området. Når vi ønsker at evaluere PALS, er en væ-sentlig udfordring således at skelne mellem PALS’ betydning og andreforhold end PALS, som påvirker trivsel og udvikling for skolens perso-nale og elever.Endvidere bør det tages i betragtning, at PALS som skoleinter-vention på danske folkeskoler ikke er uden sidestykke. Blandt andet fin-des der LP-modellen (LP står for Læringsmiljø og Pædagogisk analyse),som ligner PALS, hvad angår formål med interventionen, og som allere-de er igangsæt og implementeret på en lang række danske skoler. Dettefår betydning, når vi sammenligner PALS-pilotskoler med folkeskolergenerelt. I det følgende afsnit vil vi komme nærmere ind på denne be-tydning og kort opholde os ved LP som skoleintervention.

LP-modellen er aktuelt implementeret på i alt 548 skoler (og 72 skolergår snart i gang) fordelt på 79 kommuner og er dermed langt mere ud-bredt end PALS. LP er en pædagogisk analysemodel, som baserer sig påforskning i forståelse af læringsmiljøets betydning for elevernes socialeog faglige læring. Modellen er udviklet af professor Thomas Nordahl fraLærerhøgskolen i Hedmark, Norge, og University College Nordjyllandstår bag etableringen af modellen i Danmark. Formålet med LP er at op-nå en utvetydig forståelse af de faktorer, som udløser, påvirker og opret-holder adfærds-, trivsels- og læringsproblemer i skolen (Nordahl, 2005).Modellen indeholder ikke som PALS metoder, der beskriver, hvordanlærere skal tackle de enkelte udfordringer i skolehverdagen. LP-modellenimplementeres ligesom PALS over en årrække, og programmerne stræ-ber efter nogenlunde samme udbytte, nemlig en reduktion i problemad-færden blandt eleverne og et forbedret læringsmiljø. I kommune A har15 skoler implementeret LP, i kommune B er der tre LP-skoler, i kom-mune C 14, og i kommune D er der fire skoler, der har indført LP. Deter således mellem 13 pct. og 40 pct. af skolerne i de kommuner, hvorPALS-pilotskolerne ligger, der har indført LP, mens PALS procentmæs-sigt kun er indført på 6-23 pct. af skolerne i de respektive kommuner.Det faktum, at LP fylder en del i ”skolelandskabet”, får betyd-ning, når vi i evalueringen sammenligner PALS-pilotskolerne med ”al-mindelige folkeskoler”. I denne sammenhæng refererer almindelige fol-keskoler til de folkeskoler, hvor der ikke er igangsat PALS eller LP. Somdet vil fremgå af kapitel 6, hvor udviklingen i de valgte evalueringsmålbeskrives, vil dele af evalueringen af PALS basere sig på en sammenlig-ning mellem PALS-pilotskolerne og almindelige folkeskoler i de kom-muner, hvor PALS-pilotskolerne ligger. Sammenligningen sker medhenblik på at vurdere en eventuel positiv udvikling på PALS-pilotskolerne set i forhold til, om der er tale om generel positiv udviklingpå danske skoler.Når PALS-pilotskolerne på denne måde stilles over for ”almin-delige folkeskoler” på en række udfaldsmål, er det vigtigt at have in men-te, at sammenligningsskolerne ikke nødvendigvis har ”sædvanlig praksis”,men sagtens kan have igangsat andre indsatser end PALS (eller LP) for atforbedre deres læringsmiljø og sociale trivsel på skolen. Udtrykt i statisti-ske termer kan det siges, at interventionsgruppen er klart afgrænset

(PALS-pilotskolerne), mens kontrolgrupperne (på kommuneplan oglandsplan) udgør en mere broget flok af skoler, der kan have hver sinepædagogiske principper og interventioner kørende. Det er således vigtigtat holde sig for øje, at PALS-pilotskolerne på udvalgte mål sammenlignesmed alle mulige andre skoler, uanset at disse har andre interventionerkørende. Dette gør sammenligningsgrundlaget mere usikkert. Det anta-ges dog, at disse mulige interventioner udgør det, man kan kaldefor ”treatment as usual”. Det vil sige den praksis, der findes, når der ikkeer PALS på skolerne.

Et yderligere forhold, der må tages i betragtning i forbindelse med evalu-eringen af PALS, er, at en evaluering af PALS er begrænset af, hvilkeevalueringsegnede mål der findes. Denne evaluering har rettet sig modkvantificerbare mål, ud fra hvilke det har været muligt at måle og teste,om der er sket en udvikling på en række parametre, siden PALS blevstartet. Optimalt set vurderes PALS’ virkning på baggrund af en før- ogeftermåling på henholdsvis skoler, der har implementeret PALS, og sko-ler, der ikke har implementeret PALS. I denne evaluering har vi imidler-tid ikke haft mulighed for at indarbejde førmåling forud for implemente-ringen af PALS, fordi evalueringen først er igangsat efter implementerin-gen på pilotskolerne. Derfor anvender vi allerede eksisterende oplysnin-ger om skolerne i evalueringen kombineret med indsamlingen af en ræk-ke eftermål. Evalueringens anvendte mål vil blive præsenteret nedenfor,mens kapitel 9 vil komme med bud på, hvordan en fremtidig egentligeffektmåling af PALS på danske skoler kan udarbejdes.

Dels kan mere håndfaste mål som ulovligt fravær, karakterer, henvisnin-ger til specialundervisning mv., henholdsvis før og efter implementerin-gen af PALS, give indikationer på, om skolen har opnået et støttendelæringsmiljø og en kultur, der fremmer positiv adfærd. Det kræver imid-lertid, at sådanne data om mål dels er opsamlet et centralt sted, dels ertilgængelige i forbindelse med evalueringen. I det følgende vil vi kommenærmere ind på de mål, det harværet muligtat anvende i evalueringen,nemlig ”specialundervisning”, ”afgangskarakterer” og ”fravær blandt ele-verne”. Fælles for målene er, at de i samspil med hinanden kan give indi-kationer på, hvorvidt PALS virker positivt for eleverne og skolerne.MÅL I: SPECIALUNDERVISNING

Specialundervisning tilbydes normalt elever med særlige behov for atstyrke deres udvikling. Formålet med den specialpædagogiske bistand(specialundervisning) er så tidligt som muligt at fremme og styrke udvik-lingen hos børn med særlige behov. Specialpædagogisk bistand iværksæt-tes for at modvirke, at børn med specialpædagogiske behov fratages op-timale muligheder for læring og kompetenceudvikling som grundlag forden personlige, sociale og faglige dannelse.Såfremt skolerne har oplevet et fald i antallet af elever i special-undervisning i specialklasser, efter at PALS er blevet indført, kan enplausibel antagelse være, at skolerne har fået skabt et inkluderende læ-ringsmiljø (Svendsen, 2011), der kan rumme elevernes særlige behov,og/eller at eleverne har forbedret deres adfærd, og at forbedringerneskyldes PALS.9Antagelsen bygger imidlertid på to forudsætninger:•

9. Vi har ligeledes overvejet, hvorvidt henvisninger til andre former for støtteindsatser i PPR-regi ogindsatser med hjemmel i serviceloven kunne anvendes i pilot-evalueringen, men har valgt ude-lukkende at fokusere på specialundervisning. Dette, fordi 1) Støtteindsatser i PPR-regi kan om-fatte støtte ift. ordblindhed, høre-/synsvanskeligheder mv., hvilket ikke kan kædes sammen medelevadfærd og PALS’ virkning, og 2) Indsatser med hjemmel i serviceloven er ofte (også) rettetmod nogle hjemlige forhold hos barnet og kan således på samme vis ikke ’forbedres’ ved hjælpaf PALS på skolerne.

Optimalt set skulle vi kontrollere for, om eksterne faktorer spiller ind påelevernes adfærd, således at vi med sikkerhed kunne konkludere, at æn-dringer i forhold til øget inklusion kan tilskrives PALS. Det er imidlertidikke metodisk muligt i denne sammenhæng at udelukke, at andre forholdend PALS kan tilskrives en del af de ændringer, vi finder, hvilket der vilblive taget højde for i forbindelse med gennemgangen af resultaterne ikapitel 6.En række andre forhold end PALS, som vi ikke kan kontrollerefor her, kan spille en rolle i forhold til udviklingen i antallet af elever ispecialklasser. Dette skyldes, at PALS er et skoleomfattende program,der ikke kun sigter mod at skabe et inkluderende læringsmiljø og dermednedbringe antallet af elever i specialundervisning. PALS tilstræber samti-dig en række trivselsrelaterede forbedringer, som ikke kan indfanges vedet mål omkring specialundervisning. Ikke desto mindre vil eventuelleændringer i antal elever i specialklasser siden implementeringen af PALS,i samspil med de øvrige mål, kunne give nogle indikationer på, hvorvidtPALS har bidraget til et positivt og inkluderende læringsmiljø.MÅL II: AFGANGSKARAKTERER

Såfremt karaktererne blandt PALS-pilotskolernes afgangselever er stegetmarkant, kan en formodning være, at PALS har haft en positiv indvirk-ning på elevernes læringsmiljø og dermed fremmet gode karakterer.PALS har til formål at forbedre blandt andet det faglige læ-ringsmiljø (Arnesen & Askeland, 2006), hvorfor det er aktuelt at kigge påelevernes karakterer. En ændring i adfærden hos elever, der er urolige,kan tænkes at afspejle sig positivt i disse elevers karakterer. Desuden kanmanglende ro og koncentration hos den enkelte elev tænkes at have ennegativ påvirkning af den karakter, eleven opnår (se blandt andetHanushek & Woessmann, 2008). Ved at se på karakterer undersøges og-så, om PALS ser ud til at have en virkning på en bred målgruppe, det vilsige, at PALS også sætter sig igennem for majoriteten af elever, der ikkeer karakteriseret ved at have adfærdsproblemer. Karakterer vil derforvære et mål for, hvorvidt PALS bidrager til elevernes faglige mestring(Ogden, Sørlie & Hagen, 2007; Sprague & Walker, 2005).

Udviklingen i karakterer må ses relativt i forhold til udviklingen ikarakterer generelt for danske skoler (inden for de respektive kommuner,der undersøges) i tidsperioden 2008-2011. Karakterniveauet er i udgangs-punktet ikke stabilt, men varierer naturligt over år, og dermed kan ud-sving ikke nødvendigvis tilskrives implementeringen af PALS.En eventuel ekstraordinær udvikling i karakterniveauet på PALS-pilotskolerne kan imidlertid i samspil med de øvrige evalueringsmål giveen indikation på, om PALS har influeret på læringsmiljøet.MÅL III: FRAVÆR

Et andet mål, der relaterer sig til PALS, er det ulovlige fravær blandt ele-verne. Ulovligt fravær og hjemsendelser blandt eleverne kan ses som etudtryk for problematisk adfærd og hænger ofte sammen med dårlig triv-sel. Begge former for fravær (ulovligt fravær og fravær pga. hjemsendel-ser) blandt eleverne er desuden en hyppigt anvendt risikoindikator i bør-ne- og ungeforskningen (se fx Loeber, 1990). Ligeledes kan højt sygefra-vær i visse tilfælde være et udtryk for mistrivsel, hvad enten det ses hoselever eller lærere. Således vil en reduktion i forskellige former for syge-fravær tillige kunne ses som en indikation på, at PALS virker positivt påpilotskolerne.PALS har blandt andet til formål at reducere problemadfærd, derkan være forbundet med ulovligt fravær. PALS-programmet skal reduce-re denne type problemadfærd gennem konsistente normer for adfærd ogsystematisk opmuntring til forventet adfærd. Rationalet bag program-mets tilgang til problemadfærd hænger sammen med visheden om, atuklare forventninger til eleverne og inkonsistent brug af konsekvenserfor problemadfærd vil medvirke til at hæve niveauet af pjækkeri blandteleverne, hvis adfærden bliver straffet negativt (Mayer, 1995; Metzlerm.fl., 2001). Da PALS-pilotskolerne netop arbejder med klare forvent-ninger til eleverne samt klare konsekvenser for problemadfærd, må detantages, at PALS reducerer det ulovlige fravær.Det har vist sig vanskeligt at fremskaffe brugbare oplysninger tilevalueringen om sygdom og fravær (ulovligt såvel som lovligt) samthjemsendelser. Om end pilotskolerne generelt har udvist velvilje til athjælpe med at fremskaffe oplysninger i forbindelse med evalueringen, erdet langt fra lykkedes at indhente optimale oplysninger om fravær.Blandt andet fordi fraværsoplysninger fra eksempelvis et enkelt år ikkesiger noget i sig selv. For at oplysninger om sygdom og fravær skal være

brugbare, kræver det flere måleperioder, det vil sige, at fraværet kan føl-ges over en tidsperiode før, mens og efter, at PALS blev implementeret,og dermed vise noget om udviklingen.Kommunerne, hvori PALS-pilotskolerne ligger, er endvidereblevet kontaktet med henblik på at indhente oplysninger, men igen er derforskel på opgørelsesmåde kommunerne imellem. Nogle kommuner haroplysninger om de gennemsnitlige antal fraværsdage pr. elev pr. år. Måletfor antal fraværsdage er således opgjort på aggregeret niveau, det vil sigefor skolen som helhed.Det er ikke alle kommuner, der opgør fraværsårsag. Dette bety-der, at en del af fraværsårsagerne skyldes ekstraordinær frihed, som ek-sempelvis, når forældrene fritager barnet fra skole for at holde ferie. Detkan derfor være vanskeligt at vurdere, om der har været tale om et fald idet såkaldt ”ulovlige” eller risikobetonede fravær.På baggrund af manglende oplysninger og utilstrækkelige data erdet kun muligt at analysere ændringer i forekomsten af ulovligt fraværblandt eleverne på skoler i to kommuner, hvori PALS-pilotskolerne ligger.

Det kan være en vanskelig opgave at evaluere en bredspektret interventi-on som PALS, blandt andet fordi en lang række faktorer ikke er muligefor os at observere. En udfordring ved en skoleomfattende interventionsom PALS er blandt andet, at skolerne selv har valgt sig ind i program-met, hvilket betyder, at vi ikke kan generalisere virkningen af PALS påPALS-pilotskolerne til skoler generelt. Denne evaluering omhandlerdermed udelukkende PALS på de 11 pilotskoler. Udtrykt i metodemæs-sige termer søger vi i en eller anden forstand at afdække enLocal AverageTreatment Effect(LATE) (Imbens & Angrist, 1994). Udfordringen består i,at der kan være en række uobserverede faktorer, som fx lærernes motiva-tion, engagement fra forældregrupper eller lignende, der har betydningfor de mål, vi ønsker at undersøge. Dette er forhold, der kan være sværeat kontrollere for i vores analyser, men som vi ikke desto mindre søger attage højde for.Analyserne vil være centreret omkring spørgsmålet om, hvorvidteventuelle ændringer i eksempelvis antallet af elever, der modtager speci-alundervisning i specialklasser, kan tillægges PALS. For at tage højde for

de observerbare karakteristika (som fx antallet af elever i specialklasser)ved skolerne foretager viregressionsanalyser.Regressionsanalysen er enkvantitativ metode til at undersøge, hvorvidt de observerbare karakteri-stika ved skolerne kan forklare ændringer i de udvalgte mål, når manholder de øvrige observerbare karakteristika konstante. På denne mådekan man eksempelvis undersøge, om ændringer i afgangselevernes karak-terer kan tillægges PALS, eller om eksempelvis en ændring i karaktererneeventuelt kan skyldes en ændring i elevernes socioøkonomiske baggrund.Herved bliver det muligt for os at undersøge, om ændringerne for sko-lerne eller eleverne er en følge af PALS.Overordnet gør vi i evalueringens analyser brug af lineære re-gressionsmetoder, der tager højde for, at data for skolerne eller elevernehar en tidsdimension, og at eleverne eller skolerne derfor tælles mindst togange (før og efter PALS) for at undersøge, hvad ændringen er i forholdtil førmålingen. Herved søger vi at beregne den gennemsnitlige ændringfor eleverne eller skolerne.Ud over almindelige regressionsmetoder anvendes i dele af ana-lyserne en statistisk metode, der hedderfixed effects.Med denne metodesøger vi at tage højde for, at der kan være ting, vi ikke kan observere ivores data, for på den måde at få mere sikker viden om, hvorvidt PALSvirker efter hensigten. Fixed effects-metoden ser kun på de ændringer,der er for eleverne, det vil sige, hvordan de ændrer sig fra førmåling tileftermåling, relativt mellem indsatsgruppe (PALS-pilotskole-eleverne) ogkontrolgruppe (elever på ikke-PALS-pilotskoler) (Imbens & Wooldridge,2008; Wooldridge, 2002). Det vil sige, at man undersøger den generelleudvikling over tid for eleverne eller skolerne. Hermed kommer de enkel-te enheder også til at fungere som deres egen kontrol, så der nu er toformer for kontrol; eleverne eller skolerne selv og deres respektive kon-trolgruppe. Fixed effects-modellen ignorerer de elementer, der ikke vari-erer i data. Derved udelades faste eller konstante forhold, såsom elever-nes køn, et specialpædagogisk tiltag, der er unikt for en af skolerne, ellerledelsen på skolen.Fordelen ved metoden er, at man fjerner faktorer, der fx er sko-le- eller kommunespecifikke. Dette gør, at man får fjernet flere usikker-heder, der ikke er observerbare i data, og som kan påvirke resultaterne.Det vil sige, at vi med fixed effects-metoden undersøger deintraindividuel-le forskellefor eleverne eller skolerne.

En ulempe ved metoden er dog, at man udelukkende ser på deændringer, der sker inden for skolerne, eller om elevernes adfærd bliverændret. Det vil sige, at man ikke får viden om forskelle imellem eleverneeller imellem skolerne, de såkaldteinterindividuelleforskelle.Fixed effects-metoden foregår konkret ved, at vi beregner to så-kaldte lineære modeller, en for hver tidsperiode, og at vi derefter trækkerresultaterne af disse to modeller fra hinanden (Wooldridge, 2002). Pådenne måde får vi den gennemsnitlige ændring for skolerne eller eleverne,mens de faktorer, der ikke varierer over tid, udelades af resultaterne, dader ikke findes nogen ændringer.

De anvendte mål i evalueringen kan primært anvendes til at belyse detene ud af to overordnede fokusmål i PALS-modellen, nemlig udviklingeni defagligekompetencer. Det andet overordnede mål med PALS vedrørersocialekompetencer (Svendsen, 2011) og kan ikke direkte belyses gennemde mål, der anvendes i evalueringen. Sociale kompetencer kan komme tiludtryk gennem blandt andet elevernes samvær, adfærd og relationer,hvilket ikke afspejler sig i registeroplysninger.Endvidere skal det bemærkes, at nogle af de anvendte mål i eva-lueringen primært kan belyse udviklingen i faglige kompetencer hos deældsteelever. De anvendte mål omfatter som ovenfor beskrevet special-klasser, afgangskarakterer og ulovligt fravær, hvoraf de to sidstnævntehyppigst omfatter ældre elever: Afgangskarakterer gives naturligvis kuntil afgangselever, og ulovligt fravær omfatter typisk de ældste elever. Der-imod belyser det anvendte mål for specialklasser inklusion på alle klasse-trin og ikke kun blandt en mindre gruppe elever.I forbindelse med evalueringen har vi søgt efter anvendelige måltil at belyse udviklingen i sociale kompetencer. Til at måle sociale kompe-tencer og trivsel på PALS-pilotskolerne, henholdsvis før og efter imple-menteringen af PALS, har vi arbejdet ud fra tanken om, at resultater framobbeundersøgelser og fra trivselsundersøgelser blandt eleverne og ar-bejdspladsvurderinger (APV’er) blandt lærerne ville kunne anvendes.Trivsels- og mobbeundersøgelserne ville kunne give en indikation på,hvorvidt eleverne samlet set er blevet bedre til at behandle hinanden

godt, om skolen er blevet et rarere sted at være også for de ansatte, ogom der er færre konflikter mellem lærere og elever og eleverne imellem,hvilket ville kunne være et udtryk for en positiv udvikling i forhold tilsociale kompetencer og inklusion.Det har imidlertid vist sig yderst vanskeligt at fremskaffe anven-delige trivselsmål til evalueringen, dels fordi skolerne kun er forpligtet tilat gennemføre trivselsmålinger blandt eleverne hvert tredje år, hvorforder foreligger elevtrivselsmål fra forskudte perioder skolerne iblandt,som ikke kan anvendes som ”før og efter”-mål, dels fordi skolerne ikkenødvendigvis anvender samme spørgeskemaer i deres trivselsundersøgel-ser, idet skolerne frit kan vælge præcis, hvordan de vil udforme og for-mulere netop deres undersøgelser. Og endelig kompliceres indsamlingenaf trivselsmål før og efter implementeringen af PALS yderligere, fordider ikke er en central myndighed, der opsamler resultater fra skolernesAPV’er, trivselsmålinger og mobbeundersøgelser. Det vil sige, at oplys-ningerne skulle komme fra pilotskolerne selv, som imidlertid i mangetilfælde ikke har gemt de nødvendige oplysninger tilbage i tid.For at kompensere for de manglende trivselsmål har vi indarbej-det en spørgeskemaundersøgelse i evalueringen, som skal afdække udvik-lingen i de sociale kompetencer og trivslen på pilotskolerne. Spørgeske-maundersøgelser frembringer subjektive vurderinger modsat objektivemål, som findes i registre, hvormed spørgeskemaundersøgelsen adskillersig væsentligt fra de øvrige anvendte mål i evalueringen. Tilsammenbringer registeroplysninger og subjektive vurderinger et fornuftigt evalu-eringsgrundlag. Spørgeskemaundersøgelsen vil blive præsenteret i kapitel7, umiddelbart efter gennemgangen af resultaterne af de øvrige evalue-ringsmål.Afslutningsvis skal det understreges, at denne evaluering afPALS først og fremmest er tænkt som en undersøgelse afindikationerpåPALS’ virkning på de 11 pilotskoler. Det er for tidligt at udarbejde eteffektstudie af PALS. Hverken kortsigtede eller langsigtede effekter kanpå nuværende tidspunkt afdækkes. Der er således ikke tale om en evalue-ring af PALS-programmets indhold eller af, hvordan PALS fungerer pådanske skoler generelt. I evalueringen forholder vi os til ændringer påpilotskolerne og til de vurderinger, spørgeskemaundersøgelsen blandtpilotskolernes ansatte har afdækket. Desuden er denne evaluering tænktsom en måde at få afprøvet, hvordan det overhovedet kan lade sig gøreat evaluere virkninger af PALS. Evalueringen fungerer således som en

IMPLEMENTERINGEN AF PALSEn udfordring i forbindelse med manualbaserede programmer er at vur-dere, om programmet er tilstrækkeligt implementeret. I relation til PALSvil det sige, om de kernekomponenter, der blev gennemgået i kapitel 2om PALS-programmet, også er til stede, og om der bliver gjort brug afdem på den måde, programmanualen foreskriver.Spørgsmålet om, hvorvidt skolerne har implementeret PALS til-strækkeligt, er helt afgørende for, om PALS virker (Sørlie, 2000). Forsk-ning i anvendelsen af manualbaserede programmer peger på, at imple-menteringsgraden (ofte betegnet somfidelityellertreatment adherence)erafgørende for, at man når de resultater, programmet sigter mod (Fixsenm.fl., 2009, 2005). En optimal implementering af et program, hvor detbliver udøvet som foreskrevet i manualen, sikrer, at programmet kan givede resultater, som programmet er designet til at give (Sugai & Horner,2006). Her er det vigtigt at påpege, at det ikke er nok at implementereprogrammet, men at programmet og implementeringen af programmetogså skal vedligeholdes og forankres på skolerne.Derfor er det vigtigt at få dokumenteret, om PALS faktisk prak-tiseres, sådan som det er beskrevet i manualerne, og at det er de konkreteelementer i PALS, der virker, og ikke andre udviklingstendenser på sko-lerne.

Implementeringen af et program som PALS indebærer ofte en rækkeudfordringer forbundet med ændringer i kulturen på en given skole ogtilstrækkelig viden om programmet. En anden udfordring ved at imple-mentere et program kan være rammerne for implementeringen, såsomadministrative og økonomiske forhold, der kan påvirke selve program-met.Internationale erfaringer med implementeringen af den ameri-kanske version af PALS viser, at der er en række faktorer, der kan udfor-dre implementeringen af programmet (Flannery, Sugai & Anderson,2009). Blandt udfordringerne nævnes:•••

Manglende tid til, at implementeringsteamet kan mødesAndre konkurrerende initiativer på den samme skoleAt der tidligere har været mange andre programmer, der har væretstartet på skolenManglende administrativ støtte til implementeringenManglende ledelsesmæssig støtte til implementeringenManglende støtte fra vejledereManglende eller inkonsekvent opfølgning på møder, der har væretafholdt omkring programmet.Stor udskiftning i personalegruppenStor udskiftning blandt eleverneModvilje blandt lærere og elever til at gøre noget andet end tidligereManglende brug af datasystemer, som eksempelvis SWISManglende involvering af elevernes forældreManglende skole-hjem-samarbejdeManglende tid til at udøve programmet.

(Flannery, Sugai & Anderson, 2009). Blandt de positive erfaringer kannævnes, at der som et led i implementeringen af PALS indbygges støttefra det administrative niveau samt stilles krav om, at personale, elever ogforældre bliver tilstrækkeligt involveret. Endvidere findes der positiveerfaringer med at lære personalet vigtigheden af datamonitorering ogmed at give lærerne tilstrækkelig tid til at indlære og udøve PALS, samt atder lægges planer for videndeling mellem skolerne. Endelig kan hyppigeafholdelser af personalemøder om programmet og prioritering af skole-hjem-samarbejdet nævnes som positive erfaringer med hensyn til atfremme implementeringen af PALS.Der er således en række måder, hvorpå man kan imødekommede nævnte udfordringer. Vigtigst af disse fremstår involveringen af per-sonalet i programmet samt brugen af programmet (Flannery, Sugai &Anderson, 2009). Det vil sige, at skolens personale, eleverne og elevernesforældre skal opleve ejerskab i forhold til programmet, for at det kan bli-ve implementeret. Derudover skal der være de fornødne rammer, for atdette kan lade sig gøre. Det vil sige, at der afsættes nok tid til, at lærerneog skolens øvrige personale kan sætte sig ind i programmet og bruge det.Endvidere skal skolernes administration og forvaltning også støtte opomkring programmet.En udfordring, der dog opstår ved et manualbaseret programsom PALS, der er en tilpasset model adopteret fra USA via Norge, er, atder kan være kulturelle forskelle, der kan være vanskelige at tilpasse tildanske forhold. Eksempelvis kan det tænkes, at lærernes autonomi i de-res arbejde samt graden og typen af problemadfærd blandt eleverne erforskellige nationerne imellem. Implementeringen af PALS bliver derforudfordret både i forhold til de institutionelle og de kulturelle rammer(Mølgaard m.fl., 2011).

sammen med skolernes forandringskapacitet i de forskellige led (lærer-kollegiet, ledelsen og andet personale). I forbindelse med evalueringenhar vi været i kontakt med skoleledere fra de 11 pilotskoler, som i fleretilfælde omtalte, at skolens ansatte har følt sig under tidspres i forhold tilimplementeringen. Skolerne oplever det som vanskeligt at kunne nå atarbejde grundigt med modellens forskellige faser. At tilegne sig tilstræk-kelig indsigt i PALS-modellen er en tidskrævende proces, som er en for-udsætning for, at PALS-læreren kan iværksætte kvalificerede tiltag.I en delrapport i forlængelse af den kvalitative undersøgelse afPALS-skolerne i Herning omtales desuden, at lærerne på PALS-skolerkan føle sig udfordret i forhold til en del af de kompetencer og efterle-velseskrav, som PALS forudsætter (Rasch-Christensen, 2009). Det drejersig eksempelvis om kortlægningskompetencer (kortlægning af skolens ogklassernes urolige elever, eksisterende regelsæt osv.) samt det at skullegive afkald på en del af sin autonomi som lærer. Dilemmaet om autono-mi refererer til lærernes ønske om at bibeholde en autonom lærerperson-lighed, hvilket udfordres ved PALS-modellens faste handleanvisninger.For nogle lærere kan det være vanskeligt at øjne rum til egen lærerper-sonlighed især i opstartsåret, og det kan gøre PALS-lærerjobbet forudsi-geligt og mindre udfordrende.En udfordring i forbindelse med implementeringen af PALS kandesuden være implementeringsformen, som foreskriver, at lærerne skaludføre praktiske øvelser og rollespil over for hinanden, inden de skallære eleverne om PALS. Det kan skabe barrierer, såfremt lærerne hellerevil snakke om det frem for at gøre det. Endvidere kan en problematik iforbindelse med implementeringen af PALS være, at skolerne skal im-plementere hele PALS-modellen og ikke kun de punkter, som i øjeblik-ket optager skolen. Endelig nævnes det i delrapporten, at ledelsesniveau-ets opbakning under implementeringen af PALS er yderst betydnings-fuldt (Rasch-Christensen, 2009).Samlet set indebærer implementeringen af PALS væsentlige ud-fordringer i forhold til eksisterende skolekultur og lærerpraksis. I sig selvkan organiseringen med tovholdere/koordinatorer betegnes som en ud-fordring, fordi det er atypisk med kollegial ledelse, og fordi denne formfor ledelse er uden formelle beføjelser.

PALS skal implementeres over en periode på 3 år.11Første år går med, atalle ansatte på skolen bliver undervist i PALS. Endvidere tilpasses PALS-modellen til skolen, ligesom der også skabes fælles målsætninger og for-ventninger. Andet år igangsættes de forebyggende tiltag, som blev forbe-redt første år, samtidig med at der udvikles individuelle støttetiltag. Herskabes også forbindelse til børne-, unge- og familieafdelingen i kommu-nen, og skolerne begynder at anvende monitoreringsværktøjer samt densåkaldte Tjekliste A til at støtte implementeringen af PALS-modellen.Tredje år går med at vedligeholde de forebyggende tiltag, som blev ud-viklet i det første år og igangsat i det andet år. Fokus for PALS-modellener i det tredje implementeringsår desuden rettet mod de elever, der harbrug for supplerende indsatser for at kunne trives adfærdsmæssigt. Hvisdet ikke allerede er sket, iværksættes individuelle støttetiltag for elevermed særlige behov, såsom Stop Now And Plan (SNAP), forældrerådgiv-ning og forældregrupper (Arnesen, Sørlie & Ogden, 2007).Som et led i vurderingen af implementeringen af PALS har SFIsøgt informationer om antallet af anvendte forældrerådgivninger på sko-lerne. Antallet af afholdte rådgivninger kunne anvendes som en indikatorpå, om PALS’ elementer alle er iværksat planmæssigt. Det har imidlertidikke været muligt at indhente disse oplysninger fra skolerne. Dette er dogikke ensbetydende med, at der ikke har været anvendt forældrerådgivnin-ger, blot at skolerne ikke systematisk har opsamlet oplysningerne.Fokus for denne evaluering af implementeringen af PALS erderfor Tjekliste A, som er et indbygget redskab i PALS, og som vil blivepræsenteret i det følgende.

af skolerne i slutningen af skoleåret hvert af de tre implementeringsår.Tjeklisterne fungerer som et redskab for den enkelte skole og er ikke ud-arbejdet målrettet til forskningsformål. Skolerne har selv så vidt muligtværet ansvarlige for udfyldningen af tjeklisterne i årene 2008-2011. SFIhar modtaget de udfyldte tjeklister, dels i papirform, dels i opsamlendeExcel-ark. Det er dog ikke alle skoler, der har udfyldt tjeklisterne for alleår. Det er heller ikke alle pilotskolerne, der har været opmærksomme påat efterleve kravet om at udfylde Tjekliste A i slutningen af året som fo-reskrevet. Flere af de indleverede tjeklister er udfyldt i starten af et skole-år, og samtidig mangler der udfyldte tjeklister fra flere af de tre imple-menteringsår (flere skoler har kun udfyldt Tjekliste A en enkelt gang).Tjeklisten indeholder 46 spørgsmål, som tilsammen belyser implemente-ringsstatus på fire områder:••••

I rapportens bilag 1 vises indholdet mere detaljeret for hvert af de fireområder for Tjekliste A. Hvert spørgsmål for hvert område af Tjekliste Audgør en såkaldt kernekomponent. Ved at sammenregne antallet af be-svarelser for hvert område og dele med summen af det totale antal be-svarelser for et givent område får man andelen, der enten har svaret, atkernekomponenterne er implementeret, er delvist implementeret ellerendnu ikke er implementeret (Ervin m.fl., 2007). På samme måde hørerder en række spørgsmål til hvert af de fire områder, som tilsammen skalvise, om skolens ansatte mener, at der er henholdsvis et stort, middeleller lille forbedringsbehov på det givne område.Alle fire områder vurderes som værende vigtige for implemente-ringen af PALS, da de omhandler de muligheder, lærerne og det øvrigepersonale har for at udøve principperne i PALS, samt om lærerne og detøvrige personale også gør brug af de enkelte kernekomponenter. Tjekli-ste A anvendes derfor som en indikator for, om PALS er implementeretpå skolerne.Enkelte skoler har anvendt en anden udgave af Tjekliste A.Denne udgave af Tjekliste A afviger en del fra den udgave, som de flesteaf skolerne har anvendt, hvorfor oplysninger fra den alternative version

For at gøre oplysningerne om Tjekliste A sammenlignelige på tværs afskoler og år aggregeres de enkelte skalaer på skoleniveau. Aggregeringenforetages af det pragmatiske hensyn, at nogle skoler har indberettet deenkelte læreres besvarelser i anonymiseret form, mens andre skoler harleveret oplysninger for hele skolen samlet set på de enkelte spørgsmål forhvert område, mens endnu andre har leveret data, der er aggregeret forhvert af de fire områder for hele skolen.De aggregerede mål giver mulighed for at undersøge, hvorvidtalle skoler implementerer PALS lige godt. En skole, hvor en lav andel afpersonalet mener, at kernekomponenterne er på plads, vil trække detoverordnede billede nedad, når der er så få skoler med i evalueringen.Omvendt kan skoler, hvor en stor del af personalet mener, at kernekom-ponenterne er på plads, trække det overordnede billede af skolernes im-plementering opad. For at imødekomme dette problem er det derfor og-så værd at se på, hvor store forskelle der er mellem skolerne.I alt har 10 ud af de 11 PALS-pilotskoler leveret mindst en ud-fyldt Tjekliste A til SFI. Kun fire skoler har leveret udfyldte tjeklister foralle 3 år undervejs i implementeringen. Det betyder, at den følgende gen-nemgang af resultaterne vedrørende implementeringen baserer sig på etvarierende antal skolers besvarelser, hvilket også vil fremgå af tabellerne.År 2008 tages som en form for førmåling, der er en indikator for,hvilke kernekomponenter der er til stede ved starten af PALS, mens2011 anses for at være året, hvor alle kernekomponenterne bør være tilstede, for at PALS er implementeret.I det følgende analyserer vi Tjekliste A for hvert af de fire cen-trale områder. Grundet det begrænsede antal af skoler, fra hvem der eropnået sammenlignelige tjeklister, foretager vi ikke statistiske test af æn-12. Der er mindre forskelle på Tjekliste A i PALS-manualen (Arnesen & Askeland, 2006) og den,som er anvendt i PBS Survey, som der ikke er anledning til at gå i dybden med i denne sammen-hæng.

dringerne fra år til år. Hvis under 50 pct. af skolens personale svarer be-kræftende på, at en kernekomponent er implementeret, indikerer dette, atkernekomponenten ikke er implementeret, og at der er behov for at sæt-te ekstra ind på disse områder. Hvis mellem 50 pct. og 80 pct. af skoler-nes personale mener, at en kernekomponent er implementeret, er derbehov for en indsats for at implementere kernekomponenterne. Hvisover 80 pct. af skolens personale angiver, at en kernekomponent er im-plementeret, er der ikke behov for yderligere indsatser for at implemen-tere kernekomponenterne (Dickey, Conley & Cave, 2011). I stedet gøresen indsats for at vedligeholde kernekomponenternes status.TJEKLISTE A – UNIVERSELLE SKOLEOMFATTENDE OMRÅDER

Den første af kernekomponenterne, som Tjekliste A berører, er univer-selle skoleomfattende områder, der dækker over rammerne, som PALSpraktiseres inden for. Det vil eksempelvis sige, hvorvidt der er opsatstandarder for, hvordan elevadfærd, både forventet og problematisk, bli-ver håndteret, om ledelsen af skolen er inddraget i PALS-programmet,og om der er mulighed for sparring af PALS-teamet hos en tilknyttetPALS-vejleder.Tabel 5.1 viser udviklingen i implementeringen af kernekompo-nenterne for universelle skoleomfattende områder fra 2008 til 2011. Ta-bellen viser de procentvise andele af pilotskolernes personale, der mener,at kernekomponenterne for de universelle skoleomfattende områder erimplementeret, delvist er implementeret eller ikke er implementeret.TABEL 5.1Pilotskolerne samlet set, fordelt efter deres vurdering af status for implemente-ring af kernekomponenter for universelle skoleomfattende områder. Særskilt forårene 2008-2011. Procent.År2008200920102011Ja38425461Delvist24212431Nej3838228Antal skoler6648

skolerne, at kernekomponenterne var implementeret, og dette stiger tilgennemsnitligt 61 pct. i 2011. Dette dækker dog over nogle større varia-tioner skolerne imellem, da der i 2011 er en skole, hvor 42 pct. af skolenspersonale vurderer, at kernekomponenterne er til stede, mens dette tal er89 pct. i 2011 for en anden skole. Kun en enkelt af skolerne ligger over80 pct. i 2011, der er skolernes fjerde år som PALS-pilotskole, hvilket måkonstateres at være utilstrækkeligt set i lyset af, at minimum 80 pct. afskolens personale skal angive, at en kernekomponent er implementeret,førend der er tale om tilstrækkelig implementering (Dickey, Conley &Cave, 2011).Tilsvarende gælder resultaterne vedrørende forbedringsbehovet.Om end forbedringsbehovet falder over tid, i takt med at det universelleskoleomfattende område implementeres, er der fortsat for stort et for-bedringsbehov i 2011, hvor minimum 80 pct. af de ansatte gerne skulleopleve et lille eller intet forbedringsbehov. Således var der i 2008 gen-nemsnitligt 78 pct. af personalet på skolerne, der mente, at forbedrings-behovet var enten stort eller middel, mens der i 2011 gennemsnitligt var51 pct., som vurderede, at der var et middel eller stort forbedringsbehov.TJEKLISTE A – INDIVIDUELLE OMRÅDER

Kernekomponenterne, der vedrører individuelle områder, dækker over,hvorvidt lærerne regelmæssigt foretager vurderinger for at identificereelever med alvorlig problemadfærd, og om der gribes til handling pådenne identifikation. Endvidere indeholder dette område spørgsmål om,hvorvidt relevante parter, som eksempelvis familien og skolens ledelse,bliver involveret i elevens problemer og videre støtte.TABEL 5.2Pilotskolerne samlet set, fordelt efter deres vurdering af status for implemente-ring af kernekomponenter for individuelle områder. Særskilt for årene 2008-2011.Procent.År2008200920102011Kilde: Egne beregninger på Tjekliste A.

Tabel 5.2 viser status for implementeringen af kernekomponenterne forde individuelle områder, opgjort gennemsnitligt for skolernes personale,fra 2008 til 2011. Tabellen viser en gradvis stigning i andelen af skolernespersonale, der mener, at kernekomponenterne er implementeret.I 2008 vurderer 18 pct. af skolernes personale, at kernekompo-nenterne på de individuelle områder er implementeret, mens det stiger til56 pct. i 2011. Igen er andelen, der mener, området er implementeret,bemærkelsesværdigt lav, men også i dette tilfælde dækker tallene overnogle store variationer imellem skolerne. Kun 36 pct. af personalet på enskole vurderer, at kernekomponenterne for individuelle områder er im-plementeret i 2011, mens over 80 pct. af personalet på i dette tilfælde toandre skoler vurderer, at kernekomponenterne for individuelle områderer implementeret på deres skoler.Skolerne har samtidig angivet forbedringsbehovet for de indivi-duelle områder, og her mener 89 pct. af skolernes personale i 2008, atder er et middel eller stort forbedringsbehov, mens dette tal er 52 pct. i2011.TJEKLISTE A – OMRÅDER UDEN FOR KLASSE- OGUNDERVISNINGSOMRÅDE

Den tredje ud af fire kernekomponenter, som Tjekliste A berører, er om-råder uden for klasse- og undervisningsområder. Der er her tale om, ateleverne skal lære, hvad der er forventet adfærd i forbindelse med allefysiske områder uden for klasse- og undervisningslokalerne, og at lærernegør brug af ros og positiv opmuntring ved forventet elevadfærd på defysiske områder uden for klasseområderne. Og endelig vedrører området,om der er tilstrækkeligt med personale på fællesområder før og efter sko-letid og i frikvartererne til at kunne føre tilsyn med eleverne og vejled-ning til eleverne. Her vurderer gennemsnitligt 27 pct. af skolernes ansattei 2008, at komponenterne er implementeret, mens det i 2011 er 54 pct. afskolernes ansatte, der vurderer, at de er implementeret.Også i forhold til dette implementeringsområde er der tale omstore variationer skolerne imellem i forhold til deres vurderinger. For toaf skolerne mener mindst 80 pct. af de ansatte, at området er implemen-teret. Det er de samme to skoler, som også angiver, at kernekomponen-terne for individuelle områder er implementeret i 2011. Generelt varierervurderingerne fra 36 pct. til 83 pct.

Det sidste område, som Tjekliste A berører, er klasse- og undervisnings-områder. Dette område relaterer sig til, om henholdsvis forventet adfærdog problemadfærd er klart defineret, og hvorvidt der bliver handlet kon-sekvent på den forventede adfærd eller problemadfærden. Endelig relate-rer Tjekliste A for klasse- og undervisningsområder sig til, hvorvidt un-dervisningen og undervisningsmaterialerne bliver tilpasset den enkelteelevs behov, og om lærerne har mulighed for at få støtte i at forbedreforhold i undervisningssituationen.Tabel 5.4 viser status for implementeringen af kernekomponen-ter for klasse- og undervisningsområder fordelt på år.TABEL 5.4Pilotskolerne samlet set, fordelt efter deres vurdering af status for implemente-ring af kernekomponenter for klasse- og undervisningsområder. Særskilt for åre-ne 2008-2011. Procent.År2008200920102011Ja17283752Delvist42362530Nej40373818Antal skoler6648

I 2008 vurderede 17 pct. af skolernes personale, at kernekomponenternevar implementeret. Andelen stiger til 52 pct. i 2011. Dette tal dækkerendnu en gang over forskelle mellem skolerne, idet 4 ud af 8 skoler angi-ver, at under 50 pct. af personalet mener, at kernekomponenterne forklasse- og undervisningsområder er implementeret i 2011. Ved to skolerangiver over 80 pct. af personalet, at kernekomponenterne er implemen-teret i 2011, og igen er der tale om de samme to skoler, som også harangivet, at kerneområder for universelle skoleomfattende områder samtindividuelle områder er implementeret.Hvad angår forbedringsbehovet for implementering af kerne-komponenter for klasse- og undervisningsområder, vurderer 88 pct. afpersonalet på skolerne i 2008, at der var et stort forbedringsbehov. I2011 falder dette tal til 57 pct.

Samlet set vidner tjeklisterne om, at det tager tid at implementere alledelelementerne i PALS. I 2011, 3 år efter pilotskolernes opstart på PALS,er områderne ifølge de lærere, der har udfyldt tjeklisterne, langtfra til-strækkeligt implementeret. En mulig forklaring på, at implementeringengår lidt langsommere, end man kunne forvente, er blandt andet, at deansattes vante rutiner og undervisningskultur skal ændres, hvilket unæg-telig tager tid (Mølgaard m.fl., 2011). Lærernes relative autonomi bliverbegrænset med indførelsen af PALS, det vil sige, at lærerne ikke selv isamme grad som tidligere kan bestemme, hvordan de håndterer eleverneog tilrettelægger undervisningen. At denne udfordring kan være vanskelig,fremgår blandt andet af en række kvalitative interviews med lærerne påen række skoler i Herning Kommune (Mølgaard m.fl., 2011).Af andre forklaringer på den utilstrækkelige implementering kannævnes, at implementeringen på visse punkter hænger sammen med defysiske rammer for eleverne og lærerne. Ændringer af disse rammer kanvære underlagt skolernes budgetter og er derfor tidskrævende at indar-bejde på skolen.Resultaterne af Tjekliste A fra pilotskolerne viser, at skolernegenerelt ikke er nået så langt i implementeringen, som man kunne for-mode. Efter 3 år med PALS skulle mindst 80 pct. af skolernes ansatteideelt set vurdere, at hvert af de fire implementeringsområder er tilstræk-

keligt implementeret, hvilket imidlertid ikke er tilfældet. Kun lidt overhalvdelen af de ansatte på skolerne generelt set (henholdsvis 61 pct., 56pct., 54 pct. og 52 pct. på hvert af de fire områder) vurderer, at PALS ertilstrækkeligt implementeret i 2011. Det skal dog fremhæves, at der erstor spredning i resultaterne på den måde, at særligt to skoler udtrykkermeget høj grad af implementering på alle fire områder, mens de øvrigeskoler alle ligger noget lavere, hvad angår implementeringsgraden. Nogleskoler har således været bedre og hurtigere end andre skoler til at imple-mentere PALS. Der synes at være en tendens til, at hvis et område ikkeer godt implementeret, gælder det samme på de øvrige områder, og om-vendt, hvis et område er tilfredsstillende implementeret, gælder det påalle fire implementeringsområder for de pågældende skoler.Resultaterne viser også, at der er en generel tendens til, at sko-lerne gradvist får implementeret de enkelte kernekomponenter over tid(2008-2011). Det er dog vidt forskelligt, hvor hurtige skolerne er til atimplementere kernekomponenterne. Desuden er det forskelligt, hvormeget energi de forskellige delelementer i PALS tillægges på skolerne.Resultatet indikerer endvidere, at implementeringen af PALS eren løbende proces, der muligvis vil strække sig over længere tid end de 3år, implementeringen oprindeligt er sat til. Endvidere indikerer resulta-terne, at vedligeholdelsen af PALS på skolerne er lige så vigtig som denfortløbende implementering. Et spørgsmål, der må forblive ubesvaret fornuværende, er, om det i alle tilfælde vil være muligt at indføre PALS fuldtud? Når skolerne efter 3 år kun delvist har implementeret PALS-programmets kernekomponenter, vil det da lykkes at implementerePALS fuldstændigt på et senere tidspunkt? Hvad skal der til, for at im-plementeringen af PALS lykkes?Vi skal huske på, at pilotskolerne som de første i Danmark ar-bejder med PALS og dermed har haft sværere læringsvilkår end de efter-følgende PALS-skoler, som muligvis allerede på forhånd kender til PALS.Vi kan således formode, at pilotskolernes implementering af PALS harforløbet anderledes, end det vil være tilfældet for fremtidige PALS-skoler,som vil kunne bruge pilotskolernes erfaringer.En videre analyse af implementeringen af kernekomponenterne iPALS, som kunne være interessant på sigt at udføre, kunne være at se på,om der er forskelle skolerne imellem, på hvor hurtige de er til at imple-mentere de enkelte kernekomponenter, set i forhold til fx skolestørrelse,om skolen rummer afgangsklasser, elevsammensætning mv. Det er dog

Fælles for de tre evalueringsmål er for det første, at de alle har været be-hæftet med visse vanskeligheder i forhold til indsamling af data for måle-ne. For det andet, at de alle vil blive analyseret gennem forskellige formerfor regressionsmodeller, hvor man tager højde for en række observerbarekarakteristika ved eleverne og skolerne i forhold til evalueringsmålet.Resultaterne gennemgår vi hver for sig, og afslutningsvis vil vi iet opsamlende afsnit diskutere delresultaterne samlet. For hvert af deanvendte evalueringsmål gennemgår vi kort, hvilken analysetilgang vi haranvendt for at give læseren en forståelse for, hvordan hvert enkelt mål erblevet evalueret. Evalueringsmålene anvendes til at undersøge enkeltdeleaf PALS, der tilsammen kan give en indikation på, hvorvidt PALS harpositive virkninger for eleverne på pilotskolerne. Som omtalt i kapitel 2om PALS-programmet tilstræber PALS at forbedre både det sociale ogdet faglige læringsmiljø. I den forbindelse skal det fremhæves, at denne

Et af formålene med PALS-modellen er at støtte adfærdsvanskelige ellerurolige børn i at blive mere rolige. Støtten opnås gennem systematisksocial inklusion (Svendsen, 2011, 2009). Det er derfor interessant at un-dersøge, om der henvises færre til specialundervisning, efter at PALS-modellen er blevet indført på de 11 PALS-pilotskoler.Det har kun været muligt at indhente oplysninger om antallet afelever, der er blevet henvist til specialundervisning i specialklasser forskoleårene 2008/2009 og 2009/2010. Antallet af elever, der modtagerspecialundervisning i specialklasser i skoleåret 2008/2009, betragtes i detfølgende som en førmåling. Det vil sige tilstanden på skolen forud forimplementeringen af PALS. Vi tillader os at arbejde ud fra denne anta-gelse, da PALS på dette tidspunkt endnu ikke inkluderede eleverne påskolen, men udelukkende var en model, som lærerkollegiet og det øvrigepersonale blev undervist i.Der foreligger på nuværende tidspunkt ikke data for antallet afelever, der modtager specialundervisning i specialklasser for skoleåret2010/2011.14Det vil sige, at vi kun har et mål for antallet af elever, dermodtager specialundervisning i specialklasser i begyndelsen af implemen-teringen af PALS, og et i midten af implementeringsfasen, nemlig i sko-leåret 2009/2010.Ved implementeringen af PALS forventes skolerne at gøre min-dre brug af specialklasser og holde eleverne inden for rammerne af nor-malundervisning (Svendsen, 2011, 2009). Det forventes derfor, at PALS-pilotskolerne, der har specialklasser, vil henvise færre elever til specialun-

I det følgende vil metoden til at analysere ændringer i antallet af elever,der modtager specialundervisning i specialklasser, blive gennemgået.Endvidere gennemgås styrker og svagheder ved de tilgængelige data ogved den anvendte analysemetode.Data vedrørende specialundervisning stammer fra UNI-C og fraØkonomi- og Indenrigsministeriets kommunale nøgletal for de firekommuner. Vi har anvendt oplysninger om specialundervisning for alleskoler i de fire kommuner, hvori PALS-pilotskolerne ligger, og dermedkan alle øvrige skoler end PALS-pilotskolerne fungere som kontrolskoleri analysen. Dette giver mulighed for at sammenligne udviklingen i antalletaf elever i specialundervisning for PALS-pilotskolerne med skolerne i depågældende kommuner generelt. For at styrke sammenligningsgruppeninddrages i denne analyse udelukkende folkeskoler fra de respektivekommuner. Dette skyldes, at folkeskolerne må tænkes at være underlagtdet samme kommunale styre inden for kommunerne, hvorfor vilkårenefor skolerne i de respektive kommuner må antages at være de samme.Det er desværre ikke muligt på baggrund af de tilgængelige dataat tage højde for, om enkelte elever, der er henvist til specialundervisning,skifter skole, og at eventuelle forskelle i antallet af elever, der modtagerspecialundervisning i specialklasser, kan skyldes dette. Modellen antagerderfor, at det er de samme elever, der indgår i det ene skoleår som i detfølgende skoleår.For at tage højde for, at en udvikling i antallet af elever kan på-virke antallet af elever, der modtager specialundervisning i specialklasser,inddrages også oplysninger om antallet af elever i de enkelte skoler forhvert af de pågældende skoleår. Hermed kontrolleres der for, om antalletaf elever i specialundervisning kan skyldes en generel udvikling i antalletaf elever. Resultatet af analyserne skal derfor tolkes relativt. Det vil sige,om PALS-pilotskolerne har ændret antallet af elever i specialundervis-ning i specialklasser set i forhold til øvrige skoler inden for de respektivekommuner.Endvidere kontrollerer vi for, hvilken form for skole der indgår ianalysen. Det vil sige, om der er tale om PALS-pilotskoler, almindelige

folkeskoler (defineret i dette tilfælde som folkeskoler uden PALS eller LP)eller LP-skoler. LP-skolerne er særligt interessante i denne sammenhæng,da disse skoler gør brug af en pædagogisk metode, der indeholder nogleaf de samme elementer som PALS, hvilket kan have betydning, når viundersøger, om der er forskelle på PALS-pilotskolerne og de øvrige sko-ler inden for kommunerne.Endelig indeholder den valgte analysemodel også et mål for ud-gifterne, der er anvendt i skoleårene pr. elev i kommunen. De kommuna-le udgifter inddrages for at undersøge, om ændringer i antallet af elever,der modtager specialundervisning i specialklasser, kan tilskrives udviklin-gen i kommunernes økonomi, da specialundervisning, alt andet lige, erdyrere end normal klasseundervisning.I analyserne anvender vi en fixed effects-metode, hvor skolernefungerer som kontrol for sig selv.15Samtidig tager vi højde for de tidlige-re omtalte forhold, der kan tænkes at have indflydelse på en ændring iantallet af elever, der modtager specialundervisning i specialklasser.16UDVIKLING I ANTALLET AF ELEVER, DER MODTAGERSPECIALUNDERVISNING I SPECIALKLASSER

Det fremgår af tabel 6.1, at der i skoleåret 2008/2009 kun er fem PALS-pilotskoler med elever, der modtager specialundervisning i specialklasser,mens der er 34 almindelige folkeskoler og syv LP-skoler med elever, dermodtager specialundervisning i specialklasser. I skoleåret 2009/2010 varder 30 almindelige folkeskoler, 11 LP-skoler og fortsat kun fem PALS-pilotskoler med elever, der modtog specialundervisning i specialklasser.Tabellen viser, at de almindelige folkeskoler gennemsnitligt har et størreantal elever i specialklasser end de to øvrige skoletyper. Dette gør siggældende for både skoleårene 2008/2009 og 2009/2010.Tabellen viser endvidere, at det gennemsnitlige samlede antalelever i skolerne er nogenlunde konstant over tid for PALS-pilotskolerneog de almindelige folkeskoler, mens der er et fald i det gennemsnitligeantal af elever i LP-skolerne over tid. Dette kan skyldes, at en rækkemindre skoler har valgt at blive LP-skoler.

Når vi kigger på analysen af, hvorvidt PALS-pilotskolerne og de øvrigeskoletyper har reduceret antallet af elever, der modtager specialundervis-ning i specialklasser, viser det sig, at der ikke er tale om statistisk signifi-kante ændringer17ved PALS-pilotskolerne i forhold til de almindeligefolkeskoler i kommunerne i årene 2008/2009 til 2009/2010, når mantager højde for de gennemgåede observerbare karakteristika. Analysenfremgår af bilag 2, bilagstabel B2.1.Analysen finder endvidere, at antallet af elever på skolerne ikkehar betydning for, hvorvidt skolerne har færre elever, der modtager spe-17. Med signifikansniveau henvises der til, hvor statistisk sikkert et resultat er. Det vil sige, hvor storsandsynligheden er for, at man accepterer et forkert resultat. Derfor kommenterer vi kun på deresultater, der ligger under et 5-procents-signifikansniveau, da resultaterne af de statistiske mo-deller dermed er mere sikre.

I det følgende gennemgår vi, hvorvidt skolernes samlede karakterer idansk og matematik for 9. klasse er ændret efter indføring af PALS.I denne undersøgelse ser vi på karaktergennemsnittene for fage-ne dansk og matematik. Disse to fag har eleverne haft igennem hele de-res skoleforløb, og fagene kræver koncentration og et godt læringsmiljøfor at opnå et godt resultat. Desuden afspejler karaktererne fra disse fag ihøj grad det endelige karaktergennemsnit, eleverne får (Nordenbo m.fl.,2010).18I undersøgelsen ser vi udelukkende på 9.-klasses-afgangselever.Dette gør vi for at kunne sammenligne flest mulige skoler, da det ikke eralle skoler, der tilbyder 10. klasse. Gennemsnitskaraktererne i dansk ud-gøres af gennemsnittet for den enkelte elev af de bundne fagprøver ilæsning, mundtlig dansk, orden, retskrivning og skriftlig dansk. Gennem-snitskaraktererne i matematik består af de bundne fagprøver i matema-tisk problemløsning og matematiske færdigheder for hver elev i skolerne.Såfremt karaktererne blandt PALS-pilotskolernes afgangseleverer steget markant, kan en formodning være, at PALS har haft en positivindvirkning på elevernes læringsmiljø og dermed har fremmet gode ka-rakterer.For at undersøge om der er ændringer i karakterer for skolerne,og om ændringerne kan tillægges PALS, tager vi højde for elevernes so-cioøkonomiske forhold. Socioøkonomiske forhold kan influere på ele-vers opnåede karakterniveau. Det vil sige, at vi forsøger at tage højde for,at eleverne fra en årgang kan have en anden socioøkonomisk profil i for-hold til en anden årgang. Med socioøkonomisk menes her elevernes for-ældres civilstand, familiens disponible indkomst,19elevernes baggrundsom henholdsvis danske, indvandrere eller efterkommere, forældrenes18. Dansk- og matematikfagene afsluttes med tilsammen syv bundne fagprøver. I alt findes der nibundne fagprøver på 9. klassetrin (www.uvm.dk).19. Indkomst efter skat og renter er defineret som de samlede indkomster fratrukket renteudgifter,skatter og underholdsbidrag.

For at undersøge om der er ændringer i karaktergennemsnittet for danskog matematik for 9.-klasses-afgangselever på folkeskolerne i de firekommuner, hvori PALS-pilotskolerne ligger, anvendes en regressions-model, der søger at tage højde for de tidligere nævnte socioøkonomiskeforhold. I analyserne ser vi på PALS-pilotskoler og LP-skoler sammen-lignet med almindelige folkeskoler. Til analyserne anvender vi såkaldterobust pooled lineære regressioner. I denne sammenhæng kaldes det enpooled lineær regression, når der indgår flere observationer (før og efter)for den samme skole (Wooldridge, 2002). På denne måde sammenlignervi skolerne med sig selv over tid, når der tages højde for eventuelle æn-dringer i sammensætningen af elever inden for skolerne og imellem sko-lerne.For at sammenligne den socioøkonomiske baggrund for elever-ne i de forskellige årgange aggregeres elevernes socioøkonomiske bag-grund. Det vil sige, at for hver af skolerne og for hvert skoleår udregnesden gennemsnitlige disponible husstandsindkomst20samt andele af for-ældre (mødre og fædre), der har en af følgende uddannelser: erhvervsfag-lig uddannelse, gymnasial uddannelse, kort eller mellemlang videregåendeuddannelse og lang videregående uddannelse. Endvidere inddrager vi detgennemsnitlige antal søskende i familien, andele af samlevende forældre,som barnet bor hos, og andelen af etnisk danske børn i skolen. Endeligudregnes de gennemsnitlige karakterer i fagene dansk og matematik forhver skole for hvert år. I det følgende gennemgår vi resultaterne af disseberegninger.

Analyserne begrænser sig til de skoler, hvor der både var afgangsklasser iskoleåret 2008/2009 og skoleåret 2009/2010.I skoleåret 2008/ 2009 var der i de fire kommuner, hvor PALS-pilotskolerne ligger, otte PALS-pilotskoler med afgangsklasser, 50 almin-delige folkeskoler med afgangsklasser og 14 LP-skoler med afgangsklas-ser. I skoleåret 2009/2010 var der otte PALS-pilotskoler i de fire kom-muner, mens der var 48 almindelige folkeskoler med afgangsklasser og16 LP-skoler med afgangsklasser. Der indgår dermed i alt 72 skoler i ana-lysen.Tabel 6.3 viser, at der ikke er de store ændringer i andelene på desocioøkonomiske baggrundsfaktorer for skolerne over tid. Tabellen viserdog mindre forskelle blandt skolerne, hvad angår forældre med grund-skoleuddannelse som højest fuldførte uddannelse. PALS-pilotskolernehar en lidt højere andel af elever med forældre, der har grundskoleud-dannelse som højest fuldførte uddannelse, end de to øvrige skoletyper ide fire kommuner. Andelen af fædre med en grundskoleuddannelse somhøjest fuldførte uddannelse blandt afgangselever på PALS-pilotskolerne iskoleåret 2008/2009 er 30 pct., mens denne andel er 23 pct. og 21 pct.for henholdsvis almindelige folkeskoler og LP-skoler i samme skoleår.Tabellen viser også, at der er en lidt lavere andel af afgangsele-verne i PALS-pilotskolerne, der har samlevende forældre, end det er til-fældet for eleverne i de to øvrige skoletyper. Henholdsvis 72 pct. og 74pct. for PALS-pilotskolerne i skoleårene 2008/2009 og 2009/2010, mensder for LP-skolerne er henholdsvis 83 pct. og 80 pct. Blandt LP-skolerneer der tale om, at 81 pct. af afgangselevernes forældre er samlevende.Dette gør sig gældende for begge de inkluderede skoleår. Endvidere visertabellen, at den disponible familieindkomst for afgangseleverne i PALS-pilotskolerne er lidt lavere end for afgangseleverne i de to øvrige skolety-per for både skoleåret 2008/2009 og skoleåret 2009/2010.Overordnet set er der ikke de store forskelle inden for skolerneog imellem skolerne med hensyn til de socioøkonomiske faktorer. Detvil med andre ord sige, at PALS-pilotskolerne findes sammenligneligemed de to øvrige skoletyper inden for kommunerne, hvad angår deressocioøkonomiske baggrundsforhold.

Tabel 6.4 viser gennemsnitskaraktererne i dansk og matematik for hen-holdsvis PALS-pilotskoler, almindelige folkeskoler og LP-skoler i de firekommuner fordelt på år. Tabellen viser, at PALS-pilotskolerne fra skole-året 2008/2009 oplevede en stigning i de gennemsnitlige danskkaraktererved skoleåret 2009/2010. Denne stigning er lidt højere end for de almin-delige folkeskoler og LP-skolerne. Gennemsnitskaraktererne i matematikholder sig nogenlunde på samme niveau for PALS-pilotskolerne for sko-leårene 2008/2009 og 2009/2010. Tabellen viser, at de almindelige folke-skoler og LP-skolerne oplevede et fald i gennemsnitskaraktererne forskoleårene 2008/2009 og 2009/2010.TABEL 6.4Gennemsnitskarakterer i dansk og matematik for elever i PALS-pilotskoler, al-mindelige folkeskoler og LP-skoler i de fire kommuner. Særskilt for årene2008/2009 og 2009/2010.2008/20095,55,65,7Dansk2009/20106,26,06,12008/20097,07,37,6Matematik2009/20107,07,07,1

PALS-pilotskolerne oplevede således en stigning i gennemsnitskarakte-rerne i dansk i lighed med de øvrige skoletyper, mens PALS-pilotskolerne holdt samme niveau for de gennemsnitlige matematikka-rakterer, mens de øvrige skoletyper oplevede et fald i karaktererne.Spørgsmålet er da, hvorledes PALS-pilotskolerne klarede sig i forhold tilde almindelige folkeskoler og LP-skolerne, når der kontrolleres for degennemsnitlige socioøkonomiske karakteristika ved skolerne.I det følgende gennemgår vi resultaterne af de robuste lineæreregressionsmodeller for karakterer i dansk og matematik på skoleniveau.RESULTATER AF ÆNDRINGER I KARAKTERER FOR 9. KLASSE

at influere på karaktererne. Analyserne viser desuden, at karaktererne idansk over tid stiger, mens de gennemsnitlige karakterer i matematik fal-der. Endvidere viser modellerne, at jo større en andel af piger, der er iskolerne, jo højere er karaktergennemsnittet i dansk. Tilsvarende gør siggældende for antallet af søskende for afgangseleverne. Jo flere søskendeafgangseleverne har, jo højere bliver karaktergennemsnittet.Analyserne for ændringer i danskkarakterer viser, at andelen afelever, hvis mødre har en mellemlang eller lang videregående uddannelse,har betydning for skolens gennemsnitlige karakter i dansk. Det vil sige, atjo større andelen af mødre med en mellemlang eller lang videregåendeuddannelse er, jo højere bliver karaktergennemsnittet i dansk, når dersamtidig kontrolleres for øvrige faktorer. Andelen af mødre med en korteller lang videregående uddannelse påvirker den gennemsnitlige karakteri matematik for skolerne, når der kontrolleres for de øvrige faktorer, derkan influere på skolernes gennemsnitlige matematikkarakterer. Det vilsige, at jo større andelen af afgangselever, der har mødre med disse ud-dannelsesbaggrunde, er, jo højere bliver skolens gennemsnitlige karakte-rer for 9.-klasses-afgangseleverne. Andelen af fædre med en mellemlangvideregående uddannelse påvirker også karaktererne i dansk i en positivretning.Hvad angår andelen af elever med anden etnisk baggrund enddansk, viser tabellen, at jo større andelen af elever med indvandrer- ogefterkommerbaggrund er, desto lavere er de gennemsnitlige karakterer imatematik, når der kontrolleres for de øvrige faktorer, der tænkes at på-virke skolernes gennemsnitskarakterer i matematik.En årsag til, at der ikke findes ændringer for PALS-pilotskolerne,kan være, at implementeringen af PALS endnu ikke er afsluttet i skole-året 2009/2010, der er skolernes andet år som PALS-pilotskole. Derforvil PALS endnu ikke have sat sig igennem hos eleverne i 2009/2010,hvilket følgelig medfører, at man ikke kan se ændringer i afgangselever-nes karakterer i dansk og matematik.

eleverne bliver væk uden grund. I vores evaluering af PALS vil en reduk-tion i ulovligt fravær blandt eleverne betragtes som en indikation på, atPALS virker positivt på pilotskolerne.En indikator på positive virkninger af PALS vil derfor være, atdet ulovlige fravær falder fra skoleåret 2008/2009 til skoleåret 2009/2010for PALS-pilotskolerne sammenlignet med de øvrige skoler i kommu-nerne. Da pilotskolerne i skoleåret 2009/2010 begynder at anvendePALS på eleverne, forventes det, at der er en nedgang i det ulovlige fra-vær allerede ved andet år af implementeringen. Oplysninger om fravær erindsamlet dels via pilotskolerne selv, dels via de respektive kommuner,de tilhører. Gennem kommunerne kan indhentes kvalitetsrapporter, somopsummerer karakteristika ved skolerne i en given kommune og inde-holder oplysninger om eksempelvis elevtal, elevfravær og driftsudgifterfor skolerne. Kvalitetsrapporterne gør opmærksom på, at store udsving iandelen af ulovligt fravær på skolerne kan være associeret med, at der pånogle skoler er enkelte elever, der har meget højt fravær.21Det har imid-lertid kun været muligt at indhente oplysninger fra pilotskoler i 2 ud af 4af PALS-pilotkommunerne om det ulovlige fravær for skoleårene2008/2009 og 2009/2010.For at kunne sammenligne det ulovlige fravær mellem skolerne ide to kommuner ser analysen på, hvor stor en andel det ulovlige fraværudgør af det samlede fravær for de enkelte skoler i kommunerne. Detteskyldes, at den ene af de to kommuner har opgjort andel af det ulovligefravær som andelen af det samlede fravær blandt eleverne. Det ulovligefravær defineres som det fravær, eleven har, der ikke begrundes af foræl-drene. Det vil sige, at ekstraordinær frihed, som eksempelvis, når foræl-drene tager barnet fri fra skole for at tage på ferie, ikke indgår i det ulov-lige fravær.ANALYSE AF ÆNDRINGER I ULOVLIGT FRAVÆR

Tabel 6.5 viser andelen af det ulovlige fravær ud af det samlede fraværfor eleverne, særskilt for PALS-pilotskoler, almindelige folkeskoler ogLP-skoler samt skoleår. I forbindelse med selve analysen af ændringer iulovligt fravær skal det understreges, at ikke alle PALS-pilotskoler indgår,som beskrevet ovenfor. Dette har den mulige implikation, at resultaterne21. Målefejlen i vores udfaldsmål gør det sværere at finde forskelle på PALS-skolerne og de øvrigeskoler i kommunerne. Det skyldes, at der vil være mere varians i selve udfaldsmålet, som kan væ-re sværere at indfange med de forklarende faktorer. Målefejl i udfaldsmålet giver dog ikke fejl iberegningerne af de inkluderede faktorers betydning.

kan være skæve i forhold til de øvrige PALS-pilotskoler, der blot ikkeindgår i denne analyse grundet manglende oplysninger. For at tage højdefor, at de skoler, der indgår i den følgende analyse, kan være forskelligefra de udeladte skoler, anvendes den tidligere præsenterede fixed effects-metode også her, hvor skoleåret 2008/2009 antages at være førmålingen.Ved at anvende denne metode er det muligt at undersøge, hvor megetandelen af ulovligt fravær ændrer sig inden for skolerne.TABEL 6.5Andel ulovligt elevfravær ud af samlet elevfravær for PALS-pilotskoler, alminde-lige folkeskoler og LP-skoler. Særskilt for årene 2008/2009 og 2009/2010. Pro-cent og antal skoler.2008/2009Andel ulovligt fraværAntalud af totalt fraværskoler9,856,97,648102009/2010Andel ulovligt fraværud af totalt fravær9,47,66,8Antal skoler54513

Tabellen viser, at de fem PALS-pilotskoler, der indgår i denne analyse,har en noget højere andel af ulovligt fravær end de almindelige folkesko-ler og LP-skolerne. PALS-pilotskolerne havde således en andel på 9,8 pct.ulovligt fravær ud af det totale fravær for eleverne i skoleåret 2008/2009,mens de almindelige folkeskoler havde en andel på 6,9 pct. i skoleåret2008/2009 og LP-skolerne 7,6 pct. I skoleåret 2009/2010 falder dette talen smule for PALS-pilotskolerne og LP-skolerne, mens det stiger lidt forde almindelige folkeskoler.For at undersøge, om der er statistiske forskelle på de tre skole-typer i forhold til ændringer i fraværsandelene, anvendes en fixed effects-model, hvor skoleåret 2008/2009 tages som førmåling. Analysen af fixedeffects-modellen viser, at der ikke er nogen forskel på PALS-pilotskolerne med hensyn til ændringer i andelen af ulovligt fravær set iforhold til de almindelige folkeskoler i kommunerne. LP-skolerne ikommunerne har heller ikke en statistisk signifikant ændring i andelen afulovligt fravær ud af det samlede elevfravær på skolerne. Modellen fordisse resultater findes i bilag 2, bilagstabel B2.3.

De gennemgåede analyser af evalueringsmålene viser, at der overen bred kam ikke er statistisk signifikante ændringer i antallet af elever ispecialklasser, karakterer eller i andelen af ulovligt sygefravær for PALS-pilotskolerne. En del af årsagen til dette kan være, at PALS-pilotskolernei de evaluerede år ikke har været igennem den fulde 3-årige implemente-ring af PALS. En årsag til, at der eksempelvis ikke blev fundet ændringeri karaktererne, kan være, at afgangseleverne ikke har været inden forPALS-programmet længe nok til at have gavn af eventuelle positive virk-ninger af programmet. For at analysere eksempelvis virkningen af PALSpå afgangselevernes karakterer kan man eventuelt følge op på de elever,der har været i PALS-programmet mere end 3 år. Dermed ville analyser-ne omhandle elever, der har været i programmet i længere tid end de ele-ver, der er analyseret i dette kapitel. En sådan analyse har imidlertid ikkeværet mulig i denne evaluering grundet de begrænsninger ved data, derallerede er blevet beskrevet.Dette gør sig også gældende med hensyn til det ulovlige fraværfor eleverne, da man kan tænke, at eventuelle positive virkninger afPALS først vil sætte sig igennem på de her anvendte mål for de elever,der har været længere i PALS. Det vil sige, at der bør laves langtidsop-følgninger på eleverne for at undersøge, om PALS har de tilsigtede virk-ninger.

De gennemgåede analyser viser, at der som sådan ikke kan spores nogenvirkning af PALS på de udvalgte evalueringsmål. En forklaring på dettekan relateres til, at PALS ikke har været implementeret fuldt ud i skole-året 2009/2010.Analysen af antallet af elever, der modtager specialundervisning ispecialklasser, viser, at der ikke er forskelle på udviklingen fra 2008/2009til 2009/2010 i antallet af elever, der modtager specialundervisning i spe-cialklasser for de tre skoletyper, herunder PALS-pilotskolerne. Dette kantil dels skyldes, at PALS ikke er fuldt implementeret i skoleåret2009/2010 (pilotskolernes andet år), og at elever, der modtager special-undervisning i specialklasser, har nogle behov, der ikke fuldt kan dækkesinden for rammerne af PALS-programmet.

Overordnet ser det ikke ud til, at PALS som intervention påvir-ker afgangselevernes karakterer over den korte periode, vi har målt på.Derimod har en række andre faktorer betydning for gennemsnitskarakte-rerne i dansk og matematik. Andelen af piger, antallet af søskende, ande-len af mødre med mellemlang eller lang videregående uddannelse og an-delen af fædre med mellemlang videregående uddannelse har en positivsammenhæng med gennemsnitskaraktererne i dansk. Modellerne viserogså, at skolernes gennemsnitskarakterer i dansk generelt stiger over tid.Dette gør sig gældende for alle tre skoletyper.Analysen af ændringer i andelen af det ulovlige fravær for ele-verne på PALS-pilotskolerne viser, at der ikke er tale om et statistisk sig-nifikant fald for PALS-pilotskolerne sammenlignet med LP-skoler ogalmindelige folkeskoler.

SPØRGESKEMAUNDERSØGELSEBLANDT ANSATTE PÅ DE 11PILOTSKOLERMens forrige kapitel undersøgte indikationer på, om det faglige lærings-miljø er forbedret med PALS, vedrører dette kapitel både det sociale ogfaglige læringsmiljø på pilotskolerne. Med udgangspunkt i en spørgeske-maundersøgelse blandt ansatte på de 11 PALS-pilotskoler belyses vurde-ringer blandt lærere, pædagoger og andre af skolernes ansatte af, hvorvidten række forhold på skolen har ændret sig efter indførelsen af PALS.Spørgeskemaundersøgelsen undersøger skoleforhold, klasseforhold ogpsykosocialt arbejdsmiljø. Spørgeskemaundersøgelsen er i sin udform-ning inspireret af Sørlie & Ogdens (2007) norske evaluering af PALSsamt af amerikanske evalueringer af School Wide Positive Behavior Sup-port-modellen (blandt andet Horner m.fl., 2004; Sugai & Horner, 2006).Desuden er spørgeskemaundersøgelsen i sin udformning inspireret afinternationale undersøgelser af psykosocialt arbejdsmiljø (Pejtersen,Bjorner & Hasle, 2010). Udnyttelsen af de allerede eksisterende interna-tionale erfaringer i forhold til at anvende spørgeskemaer i evalueringen afPALS styrker både validiteten og reliabiliteten af vores undersøgelse.I dette kapitel vil vi gennemgå overvejelserne bag spørgeskema-undersøgelsen, det vil sige, hvem spørges om hvad, hvordan og hvorfor.Herefter vil vi gennemgå designet af selve indsamlingen af besvarelser,hvorunder indsamlingsmetode, rykkerprocedure, svarprocenter mv. be-handles. Endelig gennemgås resultaterne af spørgeskemaundersøgelsen.

I den norske evaluering af PALS (Sørlie & Ogden, 2007) anvendte for-skerne spørgeskemabesvarelser før og efter implementeringen af PALSsom basis for deres evaluering. Spørgeskemaerne blev udfyldt af skoler-nes elever og lærere før og efter implementeringen af PALS og indeholdtbegge gange spørgsmål om de samme forhold, nemlig trivsel, normer oglæringsmiljø på henholdsvis klasse- og skoleniveau. Dermed kunne be-svarelserne sammenlignes over tid. Samtidig udfyldte et antal kontrolsko-ler, det vil sige skoler, som ikke implementerede PALS, de samme spør-geskemaer. Dermed kunne henholdsvis elevernes og lærernes besvarelsersammenlignes med besvarelser fra elever og lærere på skoler uden PALS.I Danmark er der ikke på samme måde indarbejdet spørgeske-mabesvarelser forud for og efter implementeringen af PALS.22Det vilsige, at vi i Danmark ikke kender udgangspunktet, hvad angår adfærd,normer og læringsmiljø på de skoler, der har implementeret PALS. Nårvi har indarbejdet en spørgeskemaundersøgelse i vores evaluering, hardet således været med henblik på at indhente retrospektive vurderinger.Det stiller store krav til overblik, refleksion og hukommelse at besvareretrospektive spørgeskemaundersøgelser, hvorfor vi vælger at målrettespørgeskemaundersøgelsen mod PALS-pilotskolernes ansatte frem foreleverne.Eftersom PALS er et skoleomfattende projekt, der inkludereralleansatte og elever på skolen, vælger vi at inddrage alle ansatte på de 11PALS-pilotskoler i undersøgelsen. Valget blev desuden truffet på bag-grund af samtaler med pilotskolernes skoleledere, der opfordrede kraftigttil at inddrage alle ansatte. Vi har således formuleret spørgsmål målrettetalle ansatte, men har samtidig indarbejdet særlige spørgsmål til skolerneslærere, da disse har mest omgang med eleverne og størst indblik i elever-nes læringsmiljø.

Spørgeskemaet kan først og fremmest give os ”efter-mål”, det vilsige en indikation på, hvordan kulturen og læringsmiljøet opleves af deansatte,efter atPALS er implementeret. Ideelt set skulle vi have gennem-ført samme spørgeskemaevaluering forud for implementeringen af PALSfor dermed at have en førmåling at sammenligne med. Da det ikke harværet muligt, har vi i stedet spurgt retrospektivt til situationen før PALS,det vil sige, om de ansatte mener, at kultur, læringsmiljø, adfærd og triv-sel er forbedret inden for de seneste 3 år. Når man anvender retrospekti-ve spørgsmål kan det være vanskeligt at afgøre, hvorvidt eventuelle æn-dringer i skole- og klassemiljøet kan tilskrives PALS eller andre udvik-lingsforhold, hvilket må medtages som et forbehold i analyserne af spør-geskemaundersøgelsen. Samlet set mener vi imidlertid, at spørgeskema-undersøgelsen står stærkt i forhold til at kunne give et godt indblik i,hvorvidt PALS opleves virkningsfuldt på skolerne.En overvejelse bag spørgeskemaundersøgelsen har været, hvor-vidt denne skulle forløbe som en e-mail-baseret undersøgelse eller ind-samles via papirskemaer udfyldt eksempelvis i skolernes lærerværelser.Sidstnævnte metode ville tilgodese de lærere, der ikke har for vane at an-vende e-mail i arbejdssammenhæng og dermed kan være svære at nå udtil med en e-mail-baseret undersøgelse, men metoden ville samtidigrumme en række andre udfordringer: Når der besvares via papir, er detmuligt at sætte kryds flere steder ud for samme spørgsmål, og det kanvære vanskeligt at håndtere uddelingen af spørgeskemaerne, hvilket kanafstedkomme, at nogle ansatte svarer flere gange, mens andre ikke svarer,ligesom det kan tænkes, at nogle ansatte får det forkerte skema, såfremtder opereres med forskellige skemaer til henholdsvis lærere og pædago-ger mv. E-mail-baserede spørgeskemaundersøgelser fjerner usikkerhederforbundet med indtastning eller indscanning af papirbesvarelser, ligesomdet er ressourcemæssigt fordelagtigt, at svarene afgives direkte i evalua-tors system (Wright, 2005; Yun & Trumbo, 2000; Østergaard & Juhl,2005).Ifølge flere af PALS-pilotskolernes ledere er skolernes ansattevant til at besvare e-mail-undersøgelser. Denne oplysning kombineretmed de metode- og ressourcemæssige fordele gjorde det naturligt at an-vende e-mail-baserede spørgeskemaer.

Spørgeskemaundersøgelsen er forløbet som en e-mail-baseret undersø-gelse blandt de 11 pilotskolers ansatte inden for perioden 26. august2011 til 31. oktober 2011. Forud for udsendelse af spørgeskemaundersø-gelsen fik de 11 skoleledere lejlighed til at se og kommentere spørgeske-maet, hvilket imidlertid ikke affødte nogen kommentarer eller ændringer.E-mail-adresser til skolernes ansatte er udleveret via de respekti-ve skolers ledere, som også blev taget med på råd i forhold til at fastsætteudsendelsestidspunkt, hvormed der blev taget hensyn til skoleårets op-start og særlige arrangementer på skolen. De ansatte har fået tilsendt etkortfattet spørgeskema (11-36 spørgsmål alt afhængig af anciennitet ogstilling) pr. e-mail sammen med en kort beskrivelse af evalueringens rele-vans. Ligeledes er de ansatte blevet rykket for besvarelse via e-mail. Derer blevet sendt op til to rykkere til de ansattes e-mail-adresser.I løbet af dataindsamlingsperioden søgte vi at højne svarprocen-ten ved:•

En del spørgsmål har vi oversat til dansk og tilpasset evalueringen, sam-tidig med at vi også har inddraget andre spørgsmål. Når vi ikke har an-vendt det norske spørgeskema i sin fulde version, skyldes det blandt an-det evalueringernes forskellige udgangspunkt. Mens den norske evalue-ring var baseret på et kvasi-eksperimentelt design med en før- og efter-måling, er denne evaluering alene baseret på en eftermåling af 11 ikke-tilfældigt udvalgte PALS-pilotskoler, som også beskrevet ovenfor. Tema-erne i spørgeskemaet relaterer sig til PALS-programmets henholds-vis ”universelle sigte” (hele skolen) og ”individuelle sigte” (elever medadfærdsproblemer). Samtidig er spørgeskemaet opdelt i henholdsvis sko-lemiljø- og klassemiljø-spørgsmål for dermed at gøre det muligt at givesamme spørgeskema til alle ansatte på skolerne. Således har lærere skulletbesvare alle spørgeskemaets spørgsmål, mens det resterende personale påskolerne kun blev bedt om at besvare spørgsmål vedrørende skolemiljøog psykosocialt arbejdsmiljø.

Tabel 7.1 giver et overblik over antallet af mulige deltagere fra de 11PALS-pilotskoler i spørgeskemaundersøgelsen. Med mulige deltageremenes ansatte, for hvem vi har modtaget en e-mail-adresse. Samlet sethar skolerne opgivet 530 e-mail-adresser, hvoraf 60 imidlertid viste sigugyldige, enten fordi e-mail-adressen tilhørte en tidligere ansat, eller fordie-mail-adressen i sin angivne form indeholdt fejl. Således har der reelt setværet 470 mulige deltagere i e-mail-undersøgelsen.TABEL 7.1Spørgeskemaundersøgelsens repræsentativitet på de 11 PALS-pilotskoler. Antale-mail-adresser og vurderet repræsentativitet.PALS-pilotskole1234567891011I altHeraf gyldigeAntal e-mail-adr. modtaget fra skolen12476282145104514457250530470RepræsentativitetHøjHøjHøjMiddelHøjHøjMiddelHøjMiddelMiddelLavMiddel

Som det fremgår af tabellens midterste kolonne, har nogle skoler oplystmange e-mail-adresser (fx har skole 1 oplyst 124 e-mail-adresser til brugfor spørgeskemaundersøgelsen), mens andre skoler har oplyst få e-mail-adresser (fx har skole 8 kun oplyst 14). Det hænger naturligvis sammenmed antallet af ansatte på skolerne. Men yderligere hænger det sammenmed, i hvor vid udstrækning skolerne rent faktisk har en e-mail-adressefor hver af deres ansatte. Den sidste kolonne i tabellen illustrerer voresvurdering af, hvorvidt skolerne har oplyst en e-mail-adresse på tilnærmel-sesvis alle ansatte (høj repræsentativitet), eller omvendt, om skolerne haroplyst relativt få e-mail-adresser set i forhold til antallet af ansatte på sko-len (lav repræsentativitet).Oplysninger om antallet af ansatte på skolerne fremgår af sko-lernes hjemmesider, men kan naturligvis være mere eller mindre opdate-

rede. I flere tilfælde er oplysninger om antallet af ansatte på skolerneyderligere fremgået af det materiale, vi har modtaget fra skolerne selv. Itabellen er repræsentativiteten for hver skole angivet som ”høj”, såfremtdet vurderes, at der er oplyst en e-mail-adresse for minimum 75 pct. afde ansatte, som ”middel”, såfremt det vurderes, at der er oplyst en e-mail-adresse for 60-74 pct. af de ansatte, og som ”lav”, såfremt det vur-deres, at der er oplyst en e-mail-adresse for færre end 60 pct. af de ansat-te. Det skal bemærkes, at vi ikke har haft kendskab til det helt nøjagtigeantal ansatte for hver skole på tidspunktet, hvor undersøgelsen blev sat igang, hvorfor der er tale om vurderinger (og ikke nøjagtige procentangi-velser).Tabel 7.2 giver et overblik over svarprocenten og procentgrund-laget.TABEL 7.2Oversigt over årsager til frafald og svarprocent. Procent og procentgrundlag.Ønsker ikke at deltageUfuldstændige besvarelserUbesvaredeFulde besvarelser (svarprocent blandtgyldige mails)Svar blandt gyldige mailsProcent af gyldige mails203563100Procentgrundlag92164295470

Som det fremgår af tabellen, drejer det sig om få ansatte (ni personer),som ikke har ønsket at deltage i undersøgelsen, mens blot to ansatte harafgivet en ufuldstændig og dermed ubrugelig besvarelse. Forskellen påufuldstændige og fuldstændige besvarelser er, at de to ufuldstændige be-svarelser kun er udfyldt på de første fire baggrundsspørgsmål (køn, alder,stilling og anciennitet), mens der i de fulde besvarelser tilnærmelsesvist ersvaret på alle spørgsmål.Generelt har deltagerne i undersøgelsen afgivet konsistente be-svarelser, og omtrent hver tredje deltager har afgivet kvalitative svar udover de standardiserede afkrydsningssvar i spørgeskemaet. De kvalitativekommentarer vil blive præsenteret senere i kapitlet.Tabel 7.2 viser, at spørgeskemaundersøgelsen har en svarprocentpå 63 pct. Svarprocenten skal ses i forhold til, at det generelt er vanske-ligt at opnå høje svarprocenter i forbindelse med spørgeskemaundersø-gelser blandt ansatte på skoler. I en undersøgelse af ledelse på folkeskoler

opnåede Pedersen m.fl. (2011) en svarprocent på 52 pct. blandt skolelæ-rere, og i Klausen, Michelsen & Nielsens (2010) undersøgelse blandtkommunale institutionsledere opnåedes en svarprocent på 54 pct., påtrods af at spørgeskemaet dels var meget kort, dels blev udarbejdet isamarbejde med Kommunaldirektørforeningen – og således med de in-volverede kommuners aktive medvirken.En middelhøj svarprocent som den, vi har opnået i dette tilfælde,er ikke i sig selv problematisk. Problemet er, at en middelhøj svarprocentøger risikoen for, at de svar, man får, ikke er repræsentative for dengruppe, man ønsker at vide noget om. Ofte kan man tage højde for pro-blematikken ved at udarbejde en bortfaldsanalyse, der kan vise, om del-tagerne afviger fra stikprøven i sin helhed. Det har ikke været muligt idenne sammenhæng, da vi ikke kender fordelingen på køn, alder mv.blandt samtlige ansatte på de 11 PALS-pilotskoler. Derfor havde en op-timal svarprocent ligget højere, gerne på 75-80 pct., hvormed deltagernemed større sandsynlighed havde været repræsentative for alle ansatte påPALS-pilotskolerne (Yun & Trumbo, 2000). Som vi skal se i det følgen-de afsnit, er der imidlertid belæg for at konkludere, at deltagerne i spør-geskemaundersøgelsen er repræsentative, hvad angår visse karakteristika(alder, køn, anciennitet), set i forhold til ansatte på danske folkeskolergenerelt set.

Indledningsvis vil vi gennemgå en række deskriptive resultater af spørge-skemaundersøgelsen (stilling, alder, køn og anciennitet). Dernæst vil vigennemgå resultaterne ud fra de temaer, som spørgeskemaet har væretbygget op omkring: klassemiljø, skolemiljø og lærernes arbejdsmiljø.Tabel 7.3 giver en oversigt over de ansattes baggrundskarakteri-stika.Lærere har afgivet 63 pct. af det samlede antal besvarelser, mens29 pct. af besvarelserne er afgivet af pædagoger, og de resterende 8 pct.er afgivet af administrativt eller andet personale. Fordelingen mellem stil-lingsbetegnelserne svarer nogenlunde til den reelle fordeling på skolerne,jf. skolernes hjemmesider. Kigger vi derimod på fordelingen på landsplanog regionalt plan, hvor godt 80 pct. af danske folkeskolers ansatte er læ-rere, og blot 6 pct. er pædagoger (jf. Undervisningsministeriets databank,

www.uvm.dk), kan vi konstatere, at vores spørgeskemabesvarelser eroverrepræsenteret af pædagoger. Da vi kan kontrollere for stilling i voresanalyser, er fordelingen imidlertid ganske ubetydelig. Ser vi på kønsforde-lingen blandt deltagerne i spørgeskemaundersøgelsen, udgør 31 pct.mænd og 69 pct. kvinder, hvilket stemmer fuldkommen overens medfordelingen på folkeskoler på både landsplan og regionalt niveau. Sammekonklusion kan vi drage, hvad angår aldersfordelingen, hvor fordelingenpå landsplan ligger på 8 pct. under 30 år, 29 pct. mellem 31-40 år, 24 pct.mellem 41-50 år og 30 pct. mellem 51-60 år, hvilket svarer til fordelingenblandt deltagerne i spørgeskemaundersøgelsen.I det følgende gennemgår vi resultaterne af spørgeskemaunder-søgelsen.TABEL 7.3Pilotskolernes personale fordelt efter baggrundsoplysninger. Procent og procent-grundlag.ProcentProcentgrundlag1868623295249071882229590205295183797143295

I det følgende vil vi gennemgå resultater vedrørende ”skolemiljøet”. Sko-lemiljøet er afdækket ved hjælp af 11 spørgsmål om, hvorvidt en rækkeforhold har ændret sig i de seneste 3 år. Som vi skal se (tabel 7.4), har deansatte på PALS-pilotskolerne i vid udstrækning givet positive besvarel-ser omkring udviklingen af skolens miljø efter implementeringen afPALS.TABEL 7.4Ansatte på PALS-pilotskolerne fordelt efter deres vurdering af ændringen de se-neste 3 år af en række forhold vedrørende skolemiljøet. Procent og procentgrund-lag.KlartbedreEleverne tager merehensyn til hinandenAnsatte bedre til athåndtere vanskeligeeleverFærre skænderier/kon-flikter blandt… eleverne… elever og ansatte… de ansatteElevernes adfærd overfor ansatte forbedretAnsatte udsat for færretrusler om vold fraeleverneFærre slåskampe blandteleverneAnsatte bedre til atsamarbejde indbyrdesElevernes adfærd overfor hinanden forbedretFælles retningslinjer ift.at håndtere problem-adfærd1318101461189141249Bedre6868556029623252496145Uændret191336266427593936266111VærreKlartværre00000000000Procent-grundlag275275273273270274270270275273276

for hinanden, der er forbedret, samt de ansattes evner i forhold til athåndtere vanskelige elever. Der er imidlertid også en del, der svarer, atforholdene er uændrede. Det drejer sig især om antallet af trusler omvold fra eleverne, som 59 pct. mener, er et forhold, der er uændret. Des-uden drejer det sig om graden af skænderier og konflikter blandt ansatte,som 64 pct. mener, er uændret, og endelig gælder det i mindre udstræk-ning omfanget af slåskampe blandt eleverne samt de ansattes indbyrdessamarbejde, som henholdsvis 39 og 36 pct. mener, er uændret.Vedrørende de to sidstnævnte forhold, slåskampe blandt eleverog ansattes indbyrdes samarbejde, skal det imidlertid bemærkes, at detfortsat er størstedelen af de ansatte, der vurderer, at forholdene har for-bedret sig.En mulig forklaring på, at få forhold ifølge en stor del af de an-satte ikke er forbedret, kan være, at forholdene før PALS ikke var dårlige,og at forbedringspotentialet dermed har været meget lille. De kvalitativekommentarer fra de ansatte i forbindelse med spørgeskemaundersøgel-sen underbygger denne antagelse, idet flere netop forklarer deres ”neu-trale” tilgang til spørgsmålene med, at de hverken nu eller før PALS haroplevet problemer med samarbejdet med øvrige ansatte, trusler fra eleverosv. De kvalitative svar vil blive gennemgået særskilt sidst i kapitlet.Ved at udregne et gennemsnit af besvarelserne på de 11 spørgs-mål omhandlende skolemiljøet viser det sig, at der gennemsnitligt er 67pct. af de ansatte, som vurderer, at skolemiljøet er forbedret, 32 pct.,som vurderer, at skolemiljøet er uændret, og en meget lille andel, nemlig1 pct., oplever gennemsnitligt set, at skolemiljøet gennem de seneste 3 årer forværret. Der er imidlertid stor forskel på vurderinger af skolemiljø-spørgsmålene alt efter stillingsbetegnelse. Således er læreres vurdering inoget mindre udstrækning positiv, end det er tilfældet for pædagoger ogdet øvrige personale på skolerne.Tabel 7.5 illustrerer den forskel, der er på den samlede gennem-snitlige vurdering af, hvorvidt der er sket en forbedring i skolemiljøet,fordelt på stillingskategori.Der er ikke på samme måde forskel på besvarelserne i forhold tilde ansattes alder, køn og anciennitet. Hvad angår alder og anciennitet,viser der sig slet ingen signifikante forskelle på besvarelserne vedrørendeskolemiljøet, og hvad angår køn, viser der sig kun at være signifikant for-skel på besvarelserne på et enkelt spørgsmål. Det drejer sig om spørgs-målet om, hvorvidt der er færre slåskampe blandt eleverne efter PALS,

Anm.: Det totale antal deltagere i spørgeskemaundersøgelsen er 295, men det er ikke alle deltagere, der har besvaret allede spørgsmål, de er blevet stillet. Desuden er de 18 deltagere, der er nyansatte på den pågældende skole, blevetledt uden om spørgsmålene. Indekset (gennemsnittet) er dannet på baggrund af de deltagere, der har besvaret alle11 spørgsmål vedrørende skolemiljøet. En chi2-test viser, at der er signifikant forskel på grupperne på et 1-procents-niveau (p < 0,001).Kilde: Egne beregninger på spørgeskemaundersøgelse blandt pilotskolernes personale.

På de følgende sider skal vi se nærmere på ”klassemiljøet”. Vurderinger-ne af klassemiljøet er langt overvejende positive, samtidig med at der erbemærkelsesværdigt få negative svar. Kun på halvdelen af spørgsmålenehar en 1 eller 2 pct. angivet, at det pågældende forhold er forværret,mens helt op til 73 pct. har tilkendegivet en positiv udvikling. En storandel har imidlertid angivet, at forholdene er uændrede (mellem 27 og 80pct., alt efter hvilket spørgsmål der kigges på). Men det overordnede bil-lede, der tegner sig, er en positiv vurdering i forhold til, om en rækkeklassemiljøforhold er forbedret siden implementeringen af PALS. Det erkun skolens lærere, der er blevet bedt om at tage stilling til spørgsmåleneom klassemiljøet.Temaet er afdækket ved hjælp af 16 spørgsmål. Tabel 7.6 gengi-ver besvarelserne på de 16 spørgsmål, der tilsammen belyser klassemiljø-et.Som det fremgår af tabellen, er det især elevernes adfærd overfor hinanden samt læringsmiljøet samlet set, der har forbedret sig indenfor de seneste 3 år (73 pct. af lærerne har angivet forbedring på dissepunkter). Også elevernes evne til at gøre, som de bliver bedt om, samttilstedeværelsen af arbejdsro i timerne er forhold, der har forbedret sigvæsentligt i positiv retning. Ulovligt fravær, motivation for undervisnin-

gen samt evne til at modtage kritik er alle forhold, som lærerne overve-jende svarer ikke har ændret sig væsentligt.TABEL 7.6Ansatte på PALS-pilotskolerne fordelt efter deres vurdering af ændringen de se-neste 3 år af en række forhold vedrørende klassemiljøet. Procent og procent-grundlag.Klart bedre Bedre UændretElevernes adfærd over forhinandenElevernes adfærd over forlærerneMindre forstyrrende snak itimerneEleverne har mindre ulov-ligt fraværMindre uro og støj i timerneFærre afbrydelser i ti-merneEleverne er mere motive-rede for undervisningenElevernes evne til at igno-rere andre elevers for-styrrelserBedre arbejdsro i timerneEleverne bedre til at gøre,hvad de bliver bedt omEleverne bedre til at mod-tage kritikEleverne bedre til at følgeinstruktionerElever og lærere kommerbedre ud af det med hin-andenEleverne bedre til at sam-arbejdeEleverne mere engageredei undervisningenLæringsmiljøet alt i altVærre Klart værreProcent-grundlag

Kigger vi på, om der er forskelle på lærernes besvarelser set i forhold tilderes køn, alder og anciennitet, finder vi, ligesom for skolemiljøet, gan-ske få forskelle. Hvad angår forskelle set i forhold til lærernes køn, viserdet sig, at kvindelige lærere er en anelse mere tilbøjelige til at angive, ateleverne dels er blevet bedre til at gøre, hvad de bliver bedt om, dels erblevet bedre til at følge instruktioner fra læreren. Hvad angår forskelle seti forhold til lærernes anciennitet på skolen, viser det sig, at lærere, der harværet ansat i færre end 10 år, er mere tilbøjelige til at angive en forbed-ring på spørgsmålet om, hvorvidt skolens ansatte er blevet bedre til atsamarbejde indbyrdes, end ansatte, der har været på skolen i mere end 10år. Der er ingen forskelle på besvarelserne omkring klassemiljøet set iforhold til lærernes alder. Som det også var tilfældet i forbindelse medspørgsmålene omkring skolemiljøet, er der også i relation til klassemiljøetimidlertid stor forskel på besvarelserne skolerne imellem, hvilket gen-nemgås nedenfor.FORSKELLE SKOLER OG KOMMUNER IMELLEM

Et par af pilotskolerne skiller sig ud ved deres særdeles positive besvarel-ser, især hvad angår klassemiljøet, men også skolemiljøet. Heriblandt enmindre skole (under 200 elever), som ikke tilbyder undervisning for af-gangsklasser, hvilket kan tænkes at være en del af forklaringen på deyderst positive tilkendegivelser. PALS er, som nævnt indledningsvis, op-rindeligt udviklet til de yngre klassetrin, og således kan det tænkes van-skeligere at overføre til de ældste klassetrin, hvilket kan have påvirketoplevelsen med PALS på skolerne. Generelt ser det ud til, at de mindreskoler og skoler uden (mange) afgangsklasser er mere positive i deresbedømmelse af PALS’ mulige forbedringer af især skolens klassemiljø.Samtidig er der få skoler, der skiller sig ud ved at have angivetrelativt set meget få ændringer i både skole- og klassemiljø efter indførel-

sen af PALS. Skolerne er større målt på elevtal og ligger ikke i sammekommune. Fra disse skoler, der relativt set vurderer virkningen af PALSsom værende begrænset, fremgår af de åbne besvarelser i spørgeskemaet,at årsagen er, at man har svært ved at opretholde entusiasmen, men også,at man ikke så et forbedringspotentiale fra start (der var ingen problemerførhen, og der er ingen problemer i dag). Der er ikke på samme mådeforklaringer at finde i de åbne besvarelser i forhold til skolerne med sær-ligt positive vurderinger af forbedringerne efter PALS.Kigger vi nærmere på, hvilke konkrete spørgsmål der er besva-ret signifikant forskelligt skolerne imellem, er det i forbindelse med sko-lemiljøet især spørgsmål, der vedrører elevernes opførsel over for hinan-den og over for lærerne, som opnår forskellige vurderinger. Spørgsmålvedrørende ansattes evner til at håndtere vanskelige elever og til at sam-arbejde og have fælles retningslinjer er besvaret relativt ens skolerneimellem. I forbindelse med klassemiljøet kan der ikke på samme mådepeges på en overordnet kategori af spørgsmål, der er besvaret signifikantforskelligt skolerne imellem. Det kan fremhæves, at 6 ud af 16 spørgsmåler besvaret signifikant forskelligt skolerne imellem, og at eksempler påspørgsmålene er, om der er mindre forstyrrende snak i timerne, om ele-vernes adfærd over for hinanden er forbedret, om eleverne er blevet bed-re til at modtage kritik, og om de er blevet bedre til at samarbejde. Der-imod er der ingen signifikante forskelle på spørgsmål vedrørende ulovligtfravær, elevernes evne til at følge instrukser og gøre, hvad de bliver bedtom, eller deres engagement og motivation for undervisningen.Endvidere tyder resultaterne af spørgeskemaundersøgelsen på, atder er variationer i forhold til oplevelsen af, hvorvidt PALS har betydetforbedringer på klasse- og skolemiljø i forhold til, hvilken kommune sko-len tilhører. Men resultatet er ikke kontrolleret for en række relevanteoplysninger, såsom socioøkonomiske forskelle, elevantal samt elev- oglærersammensætning, hvorfor det ikke på basis af denne spørgeskema-undersøgelse kan konkluderes, at kommunen i sig selv har betydning forPALS.Sammenholder vi spørgeskemabesvarelserne fra de enkelte sko-ler med skolernes selvudfyldte tjeklister vedrørende implementeringsgra-den af PALS, ses der et tydeligt sammenfald (intuitivt, det vil sige ikketestbart). Skoler, der har tilkendegivet en høj implementeringsgrad afPALS-programmet, har samtidig svaret positivt på spørgsmålene vedrø-rende forbedringer af skole- og klassemiljøet i spørgeskemaundersøgel-

sen. Resultatet er ikke overraskende, men alligevel værd at bemærke, daresultatet understreger betydningen af, at PALS implementeres grundigtog konstant vedligeholdes som grundlag for skolen.Der kan tænkes at være flere forklaringer på, at skolerne vurde-rer skole- og klassemiljøet forskelligt efter PALS. Forbedringspotentialefør PALS, elevsammensætning, skolestørrelse, samt hvorvidt skolen harafgangsklasser eller ej, kan alt sammen tænkes at have betydning for deansattes oplevelse af ændringer eller fravær af ændringer efter PALS. Iforhold til de yderst begrænsede oplysninger vi har om skolernes pro-blemtyngde (indhentet fra blandt andet samtaler med skoleledere og sko-lernes kvalitetsrapporter) sammenholdt med de ansattes spørgeskemabe-svarelser, er der ikke umiddelbart noget, der tyder på nogen sammen-hæng mellem problemtyngde og oplevede forbedringer eller manglen påsamme efter PALS. Da denne evaluering kun omhandler de 11 pilotsko-ler, er det ikke muligt at sige noget om, hvordan skolestørrelse, elevsam-mensætning og afgangsklasser på skolen har betydning for PALS’ virk-ning.PSYKOSOCIALT ARBEJDSMILJØ

Foruden at have til formål at forbedre læringsmiljøet i klasserne samtskolemiljøet i sin helhed har PALS endvidere til hensigt at forbedre trivs-len blandt personalet på skolerne. I spørgeskemaundersøgelsen har visåledes spurgt til eventuelle forbedringer i arbejdsmiljø og trivsel blandtde ansatte efter PALS. Resultaterne af besvarelserne på dette områdefremgår af tabel 7.8.De ansatte svarer overordnet, at en række forhold vedrørendedet psykosociale arbejdsmiljø enten har forbedret sig eller er forblevetuændret inden for de seneste 3 år. Mest positivt har de ansatte besvaretspørgsmålet om, hvorvidt ”det alt i alt er blevet en bedre arbejdsplads”,hvilket 58 pct. mener, gør sig gældende, mens de øvrige spørgsmål hyp-pigst er besvaret med ”uændret”; mellem 58 og 72 pct. har angivet, atforholdene vedrørende psykosocialt arbejdsmiljø er uændret. Ser vi på denegative besvarelser, er det især besvarelserne på spørgsmålene vedrø-rende ”indflydelse på dit arbejde” og ”arbejdspres”, der springer i øjnenei kraft af de forholdsvis mange negative besvarelser. Her har henholdsvis17 og 26 pct. angivet forværring (det vil sige mindre indflydelse og merearbejdspres) inden for de seneste 3 år.

TABEL 7.8Ansatte på PALS-pilotskolerne fordelt efter deres vurdering af ændringen de se-neste 3 år af en række forhold vedrørende psykosocialt arbejdsmiljø. Procent ogprocentgrundlag.Er følgende forhold blevetændret i de seneste 3 år:Har du fået mere indfly-delse på dit arbejdeEr dit arbejdspres faldet?Får du bedre hjælp ogstøtte fra kollegaerne?Får du bedre hjælp ogstøtte fra din nærmesteledelse?Får du bedre informationom ændringer og frem-tidsplaner for din ar-bejdsplads?Er det alt i alt blevet enbedre arbejdsplads?Klart bedre Bedre427519143324Uændret66585967Værre172413Procent-Klart værre grundlag0201278276276275

Ansatte, der har været på skolerne i mindre end 2 år, er blevet stillet ensærlig række spørgsmål. Det drejer sig om i alt 18 ansatte, og deres be-svarelser fremgår af tabel 7.9.De nyansatte trives alle godt i deres arbejde på PALS-pilotskolerne, og alle er de enige om, at ansatte på skolerne er gode til athåndtere vanskelige elever. En stor del angiver (94 pct.), at eleverne tagerhensyn til hinanden, og kun relativt få (11 pct.) er uenige i, at der er enpositiv stemning på skolen. Samtidig er relativt få (11 pct.) uenige i, atskolens ansatte er gode til at samarbejde, og relativt få (17 pct.) er uenigei, at omfanget af skænderier og konflikter mellem eleverne er lille. Denyansatte er endvidere blevet bedt om at svare på, hvilke personer påskolen der satte dem ind i PALS i forbindelse med ansættelsen på skolen.De nyansatte kunne afgive flere svarmuligheder, og de fleste har svaret,at minimum to parter på skolen, fx PALS-vejlederen og en lærerkollega,

har sat dem ind i PALS i forbindelse med ansættelsen. Der er imidlertidogså få, der angiver, at ingen eller blot en enkelt kollega har sat dem ind iPALS. Samlet set svarer 65 pct. af de nyansatte bekræftende på spørgs-målet om, hvorvidt en lærerkollega har sat dem ind i PALS, 53 pct. sva-rer bekræftende på, at en PALS-vejleder har sat dem ind i PALS, 41 pct.angiver skolens ledelse som den primære kilde til at opnå viden omPALS, 35 pct. angiver PALS-teamet på skolen, og endelig svarer 18 pct.,at andre på skolen end de nævnte har sat dem ind i PALS i forbindelsemed deres ansættelse.TABEL 7.9Nyansatte på PALS-pilotskolerne fordelt efter, i hvilken grad de er enige i en ræk-ke udsagn. Procent og procentgrundlag.Hvor enig eller uenig er du ifølgende udsagn:Der er en positiv stemning påskolenEleverne tager hensyn tilhinandenSkolens ansatte er gode til atsamarbejdeDer er få skænderier ogkonflikter mellem eleverneSkolens ansatte er gode til athåndtere vanskelige eleverJeg trives godt i mit arbejdepå skolenPALS burde implementerespå alle skoler i DanmarkHelt enig56223333397822Delvist enig33725044612250Delvistuenig Helt uenig116111700220066006Procent-grundlag18181818181818

Spørgeskemaundersøgelsen gav desuden plads til kvalitative kommenta-rer, hvilket knap en tredjedel af deltagerne har benyttet sig af.En stor del af kommentarerne går ud på at forklare, hvorfor deikke oplever de store ændringer efter PALS på udvalgte områder. Dethænger typisk sammen med, at de ansatte allerede før PALS oplevedeeleverne som sociale, lydhøre og åbne over for læring. Andre forklarerden begrænsede oplevede effekt af PALS med, at de primært arbejdermed elever i specialklasser, som i forvejen havde en stram struktur ogfaste regler, eller at de oplever enorme forskelle på, hvorvidt PALS virkeriblandt ”deres” klasser, hvorfor de gennemsnitligt ingen eller få forbed-ringer ser.

En næsten lige så stor del af kommentarerne fra ansatte på pilot-skoler tildeler PALS ros og æren for et forbedret undervisningsmiljø.Mange skriver, at PALS’ potentialer varierer fra klasse til klasse, men atPALS overordnet har betydet en markant forbedring af undervisnings-miljøet og stemningen blandt både elever og ansatte i øvrigt. Nogle be-retter om bedre arbejdsmiljø og højere grad af ”fælles fodslag”, mensandre vægter, at eleverne er bedre til at hjælpe hinanden og til at holde roi timerne. Endnu andre understreger, at PALS først og fremmest har væ-ret et brugbart redskab for de ansatte selv i deres undervisning og pæda-gogik.Der er imidlertid også en anseelig del af kommentarerne, der ernegativt stemte over for PALS. Blandt andet henvises der til, at PALSikke virker for de ældste klasser i udskolingen, at ikke alle elever kerer sigom belønningskortene, at PALS har betydet mere arbejde for de ansatte(blandt andet tillæring og vedligeholdelse af nye praksisser), og at de fåansatte, der ikke bifalder PALS, fryses ude af fællesskabet. Nogle stykkerkommenterer endvidere, at de er skuffede over udbyttet af PALS, somde havde forventet ville være større.Mens nogle ansatte på pilotskolerne bemærker, at det især er deelever, der ikke er i alvorlige adfærdsvanskeligheder eller er i risiko for atkomme i alvorlige adfærdsvanskeligheder, der har haft gavn af at vide,hvilken adfærd der forventes af dem, bemærker andre omvendt, at detsærligt er interventionerne rettet mod de elever, der er i alvorlige ad-færdsvanskeligheder, der er gavnlige. Entydigheden er større i kommen-tarerne omkring henholdsvis ind- og udskolingsbørn, som allerede nævnt,hvor det tilsyneladende er de mindre klasser (indskolingen), der er mod-tagelige over for og har gavn af PALS. Dette kan indikere, at der er noglesærlige problematikker, der relaterer sig til udskolingseleverne, som ikkeer hos indskolingseleverne.

lueringer, men overordnet konkluderer skolernes evalueringer, at PALSviser positive resultater. Blandt andet konkluderer en pædagogisk leder,som er ansvarlig for skoleudviklingen på flere PALS-pilotskoler, at sko-lerne gennemgår en meget markant positiv udvikling, og at stemningenog adfærden på hele skolen ændres væsentligt. Desuden tyder skolernesegne evalueringer på, at antallet af elevhenvisninger til specialundervis-ning er faldende. Også flere af PALS-pilotskolernes SFO’er beretter omoplevelsen af roligere børn, der indbyrdes udtrykker glæde ved PALS ogved det faktum, at regler og retningslinjer er klart definerede og accepte-rede af alle. Det betyder blandt andet færre drillerier og bedre inklusionbørnene imellem.Desuden er det en gennemgående konklusion i flere af skolernesinterne evalueringer, at skolens ansatte har opnået større arbejdsglæde,fælles forventninger og større fællesskab forskellige personalegrupperimellem. Nogle skoler lægger imidlertid ikke skjul på, at det samtidig harværet en stor udfordring at tage PALS til sig og udføre programmet påen autentisk, konsistent og optimal måde. Hertil kunne det tilføjes, at enfremtidig stor udfordring vil være at fastholde og vedligeholde PALS,også trods personaleskift og nye elever.

Spørgeskemaundersøgelsen belyser vurderinger blandt pilotskolernesansatte af, hvorvidt en række forhold på skolen har ændret sig efter im-plementeringen af PALS. Overordnet undersøger spørgeskemaundersø-gelsen skoleforhold, klasseforhold og psykosocialt arbejdsmiljø og er isin udformning primært inspireret af Sørlie & Ogdens (2007) norske eva-luering af PALS. Spørgeskemaundersøgelsen er udformet retrospektivtog kan først og fremmest give os ”efter-mål”, det vil sige en indikationpå, om elevadfærd og læringsmiljøet opleves som forbedret inden for deseneste 3 år, det vil sigeefterPALS er implementeret. I alt deltog 295 an-satte fra de 11 PALS-pilotskoler, svarende til 63 pct., i spørgeskemaun-dersøgelsen.Overordnet vurderer pædagoger i højere grad end lærere, at derer sket forbedringer efter PALS, og ligeledes vurderer ansatte fra bestem-te skoler i højere grad end andre ansatte, at der er sket forbedringer. Når

vi sammenholder de enkelte skolers resultater med skolernes respektiveresultater, hvad angår implementeringsgraden (se kapitel 5), ses der enpåfaldende overensstemmelse. Det vil sige, at de få skoler, der har im-plementeret PALS fuldt ud, også er de skoler, der i spørgeskemaunder-søgelsen er mest positive, hvad angår vurderingen af forbedringer. Det erdog ikke muligt på baggrund af spørgeskemaundersøgelsen at bestemmenærmere, hvad der betinger, om en skole vurderer store, små eller ingensærlige forbedringer efter PALS.Hvad angår de enkelte ansattes besvarelser, er der ingen nævne-værdige forskelle på besvarelserne set i forhold til køn, alder og anciennitet.I relation til skolemiljøet springer følgende resultater særligt i øj-nene, idet besvarelserne på de fremhævede spørgsmål er særligt positive:•

motivation og engagement i undervisningen samt elevernes evner til atmodtage kritik, mener kun knap en fjerdedel af lærerne (23 pct.), at disseforhold er forbedret.Endvidere er de ansatte blevet bedt om at vurdere, hvorvidt enrække forhold vedrørende psykosocialt arbejdsmiljø er forbedret. Over-ordnet svarer de ansatte, at der enten er sket forbedringer eller ingen æn-dringer. Mest positivt har de ansatte besvaret spørgsmålet om, hvor-vidt ”det alt i alt er blevet en bedre arbejdsplads”, hvilket 58 pct. menergør sig gældende, mens de øvrige spørgsmål hyppigst er besvaretmed ”uændret”. Mellem 58 og 72 pct. har angivet, at forholdene vedrø-rende psykosocialt arbejdsmiljø er uændrede. Ser vi på de negative besva-relser, er det især besvarelserne på spørgsmålene vedrørende ”indflydelsepå dit arbejde” og ”arbejdspres”, der springer i øjnene i kraft af de for-holdsvis mange negative besvarelser. Henholdsvis 17 og 26 pct. af delta-gerne i spørgeskemaundersøgelsen mener, at forholdene er forværretinden for de seneste tre år. Der er ingen nævneværdige forskelle på be-svarelserne om psykosocialt arbejdsmiljø i forhold til køn, alder og anci-ennitet.Samlet set kan det på baggrund af spørgeskemaundersøgelsenkonkluderes, at skolerne har gennemgået en markant positiv udvikling,og at stemningen og adfærden på skolerne generelt er forbedret. Skolensansatte har opnået fælles retningslinjer for, hvordan problemadfærd skalhåndteres, og mange oplever, at det har givet et markant bedre lærings-miljø på skolen. På 10 spørgsmål ud af 16 vedrørende klassemiljøet angi-ver mere end 50 pct., at der er sket forbedringer, og i 9 ud af 11 spørgs-mål om skolemiljøet er der mere end 60 pct., der synes, at der er sketforbedringer. Det skal dog samtidig bemærkes, at relativt mange ansatteoplever, at skole- og klassemiljø ikke har ændret sig bemærkelsesværdigt,hvilket kan hænge sammen med, at forbedringspotentialet har været lille,før PALS blev implementeret. I de åbne besvarelser i spørgeskemaun-dersøgelsen lægger mange ansatte desuden vægt på, at det også har væreten stor udfordring at tage PALS til sig og udføre programmet på en au-tentisk, konsistent og optimal måde.

ET LODTRÆKNINGSFORSØGMED SNAPI dette kapitel beskriver vi resultaterne af et lodtrækningsforsøg med in-terventionen Stop Now And Plan (SNAP), som er et blandt flere delele-menter i PALS. SNAP-interventionen er en kognitiv adfærdsstrategi, derer særligt rettet mod børn og unge med problemadfærd, og går ud på, ateleverne lærer at håndtere vredesudbrud. Elever, der har behov for deindividuelle støttetiltag, identificeres via SWIS (School-Wide InformationSystem), der er et system til behandling af data indsamlet ved hjælp afhændelsesregistreringer.Formålet med lodtrækningsforsøget er at undersøge, om SNAPer effektivt til at reducere problemadfærd hos børn og unge, der går påPALS-pilotskolerne. SNAP-interventionens mulige effekter undersøgesgennem et lodtrækningsforsøg, hvor man trækker lod om, hvilke skole-klasser inden for en PALS-pilotskole, der skal have SNAP-interven-tionen, og hvilke der skal fungere som kontrolklasser, der ikke modtagerSNAP. Der er i det følgende tale om et effektstudie, hvor vi søger at fin-de mulige effekter af SNAP på elevernes udvikling.Analysen af SNAP er unik i den forstand, at der ikke tidligere erforetaget effektmålinger af SNAP andre steder end i Canada. Forsøget erinitieret på baggrund af et ønske fra forskerne bag SNAP i Canada ogSocialstyrelsen. Der er tale om en analyse af et pilotforsøg, da SNAP erpå et tidligt udviklingsstadie i Danmark.

Stop Now And Plan (SNAP) har sin oprindelse i det canadiske SNAPUnder 12 Outreach Project,der er et helhedsorienteret program til børn, derer i risiko for kontakter med politiet (Augimeri m.fl., 2007). SNAP hen-vender sig til børn under 12 år, der udviser antisocial adfærd, såsom fysi-ske overfald, indbrud, hærværk og butikstyverier eller andre former fortyveri (Augimeri, Walsh & Slater, 2011; Jiang, Walsh & Augimeri, 2011).SNAP Under 12 Outreach Project blev udviklet i 1985 i Toronto, Cana-da, af et hold forskere og praktikere i samarbejde med Toronto PoliceServices (Augimeri m.fl., 2007).SNAP er et manualbaseret program, der skal lære børn i begyn-dende adfærdsvanskeligheder at tænke, før de handler. SNAP bygger påen række forskellige teknikker, der skal hjælpe børn med begyndendeantisocial adfærd mod en mere normal adfærd. Teknikkerne dækker overselvkontrol og håndtering af vrede, kognitiv selvinstruktion, forældretræ-ning og familieterapi. SNAP bygger med andre ord på en social lærings-teori. Social læringsteori vil sige, at man ikke formoder, at barnets van-skeligheder eller problemer kun er relateret til barnet eller individet, menat barnets sociale miljø også har betydning for barnets adfærd. Det vilsige, at forældre, familie og skole har indflydelse på barnets trivsel og ad-færd (Forgatch & Patterson, 1989; Patterson & Forgatch, 1987).I den oprindelige version af SNAP afholdes der ugentlige sessi-oner af halvanden times varighed ved en SNAP-lærer og klasselæreren,og interventionen løber over 12 uger. En SNAP-lærer er oprindeligttænkt som fx en psykolog, der har videreuddannet sig i principperneomkring SNAP. SNAP foregår i klasselokalerne og er struktureret om-kring diskussioner, coaching og indøvelse af adfærd, men med mulighedfor ustruktureret leg. Den strukturerede del af SNAP foregår efter føl-gende model: ankomst eller fri leg, læring og forstærkning af selvkontroleller problemløsninger, adspredelser, snack og afslutning på SNAP-sessionen (Lipman m.fl., 2008). Selve interventionen foregår via rollespil,hvor eleverne lærer sociale færdigheder. Rollespillene tager udgangspunkti situationer, der svarer til de problematikker, eleverne møder i hverda-gen (Arnesen & Askeland, 2006).I forbindelse med PALS i Danmark udbydes SNAP til skoleklas-ser, hvori der er mindst to elever med alvorlige adfærdsvanskeligheder. IDanmark23adskiller SNAP sig fra den oprindelige SNAP-intervention på23. SNAP anvendes på samme måde i Norge (Sørlie & Ogden, 2007).

den måde, at elever med alvorlige adfærdsvanskeligheder indgår i densamme intervention som elever, der ikke er i disse alvorlige adfærdsvan-skeligheder. I den canadiske version har man holdt disse grupper adskilt,og SNAP anvendes på enkeltindivider, der er i risiko for at komme i ellerhar haft kontakt med politiet som følge af antisociale aktiviteter(Augimeri m.fl., 2007). Elever i alvorlige adfærdsvanskeligheder identifi-ceres af lærerne i Danmark via datasystemet School-Wide InformationSystem (SWIS) (Ervin m.fl., 2007) eller via PPR. I Danmark kan eleverneyderligere identificeres enten af en pædagog eller socialarbejder.Skolerne i det danske lodtrækningsforsøg har indstillet to klasser,blandt hvem der er trukket lod om, hvilken af de to klasser der tilbydesSNAP. For begge klasser er der indsamlet oplysninger om børnenesstyrker og svagheder ved hjælp af det psykometriske instrumentStrengths and Difficulties Questionnaire (SDQ), både før og efterSNAP-interventionen. Disse SDQ-mål er genstand for analysen i dettekapitel. SDQ-skalaen og dens anvendelse i forbindelse med analysen afSNAP-interventionen præsenterer vi i det følgende.STRENGTHS AND DIFFICULTIES QUESTIONNAIRE-SKALAEN

Strengths and Difficulties Questionnaire (SDQ) er et såkaldt psykome-trisk instrument. Det vil sige et spørgeskema, der anvendes til at give ensystematisk vurdering af i dette tilfælde styrker og vanskeligheder hos detenkelte barn. Spørgeskemaet bruges til screening af indikatorer på triv-selsmæssige problemer, herunder ADHD-symptomer (Becker m.fl.,2006). SDQ giver dog ikke en klinisk diagnose af barnet.SDQ blev udviklet i 1990’erne af den britiske psykiater RobertGoodman (Goodman, 1999, 1997). SDQ-skemaet kan anvendes på børnog unge mellem 4 og 16 år.Spørgsmålene i SDQ-skemaet relaterer sig til fem såkaldtedimen-sionereller områder af barnets trivsel. Fire af dimensionerne relaterer sigtil barnets vanskeligheder og er opgjort som forekomsten afemotionelleproblemer, adfærdsproblemer, hyperaktivitet og manglende koncentrationogproble-mer i forhold til kammerater.På baggrund af disse fire dimensioner kan ensamlet SDQ-skala dannes. Den sidste af de fem dimensioner, som SDQberører, er barnets styrker, opgjort som forekomsten afprosocial adfærd.De fem dimensioner i SDQ-skalaen belyses gennem i alt 25 ud-sagn. Hvert af de 25 spørgsmål kan besvares med en 3-punkts-skala, derdækker over den udstrækning, hvormed udsagnet passer på barnet. På 3-

punkts-skalaen gives 0 point, hvis udsagnet ikke passer på det enkeltebarn, 1 point, hvis udsagnet passer delvist på barnet, og 2 point, hvis ud-sagnet passer godt på barnet. Den samlede SDQ-skala kan have en scorefor den enkelte elev på 0 til 40 point, mens de respektive underskalaerkan have en score fra 0 til 10 point.Ved at summe skalaerne kan man danne en totalskala, der går fra0, der indikerer ingen vanskeligheder hos barnet, til 40, der indikerermange vanskeligheder eller problemer hos barnet. Summen af vanske-ligheder eller problemer kaldes også for enscore.SDQ-skalaen for proso-cial adfærd er opgjort omvendt af de fire øvrige skalaer. Det vil sige, aten høj score på skalaen for prosocial adfærd er ensbetydende med, atbarnet har mere udadvendt adfærd. Totalskalaen kan inddeles i tre kate-gorier, der giver et overordnet billede af børnenes vanskeligheder. Denførste kategori er ”normalområdet”, som er en score på mellem 0 og 11point for lærervurderingerne. Her findes langt de fleste børn, og scorenindikerer, at børnene ikke har vanskeligheder, der er af væsentlig betyd-ning for deres trivsel. Den anden kategori er ”gråzonen”, der ved lærer-vurderingerne er defineret som en score på totalskalaen på mellem 12 og15 point. Disse børn er lidt mere tynget af vanskeligheder end børnene inormalområdet. Den sidste kategori er ”uden for normalområdet”, derer defineret som en score over 15 point på totalskalaen. Der er her taleom børn, der har lav trivsel, og som har betydelige vanskeligheder.I forbindelse med lodtrækningsforsøget over SNAP er SDQ-skemaerne udfyldt både af elevernes klasselærere og af elevernes forældre.Data er indsamlet af Socialstyrelsen i papirform og derefter overført tilelektronisk form. SDQ-målene fra SNAP-lodtrækningsforsøget skal vise,om SNAP har forbedret elevernes emotionelle, adfærdsmæssige, hyper-aktivitetsmæssige og kammeratskabsmæssige problemer.LODTRÆKNINGSFORSØG

For at undersøge om der er en effekt af SNAP i forhold til en reduktionaf problemadfærd, er der gennemført et lodtrækningsforsøg. Lodtræk-ningsforsøget går i al sin enkelhed ud på, at lærerkollegiet på hver af de11 PALS-pilotskoler har indstillet to klasser, fra forskellige årgange fra 1.til 7. klasse, med mindst to adfærdsvanskelige børn i hver klasse. Efterindstillingen trækkes lod ved simpelt tilfældigt møntkast udført af en re-præsentant fra Socialstyrelsen om, hvilken klasse der skal modtageSNAP-intervention, og hvilken klasse der ikke skal. Lodtrækningsforsø-

get er startet på Socialstyrelsens initiativ og er gennemført af Socialstyrel-sen.Ved at trække lod fjerner man en række usikkerheder, der ellerskan forstyrre målingen af effekten af SNAP. Disse usikkerheder relaterersig til ikke-observerbare karakteristika, der kan tænkes at influere på, atder observeres en ændring i adfærden hos børnene, efter at de har mod-taget SNAP-interventionen. Ved at trække lod om, hvem der modtagerinterventionen, kan man undersøge, om det er interventionen, der kantillægges, at der observeres ændringer efter en intervention (Imbens &Wooldridge, 2008). I dette tilfælde at begyndende adfærdsvanskelighederhos børn reduceres. Kontrolklasserne modtog det, der kaldestreatment asusual,hvilket er den behandling, de ville have modtaget, uagtet lodtræk-ningsforsøget.24Selve SNAP-interventionen indgik i det normale timetalfor klassen, og interventionen erstattede derfor 1 ugentlig time, hvorklasselæreren ellers havde undervisning.I bilagstabel B4.1 indgår oplysninger om bortfald fra forsøget.Det vurderes, at de skoler og elever, der ikke blev opnået eftermålingerhos, ligner de elever, der indgår i selve analysen. Det vil sige, at der ikkeer et systematisk bortfald i data, og at de anvendte data derfor er repræ-sentative for de observerbare karakteristika ved førmålingen.DESKRIPTIVE MÅL FOR SDQ OG SKOLEKLASSEKARAKTERISTIKA

Analyserne af SDQ i forbindelse med SNAP-lodtrækningsforsøget erbaseret på 222 besvarelser, som dækker over 6 af de 11 PALS-pilotskolerog i alt 11 skoleklasser. Der er dermed tale om et betydeligt bortfald vedindhentning af opfølgningsdata fra PALS-pilotskolerne, men ikke destomindre er antallet af besvarelser tilstrækkeligt til at danne SDQ-skalaerne.Med tilstrækkeligt menes, at der har været mindre end tre manglende be-svarelser for hver enkelt SDQ-skala for hver elev. Da der blev indhentetrelativt få SDQ-skemaer fra forældrene, anvendes i det følgende udeluk-kende SDQ-skemaer udfyldt af lærerne.Tabel 8.1 viser gennemsnit af SDQ-skalaerne særskilt for kon-trolgruppe og for gruppen i SNAP-interventionen, hvor der er oplysnin-ger fra både før og efter SNAP-interventionen. Gennemsnit og stan-dardafvigelser er opgjort for før og efter SNAP-interventionen. Tabellen24. Treatment as usual kan i denne sammenhæng være det samme som, at der ikke foretages yderli-gere foranstaltninger end de skoleomfattende tiltag i PALS generelt.

viser endvidere klassestørrelse og gennemsnitligt klassetrin for kontrol-og interventionsgruppen.TABEL 8.1Elever inddelt efter kontrolgruppe og SNAP-interventionsgruppe. Særskilt for før-og eftermålinger. Gennemsnit for SDQ-skalaerne og skoleklassekarakteristikasamt standardafvigelse.SNAP-interventionKontrolStandard-Standard-Antal Gennemsnit afvigelse Antal Gennemsnit afvigelse989898989898989898989898555,41,11,02,31,08,85,21,00,82,60,78,719,64,66,41,71,93,21,82,25,81,61,73,21,42,05,11,8124124124124124124124124124124124124664,81,00,82,00,98,25,00,90,82,31,07,720,73,85,91,71,72,61,72,26,01,71,72,61,92,44,62,0

Som det fremgår, er der oplysninger fra 124 elever, der har modtagetSNAP-interventionen, mens der er oplysninger fra 98 elever i kontrol-gruppen. Der er forskel på de elever, der har modtaget SNAP-interventionen, og de, der er i kontrolgruppen, målt ved førmålingen:Eleverne i SNAP-interventionen har i gennemsnit en anelse lavere score(4,8) på den totale SDQ-skala sammenlignet med kontrolgruppen (5,4).25Både kontrol- og interventionsgruppen er gennemsnitligt inden for nor-malområdet, målt ved SDQ. Det vil sige, at de gennemsnitlige elever idisse klasser ikke er præget af store vanskeligheder (Goodman, 1999). Påde tre skalaer for emotionelle problemer, adfærdsproblemer og kamme-ratskabsproblemer ligger de to grupper på nogenlunde samme niveau.25. Der er ikke foretaget test af forskelle på baseline mellem interventionsgruppen og kontrolgrup-pen. Dette skyldes, at eventuelle forskelle mellem de to grupper ved baseline vil kunne tillæggestilfældig variation og ikke systematiske forskelle.

Hvad angår hyperaktiv adfærd viser SDQ-skalaen, at kontrolgruppenvurderes lidt højere (det vil sige en anelse mere præget af denne typeproblemer) end SNAP-interventionsgruppen. Kontrolgruppen har gen-nemsnitligt en score på 2,3 point på hyperaktivitetsskalaen ved førmålin-gen, mens den er 2,0 for SNAP-interventionsgruppen.Hvis vi ser på oplysningerne for eleverneefterSNAP-interventionen for de to grupper, viser disse stort set de samme resultater,som SDQ-skalaerne før SNAP-interventionen. Dette betyder, at der ikkeumiddelbart er synlige forskelle på eleverne før og efter interventionenpå de fleste af SDQ-skalaerne. SDQ-skalaen for prosocial adfærd viserdog, at eleverne i SNAP-interventionen ændrer deres adfærd i negativretning fra 8,2 ved førmålingen til 7,7 ved eftermålingen. Denne ændringer statistisk signifikant.

Til at analysere, om der er forskel på elevernes adfærd før og efter SNAP,anvendes en statistisk metode kaldetrandom intercept-model(Singer &Willett, 2003; Wooldridge, 2002). Modellen tager højde for, at børnene erudvalgt i klasser, at interventionen har en før- og eftermåling, samt ateleverne kan have forskellige scorer på SDQ-skalaen, og at skoleklasser-ne dermed også kan have forskellige udgangspunkter med hensyn til sco-ren på SDQ-skalaen. Modellen beregner den gennemsnitlige udviklingfor eleverne i den enkelte klasse over tid.26Dette betyder, at man kananvende modellen til at undersøge, om der er forskelle i elevernes æn-dringer i adfærd målt ved SDQ. Ved random intercept-modellen antagesdet, at eleverne og klasserne har den samme udvikling over de 12 uger,SNAP-interventionen tager.Et krav til en random intercept-model er, at data er klynget. Detvil sige, at eleverne eksempelvis er sammen i en klasse, og at man følgerdisse over tid. Det betyder, at der er en hierarkisk struktur i data. Med222 elever, 11 klasser og seks skoler vurderes data til at være tilstrækkeli-ge til at anvende en random intercept-model (Gelman & Hill, 2007).2726. Tid måles i modellerne som en såkaldt dummy, hvor 0 er perioden før SNAP-interventionen, og1 er tiden efter interventionen.27. Det er ikke muligt at opnå pålidelige estimater for modeller, hvor der er random intercept påskoleniveau. Modellerne er derfor estimeret på individ- og klasseniveau. I de tilfælde, hvor dethar været muligt at inddrage et random intercept på skoleniveau, er denne model blevet testet

For at forbedre de beregnede estimater inddrages forskellige andre vari-able, der kan forklare en ændring i adfærden hos børnene. Disse variableer målt før SNAP-interventionen og udgør dels klassetrin, der anvendessom et mål for børnenes alder, dels klassestørrelse, da det kan antages, atstørre klasser (målt på antal elever) også giver mere uro blandt eleverne.Dette kan have indflydelse på det udbytte, som elever med koncentrati-onsbesvær får ud af SNAP-interventionen. I analyserne indgår en varia-bel, der måler, hvorvidt eleven er i kontrolgruppen eller i SNAP-interventionsgruppen. På denne måde undersøges forskellene på de togrupper.28Overordnet viser analyserne følgende (jf. tabeller i bilag 4):••

Analyserne viser, at der ikke er nogen effekt af SNAP-interventionen påSDQ-skalaerne for emotionelle problemer, adfærdsproblemer, hyperak-tivitet, kammeratskabsproblemer og for den samlede SDQ-skala. Der eren generel tendens til, at eleverne bliver vurderet som værende mere hy-peraktive over tid, uanset om de er i interventions- eller kontrolgrup-pen.29Analyserne viser dog samtidig, at der er en effekt af SNAP påelevernes prosociale adfærd målt ved SDQ, men at denne effekt er nega-tiv, hvilket betyder, at elevernes prosociale adfærd vurderes lavere efterSNAP-interventionen, også når der kontrolleres for klassetrin, klassestør-relse og tid. Samtidig viser analysen, at elevernes klassetrin har betydningfor vurderingen af elevernes adfærd på den måde, at elever i ældre klasse-trin bliver vurderet til at have en mere prosocial adfærd. Analysen viserogså, at der er relativt store forskelle i ændringerne af vurderingerne afmod den mere simple model med random intercept på individ- og skoleniveau. Dette er foreta-get med en likelihood ratio-test. Resultaterne heraf viser, at det ikke er nødvendigt at inddrage etrandom intercept på skoleniveau.28. Denne variabel har værdien 0 for alle eleverne i analysen i perioden før SNAP-interventionen og1 ved eftermålingen for alle de elever i analysen, der har modtaget SNAP-interventionen.29. Dette fremgår ved, at der er et signifikant positivt estimat for tid i modellen for SDQ-skalaen,der måler hyperaktivitet.

prosocial adfærd hos elever, idet nogle elever rykker sig meget, mens an-dre rykker sig relativt lidt.Samlet set giver analyserne et lidt blandet billede af effekterne afSNAP. For at undersøge om eventuelle fejl i randomiseringen kan havehaft indflydelse på de gennemgåede resultater, beregnes en fixed effects-model. Modellen ser kun på de ændringer, der er for eleverne fra førmå-ling til eftermåling, relativt mellem indsatsgruppe og kontrolgruppe.Derved undersøges den generelle udvikling over tid for eleverne, somkommer til at fungere som deres egen kontrol, så der nu er to former forkontrol; eleverne selv og deres respektive kontrolgruppe (SNAP-interventions- eller kontrolgruppe). Overordnet viser analyserne desamme resultater som de tidligere random intercept-modeller (bilagstabelB4.3 og B4.4 i bilag 4 viser resultaterne af fixed effects-modellerne). Dogreduceres signifikansen af resultaterne, hvilket skyldes, at fixed effects-modellerne udelukkende anvender den variation, der er inden for indivi-derne over tid. Det vil sige, at vi undersøger, hvor meget læreren vurde-rer, at den enkelte elev ændrer sin adfærd fra førmåling til eftermålingen.ANALYSE AF SNAP FOR ELEVER UDEN FOR NORMALOMRÅDET

For at undersøge om der er forskelle i effekten af SNAP-interventionenfor de elever, der ved førmålingen lå uden for normalområdet på de re-spektive SDQ-skalaer, laver vi separate fixed effects-modeller for dissegrupper og skalaer. Elever befinder sig i normalområdet, hvis de ikke haropnået en så høj score på SDQ-skalaen, at de udviser tegn på mistrivsel.Uden for normalområdet er opgjort som de elever, der blev vurderet tilat ligge i den såkaldte ”gråzone”-kategori ved førmålingen, og de elever,der lå i den såkaldte ”uden for normalområdet”-kategori ved førmålingen.Denne opdeling anvendes for de respektive skalaer, hvor grænserne erforskellige for hver SDQ-skala (se evt. Goodman, 2001, for mereinformation om disse).Analyserne indeholder en variabel, der indikerer, om eleverne eri interventions- eller kontrolgruppe, samt en variabel for tid (se bilagsta-bel B4.3 og B4.4 i bilag 4 for resultaterne af disse analyser). Analyserneopdelt på henholdsvis elever i og uden for normalområdet viser stort setde samme resultater som de ovenfor gennemgåede, hvilket også betyder,at der overordnet set ikke er signifikant forskel på de elever, der er i kon-trol- og interventionsgruppen.

Analyserne viser, at de, der ved den samlede SDQ-score lå udenfor normalområdet ved førmålingen, overordnet set bliver vurderet somhavende færre vanskeligheder over tid. Der er dog ikke forskel på de ele-ver i denne gruppe, der har modtaget eller ikke modtaget SNAP. Det vilsige, at over tid reduceres disse elevers vanskeligheder generelt. Tilsva-rende gør sig gældende for den gruppe af elever, der lå uden for normal-området på skalaen for adfærdsvanskeligheder. Den gruppe af elever, derblev vurderet til at ligge i normalområdet ved førmålingen med hensyn tilhyperaktivitet, bliver over tid vurderet til at have en stigende hyperaktivadfærd. Derimod bliver de elever, der blev vurderet til at ligge uden fornormalområdet ved førmålingen med hensyn til prosocial adfærd, vurde-ret til at have stigende prosocial adfærd over tid, hvilket alt andet ligevurderes at være positivt.For at undersøge robustheden af resultaterne inddrages oplys-ninger om SNAP fra yderligere tre PALS-skoler, der dog ikke er lige sålangt i implementeringen af PALS som pilotskolerne. Disse tre yderligereskoler har også foretaget lodtrækningsforsøg i forbindelse med SNAP.Analyserne af inddragelsen af disse tre yderligere skoler kan findes i bi-lagstabellerne B4.5, B4.6, B4.7 og B4.8. Resultaterne peger overordnetset i samme retning som resultaterne for pilotskolerne.30Når resultaternemed de yderligere tre skoler peger i samme retning, som pilotskolerne, såtyder det på, at resultaterne er robuste. Det vil sige, at der er en vis påli-delighed ved resultaterne.Ved tolkningen af analyserne af SNAP-lodtrækningsforsøgetskal det dels understreges, at SNAP-interventionen som delelement afPALS i Danmark er på et tidligt udviklingsstadie, hvilket kan betyde, ateffekter først sætter sig igennem på et senere tidspunkt. Dels skal detunderstreges, at analyserne kan være slørede af såkaldteHawthorne-effekter, det vil sige effekter af at være allokeret til henholdsvis interven-tions- og kontrolgruppe, frem for effekter af selve interventionen (se fxMayo, 1949, eller McCarney m.fl., 2007). Hawthorne-effekten er medandre ord et udtryk for en sociologisk tankefigur: At iagttagelsen af etfænomen også påvirker fænomenet. Oversat til sammenhængen medSNAP-interventionen kan det betyde, at lærernes bevidsthed om, at dedeltager i et forsøg omkring SNAP, kan have skærpet deres fokus på ele-vernes adfærd i en sådan grad, at deres afrapportering af SDQ mere af-30. Der har også været foretaget særskilte analyser, der kun har været baseret på oplysninger fra detre yderligere skoler. Disse resultater peger i samme retning som de øvrige.

Ud over SDQ er der også indsamlet mål for elevernes adfærd i skoleklas-serne via de såkaldte adfærdslister. Adfærdslisterne er i Norge blevet te-stet for deres psykometriske egenskaber i forbindelse med evaluering afPALS, og disse er fundet tilfredsstillende (Kjøbli & Sørlie, 2008; Ogden,1998; Sørlie & Ogden, 2007; Sørlie & Torsheim, 2011). Adfærdslisternebestår af 25 spørgsmål, der omhandler hyppigheden af en given adfærdeller hændelse i løbet af den sidste uges tid. Listerne er udfyldt af en læreri forbindelse med SNAP.31Adfærdslisterne er udfyldt både før og efterSNAP-interventionen og for kontrol- og interventionsklasserne. Data erindsamlet af Socialstyrelsen. (De 25 spørgsmål og svarmuligheder er be-skrevet i bilag 4).

Da der er en del usikkerheder forbundet med udfyldelsen af adfærdsli-sterne, opsummeres adfærdslisterne på klasseniveau. Det vil sige, atsummen af problemer for hele klassen undersøges. Analyserne vægtesmed antallet af elever, hvor der findes eftermålinger.Analyserne af adfærdslisterne bliver foretaget via lineære regres-sionsmodeller, hvor der kontrolleres for førmålingerne. På denne mådekan man undersøge effekten af SNAP på elevernes adfærd. Modellerneer kørt for alle 25 spørgsmål om elevernes adfærd (se bilagstabel B4.9 ibilag 4, som viser resultater for modellerne). Analyserne viser, at der eren negativ signifikant forskel på de elever, der har modtaget SNAP-intervention, i forhold til kontrolklasserne, hvad angår gentagne brud påklassens eller skolens regler, når der kontrolleres for førmålingen. Det vilsige, at der kommer flere brud på klassens eller skolens regler efter indfø-relsen af SNAP. Dette fremgår ved, at elever i SNAP-interventions-31. På denne måde adskiller brugen af listerne sig fra den i Norge, hvor alle lærerne på PALS-skolerhar udfyldt adfærdslisterne (Sørlie & Torsheim, 2011).

gruppen gennemsnitligt får højere point i forhold til gentagne brud påklassens eller skolens regler, når der kontrolleres for førmålingen. Analy-sen viser endvidere, at der er en negativ effekt for de klasser, der harmodtaget SNAP-interventionen, i forhold til, at eleverne forlader pladsenuden at have fået lov, samt at eleverne løber i gange og fællesrum, nårder kontrolleres for førmålingen.Modellerne lider dog under manglende data. Det vil sige, at manantager noget i modellerne, som ikke kan findes i data. Det medfører, atde fundne effekter skal tolkes varsomt, da der er usikkerheder i data,herunder manglende data til at tage højde for, at eleverne befinder sig iklasser, og at disse klasser befinder sig i skoler. Problemerne relaterer sighermed til klyngestrukturen i data.

FREMTIDIGE EVALUERINGERAF PALSI denne rapports indledende kapitel omtalte vi, at Socialstyrelsen igen-nem de senere år har implementeret en række manualbaserede pro-grammer, herunder PALS, og at der fortsat savnes danske evalueringer afprogrammernes effekter. Denne evaluering af PALS har vist foreløbigetegn på, hvordan PALS sætter sine spor på pilotskolerne, men kan ikkesvare på det ultimative spørgsmål om, hvadeffekterneer af PALS. I detteafsluttende kapitel vil vi diskutere, hvad det ud fra vores erfaringer medat evaluere PALS ville kræve at lave en egentlig effektmåling af PALS, oghvilke udfordringer der i det hele taget er i forhold til at evaluere effektenaf PALS. Vi vil ikke opstille et færdigformet og gangbart design for eneffektevaluering, men snarere synliggøre en række metodeovervejelser ogerfaringer til gavn for det videre arbejde med PALS.FREMSYNET PLANLÆGNING

Det første kriterium for en fremtidig effektmåling er, at der fore-tages før- og eftermåling, som belyser, om der med implementeringen afPALS er sket en udvikling i de aktuelle forhold, som PALS er tiltænkt atpræge. Førmålet er et udtryk for tilstanden umiddelbart forud for PALS,og eftermålet er et udtryk for tilstanden på et givent tidspunkt efterPALS er implementeret.Det andet kriterium for en fremtidig effektmåling er anvendel-sen af kontrolskoler. Ved at anvende kontrolskoler kan eventuelle effek-ter sættes i perspektiv. Ideelt set kan kontrolskolerne muliggøre, at vi kansige noget om, hvordan skolerne havde udviklet sig, hvisikkede havdeindført PALS. Det kræver imidlertid, at der skabes sammenlignelige kon-trolskoler, hvilket er en udfordring i sig selv, idet PALS-pilotskolerne iDanmark på ingen måder er tilfældigt udvalgte. Forud for at skolerne kanimplementere PALS, må de opfylde bestemte krav, som ikke alle skolerlige nemt kan leve op til. Dette betyder, at PALS-pilotskolerne ikke nød-vendigvis er repræsentative og dermed ikke kan sammenlignes med an-dre folkeskoler generelt, hvis man vil udsige noget om egentlige effekter.Følgelig skal der ideelt set til formålet anvendes konstruerede kontrol-skoler for at muliggøre en effektevaluering. Det vil sige, at der skal an-vendes kontrolskoler, der ligner de skoler, der har tilmeldt sig PALS, in-den disse starter med at gøre brug af PALS-programmet. Anvendelsen afkontrolskoler er nødvendig i forhold til at kunne vurdere effekter, derskyldes PALS og ikke alle mulige andre forhold (fx den generelle sam-fundsudvikling, fornyet viden, der betyder fornyet praksis på skolerne,eller politiske tiltag). Ved at anvende kontrolskoler isoleres PALS-programmets effekter (tilnærmelsesvist).For at skabe det mest optimale sammenligningsgrundlag, sommuliggør en vurdering af effekterne af PALS, skal der desuden optimaltset benyttes lodtrækning blandt skoler, der i udgangspunktet ligner hin-anden, det vil sige skoler, som i udgangspunktet alle lever op til kriterier-ne for at implementere PALS.Sørlie & Ogdens (2007) norske studie, som også tidligere i rap-porten er blevet refereret, er et udmærket eksempel på, hvordan man kantilrettelægge et mindre, men fremsynet evalueringsdesign, ved at•

Det kunne være interessant at gøre samme øvelse i Danmark. Det vil sigeat trække lod blandt en række ”parate skoler” om, hvilke skoler der im-plementerer PALS, og hvilke der ikke implementerer PALS og dermedkan fungere som kontrolskoler. Både skoler udtrukket til PALS og skolerudtrukket til kontrolskoler skal gennemføre før- og eftermålinger i formaf blandt andet en spørgeskemaundersøgelse blandt elever og lærere, in-den PALS bliver implementeret på de udtrukne skoler og på et giventtidspunkt, efter at PALS er implementeret på de udtrukne skoler. Antal-let af skoler udtrukket til henholdsvis PALS og ikke-PALS skal værestort nok til, at det efterfølgende vil være muligt at anvende fx skolestør-relse, afgangsklasser/ikke-afgangsklasser og andelen af tosprogede eleversom kontrolfaktorer i en analyse.Ideen vil imidlertid medføre nogle praktiske udfordringer, fordidet vil kræve, at en lang række skoler lægger ressourcer i at blive ”paratetil PALS”, uden at de nødvendigvis vil få lov at indføre PALS, og samti-dig ville det kræve, at samtlige skoler, uanset om de får indført PALSeller ej, skal indsamle både før- og eftermålinger. Det vil muligvis blivevanskeligt – men er ikke desto mindre en forudsætning for, at designetlykkes – at få kontrolskolerne til at udfylde spørgeskemaer på lige fodmed de skoler, der bliver udtrukket til at implementere PALS.Det er vores (og andres) erfaring, at det er vanskeligt at opnå hø-je svarprocenter i forbindelse med anvendelsen af spørgeskemaer på sko-ler (Klausen, Michelsen & Nielsen, 2010; Pedersen m.fl., 2011). På trodsaf at vi i denne evaluering har anvendt en række strategier i forhold til atopnå en høj svarprocent på pilotskolerne, er det ikke lykkedes helt, hvil-ket taler for, at det også vil være vanskeligt at indsamle spørgeskemabe-svarelser både før og efter implementeringen af PALS på både PALS-skoler og kontrolskoler. Denne metodiske udfordring bør tages seriøst,såfremt der fremtidigt tilrettelægges et lodtrækningsforsøg med indbyg-gede før- og eftermålinger omkring PALS.For at imødekomme problematikken kunne man forestille sig atindgå i et samarbejde med de relevante kommuner om at indbygge enform for motiverende faktor for at få skolerne til at besvare. Et konkretforslag kunne desuden være at indarbejde før- og eftermålinger i skoler-

nes APV’er samt elevtrivselsmålinger. Det vil sige at indbygge noglespørgsmål i henholdsvis APV og elevtrivselsundersøgelser, som kan be-lyse de forhold, PALS tilstræber at ændre. Realiseringen af dette forslagville kræve samarbejde mellem flere parter, herunder kommuner og sko-leledelser, og resultatet ville til gengæld tilsvarende være anvendeligt forflere parter.Ligeledes kan der i forbindelse med ”paratheds-vurderingen” afskoler stilles krav om, at skolerne årligt skal levere spørgeskemabesvarel-ser (fx fra minimum 80 pct. af de ansatte), enten i selvstændig form ellersom en del af APV’en, samt en række øvrige mål fra skolen (herunderogså evt. elevtrivselsmålinger) som et led i at blive erklæret parat til PALS.Endelig kunne en løsning være at stille kontrolskolerne i udsigt, at desenere hen kan implementere PALS. På den måde vil kontrolskolerneudgøre en slags ”venteliste”, og deres indsats for at blive parate til PALSville ikke være spildte ressourcer. Ved at gøre brug af et såkaldt venteli-stedesign, hvor man trækker lod mellem de skoler, der vurderes parate tilat indgå i PALS (Horner m.fl., 2009), undgås det at lægge for mangeunødige byrder på skolerne. Her ville lodtrækningen dreje sig om, hvilkeaf skolerne der straks har mulighed for at begynde at implementerePALS, og hvilke skoler der efter en udskudt periode får lov at begynde atimplementere PALS. Herved bliver eventuelle kapacitetsproblemer ikommunerne, som fx manglende PMTO-terapeuter eller for få PALS-vejledere, også tilgodeset.ANVENDELIGE MÅL

For at kunne vurdere om der er en reel effekt af PALS, kræver det til-gængelige, anvendelige mål. Optimale før- og eftermål, indsamlet fra bå-de skoler, der implementerer PALS, og en række kontrolskoler, skalkunne belyse, om PALS-skolerne i betydeligt højere grad end kontrol-skolerne har opnået et støttende læringsmiljø, der styrker elevernes fagli-ge og sociale kompetencer og dermed forebygger adfærdsproblemer ogsamtidig er en mere målrettet indsats over for elever, der udviser (begyn-dende) problematisk adfærd.Optimale og direkte mål til at vurdere disse forhold findes selv-sagt ikke i eksisterende registre eller i skole-/kommuneregi, hvorfor dermå udarbejdes en specifik monitoreringsstrategi og indarbejdes spørge-skemaer specifikt til evaluering af PALS. Standardiserede monitoreringer

på PALS- og kontrolskoler ville i øvrigt kunne bruges til andre forsk-nings- og evalueringsformål.En struktureret spørgeskemaundersøgelse før og efter imple-menteringen af PALS, som gennemføres blandt lærere, elever og elever-nes forældre, vil være det optimale redskab til at indsamle evalueringsmål.Sideløbende kan der oprettes en database, hvor alle øvrige mål, som kananvendes til at vurdere effekter af PALS, samt evalueringer af PALS, in-terne som eksterne, opsamles. De øvrige mål, som kan opsamles i endatabase, kunne være henvisninger til specialundervisning, karakterer,fravær hos både elever og lærere (opgjort på årsag), APV’er, trivselsun-dersøgelser blandt elever mv., som vi allerede har beskrevet i rapportenskapitel 4 og 6.Der kunne stilles som krav til parathed til implementering afPALS, at skolen leverer bestemte mål til en fælles database, hvormedbåde igangværende og kommende PALS-skoler (kontrolskoler) leverermål.Data og oplysninger fra skolerne skal leveres i en ensartet, over-skuelig form, det vil sige indtastet i et fælles system, så man nemt kandanne sig overblik over alle skolerne, og hvad målene dækker over. Stan-dardiseringen og måden, hvorpå der indsamles mål i databasen, skal nøjegennemtænkes fra start, således at der undgås ændringer i opgørelsesmå-de fra år til år, dermed bevares sammenligneligheden over tid. Dette vilvære en støtte til praksis såvel som til forskning, der er en del af den evi-densbaserede model. Støtten til praksis vil bestå i, at skolerne får mulig-hed for at følge udviklingen for deres skole over tid på en mere gennem-skuelig måde. For at dette kan opnås, kræver det, at skolernes ledelse ogkommunerne, hvori skolerne befinder sig, har mulighed for at allokerede ressourcer, der skal til for at indsamle og standardisere disse mål.FLERE MÅLINGER GIVER BEDRE RESULTATER

Det kan være vanskeligt at måle, hvorvidt et program som PALS har be-tydning for udviklingen i antallet af elever, der bliver henvist til special-undervisning, udviklingen i elevers karakterer osv., fordi der kan væreadskillige faktorer, der ikke har noget med PALS at gøre, som spiller indpå disse forhold. Desuden kan det, afhængigt af de ressourcer, der er tilstede i og omkring skolen, når interventionen starter, være forskelligt,hvornår skolerne begynder at vise resultater af interventionen. Det erderfor mest optimalt at foretage eftermålinger ad flere omgange og over

en længere periode. Tilgængeligheden til flere observerede perioder mu-liggør en vurdering af, om en ændring er udtryk for en tilfældighed, ellerom det er udtryk for en reel ændring over længere tid. Dermed spillermålefejl en mindre rolle, da data har flere målinger, og både kort- oglangsigtede effekter kan indfanges (Singer & Willett, 2003). Optimalt setskal en effektevaluering af PALS rumme måleperioder, fx både 1 og 2 årefter implementeringen af PALS, for dermed at minimere målefejl og forat kunne evaluere langsigtede effekter.IMPLEMENTERING OG VEDLIGEHOLDELSE

En udfordring for PALS i Danmark er, at implementeringen fortsat ervigtig at holde stringent. Samtidig er det vigtigt at vedligeholde PALS påde skoler, der har implementeret programmet, således at det ikke svinderud med skiftende tider, elever og lærere. Indsatser i forhold til løbende atkontrollere for korrekt implementering og tilstrækkelig vedligeholdelse ersåledes vigtig. I metodelitteraturen omtales dette som treatment fidelityog treatment adherence. Med treatment fidelity menes, hvorvidt PALSsom program og principper er implementeret korrekt (Moncher & Prinz,1991), mens der med treatment adherence menes, hvorvidt PALS prakti-seres som foreskrevet i manualen. Nogle ansatte i vores spørgeskemaun-dersøgelse beretter om personale, der ”er stået af vognen” og fungerer,som de selv vil, og andre beretter om, at det er deres vurdering, at PALSkræver mere vedligeholdelse, end der aktuelt foretages. Analysen af Tjek-liste A for skolerne viser, at der er udfordringer i forbindelse med im-plementeringen af PALS på de 11 pilotskoler.Her er det imidlertid vigtigt at holde sig for øje, at pilotskolernesimplementering af PALS er forløbet anderledes, end det vil blive tilfældetfor fremtidige PALS-skoler, som vil nyde godt af pilotskolernes erfarin-ger. De nystartede PALS-skoler, der har fulgt i kølvandet på pilotskoler-ne, har haft det forspring, at de har hørt om PALS forud for implemen-teringen, og de er i en eller anden udstrækning blevet delagtiggjort i pilot-skolernes erfaringer og har kunnet forholde sig aktivt til dem. De nystar-tede PALS-skoler kan således hurtigere komme i gang med at anvendePALS, mens pilotskolerne brugte det første år på i kulisserne at lære,hvad PALS gik ud på, for først i løbet af andet år langsomt at indføre oganvende PALS-principperne på pilotskolerne. Dette taler for, at det påsigt vil være hurtigere at spore effekter af PALS, og at det vil være inte-

Afslutningsvis i dette kapitel vil vi knytte en kommentar i forhold til, atPALS oprindeligt er et amerikansk program og således udviklet til enanden kultur, end den vi ser på danske folkeskoler. Selvom programmeter søgt overført til danske forhold, står hele konceptet og en stor del afden praktiske udfoldelse i PALS-programmet ikke til at ændre. Eksem-pelvis indeholder PALS-programmet krav om indrapporteringer i hæn-delsesrapporter, hvilket kan opleves som grænseoverskridende for denenkelte lærer at skulle udfylde, dels fordi lærerne er uvante med denneform for monitorering, dels fordi lærerne kan føle sig vurderede på deresindrapporteringer. For at imødekomme sådanne mulige kulturelle barrie-rer ved PALS-programmet kan det kræve, at ledelsen på PALS-skolerneskal opstille klare formål med og regler for anvendelse af afrapporterin-ger og dermed gøre lærerne mere trygge ved deres deltagelse i PALSsamt være foregangsbilleder på den forandring, skolerne gennemgår. Enfremtidig undersøgelse af PALS kunne derfor endvidere se på ledelsenpå PALS-skolerne; både de skoler, der er gode til at implementere PALS,og de skoler, der er lidt langsommere til at implementere PALS. Detteville give særligt indblik i eventuelle kulturelle barrierer, der er ved at im-plementere en omfattende model som PALS i en dansk sammenhæng.Som en del af PALS tilbydes SNAP-interventionen, der er be-skrevet i kapitel 8, og som oprindeligt er målrettet børn med adfærds-mæssige problemer. I den danske PALS-version tilbydes SNAP imidler-tid til hele klasser, hvori der går mindst to elever med alvorlige adfærds-problemer, hvilket vores analyser indikerer ikke nødvendigvis er hen-sigtsmæssigt. I rapportens gennemgang af analyserne af SNAP-interven-tionen så vi, at elever uden adfærdsproblemer måske påvirkes i en elleranden grad af SNAP-interventionen, og at påvirkningen ikke nødvendig-vis er til det bedre. Fremtidigt kunne det være interessant at afprøveSNAP alene på de elever, der er i den oprindelige målgruppe for SNAP,frem for at praktisere SNAP på klassebasis (som afviger fra den originaleversion) for dermed at se, om effekten for eleverne i målgruppen dervedbliver større. Dette ville dog i en eller anden udstrækning bryde med et afprincipperne i PALS, nemlig at inkludere eleverne med alvorlige ad-færdsvanskeligheder eller elever, der er i risiko for at udvikle sådanne,

KONKLUSIONInternationale erfaringer viser, at skoleprogrammet Positiv Adfærd i Læ-ring og Samspil (PALS) kan medvirke til at reducere problemadfærd hoselever og samtidig skabe et bedre læringsmiljø. PALS virker gennem po-sitiv involvering, systematisk opmuntring samt anerkendende beskederog ros af eleverne. Dette foregår ved, at hele skolen deler fælles retnings-linjer for, hvad der er forventet adfærd.Baggrunden for denne evaluering af PALS har været, at der fin-des yderst sparsom viden om, hvordan PALS virker i endanskkontekst.Med evalueringen har vi tilstræbt at afdække indikationer på, hvorvidtPALS forbedrer det skolefaglige og sociale læringsmiljø på de første 11PALS-pilotskoler i Danmark. Når evalueringen afdækker indikationer ogikke direkte effekter skyldes det, at det ikke har været muligt at gennem-føre en egentlig effektevaluering. PALS er fortsat på et relativt tidligt sta-die i Danmark, hvorfor det er for tidligt at måle effekter, og samtidigmangler der egnede effektevalueringsmål. Det er for tidskrævende i for-hold til denne evaluerings rammer at opbygge egnede effektmål, hvorforrapporten har afdækket indikationer på PALS’ virkning. Samtidig giverrapporten en række råd og anbefalinger i forhold til en fremtidig effekt-evaluering af PALS i Danmark.

PALS er et skoleomfattende program, der søger at påvirke flereniveauer af elevernes trivsel og læringsmiljøet på skolerne. Det stillerkrav til evalueringen, da den tilsvarende må omfatte flere niveauer.Udfordringerne med at evaluere PALS har vist sig at være flere.For det første er PALS relativt nyt i Danmark, og de første pilotskoler erførst i sommeren 2011 kommet igennem hele implementeringsprocessen,som varer 3 år. Det betyder, at PALS først for nylig er begyndt at sættesit præg på skolerne, og man kan forvente, at PALS’ virkninger først foralvor vil slå igennem i den kommende tid på skolerne. Det har selvsagtmedført den udfordring eller det forbehold, om man vil, at det kan væresvært allerede nu at opsnappe de gode cirkler, som PALS skal igangsætte.For det andet har det været en udfordring at indsamle anvende-lige data til evalueringen. Tanken har været at anvende registerbaserededata fra pilotskolerne omkring elevfravær, karakterer, antal henvisningertil specialundervisning samt en række øvrige mål, som det imidlertidlangtfra alle har været muligt at skaffe. Registerdata fra blandt andetDanmarks Statistik og UNI-C er kun tilgængelige med forsinkelse på optil 2 år, det vil sige, at det ikke har været muligt derfra at hente oplysnin-ger om eleverne og pilotskolerne fra det allersidste skoleår. Skolerne ogkommunerne har i vid udstrækning været behjælpelige med at forsøge atskaffe de nødvendige oplysninger til evalueringen, men det er ikke altidlykkedes af få sammenlignelige mål. Blandt andet fordi der ikke findes enfælles standardiseret måde at opgøre eksempelvis omfanget af elevfraværpå eller vanskeligheder ved at opgøre antallet af henvisninger til special-undervisning på. Mens nogle skoler og kommuner opgør antal timer pr.elev, opgør andre skoler og kommuner et aggregeret mål for skolen. Detforventes, at der fra efteråret 2012 vil være en mere standardiseret mådeat opgøre antallet af elever i specialundervisning på.Endelig har det for det tredje været en udfordring at få så mangeansatte fra pilotskolerne som muligt til at deltage i en spørgeskemaunder-søgelse om PALS. For at kompensere for de manglende anvendelige eva-lueringsmål udarbejdede vi en spørgeskemaundersøgelse med pilotsko-lernes ansatte som respondenter. Ud over at kompensere for manglendeevalueringsmål havde spørgeskemaundersøgelsen yderligere den fordel,at der mere direkte kunne spørges til nogle af de forhold, PALS er til-tænkt at forbedre på skolerne. Til udarbejdelsen af spørgeskemaet blevder med fordel trukket på internationale erfaringer med spørgeskemaun-dersøgelser vedrørende PALS. Pilotskolerne har generelt udtrykt stor

velvilje, i nogle tilfælde endda begejstring, for at PALS nu bliver evalue-ret i Danmark. Ikke desto mindre har skolernes ansatte en travl hverdag,samtidig med at de ofte inviteres til at deltage i mange spørgeskemaun-dersøgelser, hvilket har smittet af på svarprocenten i spørgeskemaunder-søgelsen. I alt 63 pct. af de ansatte, for hvem skolen har oplyst en gyldige-mail-adresse, deltog i spørgeskemaundersøgelsen, hvilket relativt set iforhold til andre undersøgelser på skoleområdet må siges at være tilfreds-stillende.SPØRGESKEMAUNDERSØGELSE PÅ PILOTSKOLERNE

Skolemiljøetvurderes gennemgående for alle skoler at være forbedret.Særligt følgende er yderst positivt vurderet: 1) skolens ansatte erblevet bedre til at håndtere vanskelige elever (angives af 86 pct.), og2) eleverne tager mere hensyn til hinanden nu end for 3 år siden(angives af 81 pct.). Til gengæld angiver en lidt mindre andel (35pct.), at der er færre skænderier og konflikter blandt skolens ansatte,og lidt under halvdelen af deltagerne i undersøgelsen (40 pct.) angi-ver, at skolens ansatte sjældnere er udsat for trusler om vold fra ele-verne sammenlignet med for 3 år siden.Klassemiljøetvurderes ligeledes gennemgående for alle skoler at væreforbedret. Hele 73 pct. af lærerne i undersøgelsen vurderer, at ele-vernes adfærd over for hinanden er forbedret, og samtidig vurderer73 pct., at læringsmiljøet på skolen alt i alt er forbedret. Et stort fler-tal (68 pct.) angiver, at eleverne er blevet bedre til at gøre, som debliver bedt om. Derimod er det kun knap hver femte lærer (19 pct.),der angiver, at eleverne har mindre ulovligt fravær nu end for 3 årsiden, og knap en fjerdedel af lærerne (23 pct.) mener, at elevernesmotivation og engagement i undervisningen er forbedret.Psykosocialt arbejdsmiljøangives overordnet af de ansatte som værendeenten forbedret eller uændret. Mest positivt har de ansatte besvaretspørgsmålet om, hvorvidt ”det alt i alt er blevet en bedre arbejds-plads” (58 pct. har tilkendegivet dette). Men samtidig har henholds-

vis 17 og 26 pct. angivet, at forholdene ”indflydelse på dit arbejde”og ”arbejdspres” er forværret inden for de sidste 3 år.Overordnet set peger spørgeskemaundersøgelsen på, at lærerne og detøvrige personale på skolerne oplever PALS som et godt grundlag for atforbedre læringsmiljøet, om end en del lærere angiver, at der også førPALS var tale om et godt læringsmiljø, og at det er blevet lettere at hånd-tere elever i adfærdsvanskeligheder. Det skal dog understreges, at der ermarkante forskelle på besvarelserne pilotskolerne imellem, mens der in-gen nævneværdige forskelle er på besvarelserne set i forhold til køn, alderog anciennitet.REGISTERBASEREDE DATA

Som et delelement i PALS tilbydes SNAP-interventionen (Stop NowAnd Plan), som er særligt tiltænkt elever med adfærdsvanskeligheder. Daman implementerede PALS på de første 11 skoler, som er blevet evalue-ret i denne rapport, indarbejdedes samtidig et lille lodtrækningsforsøg iforbindelse med SNAP-interventionen. Resultaterne fra dette forsøg gi-ver et lidt blandet billede.Resultaterne viser, at elever, der indgår i SNAP-interventions-gruppen, bliver vurderet som værendemindreprosociale efter SNAP-interventionen. Det gælder særligt den gruppe, der var i normalområdet,

før SNAP-interventionen blev sat i gang. Omvendt viser analyserne afSNAP-interventionen også, at elever, der lå uden for normalområdetmed hensyn til det samlede antal vanskeligheder og adfærdsvanskelighe-der før SNAP-interventionen, over tid generelt får reduceret deres sam-lede antal vanskeligheder og adfærdsvanskeligheder, om end der ikke erforskel på de elever, der indgik i kontrol- eller interventionsgruppen. Detvil samlet set sige, at de elever, der skulle have gavn af SNAP, ikke nød-vendigvis får det fulde udbytte af interventionen.AFSLUTTENDE OM EVALUERINGEN AF PALS

Samlet set viser rapporten, at der er en række udfordringer ved at im-plementere en skoleomfattende model som PALS. En del af disse udfor-dringer består i, at en del af lærerne på PALS-pilotskolerne føler, at demister noget af deres tidligere autonomi. Dette kan indikere, at der ernogle generelle metodologiske udfordringer ved at tage et program i brug,der er udviklet til en anden skolekultur.Samlet set kan det desuden konkluderes, at der ifølge pilotsko-lerne er sket en positiv udvikling på skolerne som følge af PALS, mensdet ikke på samme måde (endnu) er muligt at aflæse virkningen af PALSi registre og statistikker fra pilotskolerne. Det kan også samlet set kon-kluderes, at skoler, der implementerer PALS, i udgangspunktet adskillersig fra skoler generelt, hvorfor et optimalt effektstudie af PALS skullebaseres på et lodtrækningsforsøg. Derved kunne effekten af PALS isole-res fra andre påvirkninger og generelle udviklingstendenser. Internationa-le evalueringer af PALS har allerede anvendt lodtrækningsmetoden, ogdet ville være både interessant og yderst praksisanvendeligt at opnåsamme viden om danske PALS-skoler. Ved at kende effekter af PALS ien dansk kontekst skabes et bedre grundlag for at vurdere, hvilke skolerder vil have gavn af at implementere PALS, og eventuelt også hvilke deleaf PALS der bør lægges særlig vægt på i Danmark.

Tjekliste A er en tjekliste, der skal skabe overblik over implementeringenaf PALS. Tjeklisten består af en liste over kernekomponenter i PALS.For hver kernekomponent på listen skal det angives, om komponentener implementeret, er delvist implementeret eller ikke er implementeretved enten at svare ”Ja”, ”Delvist” eller ”Nej”. Endvidere kan man angive,om der er forbedringsbehov for den enkelte kernekomponent. Forbed-ringsbehovet angives som enten ”Stort”, ”Middel” eller ”Lille”. Der fore-ligger ingen faste retningslinjer for, hvornår en kernekomponent er im-plementeret, delvist implementeret eller ikke implementeret. Dette er envurdering, der foretages af den enkelte medarbejder på skolen.BILAGSTABEL B1.1Tabel over skoleområder og indhold af Tjekliste A for hvert af områderne.Områder uden for klas-Universelle skoleomfat-se- og undervisnings-tende områderIndividuelle områderområdeVi har defineret nogle få Vurderinger til at identi- Skoleomfattende for-(3-5) positivt og klart ficere elever, som vi-ventninger til elevad-formulerede reglerser alvorlig problem-færd gælder alle situ-for forventet elevad-adfærd, bliver foreta- ationer og områderfærdget regelmæssigtuden for klasse- ogundervisningslokaletEleverne bliver direkte Der er enkle frem-Skoleomfattende for-lært forventet adfærd gangsmåder for læ-ventninger til elevad-rerne til at kunne fåfærd er lært eleverneassistance til elever,på alle områder udensom viser alvorligfor klasse- og under-problemadfærdvisningslokaletForventet elevadfærd Der bliver straks aktive- Personalet, som hartilsyn, giver aktiv vej-bliver anerkendt ogret adfærdsstøtte-belønnetteam (inden 2 dage) til ledning til eleverneelever, som viser al-(bevægelse, scanningvorlige adfærdspro-og positiv involvering)blemerpå alle områder udenfor klasse- og under-visningslokaletProblemadfærd (brud Adfærdsstøtteteamet Der er en fast procedu-på forventet elevad-inkluderer en personre for at give ros ogfærd) er klart define- med færdigheder i atopmuntring på alleretgennemføre funktio-fælles områder udennel adfærdsvurdering for klasse- og under-visningslokalerne, nårforventet adfærd vi-sesKonsekvenserne afDer er ressourcer til at Uoverskuelige områderproblemadfærd ergennemføre adfærds- er begrænsede for atklart defineret og for- støtteplaner baseretstyrke personaletsklaret til alle eleverpå en funktionel ad-mulighed for at givefærdsvurdering (10eleverne systematisktim. pr. uge. pr. elev)tilsyn og vejledning(mulighed for at haveoversigt over heleskolens område)Der er klar forskel på, Ud over ledelsen bliver Der er tilstrækkeligKlasse- og undervis-ningsområderForventet elevadfærdog klasse-/undervis-ningslokalerutiner erpositivt formuleret ogtydeligt defineretProblemadfærd ertydeligt defineret

andre betydningsfulde personale på fælles-familiemedlemmerområder før og efterog/eller andre instan- skoletid og i frikvarte-ser involveret, når det rerne til at kunne giveer hensigtsmæssigttilsyn og vejledning tilog muligteleverneDet er muligt at opret- Skolen har eller kanPersonalet får løbendeholde aktivitet og un- formidle tilbud tilmulighed for at udvik-dervisning, selvomforældre om vejled-le og forbedre sineder opstår problem-ning i positiv adfærds- færdigheder i syste-adfærdssituationerstøttematisk tilsyn og vej-ledning af eleverneDer er etableret proce- Elevens udvikling bliver Status for elevadfærddurer (tryghedspla-fulgt op af adfærds-og tilsynspraksis bli-ner) for håndtering af støtteteamet (inkl.ver evalueret hvertkrisesituatio-ledelsen), og der bli-kvartal baseret påner/farlige situationer ver givet regelmæssig skolens datatilbagemelding tilPALS-teamet og an-dre relevante ansatteDer er etableret etAlle ansatte har etteam til problemløs-direkte eller indirektening og planlægningansvar for et godt til-af adfærdsstøttetiltagsyn på områderne(PALS-team)uden for klasse- ogundervisningslokaler-neSkolens leder er aktivtmedlem i PALS-teamet

Der er etableret etsystem til løbendeindhentning og bear-bejdning af data afmønster for problem-adfærd (fx SWIS-data)Tilbagemelding ommønster for problem-adfærd bliver regel-mæssigt givet til sko-lens team og ansattetil beslutning om til-tag (1 gang/mdr.)Der er formaliseredeprocedurer vedr. atgive ledelsen informa-tioner om skolensregler og forventetelevadfærdOpfølgningsaktiviteterfor eleverne bliverudviklet, revideret oggennemført på basisaf skoleomfattendedata/informationer (fxSWIS-data)Der er afsat ressourcertil PALS-teamets til-rettelæggelse af (a)undervisning af eleverom forventet adfærd,(b) løbende beløn-ningssystem, og (c)

BILAGSTABEL B2.2Resultater af robust pooled lineær regression for ændringer i gennemsnit for af-gangsprøverne i dansk og matematik på skoleniveau. Koefficienter og standardfejli parentes.DanskkaraktererKoefficient og standardfejlAlmindelige folkeskoler(reference)PALS-pilotskolerLP-skolerTidDisponibel familie indkomstAndel pigerAntal søskendeAndel enlige forældre (refe-rence)Andel samlevende forældre-0,183(0,186)0,198(0,130)0,425 ***(0,079)0,585(0,382)1,642 ***(0,399)0,497 **(0,243)--0,238(0,617)MatematikkaraktererKoefficient og standardfejl-0,044(0,264)0,253(0,179)-0,372 ***(0,121)0,748(0,490)0,346(0,645)1,431 ***(0,414)--0,345(0,918)(Fortsættes)

BILAGSTABEL B2.2 (FORTSAT)DanskkaraktererKoefficient og standardfejlAndel mødre med grund-skoleuddannelse (refe-rence)Andel mødre med gym-nasial uddannelseAndel mødre med er-hvervsfaglig uddannelseAndel mødre med kortvideregående uddannel-seAndel mødre med mel-lemlang videregåendeuddannelseAndel mødre med langvideregående uddannel-seAndel fædre med grund-skoleuddannelse (refe-rence)Andel fædre med gymna-sial uddannelseAndel fædre med er-hvervsfaglig uddannelseAndel fædre med kortvideregående uddannel-seAndel fædre med mellem-lang videregående ud-dannelseAndel fædre med langvideregående uddannel-seAndel elever med indvan-drerbaggrundAndel elever, der er efter-kommere af indvandrereKonstantAntal observationerR2-0,726(1,263)0,292(0,704)0,681(1,604)1,512 **(0,771)2,633 **(1,296)-1,267(1,152)0,842(0,817)0,663(1,206)2,078 **(1,054)1,424(1,267)-1,951 *(1,122)-0,689(1,022)-4,011(4,079)1440,432MatematikkaraktererKoefficient og standardfejl-3,122(2,023)0,352(1,001)5,444 **(2,217)1,831 *(0,995)5,536 **(2,526)-1,186(1,787)-0,210(0,769)0,374(1,565)2,059(1,459)-0,663(2,070)-5,360 ***(1,550)-3,187 ***(1,060)-4,337(5,703)1440,421

Spørgeskema om adfærd, læringsmiljø og samarbejde på PALS-pilotskoler.InstruktionSpørgsmålene i dette spørgeskema handler hovedsageligt om adfærd,læringsmiljø og samarbejde. Spørgeskemaet handler om de ændringer,der eventuelt er sket efter, at der er indført PALS på skolen. Vi er inte-resseret i de generelle forhold omkring adfærd på skolen og de generelleforhold omkring adfærd og læringsmiljø i klasserne. Det er vigtigt forundersøgelsens kvalitet, at du så vidt muligt svarer på alle spørgsmålene.Baggrundsoplysninger1. Er du:□Kvinde□Mand2. Hvad er din alder?____3. Hvor længe har du været på skolen?

5. Tager eleverne merehensyn til hinanden?6. Er skolens ansatte blevetbedre til at håndtere van-skelige elever?7. Er der færre skænderierog konflikter blandt ele-verne?8. Er skolens ansatte udsatfor færre trusler om voldfra eleverne?9. Er der færre skænderierog konflikter mellem eleverog skolens ansatte?10. Er elevernes adfærdover for skolens ansatteforbedret?11. Er der færre skænderierog konflikter blandt sko-lens ansatte?12. Er der færre slåskampeblandt eleverne?13. Er skolens ansatte ble-vet bedre til at samarbejdeindbyrdes?14. Er elevernes adfærdover for hinanden forbed-ret?

Har du flere kommentarer om ændringen i adfærden på om skoleneller andre ting kan du skrive her:_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________De følgende spørgsmål handler om den generelle adfærd i de klas-ser som du har undervist i de seneste 3 år.Er følgende forhold blevet ændret i de seneste år:(Sæt venligst kryds ved alle spørgsmålene)Ja, deter klartbedreend førJa,det erbedreendførUæn-dretNej,det erværreendførNejdet erklartværreend før

over for skolens ansatteforbedret?21. Er der færre afbrydel-ser i timerne?22. Er eleverne blevet me-re motiveret i undervis-ningen?23. Er eleverne blevetbedre til at ignorere for-styrrelser fra klassekam-merater?24. Er der bedre arbejdsroi timerne?25. Er eleverne blevetbedre til at gøre hvad debliver bedt om?26. Er eleverne blevetbedre til at modtage kri-tik?27. Er eleverne blevetbedre til at følge instrukti-oner?28. Kommer elever ogskolens ansatte bedre udaf det med hinanden?29. Er eleverne blevetbedre til at samarbejdemed hinanden?30. Er eleverne blevet me-re engageret i undervis-ningen?

Har du flere kommentarer om ændringen i adfærden i klasserneeller andre ting kan du skrive her:_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________De følgende spørgsmål handler om dit eget arbejde og om deeventuelle ændringer, der er sket på din arbejdsplads i de seneste 3årEr følgende forhold blevet ændret i de seneste 3 år:(Sæt venligst kryds ved alle spørgsmålene)Ja, deter klartbedreend førJa, deter bed-re endførUæn-dretNej,det erværreend førNejdet erklartværreend før

Har du flere kommentarer om dit eget arbejde kan du skrive her:_____________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________FOR ANSATTE, DER HAR VÆRET PÅ SKOLEN I MINDREEND 2 ÅR:Hvor enig eller uenig er du i følgende udsagn:(Sæt venligst kryds ved alle spørgsmålene)Ja, deter klartbedreend førJa, deter bed-re endførUæn-dretNej,det erværreendførNejdet erklartværreend før

138SDQ-Total0,288(0,464)-0,151(0,255)-0,129(0,104)-0,107(0,352)8,393 ***(2,383)0,779(1,031)5,379 ***(0,055)2,510 ***(0,047)444SDQ-Emotionelleproblemer-0,042(0,197)-0,014(0,076)0,018(0,031)-0,021(0,152)0,703(0,711)0,302 **(0,487)1,245 ***(0,070)1,104 **(0,047)444SDQ-Adfærds-SDQ-Kammeratskabs-vanskeligheder1SDQ-Hyperaktivitet2problemer0,089-0,0740,277 *(0,138)(0,196)(0,163)-0,1530,066(0,107)(0,086)0,004(0,035)-0,1400,294 **-0,218 *(0,105)(0,148)(0,123)0,906 ***2,817 ***0,563(0,126)(0,489)(0,797)0,1560,0710,365 **(1,778)(20,554)(0,483)1,560 ***2,658 ***1,414 ***(0,055)(0,053)(0,059)0,753 ***1,0590,881 ***(0,047)(0,047)(0,047)444444444

SDQ-Total.EmotionelleKammerat-Kammerat- Adfærdsvan- Adfærdsvan- Hyperaktivi- Hyperakti- Prosocial.Uden for SDQ-total. problemer. Emotionelleskabspro-skabspro-skeligheder.skelighe-tet. Udenvitet. IUden for Prosocial.normal-I nor-Uden forproblemer. I blemer. Uden blemer. IUden forder. I nor-for normal- normal-normal-I nor-området malom-normalom- normalom- for normal-normalom- normalområ- malområ-områdetområdet området malom-ved base- rådet ved rådet vedrådet vedområdet ved rådet veddet ved base- det vedved base-ved base- ved base- rådet vedlinebaseline baselinebaselinebaselinebaselinelinebaselinelinelinelinebaseline-0,027(0,210)(0,779)(0,201)0,385 **1,750 *** -0,233(0,160)(0,636)(0,149)1,139 *** 3,375 *** 9,045 ***(0,073)(0,260)(0,071)

ser fra seks PALS-pilotskoler og tre skoler, der er ved at implementere PALS. Gennemsnit for SDQ-skalaerne og skoleklassekarakteristika.Antal1421421421421421421421421421421421427720,2863,8574,6802,0355,7821,1760,8802,8240,9018,6135,8581,7961,6393,2321,4992,073182182182182182182996,4721,3171,1482,8171,1908,3177,0982,0121,9463,3001,9492,572182182182182182182GennemsnitKontrolStandardafvigelseAntalGennemsnit5,5331,1650,9672,4510,9518,0384,8680,8790,8082,3900,7917,98420,2224,000SNAP-interventionStandardafvigelse6,6191,7731,8233,0241,7632,2435,8951,6481,6222,7081,6422,2583,8331,658

142SDQ-Emotionelleproblemer SDQ-Adfærdsvanskeligheder1SDQ-Hyperaktivitet SDQ-Kammeratskabsproblemer-0,1860,084-0,1040,086(0,181)(0,118)(0,192)(0,150)-0,068-0,114 *-0,254 **-0,002(0,072)(0,061)(0,114)(0,081)0,024-0,024-0,092 *0,013(0,031)(0,027)(0,050)(0,035)-0,118-0,254 ***0,028-0,264 **(0,140)(0,090)(0,146)(0,114)1,0021,997 ***5,543 ***0,784(0,740)(0,630)(1,184)(0,828)0,349 ***(0,356)1,258 ***(0,062)1,548 ***(0,046)0,190 *(0,965)0,455(0,565)2,688 ***(0,045)0,432 ***(0,314)1,345 ***(0,052)0,989(0,208)1,225 ***(0,039)6480,778 ***(0,039)6481,248 ***(0,039)6480,984(0,039)648

144Emotionelle Emotionel-proble-le pro-mer. Uden blemer. Ifor nor-normal-malom-områdetrådet ved ved før-førmåling måling1,494-0,349 **(1,249)(0,166)-3,077 ***0,155(0,865)(0,126)6,160 ***0,819 ***(0,441)(0,058)505980,4060,016Kammerat-Kammerat- Adfærds-skabs-proble-skabs-vanske- Adfærds-mer.proble-ligheder.vanske-Uden former. IUden forligheder.normal-normal-normal-I normal-områdetområdetområdetområdetved før-ved før-ved før-ved før-målingmålingmålingmåling0,324-0,002-0,2520,125(0,351)(0,150)(0,453)(0,099)-0,780 *** -0,022-1,192 *** -0,060(0,256)(0,114)(0,323)(0,075)2,150 ***0,516 ***4,830 *** 0,306 ***(0,124)(0,052)(0,160)(0,035)2144341065420,1090,0000,4020,006

Bilagstabel B4.9 viser resultaterne af analyser af adfærdslisterne. Tabellenindeholder kun resultater for modeller, hvor der var signifikante resulta-ter for SNAP-interventionen.BILAGSTABEL B4.9Effekter af SNAP-intervention målt ved lineære regressioner på adfærdslister.Regressionskoefficienter. Standardfejl i parentes.Gentagne brud påklassens eller Forladt plads udenskolens regler – at have fået lov –eftermålingeftermåling0,876 **0,898 ***(0,384)(0,252)-0,038(0,157)0,040(0,236)0,201(0,160)0,830 ***(0,251)70,120Løb i gange ogfællesrum –eftermåling0,754 **(0,377)

LITTERATURArnesen, A. & E. Askeland (2006):Håndbok PALS. Positiv atferd, støttendelæringsmiljø og samhandling i skolen.Oslo: Atferdssenteret – Norsksenter for studier av problematferd og innovativ praksis.Arnesen, A., M.-A. Sørlie & T. Ogden (2007):Positiv adfærd og støttendelæringsmiljø i skolen.Frederikshavn: DAFOLO.Augimeri, L.K., D.P. Farrington, C.J. Koegl & D.M. Day (2007): “TheSNAP Under 12 Outreach Project: Effects of a CommunityBased Program for Children with Conduct Problems”.Journal ofChild and Family Studies,16(6), s. 799-807.Augimeri, L.K., M. Walsh & N. Slater (2011): ”Rolling Out SNAP. AnEvidence-based Intervention: A Summary of Implementation,Evaluation, and Research”.International Journal of Child, Youth andFamily Studies,2(1), s. 330-352.Becker, A., H.C. Steinhausen, G. Baldursson, S. Dalsgaard, M.J. Lorenzo,S.J. Ralston, M. Döpfner & A. Rothenberger (2006):“Psychopathological Screening of Children with ADHD:Strengths and Difficulties Questionnaire in a Pan-EuropeanStudy”.European Child & Adolescent Psychiatry,15(1), s. 56-62.Björnsdóttir, A. & M. Sigmarsdóttir (2009): ”Parent ManagementTraining – The Oregon Model (PMTO): Effects of a Preventionand Treatment Program for Behavioral Problems amongKindergarten and Elementary School Children inHafnarfjördur”.Icelandic Journal of Education,18(2), s. 1-18.

Bronfenbrenner, U. (1979):The Ecology of Human Development: Experimentsby Nature and Design.Cambridge, MA: Harvard University Press.Dickey, C.R., K. Conley & M. Cave (2011):PBIS Assessment Manual.Eugene, Oregon: Educational and Community Supports,Univesity of Oregon.Ervin, R.A., E. Schaughency, A. Matthews, S.D. Goodman & M.T.McGlinchey (2007): “Primary and Secondary Prevention ofBehavior Difficulties: Developing a Data-informed Problem-Solving Model to Guide Decision Making at a School-WideLevel”.Psychology in the Schools,44(1), s. 7-18.Finansministeriet (2010):Specialundervisning i folkeskolen – veje til en bedreorganisering og styring.København: Undervisningsministeriet.Fixsen, D.L., K.A. Blase, S.F. Naoom & F. Wallace (2009): ”CoreImplementation Components”.Research on Social Work Practice,19(5), s. 531-540.Fixsen, D.L., S.F. Naoom, K.A. Blase, R.M. Friedman & F. Wallace(2005):Implementation Research: A Synthesis of the Literature.Tampa,FL: University of South Florida, Louis de la Parte FloridaMental Health Institute, The National Implementation ResearchNetwork, FMHI Publication #231.Flannery, K.B., G. Sugai & C.M. Anderson (2009): ”School-WidePositive Behavior Support in High School”.Journal of PositiveBehavior Interventions,11(3), s. 177-185.Forgatch, M.S. & G.R. Patterson (1989):Parents and Adolescents LivingTogether: Part 2: Family Problem Solving.Eugene, Oregon: CastaliaPublishing Co.Gelman, A. & J. Hill (2007):Data Analysis Using Regression andMultilevel/Hierarchical Models.New York: Cambridge UniversityPress.Goodman, R. (1999): “The Extended Version of the Strengths andDifficulties Questionnaire as a Guide to Child PsychiatricCaseness and Consequent Burden”.Journal of Child Psychology andPsychiatry,40(5), s. 791-799.Goodman, R. (1997): “The Strengths and Difficulties Questionnaire: aResearch Note”.Journal of Child Psychology and Psychiatry,38(5), s.581-586.Hanushek, E.A. & L. Woessmann (2008): ”The Role of Cognitive Skillsin Economic Development”.Journal of Economic Literature,46(3),s. 607-668.Horner, R.H., A.W. Todd, T. Lewis-Palmer, L.K. Irvin, G. Sugai & J.B.Boland (2004): ”The School-Wide Evaluation Tool (SET): AResearch Instrument for Assessing School-Wide Positive

Behavior Support”.Journal of Positive Behavior Interventions,6(1), s.3-12.Horner, R.H., G. Sugai, K. Smolkowski, L. Eber, J. Nakasato, A.W.Todd & J. Esperanza (2009): ”A Randomized, Wait-ListControlled Effectiveness Trial Assessing School-Wide PositiveBehavior Support in Elementary Schools”.Journal of PositiveBehavior Interventions,11(3), s. 133-144.Imbens, G. & J. Wooldridge (2008): ”Recent Developments in theEconometrics of Program Evaluation”.Journal of EconomicLiterature,47(1), s. 5-86.Imbens, G.W. & J.D. Angrist (1994): ”Identification and Estimation ofLocal Average Treatment Effects”.Econometrica,62(2), s. 467-475.Jiang, D., M. Walsh & L.K. Augimeri (2011): “The Linkage BetweenChildhood Bullying Behaviour and Future Offending”.CriminalBehaviour and Mental Health,21(2), s. 128-135.Kjøbli, J. & M.-A. Sørlie (2008): “School Outcomes of a Community-Wide Intervention Model Aimed at Preventing ProblemBehavior”.Scandinavian Journal of Psychology,49(4), s. 365-375.Klausen, K.K., J. Michelsen & D.M. Nielsen (2010):Den decentrale leder –en undersøgelse af vilkårene for ledelse i kommunernes decentraleserviceinstitutioner.København: Lederne.Lipman, E.L., M. Kenny, C. Sniderman, S. O’Grady, L. Augimeri, S.Khayutin & M.H. Boyle (2008): “Evaluation of a Community-based Program for Young Boys At-Risk of Antisocial Behaviour:Results and Issues”.Journal of the Canadian Academy of Child andAdolescent Psychiatry,17(1), s. 12.Loeber, R. (1990): ”Development and Risk Factors of Juvenile AntisocialBehavior and Delinquency”.Clinical Psychology Review,10(1), s. 1-41.Mayer, G.R. (1995): ”Preventing Antisocial Behavior in the Schools”.Journal of Applied Behavior Analysis,28(4), s. 467-478.Mayo, Elton (1949):The Social Problems of an Industrial Civilisation.London:Routledge and Kegan Paul Ltd.McCarney, R., J. Warner, S. Iliffe, R. van Haselen, M. Griffin & P. Fisher(2007): ”The Hawthorne Effect: A Randomised, ControlledTrial”.BMC Med. Res. Methodol.,7(30).Metzler, C.W., A. Biglan, J.C. Rusby & J.R. Sprague (2001): ”Evaluationof a Comprehensive Behavior Management Program toImprove School-Wide Positive Behavior Support”.Education &Treatment of Children (ETC),24(4), s. 448.Moncher, F.J. & R.J. Prinz (1991): ”Treatment Fidelity in OutcomeStudies”.Clinical Psychology Review,11(3), s. 247-266.

Mølgaard, D., E. Skibsted, F.B. Andersen & B. Ryberg (2011):Videncenternotat – pointer og anbefalinger: Implementering af LP ogPALS på skoler i Herning Kommune 2009-2011.Aarhus: VIAUniversity College.Nordahl, T. (2005):Læringsmiljø og pedagogisk analyse.Oslo, 19/05.Nordenbo, S.E., A. Holm, E. Elstad, J. Scheerens, M.S. Larsen, M.Uljens, P.F. Laursen & T.E. Hauge (2010):Input, Process, andLearning in Primary and Lower Secondary Schools. A Systematic Review.København: Danish Clearinghouse for Educational Research.Ogden, T. (1998):Elevatferd og læringsmiljø. Læreres erfaringer med og syn påelevatferd og læringsmiljø i grunnskolen.Oslo: Kirke-, utdannings- ogforskningsdepartementet.Ogden, T., M.-A. Sørlie & K.A. Hagen (2007): ”Building StrengthThrough Enhancing Social Competence in Immigrant Studentsin Primary School. A Pilot Study”.Emotional and BehaviouralDifficulties,12(2), s. 105-117.Patterson, G.R. & M.S. Forgatch (1987):Parents and Adolescents LivingTogether: Part 1: The Basics.Eugene, Oregon: Castalia PublishingCo.Patterson, G.R., J.B. Reid & T.J. Dishion (1998): ”Antisocial Boys”. I:Jenkin, J.M., K. Oatley & N.L. Stein (red.):Human Emotions: AReader.Malden, MA: Blackwell Publishers, s. 330-336.Pedersen, M.J., A. Rosdahl, S.C. Winter, A.P. Langhede & M. Lynggaard(2011):Ledelse af folkeskolerne – vilkår og former for skoleledelse.SFI –Det Nationale Forskningscenter for Velfærd, 11:39.Pejtersen, J.H., J.B. Bjorner & P. Hasle (2010): ”Determining MinimallyImportant Score Differences in Scales of the CopenhagenPsychosocial Questionnaire”.Scandinavian Journal of Public Health,38(3 suppl), s. 33-41.Rasch-Christensen, A. (2009):Implementering af LP og PALS.Tilgængeligpå: http://fou.emu.dk/offentlig_show_projekt.do?id=152505.Besøgt 1-9-2011.Singer, J.D. & J.B. Willett (2003):Applied Longitudinal Data Analysis:Modeling Change and Event Occurrence.New York: OxfordUniversity Press, USA.Spaulding, S.A., L.K. Irvin, R.H. Horner, S.L. May, M. Emeldi, T.J.Tobin & G. Sugai (2008): ”Schoolwide Social-BehavioralClimate, Student Problem Behavior, and Related AdministrativeDecisions: Empirical Patterns from 1,510 Schools Nationwide”.Journal of Positive Behavior Interventions,12(2), s. 69-85.Sprague, J.R. & H.M. Walker (2005):Safe and Healthy Schools: PracticalPrevention Strategies.The Guilford Press.

Sugai, G. & R.R. Horner (2006): ”A Promising Approach for Expandingand Sustaining School-Wide Positive Behavior Support”.SchoolPsychology Review,35(2), s. 245.Sugai, G. & R. Horner (2002): ”The Evolution of Discipline Practices:School-Wide Positive Behavior Supports”.Child & FamilyBehavior Therapy,24(1-2), s. 23-50.Svendsen, G.T. (2011): ”Evidensbaseret inkluderende praksis – de godecirkler i skole, SFO og familie”.Pædagogisk Psykologisk Tidsskrift,48(3), s. 201-215.Svendsen, G.T. (2009): ”PALS – nyt evidensbaseret skoleudviklings-program i Danmark”.Pædagogisk Psykologisk Tidsskrift,46(6), s.392-403.Sørlie, M.-A. (2000):Alvorlige atferdsproblemer og lovende tiltak i skolen: enforskningsbasert kunnskapsstatus.Oslo: Praxis.Sørlie, M.-A. & T. Ogden (2007): ”Immediate Impacts of PALS: ASchool-Wide Multi-Level Programme Targeting BehaviourProblems in Elementary School”.Scandinavian Journal ofEducational Research,51(5), s. 471-492.Sørlie, M.-A. & T. Torsheim (2011): ”Multilevel Analysis of theRelationship Between Teacher Collective Efficacy and ProblemBehaviour in School”.School Effectiveness and School Improvement,22(2), s. 175-191.Walker, H.M., G. Colvin & E. Ramsey (1995):Antisocial Behavior in School:Strategies and Best Practices.Pacific Grove, CA.: ThomsonBrooks/Cole Publishing Co.Wooldridge, J.M. (2002):Econometric Analysis of Cross Section and Panel Data.Cambridge: The MIT Press.Wright, K.B. (2005): ”Researching Internet-Based Populations:Advantages and Disadvantages of Online Survey Research,Online Questionnaire Authoring Software Packages, and WebSurvey Services”.Journal of Computer-Mediated Communication,10(3).Yun, G.W. & C.W. Trumbo (2000): ”Comparative Response to a SurveyExecuted by Post, E-mail, & Web Form”.Journal of Computer-Mediated Communication,6(1).Østergaard, P. & H.J. Juhl (2005): ”Internetundersøgelser: problemer ogmuligheder”.Ledelse & Erhvervsøkonomi,65(4), s. 224-238.

SFI-RAPPORTER SIDEN 2011SFI-rapporter kan købes eller downloades gratis fra www.sfi.dk. Enkelterapporter er kun udkommet som netpublikationer, hvilket vil fremgå aflisten nedenfor.11:01 Liversage, A., Jakobsen, V. & Rode Hansen, I.:”Det var ikke nemt,men jeg klarede det!” Interviewundersøgelse med etniske minoritetskvinderom uddannelse.156 sider. ISBN: 978-87-7119-000-7. Vejledendepris: 150,00 kr.11:02 Filges, T. & Holt, H.:AC-arbejdskraft i den vestlige del af RegionMidtjylland. Muligheder og barrierer.96 sider. ISBN: 978-87-7119-001-4. Vejledende pris: 90,00 kr.11:03 Lausten, M., Mølholt, A.-K., Hansen, H., Heiner Schmidt, L. &Aaquist, M:Forebyggende foranstaltninger 5-9 år. Dialoggruppe – om fo-rebyggelse som alternativ til anbringelse. Delrapport 3.184 sider. ISBN:978-87-7119-002-1. Vejledende pris: 180,00 kr.11:04 Jacobsen, J. & Lindstrøm, M.:Lokal integration af førtidspensionister.110 sider. ISBN: 978-87-7119-003-8. Vejledende pris: 110 kr.11:05 Deding, M. (red.):Forskning om tvang i misbrugsbehandling. En kort-lægning foretaget af SFI Campbell.110 sider. ISBN: 978-87-7119-004-5. Netpublikation.

Oldrup, H., Lindstrøm, M. & Korzen, S.:Vold mod førskolebørn.Praksis og barrierer for opsporing og underretning.110 sider. ISBN:978-87-7119-005-2. Netpublikation.Christensen, E.:Væk fra Grønland. Udsatte grønlændere, der er flyttettil Danmark med deres børn.88 sider. ISBN: 978-87-7119-006-9.Vejledende pris: 90,00 kr.Brink Thomsen, L. & Høgelund, J.:Handicap og beskæftigelse. Ud-viklingen mellem 2002 og 2010.140 sider. ISBN: 978-87-7119-007-6. Vejledende pris: 140,00 kr.Bengtsson, S., Hansen, H. & Røgeskov, M.:Børn med en funk-tionsnedsættelse og deres familier. Den første kortlægning i Norden.108 si-der. ISBN: 978-87-7119-008-3. Vejledende pris: 110,00 kr.Vitus, K. & Kjær, A.A.:PSP-samarbejdet. En kortlægning af PSP-Frederiksberg, Odense, Amager og Esbjerg.201 sider. ISBN: 978-87-7119-009-0. Netpublikation.Graversen, B.K.:Tættere på arbejdsmarkedet? Om effektmåling af be-skæftigelsesindsatsen for ikke-arbejdsmarkedsparate ledige.78 sider.ISBN: 978-87-7119-010-6. e-ISBN: 978-87-7119-048-9. Vejle-dende pris: 70,00 kr.Andersen, D., Thomsen, R., Langhede, A.P., Albæk Nielsen, A.& Toft Hansen, A.:Skolernes samarbejde. Kortlægning af skolerneskontakt med kommunale forvaltninger og andre institutioner.249 sider.ISBN: 978-87-7119-011-3. Netpublikation.Larsen, M., Bach, H.B. & Ellerbæk, L.S.:55-70-åriges forbliven påarbejdsmarkedet. Adfærd, forventninger, aftaler og kendskab til regler.222sider. ISBN: 978-87-7119-012-0. e-ISBN: 978-87-7119-045-8.Vejledende pris: 220,00 kr.Christoffersen, M.N. & Hammen, I.:ADHD-indsatser. En forsk-ningsoversigt.129 sider. ISBN: 978-87-7119-013-7. Vejledende pris:130,00 kr.Oldrup, H., Korzen, S., Lindstrøm, M. & Christoffersen, M.N.:Vold mod børn og unge. Hovedrapport.95 sider. ISBN: 978-87-7119-014-4. Vejledende pris: 90,00 kr.Rostgaard, T., Bjerre, L., Sørensen, K. & Rasmussen, N.:Omsorgog etnicitet. Nye veje til rekruttering og kvalitet i ældreplejen.207 sider.ISBN: 978-87-7119-015-1. Vejledende pris: 200,00 kr.Bengtsson, S., Alim, W., Holmskov, H. & Lund, A.:Sociale indsat-ser til mennesker med ADHD. En kortlægning.166 sider. ISBN: 978-

87-7119-017-5. e-ISBN: 978-87-7119-040-3. Vejledende pris:160,00 kr.Böcker Jakobsen, T., Langhede, A.P. & Sørensen, K.:Lige mulig-heder – støtte til udsatte børn og unge. Evalueringsrapport 1: Beskrivelse afigangsatte forsøgsprojekter.87 sider. ISBN: 978-87-7119-016-8. Net-publikation.Albæk, K. & Brink Thomsen, L.:Er kvindefag lavtlønsfag? En ana-lyse af sammenhængen mellem løn og andelen af kvinder i enkelte arbejds-funktioner.97 sider. ISBN: 978-87-7119-018-2. Vejledende pris:97,00 kr.Knudsen, L. & Egelund, T.:Effekter af slægtspleje. Slægtsanbragtebørn og unges udvikling sammenlignet med plejebørn fra traditionelle pleje-familier.161 sider. ISBN: 978-87-7119-019-9. Vejledende pris:160,00 kr.Kofod, J., Dyrvig, T.F., Markwardt, K., Lagoni, N., Bille, R., Ter-mansen, T., Christiansen, L., Toldam, E.J. & Vilshammer, M.:Pro-stitution i Danmark.395 sider. ISBN: 978-87-7119-020-5. Vejle-dende pris: 390,00 kr.Brink Thomsen, L. & Høgelund, J.:Handicap og beskæftigelse i2010. Regionale Forskelle.68 sider. ISBN: 978-87-7119-021-2. e-ISBN: 978-87-7119-022-9. Vejledende pris: 60,00 kr.Amilon, A.:Supplerende arbejdsmarkedspension. Hvorfor vælger ellerfravælger førtidspensionister ordningen?92 sider. ISBN: 978-87-7119-023-6. e-ISBN: 978-87-7119-024-3. Vejledende pris: 90,00 kr.Christensen, E. & Hansen, H.:Den sociale indsats for børn og unge iGrønland. Kortlægning af aktiviteterne 2011.44 sider. ISBN: 978-87-7119-025-0. e-ISBN: 978-87-7119-026-7. Vejledende pris: 40,00 kr.Lyk-Jensen, S.V., Weatherall, C.D., Heidemann, J., Damgaard, M.& Glad, A.:Soldater før og under udsendelse. En kortlægning.190 sider.e-ISBN: 978-87-7119-028-1. Netpublikation.Ottosen, M.H. & Stage, S.:Dom til fælles forældremyndighed. En eva-luering af forældreansvarsloven.257 sider. ISBN: 978-87-7119-029-8.e-ISBN: 978-87-7119-030-4. Vejledende pris: 250,00 kr.Liversage, A. & Leelo Knudsen, L.:Kvinder i byggefag. En interview-undersøgelse.131 sider. ISBN: 978-87-7119-031-1. e-ISBN: 978-87-7119-032-8. Vejledende pris: 130,00 kr.Christensen, E. & Hansen, H.:Kalaallit nunaanni meeqqanut inu-usuttunullu isumaginninnikkut suliniutit.46 sider. ISBN: 978-87-

7119-033-5. e-ISBN: 978-87-7119-034-2. Vejledende pris: 40,00kr.Lausten, M., Mølholt, A.-K., Hansen, H., Vammen, K.S.,Schmidt, L.H. & Legendre, A.-C.:Forebyggende foranstaltninger 10-13 år. Dialoggruppe – om forebyggelse som alternativ til anbringelse. Del-rapport 4.184 sider. ISBN: 978-87-7119-036-6. e-ISBN: 978-87-7119-037-3. Vejledende pris: 180,00 kr.Bengtsson, S.:Danmark venter stadig på sin psykiatrireform. Et rids afudviklingen de seneste årtier.78 sider. ISBN: 978-87-7119-038-0. e-ISBN: 978-87-7119-039-7. Vejledende pris: 70,00 kr.Oldrup, H.H. & Vitus, K.:Indsatser over for udsatte 0-3-årige og deres foræl-dre. En systematisk forskningsoversigt.213 sider. ISBN: 978-87-7119-041-0.e-ISBN: 978-87-7119-042-7. Vejledende pris: 210,00 kr.Bo Madsen, M., Jacobsen, S. & Jensen, S.:Socialt bedrageri. Et littera-turstudie.100 sider. e-ISBN: 978-87-7119-044-1. Netpublikation.Christoffersen, M.N., Skov Olsen, P., Vammen, K.S., SanderNielsen, S., Lausten, M. & Brauner, J.:Tidlig identifikation af kri-minalitetstruede børn og unge. Risiko- og beskyttelsesfaktorer.207 sider.ISBN: 978-87-7119-046-5. e-ISBN: 978-87-7119-047-2. Vejle-dende pris: 200,00 kr.Fuglsang Olsen, R., Egelund, T. & Lausten, M.:Tidligere anbragtesom unge voksne.145 sider. ISBN: 978-87-7119-043-4. e-ISBN:978-87-7119-051-9. Vejledende pris: 140,00 kr.Brink Thomsen, L. & Høgelund, J.:Køn, Handicap og beskæftigelse i2010.47 sider. e-ISBN: 978-87-7119-053-3. Netpublikation.Liversage, A. & Gudrun Jensen, T.:Parallelle retsopfattelser i Dan-mark. Et kvalitativt studie af privatretlige praksisser blandt etniske mino-riteter.191 sider. ISBN: 978-87-7119-054-0. e-ISBN: 978-87-7119-055-7. Vejledende pris: 190,00 kr.Ottosen, M.H., Stage, S. & Søndergaard Jensen, H.:Børn i dele-ordninger. En kvalitativ undersøgelse.209 sider. ISBN: 978-87-7119-056-4. ISBN: 978-87-7119-057-1. Vejledende pris: 200,00 kr.Jin Pedersen, M., Rosdahl, A., Winther, S.C., Langhede, A.P. &Lynggaard, M.:Ledelse af folkeskolerne. Vilkår og former for skoleledel-se.283 sider. e-ISBN: 978-87-7119-058-8. Netpublikation.Dreyer Espersen, L., Eiberg, M. & Andersen, D.:Veje til ungdoms-uddannelse 2. Kvalitative interview med skoleledere, lærere, elever og UU-vejledere.169 sider. e-ISBN: 978-87-7119-060-1. Netpublikation.

Palmhøj Nielsen, L. & Skov Olsen, P.:11-åriges trivsel og risiko.Statistiske analyser af 11-åriges trivsel.115 sider. ISBN: 978-87-7119-061-8. e-ISBN: 978-87-7119-062-5. Vejledende pris: 110,00 kr.Thuesen, F., Tørslev, M.K. & Gudrun Jensen, T.:Rekruttering ogfastholdelse af højtuddannet arbejdskraft. Danmark, Norge, Holland,Storbritannien og Canada.244 sider. ISBN: 978-87-7119-063-2. e-ISBN: 978-87-7119-064-9. Vejledende pris: 240,00.Brink Thomsen, L., Holt, H., Jensen, S. & Thuesen, Frederik:Virksomheders sociale engagement. Årbog 2011.194 sider. ISBN: 978-87-7119-065-6. e-ISBN: 978-87-7119-066-3. Vejledende pris:190,00 kr.Bengtsson, S. & Stigaard, D.L.:Aktuel skandinavisk og britisk handi-capforskning. En kortlægning af miljøer.318 sider. ISBN: 978-87-7119-067-0. e-ISBN: 978-87-7119-068-7. Vejledende pris: 310,00 kr.Lauritzen, H.H., Boje-Kovacs, B. & Benjaminsen, L.:Hjemløshed iDanmark 2011. National kortlægning.148 sider. ISBN: 978-87-7119-069-4. e-ISBN: 978-87-7119-070-0. Vejledende pris: 140,00 kr.Stigaard, D.L.:Fra hjemløshed til egen bolig. Et interviewstudie blandt tidlige-re hjemløse.68 sider. e-ISBN: 978-87-7119-071-7. Netpublikation.Calmar Andersen, S. & Winter. S.C. (red.):Ledelse, læring og trivsel ifolkeskolerne.164 sider. ISBN: 978-87-7119-072-4. e-ISBN: 978-87-7119-073-1. Vejledende pris: 160,00 kr.Holt, H. & Larsen, M.:Kønsopdelt lønstatistik og redegørelse om lige løn.Evaluering af loven.118 sider. e-ISBN: 978-87-7119-074-8. Net-publikation.Brauner, J., Skov Olsen, P. & Egelund, T.:Muligheder for Doku-mentation af anbringelser. En gennemgang af målemetoder.168 sider.ISBN: 978-87-7119-076-2. e-ISBN: 978-87-7119-077-9. Vejle-dende pris: 160,00 kr.Lyk-Jensen, S.V., Glad, A., Heidemann, J. & Damgaard, M.:Soldater efter udsendelse. En spørgeskemaundersøgelse.117 sider. e-ISBN: 978-87-7119-075-5. Netpublikation.Lausten, M., Hansen, H., Mølholt, A.-K., Vammen, K.S. & Le-gendre, A.-C.:Forebyggende foranstaltninger 14-17 år. Dialoggruppe –om forebyggelse som alternativ til anbringelse. Delrapport 5.235 sider.ISBN: 978-87-7119-078-6. e-ISBN: 978-87-7119- 079-3. Vejle-dende pris: 230,00 kr.

Rostgaard, T., Brunner, T.N. & Fridberg, T.:Omsorg og livskvaliteti plejeboligen.150 sider. ISBN: 978-87-7119-080-9. e-ISBN: 978-87-7119-081-6. Vejledende pris: 150,00 kr.Ellerbæk, L.S. & Høst, A.:Udlejningsredskaber i almene boliger. Enanalyse af brugen og effekterne af udlejningsredskaber i almene boligområder.258 sider. ISBN: 978-87-7119-084-7. e-ISBN: 978-87-7119- 085-4. Vejledende pris: 250,00 kr.Høgelund, J.:Effekter af den beskæftigelsesrettede indsats for sygemeldte.En litteraturoversigt.112 sider. e-ISBN: 978-87-7119-086-1. Net-publikation.Skovbo Rasmussen, P. & Skov Olsen, S.:Positiv adfærd i læring ogsamspil (PALS). En evaluering af en skoleomfattende intervention på 11pilotskoler.158 sider. ISBN: 978-87-7119-087-8. e-ISBN: 978-87-7119-088-5. Vejledende pris: 150,00 kr.Fridberg, T. & Damgaard, M.:Frivillige i hjemmeværnet 2011.120sider. ISBN: 978-87-7119-089-2. e-ISBN: 978-87-7119-090-8.Vejledende pris: 120,00 kr.

PoSItIV aDFÆrD I lÆrING oG SamSPIl (PalS)en evaluerinG aF en SkoleomFattenDe intervention PÅ 11 PilotSkolerPalS er et såkaldt skoleomfattende program, hvor alle ansatte, elever og forældre involveres i at forebyggeadfærdsproblemer blandt eleverne. Denne rapport evaluerer brugen af PalS på 11 danske skoler, der somde første begyndte at indføre programmet i 2008.evalueringen viser blandt andet, at programmet foreløbig ikke har nogen målbar virkning på antallet af ele-ver i specialklasser, afgangskarakterer eller ulovligt fravær. men 4 ud af 5 ansatte på PalS-skolerne oplever,at programmet har gjort dem bedre til at håndtere vanskelige elever.Da programmet er under implementering, er det på nuværende tidspunkt ikke muligt at foretage et egentligteffektstudie. rapporten diskuterer afslutningsvis udfordringer i forhold til en fremtidig effektevaluering afPalS-programmet.rapporten er bestilt og finansieret af Socialstyrelsen.