Arbejdsmarkedsudvalget 2009-10
AMU Alm.del
Offentligt
ArbejdstilsynetStikprøvevis effektevaluering afbranchearbejdsmiljørådenes projekter
Capacent17. marts 2008
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Indhold1.1.12.2.12.22.2.13.4.4.14.24.34.44.54.64.74.84.94.105.5.15.25.35.3.15.3.25.45.5A.B.C.D.ForordUndersøgelsens designResumeDeskriptiv analyseVurdering af projekterneTværgående temaerDen deskriptive analyseEvaluering af projekternePjecer og håndbøgerBladeBranchevejledningKortlægning/ForprojektMundtlig formidlingKonferencer/MesserKampagneVærktøj og undervisningHjemmesideUdviklingsprojekterTværgående temaerStrategisk forankringAnsøgningsprocessenProjektprocessenGod praksis for projektprocesserInvolvering og kommunikationEvaluering af projekterneKvalitetsstyring og dokumentationInterviewede personer i forbindelse med evalueringenBaggrund og metodeEkspertpanelet – cv'erDe udvalgte projekter til effektevaluering114458111516202224272932343638404042444449525457586672
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
1. ForordCapacent har gennemført en evaluering af de 116 projekter, Branchear-bejdsmiljørådene (herefter BAR'ene) har fået bevilget midler til af Arbejds-tilsynet i 2005 og 2006, og som er afsluttet senest marts 2007. Evalueringener gennemført for Arbejdstilsynet.Capacent vil gerne takke alle dem, der har bistået os med oplysninger ogkommentarer undervejs i denne evaluering, herunder deres forståelse forden belastning af BAR-systemet, vi har forårsaget. Vi vil gerne takke BAR-konsulenter, repræsentanter fra Branchearbejdsmiljørådene, BAR-sekre-tariater, repræsentanter fra arbejdsmarkedets parter, arbejdsmiljørådgivereog konsulenter samt arbejdsmiljøforskere og andre forskere. En særlig taktil dem, vi har interviewet vedrørende de mange projekter, og som også hartaget sig tid til at kommentere vores specifikke projektevalueringer. Inter-viewpersonerne fremgår af bilag A.
1.1 Undersøgelsens designDeskriptiv analyse ogeffektevaluering
Evalueringen omfatter en deskriptiv analyse af alle de 116 projekter. Der erdesuden foretaget en mere indgående effektevaluering af 37 projekter (jf.oversigten i bilag C). Udvælgelseskriterierne for de 37 projekter fremgår afbilag B.Evalueringen har omfattet to runder. Første runde var en pilotrunde, hvorder blev gennemført både en deskriptiv analyse og en effektevaluering af etlille antal projekter. På basis af de indvundne erfaringer blev den egentligeevaluering gennemført i anden runde, som også har omfattet en deskriptivanalyse og en mere uddybende effektevaluering af udvalgte projekter. Den-ne rapport udgør den afsluttende rapport, jf. figur 1.1.Opgaven for Arbejdstilsynet rummer desuden en formidlingsfase, som end-nu udestår.
To runder
Formidlingsfase
1
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008Evaluering I (Pilot)Evaluering II
Figur 1.1Evalueringens faser
Fase 1Deskriptivanalyse
Fase 2Effekt-evaluering
Fase 3Deskriptivanalyse
Fase 4Effekt-evaluering
Fase 5Formidling
Beskrivelse afprojekterne
Der er gennemført interview med alle projektledere, hvor dette var muligt.På baggrund af interviewet og foreliggende skriftligt materiale har Capacentudarbejdet en projektrapport, der beskriver projektet. Rapporter er sendt tilhøring i BAR'et for at sikre, at beskrivelsen af projektet stemmer overensmed BAR'ets egen forståelse.På basis af beskrivelserne er projekterne blevet evalueret. Evalueringen ersket ved tre tilgange: For det første er der i de tilfælde, hvor det har væretmuligt, gennemført en spørgeskemaundersøgelse (et survey) blandt projek-tets målgruppe. For det andet har Capacent selvstændigt evalueret en rækkeaspekter af projekterne, og endelig har et ekspertpanel vurderet de enkelteprojekter og projekterne som helhed. De tre evalueringsformer er gennem-ført i den nævnte rækkefølge, og den viden, de foregående evalueringer harbibragt, er anvendt i det videre forløb. I denne rapport giver Capacent ensamlet evaluering af projekterne på baggrund af disse forskellige kilder.Ekspertpanelet har bestået af en række eksperter inden for arbejdsmiljøom-rådet. Panelet er sammensat således, at det repræsenterer forskellige ar-bejdsmiljøfaglige og formidlingsmæssige kompetencer, og i alt består pane-let af seks eksperter, jf. oversigten nedenfor. Eksperternes cv'er fremgår afbilag C.
Evalueringer
Ekspertpanelet
Faglige områdeTekniskErgonomiskPsykologiskSundhedsmæssigKommunikation og strategiTabel 1.1Ekspertpanelets deltagereOrganisationsforståelse
OmrådeekspertCand.scient., Peter Mortensen, Eurofins Miljø A/SProfessor i produktionsergonomi, Jørgen Winkel, GöteborgsUniversitet og NFAArbejds- og organisationspsykolog, Lisette Jespersen,Psykologerne Jespersen og LaursenSpeciallæge i arbejdsmedicin, Ove Gaardboe, RegionshospitaletHorsensDirektør Jesper Højberg, Advice A/SProfessor i organisationsteori, Kurt Klaudi Klausen, SyddanskUniversitet
Ekspertpanelet har gennemlæst relevante materialer om de enkelte projek-ter. På basis heraf har panelet været samlet til to panelmøder af henholdsvisen halv og to dages varighed. Det har endvidere reviewet relevante afsnit afde enkelte projektrapporter og den afsluttende rapport.2
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Evalueringens metode og baggrund fremgår af bilag B.Disposition
Rapporten er disponeret således:••Kapitel 3 rummer rapportens deskriptive analyse, hvor alle 116 projek-ter indgår.Kapitel 4 og 5 er en uddybende effektevaluering af de udvalgte 37 pro-jekter. I kapitel 4 evalueres projekterne i forhold til ti forskellige grup-peringer, som projekterne falder i (pjecer, blade, branchevejledninger,konferencer og messer m.v.), mens kapitel 5 samler en række betragt-ninger og anbefalinger, der angår alle projekter.
Rapporten er udarbejdet af konsulent Jannie Noer, senior manager LeonLerborg og manager Gitte Goldschmidt1. Partner Jesper Høegh har læst re-view, og sekretær Hanne Kokholm har læst korrektur.
1
Gitte Goldschmidt blev undervejs i projektet selvstændig. Hun fortsatte som un-derleverandør på projektet til Capacent, som det var planlagt.3
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
2. ResumeCapacent har gennemført en evaluering af de 116 projekter, Branchear-bejdsmiljørådene (herefter BAR'ene) har fået bevilget midler til af Arbejds-tilsynet i 2005 og 2006, og som er afsluttet senest marts 2007. Evalueringener gennemført for Arbejdstilsynet. Alle 116 projekter er indgået i en de-skriptiv analyse. Desuden er 37 projekter udvalgt til en mere dybtgående ef-fektevaluering. Alle 116 projekter er beskrevet på basis af ansøgningsske-maer og selvevalueringsskemaer samt et supplerende survey. De 37 effekt-evalueringer er yderligere baseret på materialer om projektet, interview medprojektlederen og survey blandt målgruppen, hvor dette var muligt, samtCapacents selvstændige evaluering af en række aspekter af projekterne ogendelig et ekspertpanels arbejdsmiljøfaglige vurderinger. Der er udarbejdetselvstændige rapporter for hvert af de 37 udvalgte projekter. Dertil kommeren samlet deskriptiv analyse af alle 116 projekter. Denne rapport, som re-sumeres nedenfor, udgør den overordnede analyse og sammenfatning af alleøvrige rapporter og analyser.
2.1 Deskriptiv analyseProjekternes karakter
Projekterne består typisk af informations-, oplysnings- og vejledningsaktivi-teter. Projekterne har ofte til formål at udarbejde en branchevejledning ellerat gennemføre et seminar eller en temadag, mens meget få projekter resulte-rer i nyhedsbreve og rapporter.Målgruppen for 40% af projekterne er medarbejdere og/eller ledere i virk-somheder. Lidt færre har branchen som helhed som målgruppe.Den primære initiativtager til projekterne er BAR'ene selv, eventuelt på ba-sis af ekstern efterspørgsel.65% af projekterne er gennemført i samarbejde med andre arbejdsmiljørela-terede samarbejdspartnere, især konsulenter.
Målgruppe
Initiativtager
Samarbejdspartnere
4
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Evaluering
Det er typisk BAR'ene selv, der gennemfører evalueringerne, og det sker of-test ved hjælp af kvantitative metoder.Det er især de indirekte effektmål som målgruppens kendskab til og til-fredshed med projektet, der evalueres på ved afslutningen af projektet. Kuni enkelte tilfælde har projekterne til formål at måle på direkte effekter såsomændring i holdning og adfærd, reduktion af belastning og forbedring af ar-bejdsmiljøet. Desuden er effektmålene sjældent entydige, målbare og tids-baserede, som Arbejdstilsynet anbefaler2.I nogle få tilfælde er der ikke overensstemmelse mellem projektets formålog det planlagte effektmål, f.eks. når projektet sigter på at ændre adfærd,men kun måler på målgruppens kendskab til eller tilfredshed med projektet.Der er oftest god overensstemmelse mellem projektets erklærede effektmålog den valgte evalueringsmetode.I visse tilfælde har man planlagt en evalueringsmetode, men anvendt en an-den. Det sker typisk, når man sigter efter direkte effektmål såsom ændredeholdninger og adfærd.
2.2 Vurdering af projekterneProjekterne er blevet evalueret i ti grupper svarende til ti projekttyper med tiforskellige formål og resultat. De gennemgås nedenfor.Pjece/håndbog
Otte projekter havde til formål at producere en pjece eller en håndbog. I dis-se er der flere gode elementer. Det er oftest en styrke, hvis materialet erkort, teksten er understøttet af relevante billeder, målrettede, de organisato-riske elementers betydning for problemstillingen indgår, og hvis udbredel-sen af projektet og dets budskaber sker gennem forskellige medier. De seksaf projekterne har haft en ønsket udbredelse og anvendelse.To projekter resulterede i blade om arbejdsmiljø. Bladene består af separateartikler og lægger sig stilmæssigt op ad livsstilsmagasiner. Layoutmæssigtog journalistisk er bladene af høj faglig kvalitet, men det øger formentligikke deres effekt på arbejdsmiljøet. Det skyldes, at indhold og form ikkestemmer overens. Således forventer læsere noget andet af livsstilsmagasinerend arbejdsmiljømæssige oplysninger, og derfor har de næppe positiv ef-fekt. En traditionel pjece ville i flere henseender og i forhold til store dele afmålgruppen have været mere effektiv. Dog vil læsere med et aktuelt ogkonkret behov for viden om netop det, der står i bladene, kunne have glædeaf dem. Bladene er distribueret som forventet.
Blade
2
Denne anbefaling fremgår af vejledningen til udfyldning af ansøgningsskemaerog gælder alene for 2006-projekter.5
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Branchevejledninger
Flere projekter – fire – har haft til formål at udarbejde en branchevejledning.De er alle velskrevne og relevante, og de gør god brug af billeder, dog ikkealtid således, at de understøtter teksten.BAR'ene bør overveje, om vejledningerne kan suppleres med kortere mate-rialer, f.eks. en flyer, således at målgruppen udvides.Vejledningerne forekommer at være udbredt til en væsentlig andel af mål-gruppen, og målgruppen forventes i væsentlig udstrækning at anvende vej-ledningernes anvisninger. Man kan dog anbefale, at BAR'ene via projekterfølger op på, i hvilken udstrækning vejledningernes råd anvendes i virk-somhederne.
Kortlægning/forprojekt
BAR'ene har gennemført seks projekter, som har haft til formål at udgørebeslutningsgrundlaget for at designe og gennemføre egentlige projekter.Disse projekter kan anskues som kortlægninger og/eller forprojekter. Stør-stedelen af projekterne synes at have givet et godt beslutningsgrundlag ogkan som sådan bidrage til, at der senere gennemføres relevante og målrette-de projekter. De fleste projekter er allerede anvendt til at igangsætte et en-kelt projekt, hvad der dog ikke forekommer at være overvældende. På sigtforventer BAR'ene, at rapporterne vil give anledning til flere nye projekter.Det kan anbefales, at forprojekter mere målrettet sigter mod at formulereegentlige projekter end blot at udgøre baggrundsviden, hvor det er mereuklart, hvilke projekter de resulterer i.
Mundtlig formidling
Der er fem projekter, som har haft til formål at afholde arrangementer i formaf gå-hjem-møder eller temadage. Tre af dem har ikke kunnet effektevalue-res på grund af manglende information fra BAR'ene. De resterende to pro-jekter er relevante og fagligt gode. I fire ud af de fem projekter ser det ud til,at målgruppen er nået i tilstrækkelig grad, og at en acceptabel del af mål-gruppen har anvendt den viden, de har fået. Således er den direkte effekt afarrangementerne – f.eks. øget viden hos målgruppen – opnået. Det er mereusikkert, om målgruppen anvender denne viden til at påvirke arbejdsmiljøeti egen virksomhed.Alt andet lige bør projekter, der sigter mod mundtlig formidling, indgå somdel af en større indsats og gerne kombineres med en aktiv inddragelse afmålgruppen. Det vil styrke sandsynligheden for, at den formidlede videnanvendes efter arrangementerne.
Konferencer/messer
Tre projekter har drejet sig om konferencer og messer. To bestod i at deltagei messer og konferencer, mens det sidste havde til formål at arrangere enkonference. Ekspertpanelet er ikke enigt om, hvorvidt BAR'ene bør mar-kedsføre sig via deltagelse i konferencer. I givet fald anbefaler panelet, atBAR'ene markedsføres via en samlet indsats.Fire projekter har haft karakter af kampagner, dvs. relativt omfattende ind-satser med flere forskelligartede delprojekter. Tre af projekterne er relevanteog har været baseret på relevante aktiviteter. Det sidste projekt er relevant,men der er valgt et uhensigtsmæssigt og dyrt projektdesign i form af radio-og tv-spots. Kampagneprojekterne formår desuden ikke at påvirke modta-6
Kampagner
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
gernes holdninger og adfærd. Fordelen ved kampagner er, at et miks af me-dier øger sandsynligheden for, at der samlet ses opnås en effekt.Ved to af projekterne er der ikke gennemført selvevaluering. Det er særligtproblematisk ved det ene projekt, hvor der er anvendt forholdsvis mangepenge – 3 mio.kr. Et projekt af denne størrelse bør indeholde en selvstændigeffektevaluering.Værktøjer
Tre projekter er mundet ud i "værktøjer", dvs. noget, som målgruppen kun-ne anvende aktivt, det være sig et interaktivt hjemmesideprogram, kursus-materialer eller et udviklingsværktøj til daginstitutioner. Generelt er ud-formningen og indholdet af værktøjerne god, og der er skabt kreative og al-ternative løsninger. Alle tre projekter bygger desuden videre på eksisterendeviden og/eller tidligere projekter, hvilket er positivt.Projektet vedrørende kursusmaterialer er stoppet, fordi de ansvarlige BAR-konsulenter ikke længere er ansat. Det forekommer problematisk, at et godtprojekt, der er investeret mange ressourcer i, strander på den måde.
Hjemmeside
Et enkelt projekt har bestået i at redesigne en hjemmeside om arbejdsmiljø.Hjemmesiden er på mange måder forbilledlig: Opdateret, målrettet og vel-gennemtænkt i sin opbygning. Der er også et stort antal besøgende påhjemmesiden, og det formodes, at det er steget på grund af redesignet. Detmå antages, at projektet indirekte har bidraget til et bedre arbejdsmiljø.Der er gennemført to projekter, der udgør strategiarbejder for BAR'ene. Detforekommer hensigtsmæssigt at benytte strategiarbejde til at gennemtænkeBAR'ets eksistensgrundlag og til at sætte målrettet ind over for udvalgteområder. Man bør dog overveje, om BAR-midler bør anvendes til sådanneformål, og om de i givet fald bør udskilles i en særlig pulje.Det ene af de gennemgåede projekter forekommer ikke at have den fornød-ne faglige tyngde til at udgøre et solidt grundlag for BAR'ets videre strate-giarbejde. Det ene projekt har ført til nye initiativer, mens det endnu ikkevides, hvordan BAR'et vælger at anvende den anden rapport.
Udviklingsprojekter
Eksisterende viden
På tværs af de ti projekttyper kan man anføre to anbefalinger, som gældermange projekter. Den ene består i, at man ved alle projekter indledningsvisbør undersøge, om der er eksisterende viden og materialer på det område,som projektet angår. Det synes ikke eller kun i begrænset omfang at væretilfældet ved de evaluerede projekter. Det vil kunne gøres af BAR'et selv el-ler ved at rådspørge eksperter. Den viden, man eventuelt opnår, vil kunnekvalificere projektet i dets design, metode og indhold. Nogle gange vil etprojekt kunne bestå i store dele genbrug, andre gange vil man modificere el-ler sågar skrotte et planlagt projekt på basis af den indhentede viden.For det andet bør BAR'ene have et større kendskab til projekternes udbre-delse og anvendelse. F.eks. distribueres skriftlige materialer oftest primærtvia organisationerne, og BAR'ene har reelt ingen viden om, i hvilket omfangmaterialerne når målgruppen, samt hvordan de modtages og anvendes.BAR'ene bør gennemføre stikprøvevise undersøgelser af disse forhold, somkan bidrage med læring.7
Udbredelse oganvendelse
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
2.2.1 Tværgående temaerPanelets evalueringer og diskussioner gav anledning til en række almene re-fleksioner hos panelet, som angår de generelle rammer for BAR'enes pro-jekter. I forlængelse heraf har panelet formuleret en række almene temaerog fremsat en række generelle anbefalinger.Strategisk tilgang
Panelet anbefaler, at BAR'ene udarbejder flerårige strategiplaner, som deenkelte projekter som udgangspunkt er en del af. Dette vil skabe kontinuitetog sammenhæng i BAR'enes aktiviteter samt skabe synergi mellem de en-kelte projekter, hvorved effekten på arbejdsmiljøet øges. Aktuelt fremgårdet ikke af de enkelte projektansøgninger, om projektet er led i en overgri-bende strategi. Strategierne bør rumme angivelser af indsatsområder og te-maer, prioriteringer, metodiske overvejelser og overordnet ressourceforbrugover en længere årrække. Strategiplanerne bør løbende revideres, f.eks. på etårligt strategiseminar, og også være åbne over for ad hoc-projekter.Evalueringen indikerer, at det i vidt omfang er BAR'ene selv der i praksisbeslutter, om givne projekter skal gennemføres, og hvordan de designes.Evalueringen har ikke specifikt sat fokus på dette tema, men på baggrund afdet foreliggende materiale finder panelet, at Arbejdstilsynet og BAR'enesroller og samspil i ansøgningsprocessen bør afklares og gøres tydeligere forde involverede og offentligheden. Arbejdstilsynet eller en anden bevilgendeinstans bør efter panelets opfattelse fremover spille en mere aktiv rolle medhensyn til godkendelse af projekter. Arbejdstilsynet skal på basis af til-strækkelige projektbeskrivelser aktivt og kritisk tage stilling til projekter,herunder kunne afvise projekter eller bede om uddybninger, ændringer i me-tode, ressourceforbrug m.v. Arbejdstilsynet udfylder i et vist omfang allere-de denne rolle, men det er panelets vurdering, at Arbejdstilsynet mere kri-tisk bør tage stilling til de enkelte projekter, og at rollefordelingen og ret-ningslinjerne bør afklares.Projektvurderingen skal være baseret på kriterier. Panelet peger overordnetpå fire typer af kriterier: (1) Projekterne skal være arbejdsmiljømæssigt re-levante, (2) have den fornødne faglige kvalitet, (3) være designet hensigts-mæssigt og professionelt samt (4) rumme et kvalificeret evalueringsdesign.I ansøgningsprocessen bør kravene til projekterne således strammes op iforhold til i dag, og Arbejdstilsynet bør have en mere kritisk rolle i godken-delsen. Samtidig bør ansøgningsproceduren ikke blive unødig tung og bu-reaukratisk, og den bør tage hensyn til, at der er projekter af meget forskel-lig størrelse og karakter.
Ansøgningsprocessen
Projektprocesser
På basis af gode og dårlige eksempler anbefaler panelet, at følgende prin-cipper kommer til at gælde for projekternes processer:1. Projekter bør bygge videre på tidligere projekter og/eller eksisterendeviden.2. BAR'et bør fra starten tage højde for de reelle barrierer for spredning afmateriale og budskaber.
8
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
3. Projekter bør aktivt forholde sig til, hvordan viden spredes og imple-menteres i branchen.4. Relevante interessenter i branchen bør om muligt involveres før, underog efter processen.5. Der bør foreligge en klar projektplan, der sikrer, at projektet kan styres,følges og eventuelt stoppes hvis nødvendigt. Det er især vigtigt ved stør-re projekter.6. Der bør være en effektiv anvendelse af projektressourcerne og et rime-ligt forhold mellem indsats og resultater.7. Der bør opstilles entydige og realistiske effektmål, som det er muligt atevaluere på. Disse effektmål skal være tænkt ind i designet af projektet.Panelet har yderligere fremsat en række råd med hensyn til kommunikationi forbindelse med projekterne. Det er en væsentlig grundpointe, at man børsikre en optimal involvering af målgruppen. Massekommunikation og in-formationsmaterialer kan formidle viden og forståelse til modtagerne, mener sjældent tilstrækkelige til at medføre ændringer i holdninger og adfærd.Til den ende må der i højere grad anvendes forskellige former for work-shopper, seminarer, konferencer og lignende. Den bedste effekt opstår, hvorder er mulighed for personlig dialog, situationstilpassede diskussioner, hvorman tager afsæt i konkrete situationer, laver øvelser m.v. Det er også denform, der kræver flest ressourcer, hvorfor forholdet mellem omkostningerog effekt bør vurderes og afvejes.Det er panelets opfattelse, at man i stigende grad bør betjene sig af elektro-niske medier. De giver bl.a. mulighed for at aktivere målgruppen gennemquiz, afstemninger, dialog m.m. Portaler og hjemmesider giver mulighed forat samle opdateret viden ét sted og for via links at sprede kendskab til værk-tøjer og informationer på andre hjemmesider. Elektroniske medier er ikkemindst centrale over for yngre mennesker.Evaluering
Panelet anbefaler, at BAR'ene fremover gennemfører to typer af evaluerin-ger. Den ene består i løbende evaluering af de enkelte projekter. Det er forså vidt en videreførelse af den eksisterende praksis. BAR'ene bør dog gene-relt gennemføre evalueringer af højere kvalitet, end tilfældet er i dag. Eva-lueringsformen bør systematisk være indbygget i det oprindelige projekt-design og således være tilpasset til det enkelte projekt. Man skal igen væreopmærksom på de store forskelle i projekternes størrelse og karakter, og dervil derfor være behov for forskellige evalueringsformer.Som noget nyt anbefaler panelet, at BAR'et periodisk, f.eks. årligt, gennem-fører en helhedsevaluering. Den skal med afsæt i BAR'ets strategi evaluereprojekterne samlet set og herunder vurdere, i hvilket omfang strategien erlykkedes, hvad der er gået godt, og hvad der er gået skidt, hvad man kan læ-re af erfaringerne, hvilke initiativer man skal tage for at undgå de negativehændelser, og hvad man kan gøre for at styrke de positive, om strategienskal justeres etc. Processen skal dokumenteres skriftligt.
9
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Hertil kommer Arbejdstilsynets eksterne evaluering af BAR'et. Den bør ef-ter panelets opfattelse have til formål at optimere BAR'ets læring. Evalue-ringen kan eventuelt opbygges efter samme model, som anvendes over forBST'erne. Den består i, at BAR'et fremsender relevante materialer til Ar-bejdstilsynet, herunder helhedsevalueringen, førend der afholdes et mødemellem BAR'et og Arbejdstilsynet af ca. en dags varighed. Mødet består ien dialog, hvor der drøftes emner af samme karakter som i helhedsvurderin-gen. På basis af dette møde udarbejder Arbejdstilsynet en evalueringsrap-port, der er centreret omkring læringspunkter.Panelet anbefaler, at der udarbejdes en vejledning om evaluering og de skit-serede evalueringsprocesser.Kvalitetsstyring
Endelig anbefaler panelet, at der udarbejdes et kvalitetsstyringssystem, somkan anvendes, men også tilpasses, de enkelte BAR. Denne anbefaling bun-der i, at evalueringen har afdækket en lang række punkter, hvor nogle ellerflere af de evaluerede projekter har haft kvalitetsmæssige brister, og som haren karakter, der kan afhjælpes med et simpelt kvalitetsstyringssystem. Dekvalitetsmæssige brister består f.eks. i, at mange BAR ikke sikrer systema-tisk dokumentation af projekter, f.eks. ved lagring af projektrelaterede elek-troniske dokumenter og andre materialer. Det gør projekterne meget sårba-re, når konsulenter skifter job. I andre tilfælde savnes der dokumentation foraftaler med underleverandører. En del af de pointer, der er nævnt ovenfor,bør også indgå i et kvalitetsstyringssystem: At der udarbejdes en samletstrategi, at evalueringsform systematisk bygges ind i projekter, at projekter-ne indsamler og bygger videre på eksisterende viden, at projekter styres pro-fessionelt med hensyn til planlægning, kalkulation osv.Panelet foreslår, at der iværksættes et arbejde med henblik på at udforme etkvalitetsstyringssystem. Arbejdet bør bygge på en behovsanalyse, der anbe-fales gennemført. Som udgangspunkt forestiller panelet sig, at systemet kanbygges op om følgende projektfaser: Planlægning, ansøgning, udførelse,formidling og evaluering.Sigtet med kvalitetsstyringen er, at det gøres enkelt og ubureaukratisk, sam-tidig med at det bidrager til at sikre kvaliteten på de vigtige og kritiskepunkter i gennemførelse af et BAR-projekt. Det er panelets indtryk, at enrække BAR allerede har en form for kvalitetssikringssystem, og de vil der-for relativt let kunne leve op til kravene i et kvalitetsstyringssystem.
10
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
3. Den deskriptive analyseFormålet med dendeskriptive analyse
Formålet med den deskriptive analyse er for det første at give et overblikover de projekter, der er gennemført af BAR'ene, og for det andet at bidragemed læring. Overblikket og læringen angår for det første den proces, somBAR'ene gennemgår fra (1) ansøgningsfasen, over (2) gennemførelsen afprojektet til (3) den efterfølgende selvevaluering, og for det andet angår detBAR'enes anvendelse af skemaerne.Den deskriptive analyse er baseret på tre kilder:1. Ansøgnings- og selvevalueringsskemaer, som BAR'ene udarbejder tilArbejdstilsynet i forbindelse med hvert enkelt projekt2. Økonomiske tal om bevillinger og tilskudsrammer fra Arbejdstilsynetom de enkelte projekter3. En spørgeskemaundersøgelse blandt BAR'enes konsulenter om projek-ternes initiering og organisering.Det ses, at den deskriptive analyse er baseret på administrative oplysninger.Undersøgelsens data siger intet om, hvordan projekterne faktisk er gennem-ført.
Kildegrundlag
Et overblik over de 116 projekterI dette afsnit sammendrages resultaterne af den deskriptive analyse, der erselvstændigt afrapporteret i "Effektevaluering af BAR-projekter – Beskri-velse af 116 afsluttede projekter".Alle BAR har projekter, der indgår i undersøgelsen, men der er også stor va-riation i, hvor mange projekter BAR'ene har afsluttet i perioden.Formål og indsats-områder
Projekterne fordeler sig ligeligt med hensyn til indsatsområder og overord-nede prioriteringer. Projekterne angår typisk informations-, oplysnings- ogvejledningsaktiviteter. Ved fire BAR omhandler over 75% af projekterne in-11
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
formation og/eller oplysning. Projekterne har ofte til formål at udarbejde enbranchevejledning eller at gennemføre et seminar eller en temadag, mensmeget få projekter omhandler nyhedsbreve og rapporter. De større projekter,hvor bevillingen er over 500.000 kr., har typisk til formål at udarbejde enbranchevejledning, mens de mindre projekter til under 100.000 kr. har merevarierende formål.Målgrupper
Målgruppen for 40% af projekterne er medarbejdere og/eller ledere i virk-somheder. Lidt færre har branchen som målgruppe. Kun enkelte projekterhar arbejdsmarkedets parter og/eller forskere som målgruppe.Den primære initiativtager til projekterne er BAR'ene selv. BAR'et er ofteinspireret af tidligere projekter og/eller efterspørgsel blandt målgruppen.Projekternes formål bestemmes typisk centralt i BAR'ene, mens den konkre-te projektudformning i højere grad besluttes decentralt.Kun fem projekter udgør et samarbejde mellem BAR'ene. 65% af projekter-ne er gennemført i samarbejde med andre arbejdsmiljørelaterede samar-bejdspartnere. Det er typisk arbejdsmarkedsparter eller arbejdsmiljøprofes-sionelle. De eksterne aktører bidrager oftest med ekspertviden og kun i fåtilfælde som projektleder.Det er overvejende BAR'et selv, der gennemfører evalueringen af projekter-ne. Det gælder både store og små projekter.26% af bevillingerne anvendes på løn til bl.a. projektledelse, projektadmini-stration og sekretærbistand, og 38% af udgifterne anvendes til ekstern kon-sulentbistand. Der er dog variation projekterne imellem.I ansøgningsskemaerne skal BAR'et placere projektet i forhold til syv an-givne formålstrin. Halvdelen af BAR'ene har gennemført projekter, der fal-der ind under et af de tre formålstrin: At øge viden, ændre holdning og atændre adfærd.Det er især de indirekte effektmål som målgruppens kendskab til og til-fredshed med projektet, der evalueres på ved afslutningen af projektet. Kuni enkelte tilfælde har projekterne til formål at måle på direkte effekter såsomændring i holdning og adfærd, reduktion af belastning og forbedring af ar-bejdsmiljøet. Desuden er effektmålene sjældent entydige, målbare og tids-baserede, som Arbejdstilsynet anbefaler.Man kan anvende forskellige metoder til at vurdere, om effektmålene er op-nået. Det er i høj grad kvantitative metoder, der anvendes i form af spørge-skemaundersøgelser, optælling af deltagere, hjemmesidebesøg og lignende.Kun ved enkelte projekter har man valgt at benytte kvalitative interview.
Initiativtager
Samarbejdsrelationer
Evalueringer
Udgiftsfordeling
Formålstrin
Effektmål
Evalueringsmetoder
12
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
En hensigtsmæssig tilgang til gennemførelse og evalueringDesign
Et projekt bør have en logisk sammenhæng mellem projektets formål, ef-fektmål og den valgte evalueringsmetode, jf. figur 3.1 nedenfor.Figuren nedenfor illustrerer også de overordnede konklusioner om de omtal-te sammenhænge.
BAR'ene måler på en række indirekteeffektmål, men sjældent på, om projektetfaktisk har haft den ønskede effekt.
Enkelte ønsker på ansøgningstids-punktet at måle på de direkte effektmål,men ofte vælges de direkte effektmål fraunder den faktiske evaluering.
Formål
Planlagte effektmål
Evaluerede effektmål
Målemetode
Langt størstedelen vælger en hensigtsmæssigmetode. Det synes dog uhensigtsmæssigt, nårenkelte ønsker at vurdere tilfredshed, læsevenlighedog relevans gennem passiv registrering.
Figur 3.1De overordnede konklusionerved vurderingen af sammen-hæng mellem formål, effekt-mål og metodeFormål og effektmål
Anm.:Passivregistrering angiver, at man som udenforstående tæller f.eks. antal deltagere, antaludsendte pjecer, efterspørgslen, antal henvendelser osv.
I 17% af projekterne er der ikke umiddelbar overensstemmelse mellem pro-jektets formål og de planlagte effektmål. Hvis et projekt f.eks. har til formålat ændre målgruppens adfærd (dvs. et direkte effektmål), er det ikke i umid-delbar overensstemmelse med formålet at angive et indirekte effektmål somf.eks. målgruppens tilfredshed med projektet, idet tilfredshed med projektetikke nødvendigvis medfører ændret adfærd. Tilfredshed kan være et rele-vant effektmål, men det angiver ikke direkte, om projektet har den ønskedeeffekt. Stort set ingen projekter, der har angivet et formål over trin 1 "Øgetviden", har angivet et effektmål, der direkte siger noget om, hvorvidt pro-jektets formål er opfyldt.Ved langt de fleste projekter er der god overensstemmelse mellem det plan-lagte effektmål og den anvendte evalueringsmetode. Ved 11% af projekter-ne er metodeanvendelsen dog helt eller delvist i uoverensstemmelse med ef-fektmålet. Det skyldes især, at BAR'ene ønsker at vurdere målgruppens til-
Effektmål og anvendtevalueringsmetode
13
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
fredshed, projektets læsevenlighed og/eller relevans udelukkende på bag-grund af passiv registrering3som f.eks. optælling.Planlagt og anvendtevalueringsmetode
Endelig viser undersøgelsen følgende: I nogle projekter har BAR'et planlagtat anvende effektmål, der direkte måler på målopfyldelsen. Disse direkte ef-fektmål er dog ofte fravalgt i den faktiske gennemførte evaluering, og der ersåledes en uoverensstemmelse mellem den planlagte og faktiske anvendteevalueringsmetode. Derudover er der ved flere projekter uoverensstemmelsemellem planlagte og faktiske effektmål, da ansøgnings- eller selvevalue-ringsskemaet er ufuldstændigt udfyldt.Undersøgelsen har givet mulighed for, at BAR'ene har kunnet udtrykke de-res egne oplevelser af projekternes metode, indhold og den læring, de harhaft. F.eks. angiver man som læringspunkter, at det er vigtigt at sætte fokuspå målgruppen, at målgruppen skal inddrages aktivt i projektet, og at for-midlingen af projektet skal være nærværende.
Læringspunkter
3
I ansøgningsskemaet skal BAR'et afkrydse, hvilken metode man forventer at an-vende i selvevalueringen. Der er i skemaet defineret følgende fire kategorier;"spørgeskema", "fokusgruppeinterview", "telefoninterview" og "optælling/regi-strering (f.eks. af efterspørgsel af henvendelser)". I denne rapport er "Optæl-ling/registrering" beskrevet som "Passiv registrering" for at angive, at metodenher er, at man som udenforstående tæller f.eks. antal deltagere, antal udsendtepjecer osv.14
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
4. Evaluering af projekterneDette kapitel rummer en overordnet evaluering af de 37 projekter, der erudvalgt til effektevaluering. Evalueringen er baseret på en individuel evalu-ering af hvert enkelt projekt, som foreligger i enkeltstående rapporter.Ti projekttyper
Kapitlet er inddelt i ti afsnit, der svarer til forskellige typer af projekter,f.eks. pjecer og håndbøger (afsnit 4.1.), blade (afsnit 4.2.), branchevejled-ninger (afsnit 4.3.) osv. Projekterne evalueres således overordnet for hvertype. Det skyldes, at evalueringens indhold naturligt knytter sig til og varie-rer med projekternes type. Projekttyperne er:••••••••••Pjecer og håndbøgerBladeBranchevejledningerKortlægning/ForprojektMundtlig formidlingKonferencer/MesserKampagneVærktøjHjemmesideUdviklingsprojekter.
Disposition
De enkelte afsnit om de angivne projekttyper er disponeret på samme måde:•Grunddata.
Først gives der i et skema en oversigt over de projekter,der har været af den angivne type. Her fremgår projektets navn, indholdog budget.
15
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
•
Ekspertpanelets vurdering.
Dernæst refereres ekspertpanelets ar-bejdsmiljøfaglige vurdering af projekterne. Der er tale om Capacentssammenskrivning af ekspertpanelets kommentarer til de enkelte projek-ter, som fremgår af de enkelte projektrapporter. Capacent har fremhævetpanelets gennemgående og centrale pointer.Udbredelse, anvendelse og effekt.
Endelig vurderes det, om projekter-ne opfylder Arbejdstilsynets overordnede programmål.•
Programmål
De fire overordnede programmål er:••••Udbredelse:
Er projektet udbredt til den ønskede målgruppe?Anvendelse:
Er projektets resultater anvendt af målgruppen?Effekt på det faktiske arbejdsmiljø:
Har projektet haft eller vil haveen effekt på det faktiske arbejdsmiljø?Effekt på arbejdsmiljøarbejdet:
Har projektet haft eller vil have en ef-fekt på arbejdsmiljøarbejdet?
Capacents vurdering af, om de enkelte projekter opfylder de fire program-mål, er baseret på (1) BAR'ets egen beskrivelse af projektet, (2) de gennem-førte målgruppesurveys og (3) panelets vurdering af projekterne. Dog haralle programmålene ikke været relevante for alle projekter.De enkelte afsnit rummer generelle vurderinger af projekterne af den på-gældende type. De dækker ikke nødvendigvis alle projekterne af den pågæl-dende type. Vurderingen af de enkelte projekter fremgår således ikke afdenne rapport, men kun af de enkelte rapporter med projektevaluering.Nedenfor følger evalueringen af de ti projekttyper.
4.1 Pjecer og håndbøgerVed otte projekter er projektets primære produkt en pjece eller en håndbog.
ProjektnavnPjecer med gode råd til medarbejdere i slagteribranchen (2005-02-14)
Endeligtbudget *174.307 kr.
Målgruppe-surveyNej
I projektet er udarbejdet en pjece til unge, nyansatte og lærlinge med fokus på gode arbejdsvaner, der kan forebygge arbejdsskader. Pjecener målrettet pakkerier, tarmhuse, kreaturslagterier og forædlingsvirksomheder. Det var ikke muligt at gennemføre interview ved dette projekt.Guide til introduktion af nye medarbejdere (2005-02-15)90.585 kr.Nej
I projektet er der udarbejdet en guide til sikkerhedsorganisationerne i virksomhederne, der giver viden om, hvordan man skaber en god in-troduktion af nye medarbejdere. Projektet blev standset undervejs, da BAR'et dels blev i tvivl om, hvorvidt pjecen var det rette medie, delsvurderede, at den udarbejdede tekst ikke ramte forventningerne. Det var ikke muligt at gennemføre interview ved dette projekt.Stresshåndtering 2 – værktøjskasse med gode eksempler (2005-04-16)331.278 kr.Nej
Ved projektet har BAR'et udarbejdet en "Stress-af kogebog", der sætter fokus på stress og stresshåndtering. I kogebogen gives fire godeeksempler på stresshåndtering, der skal kunne virke som redskaber til læserne, så de selv kan håndtere de psykiske arbejdsvilkår på virk-somhederne. Da Lisette Jespersen har været med til at gennemføre dette projekt, var hun ikke en del af panelet, da projektet blev vurderet.
16
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008Endeligtbudget *225.625 kr.Målgruppe-surveyNej
ProjektnavnSubstitution af kemiske produkter ved grafisk produktion: Serigrafi (2006-06-01)
BAR'et har indsamlet viden om konkrete eksempler på substitution af flygtige organiske opløsningsmidler i serigrafiske produktionsproces-ser. Det er beskrevet og lagt ud på BAR'ets hjemmeside, samtidig med at BAR'et har publiceret en artikel i Grafisk BARometer.Mobning – bagsiden af medaljen (2005-06-31)84.582,50 kr.Nej
"Mobning – bagsiden af medaljen" er en anti-mobbe håndbog, hvormed BAR'et søger at formidle grundlæggende viden om, hvordan ledere,tillidsrepræsentanter og medarbejdere kan forebygge og håndtere mobning på arbejdspladsen. Håndbogen diskuterer forskellige typer afmobning og formidler en række konkrete redskaber.Reduktion af træstøv og terpener i træ- og møbelindustrien (2005-08-11)432.500 kr. +revisionJa
Som titlen angiver, har projektet til formål at reducere mængden af træstøv og terpener. Her er udarbejdet to pjecer. En pjece, der sætter fo-kus på, hvorledes man kan begrænse mængden af træstøv og terpener, og en vejledning omkring mulighederne for recirkulation.Ulykkesprojekt om holdnings- og adfærdsændring i procesindustrien (2005-08-29)77.730 kr.Ja
Industriens BAR har i projektet søgt om penge til at illustrere en pjece, der er udarbejdet for anden bevilling. Derudover er der søgt om pen-ge til at gennemføre to temadage, hvor pjecen præsenteres. Pjecen er et idekatalog, der omfatter en række metoder til ulykkesforebyggelse iprocesindustrien.Brandforhold på skoler (2005-10-01)57.324,90 kr.Nej
Projektet har til formål at give skoler viden om, hvordan skolen skal indrettes for at imødekomme gældende lovgivning. Der er udarbejdet enelektronisk vejledning, der er trykt som pjece.* Det endelige budget fremgår af det selvevalueringsskema, der afleveres til Arbejdstilsynet, nårprojektet er afsluttet.
Ekspertpanelets vurderingProjekterne er i et vist omfang forskellige. Panelet er meget positivt over fornogle pjecer, men mere kritisk over for andre.Kort tekst
Enkelte projekter fremhæves, fordi pjecernes tekst er kort, hvilket ifølge pa-nelet er en styrke. Samtidig vurderer panelet, at teksten ved et projekt er forlang, og ved et sidste projekt bemærkes det, at der kan være ræsonnement i,at pjecen er lidt teksttung, da temaet er mobning. Generelt vurderer paneletdog, at det er mest hensigtsmæssigt med en tekstmæssig kort pjece, da erfa-ringer fra andre sammenhænge viser, at en kort målrettet pjece virker bedreend en generel vejledning, fordi der er større sandsynlighed for, at folk læserog anvender korte pjecer. Særligt fremhæves et projekt, hvor pjecen har ka-rakter af en flyer. Det har den fordel, at de konkrete budskaber formidles ul-trakort, og de kan derfor let findes frem og anvendes i relevante situationer.Det er også godt, når den korte tekst suppleres med mange billeder, som deter gjort ved flere af projekterne. Det skaber genkendelighed i situationen ogøger læselysten. Målgruppen og budskabet gør også, at billeder og illustrati-oner ofte er særligt hensigtsmæssige. Panelet hæfter sig f.eks. ved et projekt,som illustrerer teksten med billeder af konkrete værktøjer og maskiner, somer svære at beskrive i tekst alene. I et andet projekt er mange i målgruppenikke stærke læsere, og den korte tekst og mange billeder er derfor særlighensigtsmæssig.Derudover er det væsentligt, at projektet er målrettet de bestemte læsere, dadet gør genkendeligheden stor og eventuelle anbefalinger mere relevante.17
Illustrationer og billeder
Målrettet målgruppen
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Projekterne fremstår i forskellig grad målrettet, og ved ét projekt bemærkerpanelet direkte, at materialet er for generelt til at være anvendeligt for mål-gruppen.Flere indgange tilprojektet
Ved flere projekter fremhæves det, at det styrker projektets udbredelse oganvendelse af projektet, at man har forsøgt at nå målgruppen ad flere kom-munikationskanaler. Ved ét projekt har man f.eks. søgt at formidle projek-tets budskaber gennem en række forskellig medier som artikler, en håndbogog en hjemmeside, og ved andre projekter har man koblet det skriftlige ma-teriale med mundtlig formidling. F.eks. afholdt man i et projekt en temadag,fordi procesmetoder – som var projektets emne – ofte er svære at forstå ogformidle gennem skriftligt materiale alene. Temadage er dog i sig selv ofteikke nok, og panelet påpeger ved enkelte projekter, at det vil kunne styrkeeffekten yderligere, hvis implementeringen af metoderne også omfatter etelement, hvor målgruppen aktivt inddrages i projektet. Dette ved f.eks. at in-tegrere projektet i de konkrete situationer, som virksomhederne står i.Ved et enkelt projekt har BAR'et forholdt sig til betydningen af de organisa-toriske forhold i pjecen. Pjecen handler om brandsituationer på skoler og udover at fortælle, hvordan den enkelte medarbejder kan handle, angives detogså, hvordan skolen bør indrettes, samt rolle- og ansvarsfordeling omkringbrandforhold, forebyggelse, øvelser m.v. Disse organisatoriske forhold erdet meget væsentligt at have styr på, så man er godt rustet til en brandsitua-tion. I et andet projekt kritiseres det, at BAR'et ikke har medtænkt de orga-nisatoriske forhold. Her er der udarbejdet en håndbog om mobning, og ihåndbogen fremstår mobning udelukkende som en individuel problemstil-ling, som den enkelte selv kan og må tage hånd om. Panelet bemærker, atder ofte er en række organisatoriske forhold, der er afgørende for, om der ermobning på en arbejdsplads. Mobning er således i høj grad en kultur- og le-delsesmæssig udfordring, der ofte opstår på grund af organisatoriske foran-dringer, og det ville have været hensigtsmæssigt, hvis disse organisatoriskeforudsætninger fremgik af materialet, således at mobning blev sat ind i enstørre sammenhæng.Generelt anbefaler panelet, at BAR'et indledningsvis i projekter undersøger,hvad der allerede eksisterer af viden, pjecer og håndbøger på området. Den-ne viden kan enten indgå i projektet eller overflødiggøre det. Man kan even-tuelt rådføre sig med eksperter på området.Det fremgår generelt ikke, om BAR'et indledningsvis indsamler eksisteren-de viden. I to projekter har BAR'et undervejs i projektet fundet ud af, at pro-jektets udformning ikke var hensigtsmæssig i forhold til projektets formålog/eller målgruppe. Det ene af de to projekter blev stoppet undervejs, daBAR'et dels blev i tvivl om, hvorvidt en pjece var det rette medie, dels vur-derede, at den udarbejdede tekst ikke ramte forventningerne. Det andet pro-jekt blev afsluttet som forventet, men BAR'et vurderede afslutningsvis, atprojektets udformning ikke var hensigtsmæssig, og mod forventning valgteman derfor ikke at følge op på eller udbrede projektet. Panelet undrer sigover, at BAR'ene i disse tilfælde ikke fra start har forholdt sig mere kritisktil projekternes metode og udformning. I begge tilfælde ville en indledendeinformationssøgning have givet BAR'ene den nødvendige viden til enten atvinkle projektet anderledes eller ikke at sætte det i gang.18
De organisatoriskeforhold
Indledende viden-indsamling
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Større kendskab til ud-bredelse og anvendelse
BAR'ene har ved flere projekter haft et meget begrænset kendskab til mate-rialets udbredelse og anvendelse. Ved flere projekter er materialet udbredtcentralt gennem organisationerne. BAR'ene anser dette for at være enhensigtsmæssig udbredelsesmetode. På basis af Capacents stikprøvesurveysblandt projekternes målgrupper noterer panelet sig, at det skriftlige materia-le ikke altid når ud til målgruppen som ønsket. BAR'ene er heller ikke altidklar over, hvor materialet ender, herunder om det ender hos dem, som pro-jektet har haft som målgruppe. Derfor bør der stilles krav til, at BAR'enestikprøvevis følger op på, i hvilket omfang materialerne er destribueret tilmålgruppen. På denne vis kan der også sikres en effektevaluering, som reg-lerne på området fordrer. Ud af denne evaluering kan der produceres nyttigviden, hvorved kommende projekter optimeres.
Udbredelse, anvendelse og effektSeks projekter er helteller delvist udbredt oganvendt som ønsket
Capacent vurderer, at fire af de otte projekter er udbredt i det ønskede om-fang, mens yderligere to projekter er delvist udbredt. Blandt de to sidst-nævnte gør den begrænsede information om det ene projekt det svært atvurdere, om udbredelsen er sket i det ønskede omfang, og ved det andet pro-jekt er pjecen udbredt, men der har deltaget færre på temadagene end øn-sket.To projekter, der ikke er tilstrækkelig udbredt, kan heller ikke være anvendtsom ønsket og har derfor ikke haft den ønskede effekt. Ved begge projekterpeger både BAR'et og panelet på, at materialets form er uhensigtsmæssig.Det ene projekt er stoppet undervejs, og ved det andet projekt har BAR'etikke gjort en aktiv indsats for at udbrede materialet.Overordnet set synes de seks førstnævnte skriftlige produkter at have bidra-get med væsentlig og relevant viden til branchen. Det understøttes af pane-lets vurdering. Det angives, at der er flere gode elementer ved udformningenaf og indholdet i materialet, og at dette øger sandsynligheden for, at pjecer-ne anvendes. I tre af projekterne synes materialet dog at være for omfatten-de eller at have svagheder i vinklingen.Der er gennemført målgruppesurvey ved to af de seks projekter. De indike-rer, at en vis andel, men langt fra alle i målgruppen, har læst og anvendt ma-terialet i projekterne4. Ved projektet "Reduktion af træstøv og terpener" har42 af de 91, der har besvaret spørgeskemaet, læst pjecen "Reduktion aftræstøv og terpener" og 22 læst vejledningen til cirkulation, der hører tilsamme projekt. En noget mindre andel har anvendt den viden, bladene hargivet. Blandt de personer, der har svaret på spørgeskemaet for projektet"Ulykkesprojekt om holdning og adfærdsændring",har fire af de ni, der har
To projekter er ikkeudbredt
Seks projekter er helteller delvist anvendt somønsket
Målgruppesurvey
4
Ved de to projektet "Reduktion af træstøv og terpener" har det alene været muligtat spørge ind til de skriftlige produkter i projekterne, og ved projektet "Ulykkes-projekt om holdning og adfærdsændring i procesindustrien" er spørgeskemaetsendt til deltagerne på gå-hjem-mødet, og de er spurgt til både temadagen og pje-cen. Jf. bilag, de enkelte projektrapporter, for detaljer omkring respondenterne ide tre målgruppesurvey.19
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
svaret på spørgeskemaet, angivet, at de efterfølgende har anvendt den viden,de har fået på temadagen, og to har svaret, at de har læst og anvendt den vi-den, de fik gennem pjecen.På baggrund af BAR'ets beskrivelse, målgruppesurvey og panelets vurde-ring vurderes det således samlet set, at seks af de otte projekter er helt ellerdelvist udbredt og anvendt til målgruppen som ønsket.Effekt
I det omfang at disse seks projekter har haft til hensigt at påvirke det fakti-ske arbejdsmiljø eller arbejdsmiljøarbejdet, er det vores vurdering, at det i etvist omfang forventes at være sket. Ved et af projekterne vurderes det, atmaterialet ikke vil få betydning for arbejdsmiljøet som ønsket, hvilket skyl-des, at man i materialet overser de organisatoriske forhold, der er afgørendefor at skabe et positivt arbejdsmiljø omkring mobning.
Centrale pointer og konklusioner•Der er flere gode elementer i projekterne. Panelet påpeger, at teksten i flere pjecer er kort og understøttet af relevante bille-der, enkelte pjecer fremstår målrettede, og ved et projekt indgår de organisatoriske elementers betydning for problemstillin-gen. Derudover fremhæves hensigtsmæssigheden af, at flere projekter er søgt udbredt gennem forskellige medier, selv ompanelet flere steder savner et egentligt participatorisk element.Man bør indledningsvis undersøge, om der er eksisterende viden og materialer på området. Det kan forbedre projekterneeller vise, at de er overflødige. To af de otte projekter kunne på den måde være justeret eller stoppet fra start.BAR'ene bør i højere grad undersøge og sikre udbredelsen og anvendelsen af projekterne.Seks af de otte projekter er helt eller delvist udbredt og anvendt som ønsket.
•••
4.2 BladeVed to projekter er der udarbejdet et egentligt blad.
ProjektnavnGrafisk BARometer (2005-06-02)
Endeligtbudget *655.562,01 kr.
Målgruppe-surveyJa
I 2005 søgte Grafisk BAR om midler til at producere fire udgaver af magasinet Grafisk BARometer. Magasinet fokuserer på forebyggelsesamt løsning af konkrete problemer, og magasinet er til en vis grad tænkt som erstatning af de mere traditionelle vejledninger.Det handler om vaner (2005-08-08)442.800 kr.Ja
Projektet har til formål at reducere antallet af ergonomisk forkerte løft. Her er udarbejdet to blade, der sætter fokus på, dels hvordan man løf-ter korrekt, dels at ergonomi ikke behøver at være en besværlig ekstraopgave.* Det endelige budget fremgår af det selvevalueringsskema, der afleveres til Arbejdstilsynet, nårprojektet er afsluttet.
20
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Ekspertpanelets vurderingVed to projekter har BAR'et lavet et blad, der layoutmæssigt lægger sig opaf livstilsmagasiner. Bladene og deres artikler er gode, farverige og aktuelle,og bladene er layoutmæssigt flotte. Derudover er det en styrke, at bladenelægger op til, at man kan "plukke" i dem og kun læse de relevante dele.Blade som livsstils-magasin
Bladene er journalistisk og fagligt set væsentlig bedre end flere af pjecerne.Men ifølge panelet betyder deres karakter af "livsstilsmagasiner" ikke, at dehar mere effekt på arbejdsmiljøet end andre mere traditionelle pjecer. Ifølgepanelet viser erfaringen, at det er uhensigtsmæssigt, hvis arbejdsmiljø træk-kes ud af sin kontekst og præsenteres som "underholdning". Det kan lige-frem have negativ effekt. Læseren vil hurtigt afkode, at bladet har nogle un-derliggende arbejdsmiljøbudskaber, og det tiltaler ikke læserne. I et livs-stilsmagasin forventer og ønsker man at blive underholdt – ikke belært. Der-for er det mere effektivt at udarbejde korte skriftlige materialer med klarebudskaber, som kan bruges i den konkrete situation, hvor den enkelte harbehovet.Denne kritik betyder ikke, at bladene vurderes til ikke at have en effekt,men at effekten er begrænset, og at bladenes form ikke i sig selv styrker ef-fekten på arbejdsmiljøet.Samtidig angiver panelet, at et arbejdsblad i populærform kan have denstyrke, at det sætter fokus på problemstillinger, som læserne allerede er be-vidste om. I den situation skal der ikke nødvendigvis så meget til for at opnåen effekt. Derfor vil bladene ramme den del af målgruppen, der har et kon-kret behov, som matcher de temaer, der tages op i bladene. Denne del afmålgruppen vil være mere tilbøjelig til at læse artiklerne og tage budskabettil sig.
Formål
Ved det ene af projekterne påpeges det, at projektets formål er bredt formu-leret og for ambitiøst i forhold til den effekt, man kan forvente af et projektsom dette. Det er ønskeligt, at man udarbejder et formål, der mere realistiskangiver, hvilken effekt man kan forvente af projektet.
Udbredelse, anvendelse og effektUdbredelse
Bladene er distribueret via organisationerne, og disse synes i et vist omfangat have videredistribueret dem til målgruppen.BAR'ene selv ved meget lidt om målgruppens kendskab til og anvendelse afbladene. Capacent har gennemført et målgruppesurvey for begge blade. Deindikerer, at en væsentlig andel af målgruppen har læst bladene "Det hand-ler om vaner", mens en lidt mindre andel har læst bladet "Grafisk BARome-ter". Bladene synes alt i alt at have en god udbredelse i målgruppen.
Anvendelse
Om hele målgruppen har anvendt den viden, bladene rummer, er til gengældrelativt usikkert, jf. panelets bemærkninger.
21
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Centrale pointer og konklusioner••••Layoutmæssigt og journalistisk er bladene af høj faglig kvalitet.Bladene har karakter af "livsstilsmagasiner". Det øger formentlig ikke deres effekt på arbejdsmiljøet. En traditionel pjece villei flere henseender og i forhold til store dele af målgruppen have været mere effektiv.Bladene er distribueret som forventet. Distribution via organisationerne gør dog, at BAR'et ikke har kendskab til, om bladenereelt har nået den primære målgruppe.Den del af målgruppen, der har et konkret behov, som præcist matcher de temaer, der tages op i bladene, vil i et vist om-fang kunne læse artiklerne og tage budskabet til sig; men ud over denne gruppe forventes anvendelsen af bladene at værebegrænset.
4.3 BranchevejledningVed fire projekter har BAR'et udarbejdet en branchevejledning. Disse harretsgyldig virkning og samler god praksis på området. De fire projekter erkort beskrevet i nedenstående tabel.
ProjektnavnNy branchevejledning om forebyggelse af skader ved arbejde med radar (2005-04-03)
Endeligtbudget *249.602 kr.
Målgruppe-surveyNej
Vejledningen sigter på at forebygge antallet af skader ved arbejdet med radar ved at informere om de risici, der kan være i forbindelse medradaranlæg, og hvilke forholdsregler man skal tage for at beskytte sig selv.Ny branchevejledning om håndtering af kemiske, biologiske og radioaktive materialer275.698 kr.Nej
Vejledningen "Håndtering af faresituationer i politi og forsvar med kemiske, biologiske og radioaktive stoffer" sigter på at informere om farer-ne ved disse stoffer og om, hvordan man beskytter sig.Værktøj om svejsning – Jern og Metal561.716 kr.(egenfinansiering18.216 kr.)Ja
Vejledningen "Sikring af maskiner i metal og maskinindustrien" informerer om, hvordan man sikrer maskiner, og den indeholder en tjekliste tilbrug ved indkøb af større og mindre maskiner, håndværktøj samt indretning og byggeri.Sikring af maskiner i metal og maskinindustrien584.195 kr.(egenfinansiering16.195 kr.)Ja
Vejledningen "Arbejdsmiljø ved svejsning – gode løsninger" giver anvisninger og gode råd om, hvordan svejsearbejdet udføres på en sikker-heds- og sundhedsmæssig forsvarlig måde i forhold til både planlægning, tilrettelæggelse, udførsel af svejsearbejde og svejseopgaver påstore og mindre konstruktioner. Vejledningerne er præsenteret og uddelt på Metal- og Maskinindustriens roadshow 2006.* Det endelige budget fremgår af det selvevalueringsskema, der afleveres til Arbejdstilsynet, nårprojektet er afsluttet.
22
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Ekspertpanelets vurderingVelskrevet og relevante
Panelet vurderer generelt vejledningerne meget positivt. De er relevante, ogdet faglige niveau er generelt højt. Vejledninger er skrevet i et relativt letlæseligt sprog, de er opdaterede og sammenfatter den eksisterende viden påen overskuelig måde. Derudover er der i det store hele en god sammenhængmellem vejledningernes retsgyldighed og de beskrevne bedste praksis.I alle vejledninger har BAR'ene valgt at indsætte billeder. Det er genereltyderst hensigtsmæssigt. I enkelte tilfælde synes billedanvendelsen dog ikkeat være helt velovervejet, idet billederne ikke passer til teksten. Ifølge pane-let bør billeder være relevante og understøtte den konkrete tekst.Vejledningerne er alle relativt teknisk tunge. Dette er dog legitimt henset tilderes formål. BAR'ene kan dog overveje at udarbejde en kortere og merelettilgængelig folder, flyer eller andet, der supplerer vejledningen. Dette viløge den potentielle målgruppe betydeligt.Det vides ikke, om branchens sikkerhedsorganisationer videreformidler vej-ledningernes indhold. BAR'ene bør ifølge panelet overveje, hvordan mankan understøtte sikkerhedsorganisationernes udbredelse af vejledningernesindhold, og hvordan man via andre projekter kan foretage opfølgninger.
Brugen af billeder
En kort og letlæst pjecekunne være næste skridt
Udbredelse, anvendelse og effektVejledningens karakterøger sandsynligheden forudbredelse, anvendelseog effekt
Vejledningerne har som sagt retsgyldighed. Det kan derfor forventes, atmålgruppen bliver orienteret om nye vejledninger, og at deres incitament tilat implementere de gode råd er relativ stort. Dette understøtter vejlednin-gernes udbredelse. Derudover har det en positiv betydning for anvendelsenog effekten, at BAR'ene har udarbejdet nogle velbeskrevne, opdaterede ogrelevante vejledninger.Branchevejledningerne er alle trykt i en papirversion, men også placeret påBAR'ets hjemmeside i en elektronisk version.Industriens BAR har præsenteret sin vejledning på deres årlige roadshow.Dette øger ifølge panelet sandsynligheden for, at målgruppen får kendskabtil og anvender vejledningen.
Distribution gennemforskellige kanaler
Distribueres centralt
Udbredelsen af vejledningen sker ofte centralt gennem organisationerne.Det er muligt, at vejledningerne når målgruppen på denne måde, menBAR'ene ved ikke med sikkerhed, hvem og hvor mange der modtager vej-ledningerne. Som beskrevet tidligere kan denne distributionsform være hen-sigtsmæssig, men panelet vurderer, at skriftligt materiale ikke altid når ud tilmålgruppen. Det anbefales derfor, at BAR'ene følger op på udbredelsen,eventuelt gennem stikprøver, for at sikre sig, at vejledningerne når den øn-skede målgruppe.Argumenterne ovenfor indikerer, at branchevejledningerne er udbredt oganvendt i væsentligt omfang. Det understøttes dog kun delvist af de to23
Målgruppens vurdering
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
målgruppesurveys, som Capacent har gennemført5. Besvarelserne indikerer,at ca. halvdelen af målgruppen har læst i vejledningerne, og at ca. hver tred-je har anvendt dem. Ved IBAR-projektet er undersøgelsen dog kun foretagetblandt deltagerne på BAR'ets roadshow, og vejledningen har ikke nødven-digvis været relevant for alle deltagerne.Evaluators konklusion
Det er Capacents overordnede opfattelse, at vejledningerne er udbredt til envæsentlig del af målgruppen, og at de relevante personer har læst og i et vistomfang anvendt den viden, som vejledningerne rummer. Derudover er detsandsynligt, at vejledningerne har betydning for det faktiske arbejdsmiljø ogarbejdsmiljøarbejdet. P.t. vides det dog ikke med sikkerhed, om eller hvor-dan den praksis, der anbefales i vejledningerne, når helt ud i organisationer-ne. Det bør BAR'ene følge op på.
Centrale pointer og konklusioner•••••Vejledningerne er velskrevne og relevante.Vejledningerne gør god brug af billeder, dog ikke altid således, at de understøtter teksten.BAR'ene bør overveje, om vejledningerne kan suppleres med kortere materialer, f.eks. en flyer, således at målgruppen ud-vides.Capacent anbefaler, at BAR'ene via projekter følger op på, i hvilket omfang vejledningernes råd anvendes i virksomhederne.Vejledningerne er udbredt til en væsentlig andel af målgruppen, og målgruppen forventes i væsentlig udstrækning at anven-de vejledningernes anvisninger.
4.4 Kortlægning/ForprojektVed seks projekter er der gennemført en kortlægning/forprojekt af et givetområde/tema. Fælles for projekterne er, at de søger at afdække den nuvæ-rende situation for at opnå en større viden, der sætter BAR'et i stand til atigangsætte nye, kvalificerede projekter.
5
Der er gennemført målgruppesurvey ved to af de fire projekter (jf. ovenståendetabel). BAR'ene har ved de to andre vejledninger ikke kunnet levere en liste medrespondenter.24
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
ProjektnavnSikker håndtering af store dyr (2005-02-10)
Endeligtbudget *189.577,00 kr.
Målgruppe-surveyNej
Projektet kortlægger, hvilke og hvor mange ulykker der opstår i forbindelse med håndteringen af store dyr. Kortlægningen skal danne grund-lag for at kunne prioritere og tilrettelægge en videre indsats i BAR'et.Kortlægning vedrørende manglende tekniske hjælpemidler til distribution af gods (2005-03-15)400.000 kr.Nej
Projektet sigter på at afdække, hvilke af branchens arbejdsmiljøproblemstillinger der kan håndteres ved hjælp af tekniske løsninger. Bran-chens organisationer bidrager med forslag til sådanne løsninger, og projektet skulle sætte BAR'et i stand til at beslutte og prioritere indsatsenvedrørende udvikling af tekniske hjælpemidler til distribution af gods. Det har ikke været muligt at gennemføre interview ved dette projekt.Tekniske hjælpemidler til transport af byrder på trapper (2005-03-16)500.000 kr.Nej
BAR'et har lavet en sammenlignende test af trappekravlere på markedet. Med projektet ønskede BAR'et at kunne vejlede branchen omtrappekravlere, og man besluttede senere i forløbet at udarbejde en branchevejledning omkring transport af flyttegods på trapper. Det har ik-ke været muligt at gennemføre interview ved dette projekt.Analyse af arbejdsmiljøkonsekvenser ved udlicitering i servicebranchen (2006-04-02)200.000 kr.Nej
Projektet er en undersøgelse af, hvilken påvirkning udliciteringen i stat og kommuner har på medarbejdernes arbejdssituation og jobtilfreds-hed. Projektet sigter på at tilvejebringe viden til organisationerne. Det har ikke været muligt at gennemføre interview ved dette projekt.Kampagne om arbejdsmiljø, nulpunktsanalyse. Forprojekt (2006-08-29)488.541 kr.Nej
IBAR ønskede med projektet at give et statusbillede af, om traditionelle arbejdsmiljøtemaer står lavt i bevidstheden hos den erhvervsaktivedel af befolkningen. Hvis dette var tilfældet, ønskede BAR'et at igangsætte en kampagne. Kampagnen blev igangsat.Forprojekt. Arbejdsformer i vidensamfundet (2005-12-03)247.750 kr.Nej
Projektet er en kortlægning af, hvilke arbejdsformer der kendetegner samtidens vidensamfund. Projektet sigter på at give BAR'et et beslut-ningsgrundlag til udvælgelse af fremtidige projekter.* Det endelige budget fremgår af det selvevalueringsskema, der afleveres til Arbejdstilsynet, nårprojektet er afsluttet
Ekspertpanelets vurderingIfølge panelet er det hensigtsmæssigt at gennemføre en foranalyse eller enkortlægning, førend BAR'ene iværksætter projekter. Flertallet af de seksprojekter har også bragt interessante resultater, der kan danne godt grundlagfor at igangsætte nye projekter. Overordnet set har BAR'ene gennemførtnogle spændende og metodisk gode analyser og udarbejdet nogle gode rap-porter. Ved et enkelt projekt bemærker panelet dog, at det metodiske grund-lag er for begrænset til, at analysens resultater kan anvendes som ønsket.At trække på interessen-ternes erfaringer er godpraksis
Ved et projekt har BAR'et valgt aktivt at inddrage alle relevante interessen-ter i projektet. Det fremhæver panelet som god praksis. Ved at inddragebranchens interessenter i analyse og konklusioner opnår BAR'et ny viden,der trækker på den praktiske erfaring fra branchen, og de endelige analyserog konklusioner bliver effektivt målrettet BAR'ets virksomheder. Derudoverskaber interessenternes inddragelse ejerskab i branchen.I flere tilfælde undrer det panelet, at man i disse forprojekter ikke i højeregrad har trukket på eksisterende viden. Det er i hvert fald ikke synligt, omman har gjort det. Panelet opfordrer derfor til, at man indledningsvis under-søger, om der allerede eksisterer relevant viden på området, da eksisterende25
Brugen af eksisterendeviden
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
viden dels kan give mulighed for at målrette projektet fra start, dels kan givemulighed for at kvalificere analysen yderligere og dels give mulighed for atlave en lidt mindre analyse og i stedet bruge energien på den efterfølgendepraktiske indsats.I forlængelse af dette kan det diskuteres, om der ved alle seks projekter harværet behov for at sætte en så omfattende analyse i gang. På den ene sideargumenterer paneldeltagerne for, at de samme analyser og konklusioner inogle tilfælde kunne være opnået mere prisbilligt gennem et litteraturstudieaf eksisterende viden. På den anden side er det ikke er sikkert, at den eksi-sterende viden kan overføres til branchen. Forprojekterne giver i så fald mu-lighed for at koble den eksisterende viden med den konkrete situation ibranchen.
Udbredelse, anvendelse og effektEr udbredt til BAR'et selvsom ønsket
Projekternes primære målgruppe er BAR'et selv, og ved fire af de seks pro-jekter er rapporterne fremlagt for denne målgruppe som ønsket. For de sid-ste to projekters vedkommende har det ikke været muligt at fremskaffe vi-den herom.Panelet påpeger, at den viden, der er oparbejdet i projekterne, i flere tilfældeogså kan være relevante for parter uden for BAR'et selv. Bl.a. for de ti andreBAR. Panelet foreslår derfor, at BAR'ene også udbreder rapporterne til deandre BAR.
Enkelte nye indsatser ersat i gang – men derforventes at komme flere
På baggrund af BAR'ets egen beskrivelse af projektet, det skriftlige materia-le og panelets vurdering er det Capacents oplevelse, at størstedelen af pro-jekterne bidrager med væsentlig viden til BAR'et, der kan kvalificereBAR'ets fremtidige arbejde. Ved fem af de seks projekter er forprojektetanvendt til at sætte nye projekter i gang, mens det ved det sidste projekt eruklart, om projektet er anvendt som ønsket. Blandt størstedelen af projek-terne har forprojektet givet anledning til at starte et enkelt nyt projekt op,hvilket synes noget begrænset, men BAR'ene forventer, at forprojekterne påsigt vil medføre flere nye indsatser. Samlet set er projekterne derfor i et vistomfang anvendt som ønsket, men det fulde potentiale er endnu ikke udnyt-tet. Det kan anbefales, at forprojekter mere målrettet sigter mod at formulereegentlige projekter end blot at udgøre baggrundsviden, hvor det er mereuklart, hvilke projekter de resulterer i.Foranalyserne har ikke haft til formål at påvirke arbejdsmiljøet. Projekternekan dog få indirekte betydning for arbejdsmiljøet og arbejdsmiljøarbejdet påsigt, hvis forprojektet medvirker til at udarbejde målrettede og relevanteprojekter. Det er på nuværende tidspunkt ikke muligt at vurdere denne ef-fekt.
Indirekte effekt påarbejdsmiljøet
26
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Centrale pointer og konklusioner••••••Størstedelen af projekterne har givet et godt beslutningsgrundlag og kan bidrage til, at der gennemføres relevante og mål-rettede projekter på sigt.Det er vigtigt indledningsvis at afklare, om der allerede foreligger relevant information om emnet. Dette kan være med til atkonkretisere projekterne, løfte analysen og muligvis begrænse omfanget af den nødvendige videnindsamling.Projekterne er udbredt til BAR'ene selv, der er den primære målgruppe.De fleste projekter er anvendt til at igangsætte et enkelt projekt, hvad der ikke er overvældende. På sigt forventer BAR'ene,at rapporterne vil give anledning til flere nye projekter.Man kan anbefale, at forprojekter mere målrettet sigter mod at formulere egentlige projekter end blot at udgøre baggrunds-viden, hvor det er mere uklart, hvilke projekter de resulterer i.Projekterne sigter ikke direkte på at påvirke arbejdsmiljøet i branchen, men kan have indirekte effekt.
4.5 Mundtlig formidlingFire projekter er kendetegnet ved at søge at påvirke målgruppen gennemmundtlig formidling.
ProjektnavnUlykkesforebyggelse i tobaksindustrien (2005-08-10)
Endeligtbudget *32.196 kr.
Målgruppe-surveyNej
Det er afholdt en temadag med 27 deltagere, hvor formålet var dels at give deltagerne viden om metoder og erfaringer omkring brugen afsystematisk arbejdsmiljøledelse, dels at øge antallet af virksomheder, hvor emnerne sundhedsfremme og ulykkesforebyggelse indgår i virk-somhedens handlingsplan. Det har ved dette projekt ikke været muligt at gennemføre interview.Informationsmøder i autobranchen (2005-08-12)Fremgår ikkeNej
Ved projektet er afholdt syv informationsmøder, der dels skulle give målgruppen viden om den nye arbejdsmiljøreform, dels give dem kend-skab til de materialer, som IBAR's autobranche har udarbejdet. Det har ved dette projekt ikke været muligt at gennemføre interview.Kompetenceudvikling i det psykosociale arbejdsmiljø (2005-08-28)194.799 kr.Ja
I projektet er afholdt en række temadage, der har sat fokus på temaerne depression, forandringsprocesser, mobning og konflikt. På grund afen stor tilslutning blev der afholdt flere temadage end først planlagt. I alt er der afholdt 16 temadage.Arbejdsmiljøindsats inden for restaurationsbranchen (2005-04-09)207.020 kr.Ja
BAR'et har afholdt seks af syv planlagte seminarer under titlen "Slå tonen an". Programmet varede fra 9-13 og handlede om det psykiske ar-bejdsmiljø i restaurationsbranchen, særligt med fokus på arbejdssituationen for unge under uddannelse. Der er ikke gennemført interviewmed BAR'et.* Det endelige budget fremgår af det selvevalueringsskema, der afleveres til Arbejdstilsynet, nårprojektet er afsluttet.
27
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Ekspertpanelets vurderingVed tre af de fire projekter har det ikke været muligt at få supplerendeinformation eller gennemføre interview med BAR'et. Derfor er paneletsbasis for at evaluere disse projekter begrænset.Ved to projekter er der etordentligt grundlag forvurdering
Ved de to projekter, hvor der er et grundlag for at evaluere projekterne, me-ner panelet, at der er gennemført relevante og fagligt gode formidlingssean-cer. Ved det ene projekt fremhæver panelet, at man har valgt at holde enrække lokale arrangementer, hvilket imødekommer målgruppen, der ellersofte er svær at få til at komme til BAR'enes arrangementer. For det andetprojekts vedkommende er det en styrke, at både ledere og medarbejdere frasamme virksomhed har deltaget i arrangementerne.Panelet mener generelt, at de langsigtede effekter af mundtlige seminarerkan være begrænset. Det er sandsynligt, at de umiddelbare effekter – øgetviden om værktøjer, BAR'enes materiale, de lovgivningsmæssige krav – vilkunne spores hos en stor del af deltagerne. Men om denne øgede viden ogkendskabet til værktøjer etc. anvendes, når målgruppen er tilbage i daglig-dagen, er mere usikkert. Denne usikkerhed er størst, hvis man ønsker atændre målgruppens adfærd og holdninger, og mindre, hvis man ønsker, atmålgruppens efterfølgende indhenter flere materialer, tager stilling til, omman lever op til lovgivningsmæssige krav og lignende.Det vil ofte styrke sandsynligheden for effekt, hvis formidlingen indgår somen del af en større indsats, eller hvis man indbygger participatoriske elemen-ter, der lægger op til, at målgruppen selv arbejder aktivt med den videnog/eller de værktøjer, som man ønsker at formidle kendskab til.
Kortsigtede og lang-sigtede effekter
Udbredelse, anvendelse og effektUdbredelse
Generelt set har der været en god udbredelse af projekterne. Ved to projek-ter er der afholdt det ønskede antal møder, og deltagelsen har været accep-tabel. Ved et projekt har der været flere deltagere end forventet og ved etandet færre.Ved alle projekter forventer BAR'et, at gå-hjem-møderne og temadagene vilgive deltagerne øget viden om en række værktøjer og metoder, andres erfa-ringer med samme problemområder og/eller ændring i arbejdsmiljørefor-men. Det er Capacents opfattelse, at projekterne i vid udstrækning har for-midlet den angivne viden til målgruppen.
Anvendelse
Derudover vurderer Capacent, at en del af deltagerne har anvendt den viden,arrangementerne har givet dem. Capacent har gennemført et enkelt mål-gruppesurvey i forbindelse med ét af de fem projekter. Dette indikerer, atdele af målgruppen – men langt fra alle – efterfølgende har anvendt den vi-den, gå-hjem-møderne har givet dem. Derudover angiver en af BAR'enesselvevalueringer, at deltagerne har fået relevant viden, og de forventer, at devil bruge nogle af de værktøjer, de har fået.Om projekterne videre får betydning for arbejdsmiljøet i branchen, afhæn-ger af, om målgruppen efterfølgende er i stand til og vælger at bruge den vi-28
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
den, de har fået på en måde, der mere generelt påvirker arbejdsmiljøet. Det-te er en betingelse, som projekterne kun i begrænset omfang understøtter.Effekt
De mundtlige formidlingsseancer kan på sigt have en effekt på arbejdsmil-jøet i branchen, men for så vidt projekterne ikke indgår som led i en størreindsats eller følges op af yderligere initiativer, vil effekten være begrænsetog noget usikker. Projekterne har ikke i sig selv haft til hensigt at understøt-te implementeringen i de enkelte virksomheder, og det fremgår ikke af pro-jekterne, om BAR'ene tænker disse projekter ind som en del af en størreindsats. Det styrker dog sandsynligheden for effekt, at temaerne har væretaktuelle og synes at have haft et højt fagligt niveau, som det fremgår af pa-nelets arbejdsmiljøfaglige vurdering ovenfor.
Centrale pointer og konklusioner••••To af de fire projekter er relevante og fagligt gode. De sidste to kan ikke evalueres på grund af manglende information.Udbredelsen til målgruppen synes tilfredsstillende ved tre ud af fire projekter. En acceptabel del af målgruppen har desudenanvendt den viden, de har fået.Den kortsigtede effekt af arrangementerne – f.eks. øget viden hos målgruppen – er opnået. Det er mere usikkert, om mål-gruppen anvender denne viden til at påvirke arbejdsmiljøet i egen virksomhed.De mundtlige projekter bør tænkes ind som en del af en større indsats og gerne følges op med en mere aktiv inddragelse afmålgruppen. Det vil styrke sandsynligheden for, at viden anvendes, når mødet er slut.
4.6 Konferencer/MesserVed tre projekter har BAR'et søgt om bevilling til at deltage på konferencereller messer. Ved et af disse projekter er en væsentlig del af bevillingen an-vendt til at udfærdige en egentlig stand til BAR'et.
ProjektnavnMesser (2005-09-03)
Endeligtbudget *884.890,82 kr.
Målgruppe-surveyNej
Ud fra et ønske om at profilere 3BAR og de produkter, det har udarbejdet, deltog 3BAR i løbet af 2005 og 2006 i seks konferencer og mes-ser rettet mod sikkerhedsrepræsentanter og arbejdsmiljøundervisere. Til disse konferencer fik 3BAR udviklet et udstillingsdisplay, og der ertrykt en række reklamepostkort til uddeling.Stand på arbejdsmiljøkonference (2006-12-02)113.781 kr.Nej
I projektet har BAR'et udarbejdet en stand, der skulle kunne anvendes på fremtidige konferencer generelt og ved ArbejdsMiljøkonferencen i2006 konkret. Der er udarbejdet tre roll-ups med billede og tekst, en huskeliste til forberedelsen ved de konkrete konferencer og en over-bliksfolder, der på ét A4-ark kort beskriver de produkter, som BAR'et har udarbejdet.Konference om "Det rengøringsvenlige hus" (2005-04-01)400.000 kr.Nej
Ved projektet afholdt BAR'et en konference om Det rengøringsvenlige hus, der skulle være med til at sætte fokus på, hvordan overvejelseromkring rengøring og vedligeholdelse kan tænkes ind allerede i projekteringen af nybyggeri. Til konferencen blev udarbejdet en kort filmmed gode og dårlige eksempler.* Det endelige budget fremgår af det selvevalueringsskema, der afleveres til Arbejdstilsynet, nårprojektet er afsluttet.
29
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Ekspertpanelets vurderingOverordnet kan de tre projekter opdeles i to grupper. Ved de to første pro-jekter i ovenstående tabel deltager BAR'et på konferencer og messer for atgøre opmærksom på sig selv og sine projekter. Ved det tredje projekt afhol-der BAR'et selv en konference for at gøre opmærksom på, hvordan man al-lerede i byggefasen kan gøre et byggeri rengøringsvenligt.Markedsføring af BAR'etselv
I forbindelse med de to førstnævnte projekter, hvor et væsentlig formål er atmarkedsføre BAR'et og dets projekter, diskuterer panelet, om denne profile-ring af BAR'et selv på messer/konferencer er hensigtsmæssig og fagligt re-levant. På denene sidekan man argumentere for, at konferencer er en godanledning for BAR'et til at komme i direkte kontakt med målgrupperne ogpræsentere sine materialer. Det er væsentligt, at målgruppen kender BAR'etfor at bruge dets ydelser, og konferencer/messer giver en anden vej tilBAR'ets materiale end nettet og central distribution. Derudover giver mes-ser/konferencer BAR'et mulighed for at tale med målgruppen og få en for-nemmelse af, hvad der rører sig i branchen, samtidig med at der er mulighedfor målgruppen til at tage materialer med sig og få svar på spørgsmål.På den anden side kan man argumentere for, at effekten af at deltage påkonferencer ikke står mål med omkostningerne. Ønsker man at markedsføresig, vil det være mere effektivt, hvis BAR'ene f.eks. selv tog ud til virksom-hederne og/eller kontaktede arbejdsmiljøprofessionelle og undervisere. Der-til kan man argumentere for, at denne markedsføring af BAR'et ikke er af-gørende for, at BAR'ets materialer anvendes. Står man som virksomhedmed et arbejdsmiljøproblem, vil man formentlig finde frem til den relevantehjælp via sin brancheorganisation eller sit fagforbund. Der stilles derforspørgsmålstegn ved, om det reelt er denne slags projekter, BAR'ene skal an-vende midlerne på.
Panelet anbefaler ensamlet markedsførings-indsats blandt BAR'ene
At der er flere BAR, der har valgt at brande sig selv på konferencer,indikerer, at der kan være et mere generelt ønske/behov hos BAR'ene. Detvil derfor være relevant at diskutere, om det er vigtigt, at BAR'enemarkedsfører sig selv i branchen, og hvis det er, hvordan de i givet faldmarkedsføres på den mest effektive måde. Det er panelets vurdering, at hvisBAR'ene skal markedsføre sig selv, så vil det være hensigtsmæssigt atmarkedsføre BAR'ene samlet gennem en mere "professionel" indsats, hvormarkedsføringen er en del af en samlet strategi for alle BAR'ene.I forhold til deltagelsen på konferencer bemærker panelet videre, at det erafgørende for udbyttet af indsatsen, at BAR'ene kritisk og velovervejet ud-vælger de enkelte konferencer. Ved et enkelt projekt virker nogle af de valg-te messer som værende for små og for underholdningsprægede. Deltagelsenpå disse konferencer vil næppe være kosteffektiv.Det tredje projekt vedrørende det rengøringsvenlige hus adskiller sig fra deto ovenstående i formål og udformning. Panelet er imponeret over dette pro-jekt, som er nytænkende, overskrider det traditionelle individfokus og pro-aktivt arbejder på at forme morgendagens arbejdsmiljø. Udbredelsen af pro-jektets budskaber har dog været begrænset. Panelet opfodrer BAR'et til atarbejde videre med projektet, gerne på en mere kreativ måde i forhold til30
Konferencerne skaludvælges kritisk
Det rengøringsvenligehus
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
udbredelsen af projektet, samt f.eks. at udbrede den dvd, der var producerettil konferencen.Midler til formidling
Panelet finder det positivt, at man i to af projekterne har arbejdet med flereforskellige medier i formidlingen. Ved projektet om det arbejdsmiljøvenligehus har man bl.a. udarbejdet en dvd til fremvisning på konferencen. I et an-det projekt har man udarbejdet en folder, der giver en oversigt over BAR'etsmaterialer.
Udbredelse, anvendelse og effektEvaluators vurdering
Ved alle tre projekter er der afholdt de forventede konferencer. Ved to af detre projekter har BAR'et ikke præcis viden om, hvor mange deltagere derhar været forbi deres stand på konferencen, men BAR'ene vurderer, at derhar været tale om mange besøg. Ved det sidste projekt "Konference om detrengøringsvenlige hus" har BAR'et selv inviteret deltagerne til konferencen.Her er invitationen sendt ud til den forventede målgruppe, men antallet afdeltagere på konferencen var mindre end forventet.Projektet "Stand på arbejdsmiljøkonferencen" havde til formål at udformeen ny stand. Dette er sket, og den har et layout, der som ønsket lægger af-stand til opfattelsen af arbejdsmiljø som en "støvet" og kedelig affære.
Anvendelse
Det er svært at vurdere, om de to førstnævnte konferencer bidrager til, atdeltagerne anvender BAR'ets ydelser og materialer. BAR'ene har ikke selvoplysninger, der kan belyse spørgsmålet, panelets deltagere er ikke ubetin-get enige desangående, og det har ikke været muligt for Capacent at gen-nemføre et målgruppesurvey. Det er derfor ikke muligt at vurdere, om pro-jekterne har ført til øget anvendelse af BAR'enes ydelser, herunder hellerikke, om indsatsen er kosteffektiv.BAR'et har ikke kendskab til, om deltagerne på konferencen om det rengø-ringsvenlige hus har anvendt den viden, de har fået, og det har ikke væretmuligt at gennemføre et målgruppesurvey. Panelets vurdering af projektet erdog positiv. Derfor skønner Capacent, at konferencen har givet deltagerneøget viden om det rengøringsvenlige hus, men grundet den lille udbredelsehar projektet potentiale til at blive udbredt i væsentlig større skala. F.eks. serdet ud som om, at projektet i højere grad kunne udbredes gennem centraleaktører inden for branchen.
Effekt
I den udstrækning, at de besøgende ved konferencerne anvender materialetog inspirationen på egen arbejdsplads eller i eget arbejde, kan projekterneindirekte få effekt på det faktiske arbejdsmiljø og arbejdsmiljøarbejdet. Vedto af projekterne er det dog ikke BAR'enes formål med projekterne og måderfor karakteriseres som en indirekte effekt.Konferencen om det rengøringsvenlige hus sigter mere direkte på at forbed-re arbejdsmiljøet i branchen. Projektet har potentialet til at påvirke arbejds-miljøet i branchen, men effekten må forventes at være noget begrænsetgrundet den lave deltagelse.
31
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Centrale pointer og konklusioner••To projekter har til formål at udbrede kendskabet til BAR'et og dets projekter via konferencer og messer. Det tredje projekthar til formål at give målgruppen viden om "Det rengøringsvenlige hus".Der er uenighed i ekspertpanelet om, hvorvidt deltagelse i konferencer er det rette middel til at markedsføre BAR'ene, ogom BAR'ene overhovedet bør anvende midler på markedsføring af denne karakter. Panelet anbefaler, at BAR'ene markeds-føres via en samlet indsats.Projekterne kombinerer mundtlig formidling med f.eks. dvd-film og skriftligt materiale. Det øger sandsynligheden for effekt.BAR'ene har afholdt de ønskede konferencer, og ved to af de tre projekter er deltagelsen som ønsket.
••
4.7 KampagneFire projekter er gennemført som kampagner, kendetegnet ved at være rela-tivt omfattende indsatser med flere forskelligartede delprojekter.
ProjektnavnNed med ulykker/sikker nok? – Forebyggelse af ulykker i mejeriindustrien (2005-02-03)
Endeligtbudget *808.750 kr.
Målgruppe-surveyJa
Ved dette projekt deltog en række virksomheder fra mejeriindustrien. De skulle på eget initiativ igangsætte aktiviteter, der kan bidrage til atforbedre arbejdsmiljøet. De erfaringer og metoder, som virksomhederne udviklede, skulle deles på en hjemmeside, hvor der samtidig blevudbudt konkurrencer som incitament for at bruge hjemmesiden.Ulykker – arbejde med store maskiner (2005-02-12)300.000Nej
Projektet havde til formål at indsamle den viden, der er i landbruget om, hvordan man undgår ulykker ved arbejdet med store maskiner. Re-sultatet blev en kampagne med artikler samt uddybende information på to hjemmesider, hvor udbredelsen af viden blev understøttet af enkonkurrence for at øge interessen.Opmærksomhed på forhold vedrørende arbejdsmiljø i vinterhalvåret for udsatte faggrupper underBAR (2005-03-17)3.250.000Nej
Projektet er en kampagne, der har til formål at få befolkningen til at huske at skovle sne, så antallet af faldskader blandt transportbranchensansatte som følge af sne- og isskader mindskes. Kampagnen indeholder tv- og radiospots, en hjemmeside med informationer samt to kon-kurrencer. Det har ikke været muligt at gennemføre interview med BAR'et.Særlig indsats for små bygge- og anlægsvirksomheder (2006-07-02)2.888.789Ja
Projektet sigter på at gøre små virksomheder i stand til at håndtere lovgivningens formelle arbejdsmiljøkrav og omfatter en lang række aktivi-teter, herunder udarbejdelse af en startpakke til hver faggruppe samt gennemførelse af informationsmøder og faglærerkurser.* Det endelige budget fremgår af det selvevalueringsskema, der afleveres til Arbejdstilsynet, nårprojektet er afsluttet.
Ekspertpanelets vurderingFagligt gode indsatser
Panelet er overordnet set positiv i sin vurdering af tre af de fire projekter, dader er gennemført en række gode og relevante indsatser. Projekterne tagerdesuden udgangspunkt i tidligere erfaringer og eksisterende viden. Ved detsidste projekt er panelet mere kritisk. Projektet kan fagligt set være beretti-get, men da al erfaring viser, at det ikke er muligt at påvirke holdning og ad-32
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
færd gennem radio- og tv-spots som ønsket, vurderer panelet, at projektet eruforholdsmæssigt dyrt og ikke vil have den ønskede effekt.Miks af indsatser
Panelet fremhæver, at det styrker effekten af projekterne, at man påvirkermålgruppen via forskellige medier. Det gælder især, hvis der er tale om enmålgruppe, der er vanskelig at nå, f.eks. små virksomheder.BAR'ene har gennemført en selvevaluering ved tre af projekterne, og veddet sidste projekt forventes evalueringen at blive gennemført på et seneretidspunkt. Panelet problematiserer dog den måde, evalueringerne er gen-nemført. Panelet finder det utilstrækkeligt, at der ved et projekt til 3 mio.kr.er udarbejdet en evalueringsrapport, der reelt ikke evaluerer projektets ef-fekt. Det forekommer ikke ansvarligt at gennemføre et så stort projekt, dersom udgangspunkt har usikker effekt, uden at gennemføre en egentlig ef-fektevaluering, og samtidig virker det meget lidt kosteffektivt, at man harbrugt et forholdsvis stort beløb på en evaluering, der har udmøntet sig i entresiders evalueringsrapport.Panelet bemærker også visse uhensigtsmæssigheder ved de to andre selv-evalueringer. Ved det ene projekt har man opstillet uhensigtsmæssige ef-fektmål, og ved det andet har man sammenlignet to statistikker, der ikke ersammenlignelige.
Effektevaluering
Udbredelse, anvendelse og effektAlle fire projekter sigter på at nå en relativ omfattende målgruppe. Det erCapacents vurdering, at to af projekterne har nået den forventede målgrup-pe, mens de sidste to projekter kun er nået ud til et mindre udsnit. Alle pro-jekterne sigter på at påvirke arbejdsmiljøet i branchen, men kun et enkelthar haft den ønskede effekt.Projekternes varierervæsentligt ogkommenteres enkeltvis
Vurderingen af projekterne er relativ forskellige, og projekterne kommente-res derfor kort enkeltvis.Et projekt angår arbejdsmiljø i vinterhalvåret. Her når man ud til målgrup-pen gennem radio- og tv-spots, og det er sandsynligt, at kampagnen gørmålgruppen opmærksom på problemet. Det er derimod tvivlsomt, om detskaber en adfærdsændring, således at danskerne bliver bedre til at rydde sne.Et andet projekt angår ulykker med store maskiner. Her har vi ikke megetviden om udbredelse, anvendelse og effekt, men på baggrund af projektetsindhold og design vurderes det, at projektet har skabt øget viden og ad-færdsændringer hos landbrugere, der kører med store maskiner.Et tredje projekt har rettet sig mod små virksomheder. Her er der gennem-ført en betydelig indsats, men projektet har ikke haft den ønskede gennem-slagskraft. BAR'et er dog nået et godt stykke vej ud til en vanskelig mål-gruppe.Ved det sidste projekt påpeger panelet, at BAR'et har gennemført et godtprojekt, der dog ikke er udbredt blandt og anvendt af målgruppen i det øn-33
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
skede omfang. Færre har tilmeldt sig til projektet end ønsket, og der har væ-ret stor forskel på, hvor aktive de deltagende virksomheder har været.Målgruppesurveyet, som Capacent har gennemført, indikerer, at en væsent-lig andel af de deltagende virksomheder har anvendt den viden, de har fået iprojektet. Capacent vurderer derfor, at anvendelsen og effekten har væretvæsentlig blandt de aktive virksomheder, men begrænset blandt de resteren-de.
Centrale pointer og konklusioner•Tre af de fire projekter er relevante og har været baseret på relevante aktiviteter. Det sidste projekt er relevant, men der ervalgt et uhensigtsmæssigt og dyrt projektdesign i form af radio- og tv-spots. Disse formår desuden ikke at påvirke modta-gernes holdninger og adfærd.Det styrker sandsynligheden for anvendelse og effekt, at der anvendes et miks af forskellige indsatser i to af projekterne.Der er gennemført selvevaluering ved tre af de fire projekter, men panelet påpeger forskellige problemstillinger ved måden,disse evalueringer er gennemført. Særligt problematisk er det, at man ved et stort projekt har gennemført en evaluering, derreelt ikke viser, om indsatsen virker. Ved det fjerde projekt forventes evalueringen gennemført senere.To projekter er udbredt til målgruppen som ønsket.Ét projekt er anvendt i det ønskede omfang og forventes at have den ønskede effekt.
••
••
4.8 Værktøj og undervisningTre af de udvalgte projekter sigter på at udarbejde et værktøj til målgruppen,herunder kursusmaterialer.
ProjektnavnInteraktivt værktøj – unges arbejdsmiljø (2005-05-04)
Endeligtbudget *698.056 kr.
Målgruppe-surveyNej
I projektet har BAR'et udarbejdet et interaktivt værktøj til brug ved instruktionen af unge om, hvordan de kan undgå skader og ulykker på ar-bejdspladsen og dermed forbedre deres eget arbejdsmiljø. Værktøjet fungerer som et elektronisk spil/test og er frit tilgængeligt på BAR'etshjemmeside.Forbedring af produktivitet, kvalitet og arbejdsmiljø i træ- og møbelindustrien (2005-08-17)598.981 kr.Ja
Projektet har til formål at udvikle og afprøve et allerede udarbejdet træningsforløb, således at det tilpasses træ- og møbelindustrien. Træ-ningsforløbet formidler en række enkle redskaber til en systematisk indsats for forbedring af arbejdsmiljø, produktivitet og kvalitet. Projektetsmålgruppe er ledere og medarbejdere i mindre træ- og møbelvirksomheder. Projektet er stoppet undervejs.Den sunde daginstitution (2005-09-06)2.115.136 kr.Nej
Ved "Den sunde daginstitution" ønskede BAR'et at udarbejde et procesværktøj, der kunne inspirere daginstitutionerne til at arbejde helheds-orienteret med arbejdsmiljø i arbejdet med at blive en "sund daginstitution". Resultatet blev en "Holomobile", der er et metalophæng medklemmer, som kan bære små kort med de problemstillinger, som medarbejderne på daginstitutionen synes, at der skal gøres noget ved.BAR'et informerede om Holomobilen på informationsmøder, hvor der blev afholdt tre af de 14-16 forventede møder.* Det endelige budget fremgår af det selvevalueringsskema, der afleveres til Arbejdstilsynet,når projektet er afsluttet.
34
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Ekspertpanelets vurderingRelevant
Kursusforløbet og de to værktøjer har alle et relevant afsæt. Kursusforløbetsætter fokus på, hvordan man håndterer den konflikt, der ofte opstår mellemarbejdsmiljøkrav og effektiviseringshensyn, hvilket er meget aktuelt i en tid,hvor de fleste virksomheder har fokus på Lean. Det interaktive værktøj omunges arbejdsmiljø tager udgangspunkt i budskaberne i en tidligere udarbej-det branchevejledning, mens værktøjet vedrørende den sunde daginstitutiontager udgangspunkt i en BST-rapport, hvoraf det fremgår, at man bør arbej-de helhedsorienteret med APV. Ved alle tre projekter har BAR'et såledesbygget videre på den viden, der er genereret i andre projekter, hvilket er po-sitivt.Panelet fremhæver, at der er en række elementer ved kursusforløbet, dergør, at udformningen og indholdet af kurset synes velgennemtænkt. (1) Ar-bejdsmiljøet bliver knyttet op på virksomhedens produktion, hvilket øgersandsynligheden for, at deltagerne vælger at anvende den viden, de har fået.(2) Undervisningsmaterialet er ikke afhængigt af konsulenter, og branchenkan selv anvende kurset. (3) I valget af tema har man øje for, hvordan denyeste tendenser har betydning for arbejdsmiljøetPanelet er også positiv i vurderingen af det interaktive værktøj. De fremhæ-ver, at værktøjet er knyttet til en konkret situation i arbejdslivet, hvor de un-ge vil opleve, at det er relevant at snakke om arbejdsmiljø. Desuden har manmed det interaktive værktøj valgt en udformning, der passer godt til mål-gruppen. Panelet påpeger dog, at det ikke er givet, at de unge vælger at bru-ge værktøjet, bare fordi det ligger på nettet. De unge vil meget hurtigt gen-nemskue, at det handler om arbejdsmiljø, og når unge surfer på nettet, er de-res interesse for at læse om arbejdsmiljø ofte meget lille. Men hvis arbejds-giveren beder en ung nyansat om at bruge værktøjet som led i oplæringen,vil det formentlig være velegnet.Panelet er mere uenigt om relevansen og hensigtsmæssigheden af værktøjet,der er udviklet i projektet "Den sunde daginstitution". På den ene side vur-deres det, at Holomobilen passer godt til målgruppen, der ønsker kreativeløsninger, og det fremhæves, at den er orienteret mod det fremtidige ar-bejdsmiljø. På den anden side ville panelet ikke selv have valgt at lave enholomobil, da den ikke giver ejerskab blandt målgruppen, og den er ikkehelt så kreativ, som man kunne ønske. Den kan skabe forvirring, da den ikkebidrager til struktur i en kompleks verden. Derudover påpeger panelet, atudbyttet af projektet er meget lille henset til de økonomiske omkostninger.
Kursus har flere godeelementer
En fordel, at det inter-aktive værktøj er knyttettil en konkret situation
Uenighed i panelet omHolomobilen
Udbredelse, anvendelse og effektTo af de tre projekter er ikke udbredt eller anvendt som ønsket. Capacentvurderer, at det sidste projekt om det interaktive værktøj er udbredt, anvendtog i et vist omfang har den ønskede effekt.To af tre projekter er ikkeudbredt og anvendt somønsket
Ved projektet "Forbedring af kvalitet…" er kursusmateriale udarbejdet ogtilpasset træ- og møbelindustrien som ønsket. Men de BAR-konsulenter, derstod for projektet, er stoppet, inden kursusmaterialet blev udbredt og an-vendt, og projektet er derefter gået i stå. Det forekommer problematisk, at et35
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
projekt, der er investeret mange ressourcer i, og som har stor potentiel ef-fekt, går i stå på grund af udskiftning af BAR-konsulenter. BAR'ets egen er-faring og det målgruppesurvey, Capacent har gennemført, indikerer, at deforsøgsvirksomheder, der har deltaget, har været meget tilfredse med kurset.Ved projektet "Den sunde daginstitution" har deltagelsen på formidlings-møderne været meget lille. Selv om man kan forvente, at nogle af deltagernehar anvendt Holomobilen, er udbredelsen og anvendelsen langt mindre endforventet. På nuværende tidspunkt er effekten af disse to projekter derforbegrænset. Hvis BAR'ene udbreder projekterne mere effektivt, er det er mu-ligt, at de på sigt kan få den ønskede effekt.Sidste projekt er udbredt,anvendt og kan bidragemed den ønskede effekt
Ved projektet "Interaktivt værktøj…" er der en vis usikkerhed om målgrup-pens kendskab til værktøjet. BAR'et besidder information, der godtgør, at enrelativt omfattende persongruppe har anvendt værktøjet elektronisk. Samti-dig er det Capacents vurdering, at det interaktive værktøj er vellykket og ud-formet på en spændende og interesseskabende måde, og det synes derforsandsynligt, at værktøjet er anvendt af målgruppen og har bidraget til atskabe den ønskede effekt.
Centrale pointer og konklusioner•Udformningen og indholdet af værktøjerne er generelt gode, og der er skabt kreative og alternative løsninger. Ved det inter-aktive værktøj fremhæves det, at man har tænkt værktøjet ind i en konkret situation på arbejdspladsen. Holomobilens hen-sigtsmæssighed er der forskellige opfattelser af i panelet.Alle tre projekter bygger videre på eksisterende viden og/eller tidligere projekter, hvilket er positivt.To af de tre projekter er ikke udbredt eller anvendt som ønsket. Ét projekt er stoppet, fordi de ansvarlige BAR-konsulenterikke længere er ansat. Det forekommer problematisk, at et godt projekt, der er investeret mange ressourcer i, strander påden måde.
••
4.9 HjemmesideI et projekt er der udarbejdet en opdateret version af en eksisterende hjem-meside.
ProjektnavnHjemmesider (2005-09-02)
Endeligtbudget *1.649.371 kr.
Målgruppe-surveyNej
Projektet bidrager med opdatering og udvikling af en allerede eksisterende hjemmeside for BAR Social og Sundhed, BAR Finans, OffentligKontor og Administration og BAR Undervisning og Forskning. BAR Social og Sundhed står som hovedansvarlig. Der er gennemført to bru-gertest på hjemmesiden.* Det endelige budget fremgår af det selvevalueringsskema, der afleveres til Arbejdstilsynet, nårprojektet er afsluttet.
36
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Ekspertpanelets vurderingUdformningen afhjemmesiden fremhævessom god praksis
Panelets vurdering af hjemmesiden er positiv, og de vurderer, at der er flereforklaringer på, at hjemmesiden har så højt et besøgstal. Disse elementerkan fremhæves som god praksis i forhold til etableringen af hjemmesider oger følgende: (1) Hjemmesiden opdateres løbende, (2) hjemmesiden har enklar målgruppe. Den henvender sig til de arbejdsmiljøinteresserede, hvilketgør det muligt at målrette den viden, der er på hjemmesiden. (3) Hjemmesi-den indeholder ikke kun information om arbejdsmiljø. Den linker i et vistomfang også videre til andre sider. (4) Hjemmesiden er hensigtsmæssigt de-signet. Det er let at finde rundt og let at se forskel på de forskellige materia-ler og links på siden.Panelet anbefaler, at BAR'enes hjemmesider kan styrkes yderligere viamarkedsføring og integration med andre medier.
Udbredelse, anvendelse og effektEvaluators vurdering
Det er Capacents opfattelse, at projektet har medført en ajourført og opdate-ret hjemmeside. Der er mange besøgende på hjemmesiden, og selv om detikke vides, hvilken betydning opdateringen har haft, så er det vores vurde-ring, at opdateringen af hjemmesiden har haft en positiv betydning for antal-let af besøgende og brugen af hjemmesiden.Det vides ikke, om projektet har haft en effekt på arbejdsmiljøet og ar-bejdsmiljøarbejdet, hvad der dog heller ikke har været projektets primæreformål. Det er dog sandsynligt, at hjemmesiden indirekte har bidraget tilforbedringer af det faktiske arbejdsmiljø og arbejdsmiljøarbejdet, fordi detfaglige indhold på hjemmesiden er opdateret og ajourført, samtidig med atinformationen er blevet lettere tilgængelig.
Centrale pointer og konklusioner•••Hjemmesidens udformning fremhæves som god praksis, da den er opdateret, målrettet, ikke kun indeholder information omarbejdsmiljø og er velgennemtænkt i sin opbygning.Der er et stort antal besøgende på hjemmesiden, og det formodes, at den opdaterede hjemmeside har bidraget positivt tilbesøgstallet og brugen af siden.Projektet har ikke direkte til formål at påvirke arbejdsmiljøet, men det forventes, at en opdateret hjemmeside med let tilgæn-gelig information kan bidrage til arbejdsmiljøet.
37
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
4.10 UdviklingsprojekterTo projekter ligger under kategorien udviklingsprojekter.
ProjektnavnVidendeling og prioritering af arbejdsmiljøindsatsen for mejeriindustrien (2005-02-18)
Endeligtbudget *189.577,00 kr.
Målgruppe-surveyNej
Projektet er et egentligt strategiprojektet, der sigter på at redefinere Mejeriindustriens Arbejdsmiljøudvalgs rolle for hermed at styrke dets po-sition i branchen. Således har projektet dels til formål at ændre og fokusere MIA's arbejde internt, dels til formål at styrke deres position eks-ternt.Arbejdsmiljø, der arbejder (2006-02-05)274.451 kr.Nej
Projektet er et forprojekt, der gennem en analyse af Slagteribranchens Arbejdsmiljøudvalgs (SAU) mål, rolle og opgave skal danne baggrundfor et efterfølgende strategiprojekt, hvor der skal udvikles en langsigtet strategi for SAU og dets videre arbejde med arbejdsmiljø i branchen.Forprojektet er mundet ud i en rapport. Det har ikke været muligt at gennemføre interview med BAR'et omkring dette projekt.* Det endelige budget fremgår af det selvevalueringsskema, der afleveres til Arbejdstilsynet, nårprojektet er afsluttet.
Ekspertpanelets vurderingPanelet anerkender, at det kan være en god ide at benytte strategiarbejde tilat gen- og nytænke, redefinere og genskabe BAR'enes eksistensgrundlag ogvirkemåde. De stiller dog spørgsmålstegn ved, om BAR-midlerne bør an-vendes til strategiarbejde, eller om sådanne interne BAR-projekter skal fi-nansieres på anden vis. Man kan eventuelt adskille midler til BAR'ets inter-ne drift og til de projekter, der mere direkte sigter på at påvirke arbejdsmil-jøet i branchen.Et ambitiøst formål
Ved projektet "Videndeling og prioritering af arbejdsmiljøindsatsen for me-jeriindustrien" påpeger panelet, at BAR'et har opstillet nogle meget ambitiø-se mål, der rækker langt ud over den effekt, man kan forvente af de igang-satte initiativer. BAR'et burde have opstillet et mere realistisk formål medprojektet.Ved projektet "Arbejdsmiljø, der arbejder" vurderer BAR'et selv, at rappor-ten har givet et godt beslutningsgrundlag for den videre proces. Panelet erikkeenigt i denne vurdering. Det skyldes, at (1) rapporten ikke resulterer ide fremtidsscenarier, man selv angiver at ville opstille. (2) Rapporten er ba-seret på interview. Det havde været ønskeligt at inddrage andre informati-onskilder. (3) Rapporten har ikke en tilstrækkelig faglig tyngde. Ifølge pane-let giver rapporten derfor ikke det ønskede bidrag til at kunne tage hen-sigtsmæssige strategiske beslutninger i den videre proces.
Det faglige indhold ograpportens form
38
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Udbredelse, anvendelse og effektBegge projekter sigter på at bidrage til den interne udvikling i BAR'et. Pro-jekterne er dog ikke ens. MIA's projekt sigter på at udarbejde en strategi,mens projektet i SAU er et forprojekt, der skal danne grundlag for det viderestrategiarbejde. Derfor kommenteres de to projekter enkeltvis.Videndeling og priorite-ring af indsatsen i MIA
MIA's projekt "Videndeling og prioritering af arbejdsmiljøindsatsen for me-jeriindustrien" har overordnet to formål. For det første ønsker MIA at udar-bejde en strategi, der kan danne grundlag for en nytænkning og nyoriente-ring af MIA's arbejde. Strategien er udarbejdet, og enkelte af de opstilledeeffektmål er opnået. Projektet har derfor lagt et godt grundlag for det viderearbejde, men der skal fortsat arbejdes med de konkrete effektmål, for at pro-jektet vil have den ønskede effekt. For det andet ønsker MIA, at projektetkan være med til at udbrede kendskabet til MIA i branchen. Projektets akti-viteter knytter sig dog især til den interne strategiproces og omfatter ikkeaktiviteter, der vil medføre synlighed og kendskab i branchen. Projektet kansåledes ikke indløse sit andet formål.Projektet "Arbejdsmiljø, der arbejder" er som nævnt et forprojekt, der harSAU selv som målgruppe. Det er muligt, at det vil blive anvendt til at træffeegentlige strategiske beslutninger, idet SAU selv finder, at rapporten danneret godt udgangspunkt. I forlængelse af panelets arbejdsmiljøfaglige vurde-ring af projektet forekommer det dog tvivlsomt, om rapporten udgør et til-strækkelig sagligt grundlag for den videre strategiproces.
Arbejdsmiljø, derarbejder, i SAU
Centrale pointer og konklusioner•Det forekommer hensigtsmæssigt at benytte strategiarbejde til at gennemtænke organisationens eksistensgrundlag og til atsætte målrettet ind over for udvalgte områder. Man bør dog overveje, om BAR-midler bør anvendes til sådanne formål, ogom de i givet fald bør udskilles i en særlig pulje.Det ene af de gennemgåede projekter forekommer ikke at have den fornødne faglige tyngde til at udgøre et solidt grundlagfor BAR'ets videre strategiarbejde.Det ene projekt har ført til nye initiativer, mens det endnu ikke vides, hvordan BAR'et vælger at anvende den anden rapport.
••
39
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
5. Tværgående temaerEkspertpanelet har gennemgået 37 projekter, som de har evalueret enkelt-vist. Panelets evalueringer og diskussioner gav anledning til en række re-fleksioner hos panelet, som angår de generelle rammer for BAR'enes pro-jekter. Det er disse refleksioner, som refereres i dette kapitel under over-skriften tværgående temaer". Kapitlet sammenfatter panelets bemærkningerog anbefalinger.Panelets generelle bemærkninger falder i fem dele, hvoraf de første fire ogsåafspejler en kronologisk progression gennem projektprocessen. De fem trin– som også udgør kapitlets disposition – er: (1) Den strategiske tilgang, (2)ansøgningsprocessen, (3) selve projektprocessen, (4) evaluering og (5) kva-litetsstyring.
5.1 Strategisk forankringEn optimal anvendelse af BAR-midlerne forudsætter, at BAR'et har en be-grundet plan for indsatsen over en årrække. Det vil være ønskeligt, at BAR-projekter tager afsæt i en synlig og overordnet strategiplan for, hvordanBAR'ets indsats vil kunne føre til bedre arbejdsmiljø for BAR'ets målgrup-pe, og hvordan BAR'et vil undersøge, om indsatsen virker. Planen bør inde-holde de overvejelser, BAR'et har gjort for at komme frem til planen, her-under analyse af arbejdsmiljøproblemer i branchen, mulige indsatser, for-midlingstiltag, evalueringstiltag, fravalg, tilvalg og konklusioner.For en række af de 37 projekter fremgår det, at projektet er tænkt ind i enegentlig BAR-strategi, men for langt de fleste fremgår det ikke. Panelet me-ner, det bør fremgå, om de enkelte projekter indgår i en større strategiskplan.Ansøgningsprocessen er opsplittet i finansår, men dette forhindrer ikke, atder udarbejdes mere langsigtede planer. Tværtimod kan det være et middeltil at skabe konsistens over tid. Panelet er også opmærksomt på, at BAR'ene
40
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
er forpligtet af regeringssatte mål og prioriteringer, og at det er inden fordisse rammer, at man skal formulere branchestrategien.Branchestrategien drejer sig bl.a. om at udvælge et eller flere overordnedetemaer, om at udpege de målgrupper, man vil sætte ind over for, og om atkortlægge de metoder eller tilgange, man vil anvende, i forhold til temaet ogmålgruppen. Overordnet set kan metoden f.eks. knytte sig til en eller flere affølgende, som kan betragtes som en årsagskæde i forståelsen af arbejdsmil-jøindsatsen:a.b.c.d.e.Generering af viden eller opsamling af eksisterende videnFormidling af viden og handlemulighederÆndring af adfærdForbedring af arbejdsmiljøMinimering af gener og fremme af sundhed og tilfredshed.
Hvis BAR'et angiver, hvilke indsatser midlerne vil blive knyttet til på kortog lang sigt, vil det f.eks. blive forståeligt, hvis der anvendes mange res-sourcer på at indsamle viden om en bestemt type ulykker og metoder til atundgå dem, fordi det også fremgår, at man efterfølgende intensivt vil for-midle denne viden til branchen gennem en længerevarende indsats og flereprojekter.Strategiplanerne må nødvendigvis være både åbne og tilgængelige og sam-tidig fleksible og under løbende revision. Revisionen kan f.eks. foregå på enårlig BAR-strategikonference. I sagens natur vil der være både kortere-varende og længerevarende spor i strategiplanen; spor, der starter, og spor,der slutter, ligesom planen vil indeholde muligheder for ad hoc-projekter.Af strategiplanen bør det fremgå, i hvor stort omfang BAR'et vil anvendemidler til ikke direkte arbejdsmiljømæssige formål – f.eks. markedsføring afsig selv.Skemaet nedenfor illustrerer tankegangen bag en strategiplan. Skemaet er eteksempel og er hverken færdigtænkt eller tilstrækkeligt, men sigter alene påat give en fornemmelse af, hvad panelet mener, en strategiplan kan og børrumme.
41
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
StrategiplanBAR XXArbejdsskader
IndsatsMetaanalyseMålgruppeanalyseBedriftsbesøg
MetodeABBBE
T.kr.60030015001200500600 pr. år
2007
2008
2009
2010
Nye arbejds-former
Hjemmeside om hjemmearbejdePc-gymnastik
BAR internt(løbende 10%)
Markedsføring/AM-konferencer/Hjemmeside
Tabel 5.1Illustration af tankegangen ien strategiplan
Som skemaet illustrerer, angiver strategiplanen dels tema og indsats, delsmetode og tidsplan. Bag denne strategiplan bør som nævnt ligge en rækkeovervejelser om branchens behov, mulige indsatser, formidlingstiltag, eva-lueringstiltag, fravalg, tilvalg og konklusioner.
5.2 AnsøgningsprocessenArbejdstilsynet skalgodkende projekter
Panelet har videre valgt at sætte fokus på ansøgningsproceduren, da de ivurderingen af projekterne har fundet, at der er bevilget midler til projekter,der burde og kunne være stoppet på ansøgningstidspunktet. Ifølge paneletbør formålet med ansøgningsprocessen være at sætte Arbejdstilsynet i standtil at vurdere, om der bør bevilges midler til de enkelte projekter. Dette er iet vist omfang praksis i dag, men panelet mener ikke, at ansøgningsskema-erne i alle tilfælde giver et tilstrækkeligt grundlag til at vurdere projekterne.Efter panelets opfattelse bør der foretages en mere kritisk vurdering af deenkelte projekter på baggrund af en række kriterier, og Arbejdstilsynet børhave et bedre grundlag for at afvise projekter eller kræve et redesign medhensyn til formål, metode, ressourceforbrug m.v.Ansøgningsprocessen bør tage sigte på at bevilge penge til projekter, der ergennemarbejdede og velbegrundede, men uden at ansøgningen skal svare tilen forskningsansøgning.
Kriterier
Skal Arbejdstilsynet være i stand til at foretage denne vurdering, skal an-søgningerne kvalificeres, og der skal etableres kriterier til brug i bevillings-processen. Kriterier skal også anvendes i den efterfølgende evaluering. Pa-nelet ser mindst fire centrale punkter eller kriterier, som Arbejdstilsynetf.eks. kan vælge at forholde sig til i ansøgningsprocessen og den efterføl-gende evaluering. Disse fire er følgende:1. Relevans:
BAR-midlerne er til for at styrke arbejdsmiljøet i de 11 bran-cher, og en relevansbetragtning af projekterne er derfor oplagt. Det rejser endiskussion af, hvad der er relevant i tilknytning til BAR-projekterne. Er pro-jekter kun relevante, for så vidt de konkret bidrager til et forbedret arbejds-42
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
miljø i branchen, eller er f.eks. interne projekter og markedsføring afBAR'ene også relevant? Skal relevansbetragtningen indgå som et vurde-ringskriterium, er det først og fremmest nødvendigt at definere disse ram-mer, så de er tydelige for både Arbejdstilsynet og BAR'ene. Relevansen vilogså kunne fremgå af en opkobling af det enkelte projekt til BAR's over-ordnede strategi, jf. bemærkningerne ovenfor.2. Faglig kvalitet:
Faglig kvalitet er et omfattende begreb, der bl.a. handlerom, hvorvidt projektet bygger videre på eventuel eksisterende viden, ommetodeovervejelserne i projektet, og om ressourcepersonerne i projektet errelevante og kompetente. Det er panelets vurdering, at den faglige kvalitetikke har været tilstrækkelig god i alle projekterne. F.eks. har man i flere pro-jekter valgt at sætte et projekt i gang, der ikke synes optimal i forhold til deneksisterende viden og tidligere erfaringer. Panelet finder det derfor ønske-ligt, at det indgår som en integreret del af ansøgningsprocessen, at BAR'enef.eks. dokumenterer, at de har forholdt sig til og inddraget eventuel eksiste-rende viden, og at de eventuelt har kontaktet relevante eksperter på feltet.Derudover handler faglig kvalitet om, hvorvidt de metodeovervejelser, derligger til grund for projektet, er relevante og velbegrundede, og videre, omde ressourcepersoner, der er inddraget, er fagligt kompetente.3. Projektdesign:
Der bør desuden foreligge en detaljeret projektbeskrivel-se, således at Arbejdstilsynet er i stand til (1) at vurdere, hvad der søges ommidler til, og (2) er i stand til at vurdere, om projektet er designet på et for-nuftigt niveau og på fornuftig vis. BAR'ene bør på ansøgningstidspunktetvære så langt i processen, at de kan opstille et detaljeret projektdesign. I dennuværende ansøgningsprocedure er beskrivelsen af projekterne ofte megetspartanske, og det er til tider svært at se, hvordan Arbejdstilsynet reelt er istand til at vurdere, hvad der bevilges midler til. Dette forslag vil ikke bela-ste BAR'ene yderligere, da de i forvejen bør udarbejde et tilstrækkeligt ogprofessionelt projektgrundlag. Omfang og detaljeringsniveau vil naturligvisafhænge både af projektets størrelse og karakter.4. Effektevaluering:
BAR'ene er underlagt et krav om at evaluere de enkel-te projekter. Derfor bør et af de centrale vurderingskriterier være, at der eropstillet entydige og realistiske effektmål, og at der foreligger et velgen-nemtænkt evalueringsdesign, der svarer til projektets formål og størrelse.Ved mange projekter er der ikke gennemført en egentlig effektevaluering,og blandt de projekter, hvor evalueringen er gennemført, har der vist sig vis-se brister og svagheder. I en del projekter er det dog ikke rimeligt at forven-te effekter inden for projektets tidsramme, og derfor bør projekterne indgå ien gennemtænkt programsatsning inden for BAR'et, der følges op og evalu-eres over tid. Derudover vil det være hensigtsmæssigt, hvis BAR'et i ansøg-ningsskemaet skelner mellem de effekter, man kan forvente af det enkelteprojekt, og den effekt, man kan forvente af den samlede indsats inden forområdet.I overvejelserne omkring en hensigtsmæssig ansøgningsproces skal manholde sig for øje, at der er stor variation på størrelsen af projekterne, herun-der at der er relativt små projekter. Generelt bør kravene til projektansøg-ningerne være større end i dag, men de skal på den anden side ikke blive forvoldsomme, men stå mål med den størrelse og karakter, som projekterne43
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
har. Kravene bør formentlig differentieres med henblik på de meget forskel-lige størrelser, som BAR-projekterne har.Endelig finder panelet, at ansøgningsprocessen bør være web-baseret med etintegreret og gennemtænkt design af ansøgningsskema. Det vil lette ansøg-ningsprocessen og en opsamling/overblik over projekterne.Det anbefales at etablere en dialogproces mellem Arbejdstilsynet og BARmed henblik på redesign af ansøgningsprocessen, herunder roller, ansvar,kriterier og arbejdsgange.
5.3 ProjektprocessenPanelet har endvidere haft en række almene kommentarer og anbefalinger tilden måde, projekter gennemføres på, dvs. projektprocesserne. Panelet harher kunnet trække på evalueringen af de 37 projekter, hvor en lang rækkeelementer har kunnet trækkes frem som udtryk for god praksis. Nogle afdisse elementer er allerede nævnt i kapitel 4. I dette afsnit fremhæver pane-let to overordnede temaer, som også udgør afsnittets disposition:••Hvad er god praksis?
God praksis om projekternes procesGod praksis angående involvering og kommunikation.
Med god praksis menes, at et element ved projektet er gennemført på enmåde, der kan stå som et godt eksempel for andre fremtidige projekter. Fo-kus er på delementer og ikke hele projekter, og der er ikke tale om en facit-liste til, hvordan alle projekter skal eller bør gennemføres. God praksis er enbeskrivelse af andres gode erfaringer og skal tjene som inspiration for frem-tidige projekter, i det omfang de er relevante for det konkrete projekt. I detfølgende eksemplificeres god praksis med enkelte projekter, som ofte er etud af flere mulige.
5.3.1 God praksis for projektprocesserBAR'ene gennemfører mange forskellige typer projekter, og de organiseres iet vist omfang forskelligt. På tværs af disse forskelligheder er der konkretefaser i projekterne, der i store træk går igen. Man kan tale om, at projekternehar en livscyklus, der gentager sig fra projekt til projekt. Denne livscykluskan opdeles på forskellige måder, men overordnet er der en opstartsfase, engennemførelsesfase og en selvevalueringsfase. Ved gennemgangen af deenkelte projekter stod forskellige elementer i tilknytning til disse faser fremsom god praksis.
44
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Opstartsfasen
I relation til projekters opstartsfase fremhæver panelet fem principper forgode praksis.1. Projekter bør bygge videre på tidligere projekter og/eller eksisterende videnSom tidligere nævnt tager flere projekter afsæt enten i tidligere projekter el-ler i eksisterende viden. F.eks. har man ved projektet "Forbedring af pro-duktivitet, kvalitet og arbejdsmiljø i træ- og møbelindustrien" udviklet, til-passet og afprøvet et kursusforløb, der oprindeligt er udarbejdet til en andenbranche. I projektet " Interaktivt værktøj – unges arbejdsmiljø" har man ta-get afsæt i en branchevejledning og søgt at videreformidle budskaberne i enform, der er målrettet de unge. I flere af de evaluerede forprojekter har manudnyttet eksisterende international viden om arbejdsmiljø og koblet den ge-nerelle viden med de konkrete forhold i branchen. I disse tilfælde har an-vendelse af eksisterende viden kvalificeret projekterne og gjort det muligt atafgrænse og konkretisere nye projekter, således at projekternes udformningog indhold er relevant og målrettet.Evalueringen af projekterne viser, at en indledende videnindsamling ikke al-tid sker i det ønskede omfang. Som tidligere nævnt er der f.eks. et par pro-jekter, der er stoppet undervejs, fordi BAR'et først midt i projektet fandt udaf, at metoden og udformningen var uhensigtsmæssig.2. BAR'et bør fra starten tage højde for de reelle barrierer for spredning af materialeog budskaberI flere projekter har man indledningsvis forholdt sig til, hvordan man bedstmuligt når målgruppen, og hvilke barrierer der kan være for spredningen afmaterialet og projektets budskaber. Sådanne overvejelser fremgår f.eks. afprojektet "Særlig indsats for små bygge- og anlægsvirksomheder", hvor manindledningsvis har udarbejdet et forprojekt, der undersøger, hvordan manbedst muligt når små virksomheder. Projektet er relativt stort, og det vil ikkei alle projekter være muligt at foretage en sådan foranalyse; men ofte kaneksisterende viden eller eksperter på feltet give relevant input.I projektet "Pjecer med gode råd til medarbejdere i slagteribranchen" harman valgt at lave en meget kortfattet og tæt illustreret pjece, hvilket er hen-sigtsmæssigt, idet mange i målgruppen ikke er så gode læsere. Ved projektet"Interaktivt værktøj – unges arbejdsmiljø" har man udarbejdet et elektroniskinteraktivt værktøj, hvilket matcher målgruppen, der er unge i nyt job.Der er flere eksempler på projekter, hvor man indledningsvis har forholdtsig til, hvilke barrierer og udfordringer der er i forhold til målgruppen. Dethyppigste er dog, at sådanne overvejelser ikke fremgår af projektansøgnin-gen eller andre materialer.3. Projekter bør aktivt forholde sig til, hvordan viden spredes og implementeres ibranchen45
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Panelet påpeger, at det er god praksis at definere og understøtte forholdetmellem målgruppen og dem, der skal sprede viden, dvs. "spredningsgrup-pen", hvad der oftest vil sige organisationerne og sikkerhedsorganisationer-ne. Man bør med andre ord forholde sig bevidst til, hvordan viden bedstspredes i branchen, og hvorledes man kan understøtte denne proces, entenved selv at gå direkte til slutmålgruppen eller ved at give spredningsgruppenmidler til at effektivisere deres proces. BAR'et er dermed ikke blot passivspreder af viden til organisationerne/målgruppen, der selv skal finde ud af atanvende og implementere den pågældende viden i eller over for virksomhe-derne. BAR'et bliver derimod proaktiv facilitator, enten ved at understøttespredningen aktivt eller – hvor det er muligt – selv komme ud til virksom-hederne og indgå i deres (forretningsmæssige og organisatoriske) processer.At understøtte spredningen af viden og materialer er bl.a. relevant i de til-fælde, hvor BAR-materialet formidles gennem en tredjepart. Denne tredje-part er typisk sikkerhedsorganisationerne, der skal videreformidle materialereller materialets budskaber til medarbejdere og ledere. Materialet skal såle-des fra spredningsgruppen til målgruppen, og det er god praksis at forholdesig til, hvordan man kan støtte op om denne proces. Dette er gjort f.eks. iprojektet "Interaktivt værktøj – unges arbejdsmiljø", hvor man har lavet etelektronisk supplement til en tidligere udarbejdet branchevejledning. Detteværktøj kan understøtte implementeringen af vejledningens budskaber ibranchen.4. Relevante interessenter i branchen involveres før, under og efter processenVed projektet "Sikker håndtering af store dyr" inddrog BAR'et relevante in-teressenter i projektets proces. De blev inviteret til at deltage i et møde, hvorprojektets tema blev diskuteret, og her bidrog de med deres praktiske erfa-ringer fra branchen. De indgik både i analysearbejdet og med hensyn til atdrage konklusioner.Dette er god praksis af flere årsager. For det første skaber det ejerskab ibranchen, at interessenterne bidrager med viden og er med til at definereprojektets "løsninger". Dette ejerskab gør det væsentlig mere sandsynligt, atløsningerne efterfølgende anvendes i branchen. Det er en pointe, at ejerska-bet ikke først skabes efter projektets gennemførelse (hvad der desuden kanvære vanskeligt), men allerede undervejs. For det andet har branchens inte-ressenter en unik viden, der bidrager til at gøre de endelige "løsninger" kon-krete, praksisnære og relevante for branchen.5. BAR bør udarbejde en strategi, som man er tro mod over tidI forlængelse af afsnit 5.1 om strategisk forankring påpeger panelet uddy-bende, at det er god praksis at udarbejde en fælles strategi i BAR'et, der kankoordinere projekterne. Flere BAR påpeger da også, at man ikke sætter en-lige skibe i søen, og at det netop er BAR'ets samlede indsats, der er væsent-lig for effekten på arbejdsmiljøet. Det strategiske arbejde skal sikre en be-46
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
vidst prioritering og målretning af indsatsen, idet man strategisk vælger,hvilke temaer man vil sætte ind over for, hvordan og hvornår.En overordnet strategi vil styrke effekten af de enkelte projekter, medvirketil, at projektet fortsætter, selv om en BAR-konsulent stopper, og bidrage tilen konsistent indsats over tid, hvor det er de store linjer i stedet for mere el-ler mindre "tilfældige" dagshistorier, der afgør, hvad BAR-midlerne brugestil.To af de evaluerede projekter har haft til formål at indgå i strategiarbejde,og flere af forprojekterne har til hensigt at fokusere BAR'enes indsats ifremtiden. I hvilket omfang BAR'ene laver strategiplaner, og hvor stor be-tydning de i så fald har for de projekter, der sættes i gang, vides dog ikke,og panelet opfordrer til, at de enkelte projekters strategiske forankringfremgår af ansøgningen.Gennemførelse ogevaluering
Ekspertpanelet fremhæver tre gode praksiser i relation til gennemførelse ogevaluering af projektet.1. Der bør foreligge en klar projektplan med milepæle, der sikrer, at projektet kanstyres, følges og eventuelt stoppes hvis nødvendigtProjekterne bør designes og styres ifølge almindelig, professionel praksisinden for projektstyring. Det omfatter bl.a., at der eksisterer klare formålmed projektet samt operationaliseringer heraf, metodemæssige overvejelserom projektets design, gennemførelse og dataindsamling, opsplitning på del-aktiviteter, angivelse af ansvarsfordeling og milepæle, tids- og kommunika-tionsplaner, forventet ressourceforbrug nedbrudt på aktiviteter, risikoanaly-se, projektorganisering m.v.Det vides ikke, i hvilket omfang BAR'ene opstiller egentlige projektplaner.Capacents deskriptive analyse viste, at projektplaner sjældent fremgår klartaf ansøgningsskemaet, og Capacent har ikke fået udleveret projektplaner,når der er spurgt til supplerende materialer.Ved projektet "Guide til introduktion af nye medarbejdere" valgte man atstandse projektet, da man blev klar over, at projektet ikke ville have den øn-skede effekt. Det fremgår ikke, om BAR'et havde en egentlig projektplan.2. Der bør være en effektiv anvendelse af projektressourcerne og et rimeligt forholdmellem indsats og resultater.Det er panelets opfattelse, at udbyttet af projekterne synes at variere relativtmeget. Enkelte projekter anvender relativt få midler på et fornuftigt projekt,mens andre projekter synes mindre kosteffektive og/eller overadministrere-de. Efter panelets opfattelse bør der være skærpet opmærksomhed på for-holdet mellem ressourceforbrug og resultater i projekterne. Professioneltprojektdesign og effektiv projektstyring vil bidrage hertil
47
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
3. Der bør opstilles entydige og realistiske effektmål, som det er muligt at evaluerepå. Disse effektmål skal være tænkt ind i designet af projektet.Projekterne bør opstille entydige og realistiske effektmål, som det er muligtat evaluere på. Ved flere projekter er der opstillet effektmål, og til tiderfremstår de også relativt entydige. Efter panelets opfattelse er effektmåleneved flere projekter for ambitiøse og urealistiske i forhold til projektets de-sign. Panelet anbefaler derfor, at man skelner mellem resultater, de effekter,man realistisk kan forvente at opnå med et projekt, og de mere ambitiøse ogofte langsigtede effektmål, som man forventer, at et projekt kan bidragemed i samspillet med andre projekter.Capacents interviewundersøgelse viste, at man ved flere projekter bevidsthavde valgt at angive uambitiøse effektmål i ansøgningsskemaet, idet manikke ønskede at blive stillet til ansvar for mere ambitiøse og risikable ef-fektmål. I forlængelse heraf bør man fremover sikre sig, at der opstilles rea-listiske effektmål.Alle projekter er ikke ens,men der er nogle punkter,det ofte er relevant atoverveje
Nedenstående figur sammenfatter de elementer, som panelet ser som godpraksis i forhold til processen i de 37 projekter.
Målgrupper og netværkViden og analyse•Hvad ved vi allerede, hvad sigerforskning og eksperter på området?•Hvilke barrierer hhv. muligheder er derfor udbredelse?•Hvilke aktører og stakeholdere skal inddragesfør, under og efter projektet for at skabeejerskab i branchen?•Hvad er spredningsstrategien og hvordan nårprojektet fra distributionskanalen (og/eller os)til slutmålgruppen?
1
2
5Mål og måling af udbytte•Hvilke mål har vi og hvilke enklemålepunkter følger vi op på?
3Proces
4Styring•Roller•Organisering•Ressourcer
•Hvilke faser har projektet?•Hvilke milepæle skal opnås hvornår?
Figur 5.1Elementer, der kan værerelevante at overveje
� Advice A/S
48
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
5.3.2 Involvering og kommunikationInvolvering og kommunikation er væsentligt for projekternes effekt. Det,der ifølge panelet kendetegner de bedste af de 37 projekter, er netop, at (1)projektet inddrager og involverer slutmålgruppen, og (2) der bevidst anven-des et miks af skriftlig, elektronisk og mundtlig kommunikation i et feltmellem den kosteffektive massekommunikation og den nærværende person-lige dialog.Involvering af slut-målgruppen
I forhold til det første punkt så viser tidligere erfaring og forskning, at in-volvering oftest er bedre end ren information og formidling. Der er stor for-skel på menneskers videntilegnelse, afhængigt af indlæringsform. Undersø-gelser tegner i store træk dette billede: Vi husker 10% af det, vi læser; 20%af det, vi hører; 30% af det, vi ser; 50% af det, vi hører og ser; samt 80% afdet, vi selv siger. Derfor er det god praksis, når man i projektet "Sikkerhåndtering af store dyr" involverer de relevante interessenter i projektet. Påsamme måde er det god praksis, når man i projektet "Ned med ulykker-ne/sikker nok?" har lavet et projekt, hvor virksomhederne selv skal finde ogudvikle løsningerne i egen virksomhed samt deltage aktivt på hjemmesidenfor at dele viden med de andre deltagere. Derudover er det hensigtsmæssigt,når BAR'ene præsenterer skriftligt materiale på gå-hjem-møder, konferencerosv. Her involveres målgruppen også i et vist omfang.Det er således flere eksempler på, at man i et vist omfang involverer mål-gruppen, men det er panelets generelle vurdering, at BAR'ene ofte har formegen vægt på ren information og for lidt vægt på involvering.Det er ikke givet, at det enkelte projekt giver mulighed for at involvere mål-gruppen, og det er heller ikke givet, at det altid er hensigtsmæssigt. Involve-ring er ofte mere ressourcekrævende i forhold til skriftligt materiale ellerweb-baseret materiale. Har man i BAR'et en strategi om f.eks. at sænke an-tallet af nærved ulykker eller begrænse mobningen på arbejdspladserne, vildet dog være en styrke at overveje, hvordan man i densamledeindsats kanhave elementer, hvor målgruppen inddrages og involveres aktivt.
Et miks af medier
I forlængelse af ovenstående overvejelser mener panelet, at det er god prak-sis at anvende et miks af forskellige medier i arbejdet med at påvirke mål-gruppen. Det er god praksis, når man f.eks. i projektet "Mobning – bagsidenaf medaljen" sætter bredt ind over for målgruppen, dels gennem en rækketemanumre i BARometer, dels gennem en relativ teksttung håndbog og delsgennem en hjemmeside med en læserbrevkasse. Og når man i projektet "In-teraktivt værktøj – unges arbejdsmiljø" laver et elektronisk værktøj somsupplement til en skriftlig branchevejledning.Ofte er det en styrke, når de enkelte projekter rummer forskellige måder atnå målgruppen på. Det mest hensigtsmæssige miks kan dog også opstå vedet samspil mellem forskellige projekter, der indgår i en samlet strategi.
49
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Nedenstående figur, som er udarbejdet af en panelets formidlingsekspert,giver et overblik over, hvordan forskellige medier involverer målgruppen iforskellig grad, og hvordan det videre har betydning for den effekt, man kanforvente, at projektet har på målgruppen.
Graden af involvering iindsats
Det manoplever
DialogPersonlig mail/opringningeller dialog
Påvirkning af enhederMøder på virksomhedDet mandiskuterer
WorkshopsKonferencer, events,web
Det man serog hører
Info-materialeWeb, vejled/folder, video
MassemedierFigur 5.2Sammenhæng mellem graden afinvolvering og effekten imålgruppenAnnoncer, plakater, TV-spotsFår en til at lytte…til at forstå…til at mene…til at handleKommunikationsmål
� Advice A/S
Som figuren angiver, ermassemediersom f.eks. annoncer, plakater og tv-spot samtinformationsmaterialesom f.eks. hjemmesider, vejledninger ogvideo medier, der primært får målgruppen til at lytte og til en vis grad forstå.Heraf følger, at disse medier ofte vil have en begrænset effekt på målgrup-pen og i givet fald skal kombineres med andre medier.Påworkshoppersom f.eks. konferencer, events og interaktive hjemmesider,hvor målgruppen i et vist omfang inddrages gennem spørgsmål og diskussi-on, er det i højere grad muligt at påvirke modtagernes holdninger og menin-ger. Ønsker man på den anden side også at få målgruppen til at ændre ad-færd, er det ofte nødvendigt at påvirke målgruppen lokalt og individueltsamt at inddrage dem aktivt i projektet. Det kan ske ved seminarer, møder,samtaler og lignende. Det væsentlige er, at man indgår i en mere personligdialog, hvilket styrker forståelsen og relevansen og dermed sandsynlighedenfor, at målgruppen på sigt ændrer adfærd.God praksis formaterialer
Evalueringen af de 37 projekter har givet anledning til mere konkrete over-vejelser om, hvad der er god praksis i tilknytning til de forskellige medier.Nedenfor sammenfattes panelets refleksioner og anbefalinger i forhold til(a) skriftligt materiale og (b) elektroniske medier.
50
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
(a) Skriftligt materialeI BAR'enes slutmålgruppe er der ofte mange læsesvage. Derfor er det godpraksis, når skriftlige materialer indeholder billedfortællinger, og når tekstener kort som f.eks. ved projektet "Pjecer med gode råd til medarbejdere islagteribranchen". Panelet anbefaler, at man overvejer muligheden for at la-ve flyers eller små mærkater, der kan sættes lokalt, dér, hvor budskabet errelevant.Skriftlig information forudsætter, at målgruppen kommer i en læsesituation,at man tager sig tid til at læse materialet, og at den læste viden huskes ogaktiveres i den rette situation. Man kan optimere denne proces f.eks. ved atopsætte en advarselstrekant med en lille tekst på farlige maskiner, som der-ved aktiverer den lagrede viden.Generelt er indhold langt vigtigere end layout og fotos, der ikke relaterer sigdirekte til arbejdsmiljøsituationer. Derfor finder panelet det f.eks. ikke hen-sigtsmæssigt at efterligne livsstilsmedier som f.eks. magasiner, lækre tv-reklamer og lignende, hvor der kommer til at indgå en række irrelevantevirkemidler, og hvor form og indhold ikke svarer til hinanden.Styrken ved skriftlig kommunikation er, at det er et godt medie til at formid-le præcise budskaber. Svagheden ved skriftligt materiale er, at det sjældentafføder aktivering og aktiv refleksion, ændring af holdninger og adfærd isamme omfang som mundtlige medier, og videre at materialet let forældes –eller smides ud uden at være læst!
Opsamling: God praksis i kommunikation og involvering gennem skriftligt materiale•••Ofte er en stor del af målgruppen læsesvag, og materialet skal derfor være kort, med mange billedfortællinger.Skriftligt materiale kræver en læsesituation. Det kan være en fordel, at korte budskaber placeres tæt på det sted, hvor vi-den skal anvendes.Indhold er vigtigere end form. Smart layout og sjove effekter sikrer ikke i sig selv en effekt. Form og indhold skal ogsåsvare til hinanden. Arbejdsmiljøstof kan næppe formidles i materialer, der har karakter af livsstilsmagasin.
(b) Elektronisk materialePortaler og hjemmesider er medier, der f.eks. bruges i projekterne "hjemme-sider" og i projektet "Ned med ulykker/sikker nok?", hvor der er etableret enhjemmeside, som deltagerne selv lægger materiale ind på. Ved flere andreprojekter er hjemmesider anvendt som et sted, hvor målgruppen kan få in-formation, deltage i quizzer og lignende. Der er flere gode praksis i disseprojekter.For det første er det god praksis, når man aktiverer målgruppen gennemquiz, afstemninger, rating af artikler, dialog, profiler på vigtige eksempler,best practices etc.
51
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Portaler og hjemmesider kan for det andet understøtte god praksis ved at gi-ve mulighed for at samle al viden ét sted. Det gør det let for BAR'et at opda-tere den information, der formidles til målgruppen, og let for målgruppen atholde sig opdateret.Derudover kan man via links sprede kendskabet til f.eks. små værktøjer vedat komme ind på andres sites, f.eks. fagforeningers hjemmesider og virk-somheders intranet.Panelet finder endelig, at anvendelsen af elektroniske medier i det hele tagetbør fremmes. De vil spille en stigende rolle i fremtiden og er allerede afgø-rende i forhold til den unge generation.
Opsamling: God praksis i kommunikation og involvering gennem elektronisk formidling••••Det elektroniske medie giver mulighed for at aktivere målgruppen gennem quiz, afstemninger, dialog m.m.Portaler og hjemmesider giver mulighed for at samle opdateret viden ét sted.Kendskabet til f.eks. værktøjer kan spredes ved at komme ind på andres portaler og hjemmesider.Det elektroniske medie er fremtidens medie og særligt i forhold til unge.
5.4 Evaluering af projekterneBAR-projekterne er underlagt et krav om, at de enkelte projekter skal evalu-eres ved projektets afslutning. Desuden skal Arbejdstilsynet gennemførestikprøvevise effektevalueringer af BAR-projekterne. Kravene er relativtnye.Nedenfor sammenfattes panelets refleksioner og anbefalinger med hensyntil, hvordan man fremover bør gennemføre evalueringer. Panelets refleksio-ner er dels baseret på BAR'enes egen evaluering af de enkelte projekter, delspå den stikprøvevise effektevaluering af 37 projekter.I afsnit 5.2 fremgår det, at BAR'ene bør redegøre for evalueringens designallerede på ansøgningstidspunktet. Hvor afsnit 5.2 således redegør for dekrav, Arbejdstilsynet bør stille i ansøgningsprocessen, så redegør nærvæ-rende afsnit for panelets anbefalinger til en hensigtsmæssig evaluering afprojekterne.
Evaluering af de enkelte projekterOverordnet set handler evalueringen af de enkelte projekter om, at BAR'etskal afklare, om man nåede det, man ville, hvad man lærte af projektet, ogom der er noget, der skal revideres i forhold til fremtidige projekter. For atafklare disse spørgsmål foreslår panelet, at BAR'enes interne evaluering op-deles i to: (1) En løbende evaluering af de enkelte projekter og (2) en årlig52
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
selvevaluering, hvor projekterne evalueres samlet, og BAR'et vurderer, hvil-ken læring de har gjort sig i årets løb.Evaluering af enkelt-projekter
Ved evalueringen af enkeltprojekter bør der – som nu – være frihed i for-hold til, hvilke metoder der anvendes, da BAR-projekterne er meget forskel-ligartede. Projektets karakter, mål, tidsmæssige forløb, omfang og formid-lingsform er bestemmende for, hvilke metoder der er velegnede til at evalu-ere projekterne.Vedprojekter med indbyggede processuelle forløb,herunder involvering afmålgruppen, gennemførelse af kursusforløb eller lignende, kan det f.eks.være lærerigt for BAR'et og de involverede parter at gennemføre en lærings-/dialogpræget evaluering.Ved formidling afskriftligt og elektronisk materialesom pjecer, flyers,hjemmesideprodukter m.v. kan det være relevant at vurdere, om produkteter nået ud til målgruppen, i hvilket omfang og hvorvidt målgruppen har an-vendt den viden, materialet giver, i det daglige arbejde.Arbejdes der mednye former for formidling,kan der eventuelt følges opmed et dialogværktøj – f.eks. et til to år efter formidlingen – hvor målgrup-pen kontaktes for at vurdere, hvorledes og hvordan produktet er anvendt, ogom målgruppen har haft indflydelse på eget/virksomhedens arbejdsmiljø.VedBAR- interne projekter,herunder projekter, der bidrager til at øgeBAR'ets egen viden, planlægning af strategier m.v., kan projekter f.eks. eva-lueres af Rådet på den årlige "helhedsvurdering". Er der anvendt eksternekonsulenter i projekterne, bør det forventes, at de skal stille sig til rådighedfor evalueringen uden yderligere honorering.Ved større projekter bør man overveje, om man med fordel kan anvendeforsøgs- og kontrolgrupper til at vurdere projektets effekt. En anden mulig-hed er at lave før- og eftermålinger, hvilket bl.a. er relevant, når målet er atvurdere, hvor mange virksomheder der screenes "gode" ved Arbejdstilsynetssmiley-ordning.Evalueringsformen bør fremgå af projektansøgningen (se afsnit 5.2). Dels erevalueringsformen relevant for Arbejdstilsynets vurdering af ansøgningen,dels er det ønskeligt og nødvendigt, at BAR'et har gjort sig overvejelser omevalueringen, inden projektet sættes i gang. Som tidligere påpeget menerpanelet, at det er vigtigt, at evalueringerne tænkes ind allerede i BAR'etsstrategi, handlingsplan, projektdesign og i ansøgningsproceduren.Derudover bør man overveje, om der bør være en minimumsgrænse for,hvornår en evaluering er nødvendig. Meget små projekter kan eventuelt blotevalueres ved at dokumentere, at projektet er gennemført som planlagt oggennem den årlige "helhedsevaluering".
53
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Årlig selvevaluering
Panelet foreslår, at der gennemføres en årlig helhedsvurdering internt iBAR'et, hvori evalueringen af de enkelte projekter indgår. Formålet er atvurdere helheden, som f.eks.:••Hvordan er den overordnede strategi lykkedes?Hvilke af de gennemførte projekter er gennemført vellykket, hvilke hargivet ideer til opfølgninger det kommende år (god praksis), og hvilke ereventuelt fejlslagne/gået i stå og hvorfor?Hvad kan vi lære af processen, organiseringen af projekterne, samarbej-de med eventuelle eksterne konsulenter, projektets output, projektetsforløb og projektets formidling?Hvad kan forbedres?Hvad er god læring, som BAR'et vil kunne anvende i organisering oggennemførelse i kommende års strategier og projektforløb?
•
••
Denne helhedsevaluering bør gennemføres en gang om året. Den bør des-uden nedfældes på skrift, så den kan indgå i Arbejdstilsynets stikprøveviseeffektevaluering. Det kan være relevant at udarbejde en manual til støtte idenne proces. Derudover bør denne årlige evaluering indgå som en del afBAR'ets kvalitetsstyringssystem (jf. næste afsnit).
Ekstern evalueringUd over BAR'ets evaluering af egne projekter skal Arbejdstilsynet gennem-føre en stikprøvevis effektevaluering af projekterne. I den stikprøvevise ef-fektevaluering kan man overveje at vælge en model, der ligger op af denmetode, man anvendte til at kvalitetssikre BST'erne.Denne model er baseret på en tæt kontakt til BAR'ene, og hvor fokus i højgrad er på BAR'enes egen læring. Evalueringen gennemføres som evalue-ringsbesøg, hvor BAR'ets konsulenter og Rådsrepræsentant står til rådighedden aftalte dag. Derudover skal det være muligt at kontakte eventuelle eks-terne konsulenter for spørgsmål. Afrapporteringen fra den årlige helheds-vurdering samt oversigt over gennemførte projekter og deres evalueringerbør indgå i evalueringen. BAR'ene fremsender materialet på forhånd.Hensigten er, at besøget skal afføde læring, således at tidligere erfaring ogsamtalen på evalueringsmødet kan bidrage til at øge kvaliteten i gennemfø-relse af strategier, handlingsplaner og enkeltprojekter. På baggrund af eva-lueringsmødet udarbejder Arbejdstilsynet en evalueringsrapport, der inde-holder læringspunkter og eventuelt kan indeholde opfølgningspunkter/vilkårfor yderligere at kvalitetssikre BAR'ets produkter og processer.
5.5 Kvalitetsstyring og dokumentationBaggrund
Afslutningsvis anbefaler panelet, at BAR'ene indfører et simpelt kvalitets-styringssystem. Bevæggrunden for dette er, at evalueringen har vist en ræk-ke eksempler på uhensigtsmæssige fremgangsmåder i projektarbejdet. De54
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
uhensigtsmæssige fremgangsmåder bidrager til at reducere eller lægge hin-dringer i vejen for projekternes effekter på arbejdsmiljøet. Nedenfor er dergivet en række eksempler:Planlægning•••Ansøgning•••Udførelse•Flere projekter dublerer eksisterende viden.Der er eksempler på valg af formidlingsformer, som en foranalysekunne have afsløret som uhensigtsmæssige.Det er for flere projekter uklart, hvordan projekterne indgår i ensamlet strategi for BAR'et.Der er flere eksempler på bevillinger med mangelfuld dokumentati-on af behov, formål og opfølgning.For en række projekter er der et misforhold mellem anvend-te/ansøgte midler og projekternes potentielle output/effekt.Der savnes flere steder dokumentation for aftaler med underleve-randører (typisk eksterne konsulenter).Der savnes i flere projekter en forankring af projekterne i BAR'etsorganisation. Derved bliver fortsættelsen/formidlingen af ét projekt ifor høj grad påvirket af en konsulents fratrædelse.Der foretages ikke arkivering og sikring af projektdokumenter så-som adresselister, mødereferater, erfaringer etc.Deltagerlister, adresselister m.m. fra formidlingen af projekterne erikke tilgængelige for en senere evaluering.Der er flere eksempler på valg af metoder, som enten ikke er reali-serbare, eller som ikke adresserer projektets mål.Der er eksempler på planlagte evalueringer, som ikke er gennem-ført.Der er flere eksempler på valg af metoder, som enten ikke er reali-serbare, eller som ikke adresserer projektets mål.Der er eksempler på evalueringer, som ikke gennemføres.
•FormidlingEvaluering•••••
Panelet anbefaler etkvalitetsstyringssystem
På baggrund af disse eksempler anbefaler panelet, at BAR'ene fremover an-vender et formaliseret kvalitetsstyringssystem ved afvikling af projekter.Det er vigtigt, at et sådant system opbygges enkelt, dynamisk og målrettetmod de kritiske punkter for god kvalitet i BAR-arbejdet. Erfaring fra andrebeslægtede brancher viser, at det er muligt at opbygge systemer, som frem-står som naturlige dele af arbejdsprocesserne, og hvor anvendelse af syste-merne understøtter arbejdsprocesserne – så det ikke bliver bureaukrati, menmeningsfuldt.Det er panelets opfattelse, at anvendelse af et kvalitetsstyringssystem vil ha-ve en markant positiv effekt på den samlede kvalitet af de projekter, somgennemføres i BAR-regi.Panelet anbefaler, at der i samarbejde med BAR-systemet udvikles et fælleskvalitetssystem (fælles template). Et fælles system vil dels facilitere udvik-
55
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
lingen af kvalitetsstyringssystemet for det enkelte BAR, dels give en gen-nemskuelighed på tværs i BAR-systemet.Nedenstående tabel angiver en række eksempler på, hvad et sådant kvali-tetsstyringssystem kan indeholde. Eksemplerne er på ingen måde udtøm-mende, og der er behov for en behovsafklaring, før det endelige kvalitets-styringssystem kan designes.
FasePlanlægning
•••
Kritiske punkterKoordinering med strategiplan for BAR'etAnvendelse af allerede tilgængelig videnUnderleverandører
Ansøgning
•••••••
Baggrunden for ansøgningen (behovs-beskrivelse)Projektets målDeltagernes kompetencerPlanlagte aktiviteterAnvendelse af ansøgte ressourcerValg af formidlingsmetodeValg af evalueringsmetode
Udførelsen
••••••••
ProjektopbygningenEvaluering af milepæleSikring af dokumenterLeverancer fra underleverandører
Formidling
Eksekvering af formidlingsaktiviteterUdbredelse af materiale til sprednings- ogslutmålgruppeValg af omfang og metodeGennemførelse af evaluering
EvalueringTabel 5.2Eksempler på muligeelementer i etkvalitetssikringssystem
Elementer i kvalitetsstyringssystem•Stillingtagen til koordinering med strategi-planer•Undersøgelsen af sammenhæng med an-den viden på området•Vurdering af underleverandørers kompe-tencer på områdetProjektbeskrivelse med redegørelse for:•Baggrund, herunder relation i forhold tilstrategiplan•Formål•Projektdeltagerne•Argumentation for planlagte aktiviteter iprojektet•Argumentation for ansøgte ressourcer•Argumentation for valg af formidlings-metode•Argumentation for valg af evaluerings-metode•Opdeling af større projekter i delprojektermed milepæle•Dokumentation af milepælsevalueringer•Sikring af og opfølgning på underleveran-døraftaler•Arkivering af dokumenter•Arkivering af mailinglister, deltagerlister, di-stributionsoversigter etc.•Dokumentation af reaktioner fra mål-gruppen•Sikring af evalueringsdata
56
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
A. Interviewede personer iforbindelse med evalueringenKonsulentArbejdsmiljøkonsulentPartskonsulentArbejdsmiljøkonsulentChefkonsulentAfdelingslederAfdelingschefSekretariatslederChefkonsulentArbejdsmiljørådgiverKonsulentSekretariatschefKonsulentKonsulentKonsulentFaglig sekretærBibliotekarKonsulentKonsulentArbejdsmiljøkonsulentArbejdsmiljøkonsulentMarianne EltongAnne Marie HagelskjærMaria GlargaardMerete HansenHelene MarkussenMogens NiesCarsten BøgJacob MunkJesper MadsenThomas Fløe JensenCharlotte Lennart-PetersenMichael JørgensenKim BøhmertPeter DragsbækNils SejersenLisbeth LundMette Kjeldsen SlothPreben Meier PedersenMarianne StormMichael HoffmanHeidi Lisette BilleBAR Jord til BordBAR Jord til BordBAR Service ogTjenesteydelserBAR HandelGrafisk BARGrafisk BARGrafisk BARBAR Bygge og AnlægIndustriens BARCarl Bro(på vegne af Industriens BAR)Industriens BARIndustriens BARIndustriens BARIndustriens BARIndustriens BARBAR FOKABAR Social og SundhedBAR Social og SundhedBAR Undervisning ogForskningBAR Privat, Kontor ogAdministrationBAR Privat, Kontor ogAdministration
57
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
B. Baggrund og metodeDette kapitel sætter fokus på evalueringens baggrund og metodiske design.For at give læser en forståelse for evalueringens rammer og fokus redegøresindledningsvis for evalueringens formål. Derefter beskrives evalueringensmetodiske udgangspunkt, det metodiske design og de overvejelser, der knyt-ter sig hertil. Afslutningsvis beskrives de kriterier, der er lagt til grund forudvælgelsen af de projekter, der indgår i effektevalueringen.
Effektevalueringens formål og fokusArbejdstilsynet havde i sit udbudsmateriale valgt, at evalueringen aleneskulle være af de projekter (116 i alt), BAR'ene har fået bevilget midler tilaf Arbejdstilsynet i 2005 og 2006, og som er afsluttet senest marts 2007.Projekternesmålopfyldelse
Overordnet set har evalueringen to formål. For det første ønsker Arbejdstil-synet, at evalueringen belyser, om de aktiviteter, BAR'ene får bevillinger tilfra Arbejdstilsynet, bidrager til at opfylde målsætningen med BAR'enes ar-bejde, jf. bekendtgørelse nr. 1476 § 14. Her fremgår det, at "Branchear-bejdsmiljørådene skal medvirke ved løsning af sikkerheds- og sundheds-spørgsmål inden for én eller flere brancher og skal understøtte arbejdsmiljø-indsatsen på branche- og virksomhedsniveau".For at vurdere, om BAR-projekterne har opfyldt disse mål, har Arbejdstil-synet i udbudsmaterialet opstillet fire mål: Udbredelse, anvendelse, effektpå arbejdsmiljø og effekt på arbejdsmiljøarbejdet. Disseprogrammåludgørprogrammets eller evalueringens overordnede vurderingskriterier, og alleprojekter vurderes i forhold til netop disse fire mål, for så vidt de er relevan-te. Dette er i modsætning tilprojektmålene,der tager udgangspunkt i pro-jekternes egen indre logik og dermed varierer projekterne imellem. Der erdog en vis sammenhæng mellem programmål og effektmål på den måde, atdet på baggrund af projektmålene vurderes, om de enkelte projekter har tilhensigt at opfylde de fire programmål, herunder om projektet sigter på atpåvirke enten det faktiske arbejdsmiljø eller arbejdsmiljøarbejdet. Under in-terviewene fik BAR'et mulighed for at sandsynliggøre, om disse program-mål er opfyldt, og på baggrund af BAR'ets beskrivelse gav Capacent og eks-58
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
pertpanelet sin vurdering af, om dels projektmålene, dels programmålenevar opfyldt i det omfang, det er relevant. Som et led i vurderingen af projek-ternes målopfyldelse blev det vurderet, om projektet mere generelt er grebetgodt an. Er der tale om et arbejdsmiljøfagligt godt projekt? Denne vurderingbygger primært på ekspertpanelets erfaringer med feltet.Læring og inspiration
Evalueringen af BAR-projekter skal også bidrage med læring. Dette fremad-rettede fokus har været væsentligt for tilrettelæggelsen og gennemførelsenaf denne evaluering. Ved at indsamle viden og erfaringer fra de alleredegennemførte projekter er det ønsket, at evalueringen kan bidrage med læ-ring, der kan være til gavn for BAR'ene og Arbejdstilsynet og således gørede fremtidige projekter og deres effekt endnu bedre. Derfor har evaluerin-gen sat et bredt fokus på udformningen og outputtet af de enkelte projekter,og det er vurderet, hvilke elementer der kan fremstå som gode eksempler el-ler god praksis for andre projekter. De gode råd indgår som et element i ka-pitlet "Tværgående temaer".Evalueringen har således overordnet to formål – målopfyldelse og læring –der kan opdeles i en række underpunkter (jf. figur B.1). Denne evaluerings-rapport sætter fokus på netop disse elementer.
Målopfyldelse ift.projekternes programmålLæring
God praksis/Gode råd
Effekt formaterieltarbejdsmiljø
Udbredelse tilmålgrupper
Anvendelseblandtmålgrupper
Figur B.1Evalueringens formål opdelt på dekonkrete underpunkter, der indgåri evalueringen
Effekt forarbejdsmiljø-arbejdet
Som det fremgår af de efterfølgende afsnit, er målopfyldelsen vurderet fraforskellige perspektiver, og de to formål indgår på forskellig vis flere stederi rapporten.
Evalueringens metodiske udgangspunktEvalueringens konkrete udformning bygger på en række systematiske ogmetodiske principper, der er valgt på baggrund af evalueringens genstand ogformål. Disse principper beskrives her kort, da de er afgørende for valget afevalueringens design.59
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Virkningsevaluering
Evalueringen er inspireret af en virkningsteoretisk tilgang, hvor fokus er på:Hvad virker for hvem og under hvilke omstændigheder?6Virkningsevalueringen er kendetegnet ved ikke alene at sætte fokus på ef-fekten, men endvidere også på selve processen, forstået som de mekanis-mer, der får en indsats til at virke i forskellige kontekster. Med udgangs-punkt i denne logik har vi udarbejdet en forandringsteori for hvert af de 37stikprøvevis udvalgte projekter til effektevaluering. Forandringsteorien ty-deliggør på systematisk vis, hvilke mekanismer der fører til de konkrete ef-fekter, og hvorvidt der er forhold i omgivelserne, der påvirker denne meka-nisme. Dette er illustreret i nedenstående figur (forandringsteorien er be-skrevet mere detaljeret i de konkrete projektevalueringer).
Ressourcer
Aktivitet
PræstationMekanisme
Effekt
Figur B.2Projekternes forandringsteori
Vi har ved denne evaluering valgt en tilgang, der giver en indgående forstå-else for, hvorfor en effekt er opnået eller ikke opnået; en forståelse, der kanbidrage til den fremadrettede læring.Flere perspektiver
Som i alle andre sammenhænge vil forståelsen af et projekt i et vist omfangafhænge af de øjne, der ser. For at imødekomme dette bliver projekternevurderet ud fra forskellige perspektiver. Disse perspektiver er: Målgruppen(for så vidt muligt), et panel af faglige eksperter og Capacent som eksternevaluator. Derudover inddrages BAR'et, der i et interview har haft mulighedfor at beskrive projektet og forklare, hvorvidt og hvorfor projektet har haftden ønskede effekt. Målgruppens vurdering bygger på egne erfaringer medprojektet, mens evaluators og ekspertpanelets vurdering bygger på inter-viewet med BAR'et og det foreliggende materiale på projektet. Inddragelsenaf flere perspektiver giver en nuanceret vurdering af de enkelte projekter ogbeskrives mere indgående i næste afsnit.Da de projekter, der gennemføres i regi af BAR'ene, er ganske forskellige,har vi fundet det nødvendigt at skabe et fleksibelt evalueringsdesign, hvormetoderne er udformet således, at de kan rumme de forskellige aktivitets-typer, og hvor designet er så fleksibelt, at elementerne kan tilpasses og6
Fleksibilitet
Omgi-velser
Påvirkning fraomgivelserne
Riisom, Thomas (2006):"Elementær evaluering",Capacent; Pawson & Tilley(1997):"Realistic evaluation",Sage; Dahler-Larsen & Krogstrup (2003):"Nyeveje i evaluering",Systime Academic.60
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
eventuelt udgå, afhængigt af dets relevans i forhold til det konkrete projekt.I praksis har dette bl.a. medført, at spørgeskemaet til målgruppen variererafhængigt af projektets udkomme, og videre at spørgeskemaundersøgelseblandt målgruppen kun gennemføres i det omfang, det er relevant og muligt.
EvalueringsdesignMed udgangspunkt i beslutningen om, at evalueringen skal gennemføressom en virkningsevaluering, der er fleksibel, og hvor de enkelte projektervurderes fra flere perspektiver, er evalueringens design udformet. Designeter illustreret i nedenstående figur.
Beskrivelse af de 37 projekter
Skriftligtmateriale
Interview medBAR’et
Skriftligt output
Projekt-evalueringerMålgruppe-surveyFigur B.3Evalueringens design
Evaluerings-rapport
Evaluatorsvurdering
Ekspertpanel
Vurdering af de 37 projekter
Vurderingen af de 37 projekter er som nævnt sket på baggrund af BAR'etsegen beskrivelse og det skriftlige materiale, der foreligger om projektet. Udfra denne beskrivelse vurderes projektet gennem flere perspektiver, dels etmålgruppesurvey, dels Capacents vurdering som ekstern evaluator og dels etekspertpanels vurdering. De forskellige perspektiver i vurderingen indgår iden nævnte rækkefølge, og den viden, de foregående vurderinger har bi-bragt, er anvendt i det videre forløb. Det bemærkes, at resultaterne fra mål-gruppesurveyet ud over at bidrage med en selvstændig vurdering også ind-går i evaluator og ekspertpanelets vurdering.Skriftligt projektmaterialefor at skabe overblik
I forbindelse med den deskriptive analyse har vi fra Arbejdstilsynet modta-get ansøgnings- og afrapporteringsskema, der foreligger på de enkelte pro-jekter. Derudover har BAR'et haft mulighed for at sende os eventuelt sup-plerende materiale fra projektet i form af f.eks. pjecer, deltagerlister og præ-sentationsmateriale. Noget materiale er modtaget fra Arbejdstilsynet sam-men med skemaerne, og andet er modtaget direkte fra BAR'ene. Der er sup-plerende materiale på 34 af de 37 projekter. Der er stor variation på omfan-get af det supplerende materiale. At BAR'et ikke har kunnet supplere medyderligere materiale på tre projekter, skyldes for to af projekterne, at pro-jektlederen ikke længere er tilknyttet BAR'et, og al projektmateriale dermeder gået tabt, fordi materialet udelukkende var arkiveret på konsulentens pc,som han tog med sig. Ved det sidste projekt er projektlederen sygemeldt.
61
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
BAR'ets egen beskrivelseaf målopfyldelse oglæring
Med udgangspunkt i den overordnede forståelse, som det skriftlige materia-le bidrager med, er der gennemført et interview med den projektansvarlige iBAR'et. Formålet med interviewet har været at give BAR'et selv mulighedfor at beskrive projektet. Ud over at give en større forståelse for projektethar fokus i interviewet været på, om BAR'et kan sandsynliggøre, at projek-tet er udbredt, anvendt og har den forventede effekt. Derfor tog interviewetudgangspunkt i projektets forandringsteori (jf. afsnit 3.2), der på systematiskvis giver mulighed for dels at kortlægge projektets forløb, dels at sandsyn-liggøre projektets udbredelse, anvendelse og effekt. Ud over projektets pro-grammål satte vi i interviewet fokus på de erfaringer og den læring, BAR'ethar fået ud af projektet. Der er gennemført interview ved 27 af de 37 projek-ter.I samspil med BAR'et er det vurderet, om det er relevant og muligt at gen-nemføre en spørgeskemaundersøgelse blandt målgruppen. Kriteriet har væ-ret, at projektet har en afgrænset målgruppe, at præstationen antages at væreudbredt til målgruppen, og at BAR'et har kunnet fremskaffe de nødvendigekontaktoplysninger. Spørgeskemaet sætter primært fokus på kendskabet tilog anvendelse af projekterne, og afslutningsvis spørges kort til målgruppensvurdering af projektets effekt.Afhængigt af målgruppens størrelse har vi inviteret op til 200 personer til atdeltage i spørgeskemaundersøgelsen. Ved to projekter er der af hensyn tilrepræsentativiteten blandt målgruppen inviteret 277 personer til at deltage iundersøgelsen. Invitationen er sendt enten med mail eller postalt afhængigtaf, hvilke oplysninger vi har modtaget fra BAR'et. Der er sendt to rykkere tilde personer, der har modtaget invitationen pr. mail. De personer, der stadigikke har svaret, er ringet op med henblik på at gennemføre interviewet tele-fonisk. Der er ringet op til otte gange til de enkelte respondenter.Der er gennemført målgruppesurvey ved syv af de 37 projekter. Ved seksprojekter er der inviteret 200 respondenter eller mere, og ved fire projekterer mellem 14 og 27 respondenter inviteret til at deltage. At respondentgrup-pen ikke er større ved de sidstnævnte projekter, skyldes enten, at dennegruppe svarer til hele målgruppen, eller at BAR'et ikke har været i stand tilat levere oplysninger på resten af målgruppen.Udvælgelsen af respondenter er sket som en tilfældig udvælgelse, hvis listenmodtaget fra BAR'et har været på mere end 200 personer. Ved tre projekterer totalpopulationen undergrupperet, og dette er der taget højde for i sam-mensætningen af spørgeskemaets respondenter. Ved enkelte projekter vardet ikke muligt at sende spørgeskemaet til et repræsentativt udsnit af den to-tale målgruppe på grund af BAR'ets begrænsede kendskab til de faktiskemodtagere. Derfor skal man skal være opmærksom på, at respondenterne idisse projekter udgør en selektiv del af den totale målgruppe. Deltagernefremgår af de enkelte projektrapporter. Derudover skal det bemærkes, atnogle projekter er gennemført i 2005, og den tidsmæssige afstand til gen-nemførelsen af selve målgruppesurveyet kan betyde, at enkelte respondenterikke kan huske de præstationer, der spørges til. Vi har forsøgt at minimeredenne problemstilling ved at indsætte et billede af produktet (hvis muligt) ispørgeskemaet.
Vurdering af kendskab,anvendelse og effektblandt målgruppen
62
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Projektevalueringerne erudarbejdet løbende
På baggrund af det skriftlige materiale, interview med BAR'et og eventueltmålgruppesurvey er den første version af projektevalueringen for de enkelteprojekter udarbejdet. I første udkast er projekterne beskrevet, og evaluatorhar givet sin vurdering af projektet. Dette udkast er sendt til høring iBAR'et, der dels har haft mulighed for at korrigere eventuelle faktuelle fejlog mangler, dels har haft mulighed for at skrive en kommentar direkte ind iet afsnit i projektrapporten. Alle korrektioner er skrevet ind efter BAR'enesønske, og alle kommentarer er tilføjet uredigeret.Det sidste perspektiv i vurderingen af projekternes effekt er afholdelsen afet ekspertpanel. Formålet med at lade projekterne blive vurderet af et eks-pertpanel er at få en faglig vurdering af de enkelte projekter og deres effekt.Ekspertpanelets har dels vurderet, om projekt- og programmål er opfyldt, ogdels vurderet, om de fandt projekterne hensigtsmæssige og godt tilrettelagtud fra en arbejdsmiljøfaglig vurdering. Derudover har panelet angivet enrække tværgående temaer, herunder god praksis.Panelet er sammensat således, at deltagerne repræsenterer forskellige ar-bejdsmiljøfaglige kompetencer (teknisk, ergonomisk, arbejdspsykologisksamt sundhedsmæssig) samt kompetencer af betydning for arbejdsmiljø-materialers gennemslag i forhold til målgruppen (organisationsforståelse ogkommunikationsteori), og i alt består panelet af seks eksperter. De konkreteeksperter fremgår af nedenstående tabel.
Ekspertpanelets fagligevurdering
Faglige områdeTekniskErgonomiskPsykologiskSundhedsmæssigKommunikation og strategiFigur B.4Ekspertpanelets deltagereog deres fagligekompetenceområdeOrganisationsforståelse
OmrådeekspertCand.scient., Peter Mortensen, Eurofins Miljø A/SProfessor i produktionsergonomi, Jørgen Winkel, GöteborgsUniversitet og NFAArbejds- og organisationspsykolog, Lisette Petersen,Psykologerne Jespersen og LaursenSpeciallæge i arbejdsmedicin, Ove Gaardboe, Regions-hospitalet HorsensDirektør Jesper Højberg, Advice A/SProfessor i organisationsteori, Kurt Klaudi Klausen, SyddanskUniversitet
Ud over at deltagerne er valgt, fordi de repræsenterer et specifikt fagområ-de, er de valgt, fordi de har en generel forståelse for arbejdsmiljøområdet ogBAR'enes virke. Derfor bidrager alle seks eksperter til vurderingen af alleprojekter. Flere af eksperterne i panelet er dog selv aktive på arbejdsmiljø-området, og i tilfælde af inhabilitet er den pågældende ekspert udgået af pa-nelet ved vurderingen af det pågældende projekt.
63
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Ekspertpanelets vurdering af de enkelte projekter bygger på projektevalue-ringerne samt det skriftlige materiale, der foreligger på projekterne. Panelethar diskuteret projekterne enkeltvis, hvorefter Capacent har resumeret di-skussionerne.Evalueringens skriftligeoutput
På baggrund af ekspertpanelets vurderinger er de sidste tilføjelser til pro-jektevalueringerne skrevet ind. Hermed omfatter projektevalueringen delsen beskrivelse af projektet og dets forandringslogik, dels BAR'ets egen vur-dering af projektet, eventuelle resultater fra målgruppesurvey, evaluatorsvurdering, BAR'ets kommentarer og ekspertpanelets vurdering.Med udgangspunkt i disse projektevalueringer er denne samlende evalue-ringsrapport udarbejdet. Formålet med denne rapport er at give en samletvurdering af projekternes effekt, de gode eksempler og de centrale temaer,der fremgår, når man ser på tværs af de enkelte projekter.
UdvælgelseskriterierUdvælgelsen af projekter til effektevaluering er sket i forbindelse med af-slutningen af den deskriptive analyse for de 116 projekter, der i alt indgår ievalueringen. Udvælgelsen er overordnet set sket ud fra følgende kriterier:•••••Projekterne skal fordele sig således, at der indgår mindst ét projekt frahvert BAR.De udvalgte projekter skal så vidt muligt dække alle aktivitetstyper.Der medtages projekter af forskellig økonomisk og indholdsmæssigstørrelse.Der evalueres på projekter, der omfatter nye aktiviteter og tiltag.Der sker en udelukkelse af projekter bevilget efter § 26 stk. 3. Denneomhandler projekter, der ikke er underlagt kravet om effektevaluering,som f.eks. genoptryk.
Udvælgelsen af de 37 projekterUdvælgelsen af de førstesyv projekter
I første projektomgang indgik 28 projekter i den deskriptive analyse, hvorafsyv blev valgt ud til effektevaluering. Før udvælgelsen blev 14 projekter fra-sorteret, da der var tale om genoptryk og interne projekter. De syv projekterblev derefter udvalgt, således at de i videst muligt omfang dækkede over envariation af projekttyper og branchearbejdsmiljøråd.I anden evalueringsomgang indgik 88 projekter, hvoraf 30 er udvalgt til ef-fektevaluering. I forlængelse af ovenstående kriterier er udvælgelsen af de30 projekter sket ud fra følgende trinvise kriterier:•Fordelingen af projekterne blandt de 11 BAR er fundet på baggrund afBAR'enes budgettal. BAR, der ifølge denne fordeling skal indgå med etprojekt, er opskrevet til to, og BAR med mange projekter er nedskrevettilsvarende. Der er her taget højde for fordelingen af projekterne i pilo-ten. BAR Undervisning og Forskning og BAR FOKA har begge gen-64
Udvælgelse af de sidste30 projekter
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
nemført ét projekt i perioden, men da der ved begge projekter er tale omet rådsseminar, er BAR Undervisning og Forskning og BAR FOKA ik-ke repræsenteret blandt de 30 projekter. Videre har det vist sig, at kun étprojekt er egnet til evaluering ved BAR Bygge og Anlæg og BAR Han-del.••Alle projekter, der indeholder bevilling efter § 26 stk. 3, er sorteret fra.Der er opstillet en bagatelgrænse på 100.000 kr. i forhold til projekter-nes budget, da de mindre projekter er dækket i første effektevaluering.Projekter under denne grænse er sorteret fra.Inden for hvert BAR er det relevante antal projekter trukket ud tilfæl-digt.På baggrund af denne tilfældigt udtrukne liste er det vurderet, om pro-jekterne dækker forskellig økonomisk og indholdsmæssig størrelse,samt om de dækker alle aktivitetstyper.Afslutningsvis er det vurderet, om de udvalgte projekter er egnede til atevaluere.
••
•
Efter udvælgelsen viste det sig, at det ved otte projekter ikke var muligt atgennemføre interview med projektlederen eller skaffe supplerende materialeud over det, som Capacent har modtaget fra Arbejdstilsynet. Dette skyldtesenten, at den person, der i BAR'et havde ansvaret for projekterne, ikke læn-gere var tilknyttet BAR'et, eller at personen, der har stået for projektet, en-ten var på orlov eller sygemeldt. Dette er uhensigtsmæssigt for evaluerin-gen, da den begrænsede information gør evalueringen usikker. De ovenstå-ende kriterier betød dog, at det ikke var muligt at erstatte disse projekter, ogi samråd med Arbejdstilsynet er det derfor besluttet, at disse projekter ind-går i evalueringen.
65
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
C. Ekspertpanelet – cv'erNavn:Nuværende stilling:Uddannelse:Udvalgt relevant erfaring:2001-20062000-20011990-20001986-1990Projektchef og senere afdelingschef og direktør i JobLiv Danmark as.Selvstændig konsulentvirksomhed arbejdsmedicin/arbejdsmiljø.Bedriftslæge og senere souschef i BST Århus (nu Crecea).Reservelæge, 1. reservelæge og forskningsstipendiat ved ArbejdsmedicinskKlinik, Århus.Ove GaardboeAfdelingslæge, leder af Fælles Akut Modtageenhed, Regionshospita-let Horsens, Brædstrup, OdderSpeciallæge i Arbejdsmedicin
Arbejdsmiljøfagligt perspektiv: SundhedsmæssigMasser af konkret arbejdsmiljøfaglig rådgivning af alle typer virksomheder i alle brancher gennemmange år i BST-systemet.Har selv og i samarbejde med andre gennemført mange projekter (forsknings- og udviklings-)med udgangspunkt i Arbejdsmedicinsk Klinik, Arbejdstilsynet, Arbejdsmiljøinstituttet og BST. Her-af en del finansieret af BAR-midler.Som BST-leder været projektansvarlig, coach og vejleder på en lang række projekter gennemførtaf mine medarbejdere.Den arbejdsmiljøfaglige vinkel har indledningsvis været koncentreret om det arbejdsmedicinskeog senere i tiltagende grad haft det brede arbejdsmiljøarbejde og sundhedsarbejdet på arbejds-pladserne i det hele taget som udgangspunkt.Således deltaget i talrige offentlige sammenhænge med generelle diskussioner af prioriteringenaf arbejdsmiljøarbejdet.
66
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Navn:Nuværende stilling:Uddannelse:Udvalgt relevant erfaring:Siden 1986Siden 1989
Kurt Klaudi KlausenProfessorCand.mag., exam. scient., lic.merc.Erfaringer med at udarbejde projektbeskrivelser.Erfaringer med at forestå gennemførelsen af omfattende projekter med ind-dragelse af mange bidragydere fra forskellige forskningsmiljøer, nationalt sominternationalt.Erfaringer med at evaluere andres projekter i regi af nationale og udenland-ske forskningsråd (eksempelvis det danske, norske og svenske samfundsvi-denskabelige forskningsråd).Ekstern evaluator også på uddannelser i udlandet (senest i Norge: Oslo Uni-versitet).
Siden 1992
Siden 2001
Arbejdsmiljøfagligt perspektiv: OrganisationsforståelseMit faglige perspektiv er organisations- og ledelsesteoretisk. Jeg har gennem mange år forsket imoderniseringen af den offentlige sektor ud fra et politologisk, ledelsesmæssigt og organisations-sociologisk perspektiv. Dvs. at nogle af de aspekter, jeg har særligt fokus på, er de policyoriente-rede, forhandlings- og magtmæssige, de strategiske og de procesmæssige aspekter af projekterstilrettelæggelse, gennemførelse og effekt (tilsigtede som utilsigtede konsekvenser). Eksempelvisadresserer forandringsstrategier forestillede barrierer, og forandringsstrategier har indflydelse påejerskab til forandringsprojekter. Dermed forventes der at være en sammenhæng mellem mereeller mindre deltagelses- og inddragelsesorienterede, top-down eller bottom-up orienterede stra-tegier, deres gennemførelse og deres effekter. Kommunikation af konkret og symbolsk art er lige-ledes aspekter af den valgte forandringsstrategi.
67
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Navn:Nuværende stilling:Uddannelse:
Lisette JespersenPartner og arbejds- og organisationspsykolog.Jespersen &Laursen, Erhvervs- og organisationspsykologer2002: Specialist i arbejds- og organisationspsykologi samt super-visor i arbejds- og organisationspsykologi på specialistniveau1994: Autoriseret af Psykolognævnet – Socialministeriet1983: Cand.psyk. ved Københavns Universitet
Udvalgt relevant erfaring:Fra 1997 -Egen virksomhed. Organisationskonsulent:Psykisk Arbejdsmiljøopgaver. Flere projekter for BAR, herunder forskellige typer af for-midling.Fra 1999 systemudvikling samt arbejde med godkendelseog kontrol af BST (for DANAK). Vurderer og godkender specialister iarbejds- og organisationspsykologi.BST-arbejde:Arbejdsmiljøkonsulent med speciale i psykisk ar-bejdsmiljø: 1. Branche BST (Apotekerbranchen), 2. Virksomheds-BST (KTAS), 3. Center BST (Storkøbenhavn).Projektarbejde/undersøgelser/kampagner:Projektansættelser påAMI, AT/AMF: Branchetiltag inden for tekstilbranchen/psykisk ar-bejdsmiljø. Proceskonsulent for BST-konsulenter.
1987 - 1997
1984 -1990
1984 - 1990, 1997
Universitetsansættelse – KUA:Undervisningsassistent/eksternlektor. Arbejds- og organisationspsykologi.
Arbejdsmiljøfagligt perspektiv: Psykisk arbejdsmiljø.Har i 23 år arbejdet med psykisk arbejdsmiljø/arbejds- og organisationspsykologi i et stort antalbrancher: Bl.a.: Politi; forsvar, hotel og restauration, bygge og anlæg, telekommunikation og di-verse it-virksomheder, diverse industri, affaldshåndtering, grafisk branche samt administrative af-delinger i private og offentlige virksomheder, medicinalbranchen både produktion og detailhandel,store dele af social- og sundhedssektoren, statslige styrelser, fagforeninger, arbejdsgiverorgani-sationer samt branchearbejdsmiljøråd: Mine erfaringer med BAR-projekter samt faglige organisa-tioner: BAR SoSu: 2006-07: Projekt om lederes psykiske arbejdsmiljø, coaching samt fire hånd-bøger. 2004: Vejledningen "Den mobbefri zone" til "Styrkespillet". BAR Industri: 2006. Vejledningom alenearbejde. BAR Service og Tjenesteydelser. 2002-2007: En række håndbøger og værk-tøjskasser: "Psykisk Arbejdsmiljø fra A-Å" Voldsomme oplevelser, Mobning, alenearbejde, over-vågningsarbejde, stresshåndtering, omstilling samt "Stress-af kogebogen". 2005-2007: Formid-ling af værktøjerne på temamøder samt via videnskabsteater over hele landet. BAR FOKA. 2003.Ressourceperson til hæftet: Mobning. Projekter, konsulentopgaver, temadage samt diverse mate-rialer om psykisk arbejdsmiljø for HK Handel, FOA, BUPL, Horesta, m.fl.
68
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Navn:Nuværende stilling:Uddannelse:Udvalgt relevant erfaring:1991-20072000-20011985-2007
Jesper Højberg ChristensenDirektørMag.art. i dansk og litteraturvidenskab 1983Direktør for rådgivningsvirksomheden Advice A/S, der rådgiver virksomhederog organisationer inden for ledelse, branding og kommunikation. 30 rådgivere.Stifter GroupCare, Advice Digital og Kommunikationsforum.dk, der med20.000 abonnenter er førende branchesite for kommunikation.Ekstern lektor på RUC og Handelshøjskolen I Århus, diverse foredrag AUC,SDU, Københavns Universitet. Forfatter til håndbog i PR og information, derer grundbog på højere læreanstalter i kommunikation, samt diverse artiklerKonsulent på diverse danske og internationale marketing og pr-bureauer.
1983-1989
Arbejdsmiljøfagligt perspektiv: Kommunikation og strategiHar siden 1991 arbejdet for bl.a.:•••••Arbejdstilsynet, AMS og BeskæftigelsesministerietAMI (nu NFA)Diverse BAR med strategiprocesser, kampagner m.m.LO, FTF, AC og et stort antal af organisationerne, f.eks. HK, FOA, 3F, Finansforbun-det, BUPL og DSR samt DJØFDA, DI, Dansk Byggeri etc.
69
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Navn:Nuværende stilling:Uddannelse:Udvalgt relevant erfaring:
Jørgen WinkelProfessorCand.scient., dr.med.
Professor i Anvendt Arbejdsfysiologi/Produktionsergonomi. Har gennem 20 år ledet produktions-ergonomigruppe, der har arbejdet med forskning og udvikling med fokus på interaktion mellemergonomi og rationalisering i industrien og sundhedssektoren.1998Modtaget "The Liberty Mutual Insurance Company Best Paper Award"(Artikel:Westgaard R H, Winkel J. "Ergonomic intervention research for improvedmusculoskeletal health: A critical review". Int. J. Ind. Erg., 20, 463-500, 1997).Artiklen er inkluderet i The Cochrane Library i år 2000.Modtog Nordisk Ergonomisk Selskabs pris for bedste artikel.Videnskabelig redaktør på "Applied Ergonomics".Medlem af Arbejdsmiljøforskningsfondets videnskabelige udvalg.Mange forskellige videnskabelige og praktiske tillidshverv.Arbejdsmiljøfagligt perspektiv: ErgonomiskHar publiceret omkring 100 peer-reviewed videnskabelige artikler og 300 andre artikler (inkl. eva-lueringsrapporter på interventionsfeltet), hovedsageligt baseret på feltstudier. Forsknings- og ud-viklingsrapporterne omhandler ergonomisk intervention, ergonomisk epidemiologi, kvantifikationog forudsigelse af mekanisk eksponering, fysiologiske emner relateret til langvarigt arbejde i sid-dende, stående og gående stillinger.
20021995-20072005 -08
70
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
Navn:Nuværende stilling:Uddannelse:Udvalgt relevant erfaring:••••••
Peter B. MortensenKundechefCand.scient. (Biologi og kemi)
Mangeårig erfaring i undersøgelse og rådgivning i forbindelse med arbejdsmiljøtekni-ske problemstillingerProjektledererfaring fra talrige projekter for branchearbejdsmiljøråd, Arbejdstilsynet,Miljøstyrelsen, EU m.fl.Evaluator for EU i forbindelse med ansøgninger til rammeprogrammerneRådgiver for WHO i tekniske arbejdsmiljøspørgsmålUnderviser på mere end 100 kurser af teknisk arbejdsmiljømæssig karakterMangeårigt samarbejde med arbejdsmiljøfaglige kolleger i primært EuropaEurofins Miljø A/SArbejdsområder:•Undersøgelse og rådgivning vedrørende forurenet luft, vand, affald,byggematerialer og biologiske substanser, herunder arbejdsmiljø og in-deklima•Underskriftsberettiget under DANAK's akkrediteringsordning for ar-bejdshygiejniske og tekniske undersøgelser på samme område siden1993•Etablering af laboratorier og kvalitetssikring•Standardisering af målinger og metoder (DS) for miljømålinger•Forberedelse og implementering af kvalitetskontrolsystemer•Projektledelse•Strategiske salgsaktiviteterAfdelingsleder for afdelingen for monitering og rådgivningAfdelingsleder for Luft- og MaterialelaboratorietKundechef for bl.a. Industri og Forsyningsområdet
1987 - 2007
1995 - 20012001 - 20052005 -
Arbejdsmiljøfagligt perspektiv: TekniskEvaluator har mere end 20 års erfaring med tekniske arbejdsmiljømæssige problemstillinger fra etutal af undersøgelser på danske og udenlandske arbejdspladser. Der er sideløbende gennemførtet stort antal udviklingsprojekter for bl.a. BAR-systemet, Arbejdstilsynet, Miljøstyrelsen, EU m.fl.Evaluator har desuden erfaring med vurdering af projektansøgninger som evaluator for EU i for-bindelse med behandling af ansøgninger til rammeprogrammerne.Evaluator har gennem mere end 15 år været underskriftsberettiget under akkreditering 168 (DA-NAK) som særlig sagkyndig på bl.a. arbejdsmiljøområdet.
71
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008
D. De udvalgte projekter til effekt-evalueringProjektnavn (AT-nummer)BARSamledeudgifter*808.750 kr.204BAR Jord til BordBAR Jord til BordBAR Jord til Bord189.577,00 kr.205300.000 kr.206174.307 kr.207BAR Jord til BordBAR Jord til Bord90.585 kr.208189.577 kr.107BAR Jord til BordBAR Transport ogEngrosBAR Transport ogEngrosBAR Transport ogEngros274.451 kr.211400.000 kr.217500.000 kr.2183.250.000 kr.219BAR Service ogTjenesteydelser400.000 kr.221JaNejKonferencer/MesserNejNejNejNejKortlægning/ForprojektKampagneNejNejNejNejUdviklings-projekterKortlægning/ForprojektJaNejNejNejPjecer oghåndbøgerUdviklings-projekterNejNejPjecer oghåndbøgerJaNejJaNejKortlægning/ForprojektKampagneEval.Nr.GennemførtinterviewJaMålgruppe-surveyJaProdukttype
Ned med ulykkerne/sikker nok?(2005-02-03)Sikker håndtering af store dyr(2005-02-10)Ulykker – arbejde med storemaskiner (2005-02-12)Pjecer med gode råd til medarbej-dere i slagteribranchen(2005-02-14)Guide til introduktion af nye medar-bejdere (2005-02-15)Videndeling og prioritering afarbejdsmiljøindsatsen inden formejeriindustrien 2006-2020(2005-02-18))Arbejdsmiljø, der arbejder(2006-02-05)Kortlægning vedrørende manglendetekniske hjælpemidler til distributionaf gods (2005-03-15)Tekniske hjælpemidler til transportaf byrder på trapper (2005-03-16)Opmærksomhed på forhold vedr.arbejdsmiljø i vinterhalvåret for ud-satte faggrupper under BAR(2005-03-17)Konference om "Det rengøringsven-lige hus" (2005-04-01)
BAR Jord til Bord
Kampagne
72
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008Projektnavn (AT-nummer)BARSamledeudgifter*249.602 kr.223BAR Service ogTjenesteydelserBAR Service ogTjenesteydelserBAR Service ogTjenesteydelserBAR Service ogTjenesteydelserBAR HandelGrafisk BARGrafisk BARGrafisk BAR275.698 kr.224207.020 kr.225331.278 kr.230200.000 kr.233698.056 kr.242655.562,01 kr.84.582,50 kr.245225.625 kr.246BAR Bygge ogAnlægIndustriens BARIndustriens BARIndustriens BAR2.888.789 kr.254442.800 kr.11332.196 kr.117561.716 kr.(egenfinansiering18.216 kr.)598.981 kr.260Industriens BAR584.195 kr.(egenfinansiering:16.195 kr.)432.500 kr. +revision116Industriens BARIndustriens BARFremgår ikke11877.730 kr.267Industriens BAR194.799 kr.115JaJaMundtligformidlingJaJaNejNejMundtligformidlingPjecer oghåndbøgerJa262JaJaPjecer oghåndbøgerJaBranche-vejledningJa258JaJaVærktøj ogundervisningJaNejNejMundtligformidlingBranche-vejledningJaJaBladeJaJaKampagneJaNej244JaJaJaNejJaNejVærktøj ogundervisningBladePjecer oghåndbøgerPjecer oghåndbøgerNejNejJaNejNejJaMundtligformidlingPjecer oghåndbøgerKortlægning/ForprojektJaNejBranche-vejledningEval.Nr.GennemførtinterviewJaMålgruppe-surveyNejProdukttype
Ny branchevejledning om forebyg-gelse af skader ved arbejde medradar (2005-04-03)Ny branchevejledning om håndte-ring af kemiske, biologiske og ra-dioaktive materialer (2005-04-04)Arbejdsmiljøindsats inden for re-staurationsbranchen (2005-04-09)Stresshåndtering 2 – værktøjskassemed gode eksempler (2005-04-16)Analyse af arbejdsmiljøkonsekven-ser ved udlicitering i servicebran-chen (2006-04-02)Interaktivt værktøj – unges ar-bejdsmiljø (2005-05-04)Grafisk BARometer (2005-06-02)Mobning – bagsiden af medaljen(2005-06-03)Substitution af kemiske produkterved grafisk produktion: Serigrafi(2006-06-01)Særlig indsats for små bygge- oganlægsvirksomheder (2006-07-02)"Det handler om vaner"(2005-08-08)"Ulykkesforebyggelse i tobaksindu-strien" (2005-08-10)"Værktøj om svejsning i metal- ogmaskinindustrien" (2005-08-15)Forbedring af produktivitet, kvalitetog arbejdsmiljø i træ- og møbelin-dustrien (2005-08-17)Sikring af maskiner i metal- og ma-skinindustrien (2005-08-21)"Reduktion af træstøv og terpener itræ- og møbelindustrien" (2005-08-11)"Informationsmøder for autobran-chen" (2005-08-12)Ulykkesprojekt om holdnings- ogadfærdsændring i procesindustrien.Tillægsansøgning. (2005-08-29)"Kompetenceudvikling i det psyko-sociale arbejdsmiljø" (2005-08-28)
BAR Service ogTjenesteydelser
Branche-vejledning
Industriens BAR
Industriens BAR
73
ArbejdstilsynetStikprøvevis effektevaluering af branchearbejdsmiljørådenes projekter17. marts 2008Projektnavn (AT-nummer)BARSamledeudgifter*488.541 kr.280BAR Social ogSundhedBAR Social ogSundhedBAR Social ogSundhedBAR Undervisningog ForskningBAR Privat, Kontorog AdministrationBAR Privat, Kontorog Administration1.649.371 kr.282884.890,82 kr.2842.115.136 kr.28857.324,90 kr.127247.750 kr.292113.781 kr.294JaNejJaNejJaNejJaNejJaNejKonferencer/MesserVærktøj ogundervisningPjecer oghåndbøgerKortlægning/ForprojektKonferencer/MesserJaNejHjemmesideEval.Nr.GennemførtinterviewJaMålgruppe-surveyNejProdukttype
Kampagne om arbejdsmiljø, nul-punktsanalyse. Forprojekt. (2006-08-29 (2006-30)"Hjemmesider" (2005-09-02) + totillægsprojekter (2005-09-09 og2005-09-13)"Messer" (2005-09-03) og tillægs-bevillingen (2006-09-01)"Den sunde daginstitution"(2005-09-06)"Brandforhold på skoler"(2005-10-01)Forprojekt. Arbejdsformer i viden-samfundet (2005-12-03)Stand på arbejdsmiljøkonferencen(2006-12-02)
Industriens BAR
Kortlægning/Forprojekt
* Det endelige budget fremgår af det selvevalueringsskema, der afleveres til Arbejdstilsynet, nårprojektet er afsluttet.
Evalueringsnummer er et nummer, tildelt af evaluator for nemt at holde styrpå projekterne. Tallene er ikke i nummerorden.
74
