BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Beskæftigelsesudvalget 2018-19 (1. samling)
BEU Alm.del Bilag 249
Offentligt

Udvidet

Risikobaseret

Tilsyn (URT)

Sammenligning med almindeligt Risikobaseret Tilsyn (RT)

Effekt- og procesevaluering

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Udvidet Risikobaseret Tilsyn

(URT)

Sammenligning med Risikobaseret Tilsyn (RT)

FFEKT

OG PROCESEVALUERING

Det Nationale Forskningscenter for Arbejdsmiljø (NFA)

Juni 2018

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Udvidet Risikobaseret Tilsyn (URT) - Sammenligning med Risikobaseret Tilsyn (RT).

Effekt- og procesevaluering

Forfattere

Signe Ravn Andersen

Birthe Lykke Thomsen

Dea Busk Larsen

Anne-Sophie Krarup Hansen

Johan Simonsen Abildgaard

Line Rosendahl Meldgaard Pedersen

Nina Føns Johnsen

Institution

Udgiver

Udgivet

Forsidebillede

Bedes citeret

Det Nationale Forskningscenter for Arbejdsmiljø (NFA)

Juni 2018

Foto fra Colourbox

Udvidet Risikobaseret Tilsyn (URT) - Sammenligning med Risikobaseret Tilsyn (RT).

Effekt- og procesevaluering. Det Nationale Forskningscenter for Arbejdsmiljø.

København, 2018.

ISBN

Internetudgave

978-87-7904-348-0

www.nfa.dk

Det Nationale Forskningscenter for Arbejdsmiljø

Lersø Parkallé 105

2100 København Ø

Tlf.: 39165200

e-post: [email protected]

Hjemmeside:

www.arbejdsmiljoforskning.dk

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

NDHOLD

Sammenfatning ................................................................................................................................................ 6

Baggrund og formål ....................................................................................................................................... 6

Metode........................................................................................................................................................... 6

Effektevaluering ........................................................................................................................................ 7

Procesevaluering ...................................................................................................................................... 8

Resultater ...................................................................................................................................................... 8

Effektevaluering ........................................................................................................................................ 8

Procesevaluering ...................................................................................................................................... 8

Diskussion ..................................................................................................................................................... 9

Konklusion ................................................................................................................................................... 10

Baggrund og formål .............................................................................................................................. 11

1.1.

Formål .............................................................................................................................................. 11

Metode.................................................................................................................................................... 12

4.1

Forskningsdesign ............................................................................................................................. 12

Effektevaluering ...................................................................................................................................... 12

Procesevaluering .................................................................................................................................... 12

Risikobaseret Tilsyn ................................................................................................................................ 14

Udvidet Risikobaseret Tilsyn ................................................................................................................... 14

2.2 Population og data ................................................................................................................................ 15

Population ............................................................................................................................................... 15

Data ......................................................................................................................................................... 19

Effektevaluering .................................................................................................................................... 23

3.1 Statistisk metode ................................................................................................................................... 24

Effekt på arbejdspladsniveau .................................................................................................................. 24

Effekt på medarbejderniveau .................................................................................................................. 24

3.2 Resultater .............................................................................................................................................. 26

Effekt på arbejdspladsniveau .................................................................................................................. 26

Effekt på medarbejderniveau .................................................................................................................. 28

Supplerende effektmål ............................................................................................................................ 31

3.3 Deldiskussion ........................................................................................................................................ 36

3.4 Delkonklusion ........................................................................................................................................ 37

Procesevaluering .................................................................................................................................. 39

4.1 Metode................................................................................................................................................... 39

4.2 Resultater .............................................................................................................................................. 39

Forskningsspørgsmål A: Gennemførelsen af URT ................................................................................. 39

Forskningsspørgsmål B: Arbejdspladsernes oplevelse af tilsynsbesøgene ........................................... 48

Forskningsspørgsmål C: Arbejdspladsernes udbytte af Arbejdstilsynets forskellige virkemidler ........... 53

4.3 Deldiskussion ........................................................................................................................................ 63

4.4 Delkonklusion ........................................................................................................................................ 64

Overordnet diskussion ......................................................................................................................... 66

5.1 Undersøgelsens styrker og svagheder ................................................................................................. 66

5.2 Effekt på arbejdspladsniveau ................................................................................................................ 67

5.3 Effekt på medarbejderniveau ................................................................................................................ 68

Perspektivering i forhold til tidligere evalueringer ....................................................................................... 71

6. Overordnet konklusion ............................................................................................................................. 72

Referencer ............................................................................................................................................. 73

Bilag ....................................................................................................................................................... 74

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

NVENDTE FORKORTELSER

AMR

APV

DART

NFA

RCT

URT

Arbejdsmiljørepræsentant

Arbejdspladsvurdering

Del af Risikobaseret Tilsyn

Det Nationale Forskningscenter for Arbejdsmiljø

Antal personer eller besvarelser

Randomised Controlled Trial

Risikobaseret Tilsyn

Udvidet Risikobaseret Tilsyn

RDFORKLARING

Ansatte

Medarbejdere

Effekt på medarbejderniveau

Ledere, arbejdsmiljørepræsentanter, medarbejdere (dvs.

alle medlemmer af personale).

Lønmodtager, der er underordnet en chef eller en ledelse.

Her bemærkes, at effekten/termen også inkluderer nogle

(få) ledere og derfor (undtagelsesvist i forhold til

ovenstående anvendes til at beskrive effekten på person-

niveau

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

AMMENFATNING

Baggrund og formål

I 2016 igangsatte Arbejdstilsynet en særlig indsats, hvor arbejdspladser i brancher med høj risiko

for langtidssygefravær og/eller store belastninger i forhold til ergonomi og psykisk arbejdsmiljø fik

udvidet

risikobaseret tilsyn. Tanken bag det Udvidede Risikobaserede Tilsyn (URT) var, at man

med et særlig grundigt og længerevarende tilsyn, sammenlignet med det almindelige

risikobaserede tilsyn (RT) muligvis ville være i bedre stand til at afdække arbejdsmiljøet.

Døgninstitutioner og hjemmepleje var én

af de udvalgte brancher, og det er tilsynene i denne

branche, som er evalueret i nærværende rapport. Arbejdstilsynet implementerede indsatsen, mens

Det Nationale Forskningscenter for Arbejdsmiljø (NFA) evaluerede den.

Formålet med URT-projektet var således at evaluere Arbejdstilsynets udvidede risikobaserede

tilsyn (URT) i forhold til det almindelige risikobaserede tilsyn (RT) i

branchen Døgninstitutioner

og hjemmepleje .

Evalueringen bestod af en effektevaluering og en procesevaluering; denne

rapport beskriver effektevalueringen med opfølgning efter seks og 12 måneder samt

procesevalueringen.

Effektevalueringen havde til formål at besvare følgende forskningsspørgsmål, opgjort på henholdsvis

arbejdsplads- og medarbejderniveau:

1. Fører URT til afgivelse af flere påbud og skriftlige vejledninger? (arbejdspladsniveau).

2. Fører URT til, at medarbejderne oplever øget arbejdsmiljøarbejde på arbejdspladserne?

(medarbejderniveau).

3. Fører URT til, at medarbejderne oplever forbedret psykisk og ergonomisk arbejdsmiljø?

(medarbejderniveau).

Procesevalueringen havde til formål at besvare følgende forskningsspørgsmål:

a) I hvor høj grad er tilsynene gennemført som planlagt?

b) Hvordan oplever arbejdspladserne tilsynsbesøgene?

c) Hvad er arbejdspladsernes udbytte af Arbejdstilsynets forskellige virkemidler?

Metode

Undersøgelsen var designet som et randomiseret, kontrolleret studie (RCT) og er det første

randomiserede, kontrollerede studie, som har evalueret Arbejdstilsynets indsatser. I alt blev 617

arbejdspladser udtrukket og randomiseret til URT (308) eller RT (309). Tilsynene blev gennemført

fra marts 2016 til og med september 2016.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Effektevaluering

Effekten af URT på arbejdspladsniveau blev undersøgt på baggrund af data fra Arbejdstilsynet,

mens effekten på medarbejderniveau blev evalueret på baggrund af en spørgeskemaundersøgelse

blandt alle ansatte på de randomiserede arbejdspladser i URT-projektet. Der blev udsendt

spørgeskemaer henholdsvis før tilsyn (baseline), seks måneder efter tilsyn (første opfølgning) og 12

måneder efter tilsyn (anden opfølgning).

Forskningsspørgsmål 1 blev undersøgt ved at sammenligne antallet af påbud og skriftlige

vejledninger givet ved tilsyn i henholdsvis URT- og RT-gruppen.

Forskningsspørgsmål 2 blev undersøgt ved følgende spørgsmål:



I hvilken grad er du enig i nedenstående:

”Der bliver fulgt op på de samtaler, vi har om eventuelle

problemer i arbejdsmiljøet på min arbejdsplads”

Forskningsspørgsmål 3 blev undersøgt ved følgende to spørgsmål:



”Hvor tilfreds er du alt i alt med det psykiske arbejdsmiljø på din arbejdsplads?”

”Hvor fysisk hårdt opfatter du normalt dit nuværende arbejde?”

Derudover blev der inkluderet fem supplerende effektmål.

Undersøgelsen af forskningsspørgsmål 2 blev suppleret med følgende to spørgsmål:



Hvor enig er du i følgende udsagn? "I løbet af de seneste 6 måneder har vi haft øget fokus på

arbejdsmiljø og trivsel."

Har der inden for de seneste 6 måneder været igangsat arbejdsmiljøindsatser på din arbejdsplads?

Undersøgelsen af forskningsspørgsmål 3 blev suppleret med følgende tre spørgsmål:



Hvor enig er du i følgende udsagn? "Initiativerne har bidraget til et bedre psykisk arbejdsmiljø."

Hvor enig er du i følgende udsagn? "Initiativerne har bidraget til et bedre fysisk arbejdsmiljø."

Er der i de sidste 6 måneder sket en forbedring af det/de pågældende arbejdsmiljøproblem(er), I fik

påbud om?

Ved første opfølgning blev der evalueret på alle fem supplerende effektmål, og ved anden

opfølgning var det kun muligt at evaluere på de første fire. Bemærk, at de tre sidste spørgsmål kun

blev stillet til ansatte, der havde svaret bekræftende på, at der henholdsvis havde været igangsat

arbejdsmiljøindsatser (med fokus på henholdsvis psykisk og fysisk arbejdsmiljø), og at

arbejdspladsen havde fået påbud.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Procesevaluering

Formålet med procesevalueringen var dels at evaluere, hvorvidt URT-indsatsen blev gennemført

som planlagt, og dels for at få indblik i arbejdspladsernes oplevelse og udbytte af tilsynene. I

procesevalueringen indgik følgende datakilder: tilsynsskemaer fra Arbejdstilsynet, spørgsmål fra

opfølgningsskemaerne blandt alle ansatte på arbejdspladserne i projektet, interviews med

tilsynsførende, interviews med ledere og arbejdsmiljørepræsentanter (AMR) på arbejdspladserne

samt observation af tilsynsbesøg.

Resultater

Effektevaluering



Effekt på arbejdspladsniveau:



Der blev givet statistisk signifikant flere påbud og skriftlige vejledninger i URT-

gruppen i forhold til RT-gruppen.

Ingen effekt på de primære effektmål på medarbejderniveau:

Der var ikke statistik signifikant forskel på URT- og RT-gruppen i forhold til,

hvorvidt medarbejderne havde oplevet øget arbejdsmiljøarbejde eller forbedret

psykisk og ergonomisk arbejdsmiljø, hverken til første eller til anden opfølgning.



De supplerende effektmål på medarbejderniveau viste dog, at URT-gruppen i højere grad

end RT-gruppen oplevede, at der havde været fokus på arbejdsmiljø og trivsel inden for de

seneste seks måneder, at der havde været igangsat arbejdsmiljøindsatser, og at initiativerne

havde bidraget til et bedre psykisk og fysisk arbejdsmiljø.

Procesevaluering

a) Gennemførelse af indsatsen



URT-indsatsen blev overordnet implementeret som planlagt.

De tilsynsførende oplevede, at URT især gav god mulighed for at vurdere arbejdsmiljøet

generelt, men særligt inden for ergonomi.

Nogle tilsynsførende oplevede dog også, at URT i flere tilfælde var tidsspilde i forhold til

afdækning af det psykiske arbejdsmiljø.

Derudover omtalte flere tilsynsførende, at der havde været god, generel læring af URT.

b) Arbejdspladsernes oplevelse af selve tilsynsforløbet



Dialogen med de tilsynsførende blev fremhævet som værende rigtig god.

Gruppesamtaler og observation af forflytninger blev oplevet som gode og givende metoder

til vurdering af arbejdsmiljøet.

Svagheder ved gruppesamtalerne var, at spørgerammen for de tilsynsførende var snæver,

når problematikker ikke blev videreformidlet til ledelsen, og når medarbejdergruppen ikke

blev repræsentativt sammensat.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren



For observation af forflytninger var den største problematik, at den kunne opleves

grænseoverskridende for borgerne.

c) Oplevelse af udbytte af Arbejdstilsynets forskellige virkemidler



Især mundtlig feedback og påbud blev oplevet som relevante virkemidler.

I særdeleshed var det relevant, når udbyttet var konkret og arbejdspladsspecifikt, da

arbejdspladserne ellers havde svært ved at omsætte Arbejdstilsynets anbefalinger til

praksis.



Mundtlig feedback havde stor betydning for arbejdspladsernes udbytte af tilsyn.

Påbud var virkningsfulde, da de krævede løsninger og med større sandsynlighed medførte

konkrete tiltag og ekstra ressourcer til arbejdspladsen.

Skriftlig vejledning satte umiddelbart ikke det store aftryk på arbejdspladsernes udbytte.

Diskussion

Evalueringen viste, at der var effekt af URT-indsatsen på arbejdspladsniveau, idet arbejdspladser i

URT-gruppen fik flere påbud og skriftlige vejledninger end arbejdspladser i RT-gruppen.

Procesevalueringen understøttede, at dette var en effekt af URT, idet URT blev implementeret som

planlagt. Til gengæld kunne der ikke påvises effekt af URT på medarbejdernes oplevelse af

opfølgning på samtaler om eventuelle problemer i arbejdsmiljøet, tilfredsheden med det psykiske

arbejdsmiljø eller opfattelsen af, hvor fysisk hårdt arbejdet var. De supplerende effektmål viste

dog, at URT var associeret med en oplevelse af et forbedret arbejdsmiljø blandt medarbejderne,

især ved opfølgningen et år efter interventionen.

Undersøgelsens store styrker er det randomiserede, kontrollerede design, målinger før og efter

indsats, det store antal deltagende arbejdspladser og medarbejdere, at både ledelse og

arbejdsmiljørepræsentanter og tilsynsførende deltog i interviews, at der blev anvendt mange

forskellige metoder og datakilder i evalueringen, samt at spørgeskemaerne var ganske omfattende.

Ulemper kunne være, at effektmålene ikke var optimale, og at der var en del non-respons (ikke-

deltagelse) og frafald, som potentielt kan have påvirket resultaterne. Derudover var det svært at

sammenligne URT og RT på baggrund af procesevalueringens interviews af ledere og AMR, da

der kun var få arbejdspladser for hver kombination af påbud og skriftlig vejledning.

At der ikke kunne påvises en effekt på de primære effektmål på medarbejderniveau kan skyldes

flere forhold: 1) Størstedelen af arbejdspladserne i URT-gruppen fik ikke påbud, hvorfor en

eventuel effekt gennemsnitligt vil være lille; 2) Tilsynsbesøgene kan have initieret mange

forskellige mindre indsatser på arbejdspladserne, som er svære at måle en samlet effekt af; 3)

Valget af effektmål rummer nogle begrænsninger; 4) Påbud og skriftlige vejledninger påvirker

ikke nødvendigvis alle medarbejdere; 5) Der kan have været spill-over mellem tilsynsindsatserne.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Konklusion

De statistiske analyser viste, at der blev givet flere påbud og skriftlige vejledninger i URT-gruppen

i forhold til RT-gruppen, men at der

ikke

kunne påvises en effekt af URT på medarbejderniveau

målt på medarbejdernes oplevelse af opfølgning på samtaler om eventuelle problemer i

arbejdsmiljøet, tilfredsheden med det psykiske arbejdsmiljø eller opfattelsen af, hvor fysisk hårdt

arbejdet var.

De supplerende effektmål viste dog, at URT-gruppen i højere grad end RT-gruppen oplevede, at

der havde været større fokus på arbejdsmiljø og trivsel inden for de seneste seks måneder, og at

arbejdsmiljøinitiativerne havde bidraget til et bedre arbejdsmiljø (både psykisk og fysisk) i forhold

til i RT-gruppen. Der var ingen forskel mellem grupperne på oplevelsen af, hvorvidt der var sket

forbedringer i relation til det/de arbejdsmiljøområde(r), hvor arbejdspladsen havde fået påbud

(blandt ansatte, der svarede, at deres arbejdsplads havde fået påbud). Hertil bemærkes, at de lave

svarprocenter på spørgeskemaerne kan have haft betydning for resultaterne.

På baggrund af procesevalueringen vurderes det, at URT overordnet set blev gennemført som

planlagt, og at Arbejdstilsynets metoder var gode og givende, samt at de forskellige virkemidler

var relevante. Arbejdspladserne oplevede sandsynligvis et større udbytte ved URT i forhold til RT,

da flere af Arbejdstilsynets metoder og virkemidler var i brug. Grundet de flere og længere besøg

ved URT, imødekom URT sandsynligvis i højere grad end RT arbejdspladsernes ønske om dialog

og rådgivning.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

1. B

AGGRUND OG FORMÅL

Arbejdstilsynet fører tilsyn med de danske virksomheder for at kontrollere, at de overholder

arbejdsmiljølovgivningen. Desuden er der i Arbejdstilsynet i stigende grad fokus på at vejlede

virksomhederne i forhold til at forebygge arbejdsmiljøproblemer.

Arbejdstilsynet har fra 2012 udført risikobaserede tilsyn. De risikobaserede tilsyn har ligesom

tidligere tilsyn til formål at kontrollere, at arbejdsmiljøloven overholdes. Sammen med det

risikobaserede tilsyn blev der indført et nyt dialog-koncept med henblik på at vejlede og motivere

arbejdspladserne til selv at løse og forebygge arbejdsmiljøproblemer. Det er formålet, at

tilsynsaktiviteterne i sidste ende skal bidrage til, at medarbejdere udsættes for færre belastninger i

arbejdet og derved mindsker nedslidning og sygefravær.

I 2016 igangsatte Arbejdstilsynet en ny tilsynsmetode, hvor arbejdspladser i brancher med høj

risiko for langtidssygefravær og/eller store belastninger i forhold til ergonomi og psykisk

arbejdsmiljø fik et

udvidet

risikobaseret tilsyn. Tanken bag Udvidet Risikobaseret Tilsyn (URT) var,

at man med et særlig grundigt og længerevarende tilsyn måske bedre ville være i stand til at

afdække arbejdsmiljøet sammenlignet med almindeligt Risikobaseret Tilsyn (RT).

Døgninstitutioner og hjemmepleje var én af de udvalgte brancher, og det er tilsynene i denne

branche, som er evalueret i URT-projektet. Arbejdstilsynet implementerede indsatsen, mens Det

Nationale Forskningscenter for Arbejdsmiljø (NFA) evaluerede den.

1.1.

Formål

Formålet med URT-projektet var således at evaluere Arbejdstilsynets URT i forhold til RT i

branchen Døgninstitutioner og hjemmepleje .

Evalueringen bestod af en effektevaluering og en

procesevaluering. Denne rapport beskriver effektevalueringen med opfølgning efter seks og 12

måneder samt procesevalueringen.

Effektevalueringen havde til formål at besvare følgende forskningsspørgsmål:

1. Fører URT til afgivelse af flere påbud og skriftlige vejledninger? (arbejdspladsniveau).

2. Fører URT til, at medarbejderne oplever øget arbejdsmiljøarbejde på arbejdspladserne?

(medarbejderniveau).

3. Fører URT til, at medarbejderne oplever forbedret psykisk og ergonomisk arbejdsmiljø?

(medarbejderniveau).

Procesevalueringen havde til formål at besvare følgende forskningsspørgsmål:

a) I hvor høj grad er tilsynene gennemført som planlagt?

b) Hvordan oplever arbejdspladserne selve tilsynsbesøgene?

Hvad er arbejdspladsernes udbytte af Arbejdstilsynets forskellige virkemidler?

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

2. M

ETODE

I dette kapitel beskrives først forskningsdesignet og dernæst populationen og undersøgelsens

datagrundlag.

4.1 Forskningsdesign

Undersøgelsen var designet som en randomiseret og kontrolleret undersøgelse (RCT), hvor URT

blev evalueret i forhold til RT. I alt blev 617 arbejdspladser udtrukket og randomiseret til URT

(308) eller RT (309) med en ligelig fordeling af URT og RT i hvert af de tre tilsynscentre i Danmark.

Evalueringen indebærer både en effekt- og en procesevaluering, som beskrives i det følgende.

Effektevaluering

Det udvidede, risikobaserede

tilsyn, URT, vil i en

forandringsteorimodel udgøre det

første led, som kaldes Indsats se

faktaboks). Outputtet, også kaldet

Leverancer , af indsatsen er de

udfordringer i arbejdsmiljøet, som

Arbejdstilsynet afdækker i deres

tilsyn. Disse udfordringer måles

ved

påbud og skriftlige vejledninger.

Resultatet heraf skulle være, at arbejdspladserne følger op på

udfordringerne og foretager ændringer af organisering og deres udførsel af arbejdet. Disse

resultater afspejler en forventet kortsigtet effekt, som i nærværende projekt evalueres ved,

medarbejderne oplever øget arbejdsmiljøarbejde.

Den ønskede langsigtede virkning med URT er, at

medarbejderne i mindre grad udsættes for

psykosociale og ergonomiske belastninger i deres arbejde.

Dette evalueres gennem medarbejdernes

oplevelse af deres psykiske og fysiske arbejdsmiljø. De tre målsætninger under henholdsvis

leverancer, resultater og langsigtet virkning udgør således hver af de tre forskningsspørgsmål i

effektevalueringen, se

Figur 1.

Procesevaluering

Forandringsteorimodellen kan også bruges til at forstå processen bag URT. Projektets proces ligger

i modellens pile, som evalueres på baggrund af,

I hvor høj grad tilsynene bliver gennemført som

planlagt, Hvordan arbejdspladserne oplever tilsynene

samt

Hvad arbejdspladsernes udbytte er af

Arbejdstilsynets forskellige virkemidler.

Se Figur 1 for illustration.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Figur 1.

Hovedeffekter, mekanismer og mål i forbindelse med Udvidet Risikobaseret Tilsyn

Den øverste del af Figur 1 viser de potentielle mekanismer i URT. Tanken var, at flere problemer i

arbejdsmiljøet ville blive afdækket med URT i forhold til RT, og der ville blive givet flere påbud

og/eller skriftlige vejledninger. Endvidere ville arbejdspladserne potentielt følge op på de

påpegede udfordringer i arbejdsmiljøet ved at foretage de nødvendige ændringer i deres

organisering og udførsel af arbejdet, og i sidste ende ville medarbejderne forhåbentlig opleve øget

arbejdsmiljøarbejde, mindre eksponering for psykosociale og ergonomiske belastninger samt

forbedret psykisk og ergonomisk arbejdsmiljø (Figur 1). Det er klart, at påbud og en eventuel

effekt heraf ikke nødvendigvis vil omhandle alle medarbejderes arbejdsopgaver, men

forhåbningen var, at løsningsmodeller af givne påbud med tiden ville spredes til alle

medarbejdere. Den grundlæggende antagelse var, at tid er en begrænsende faktor i afdækningen

af arbejdsmiljøet ved RT, hvorfor URT, hvor der anvendes mere tid på tilsynet, potentielt kunne

have en større effekt.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Risikobaseret Tilsyn

Størstedelen af de almindelige RT gennemføres normalt ved, at en tilsynsførende besøger en given

arbejdsplads en enkelt dag og gennemgår arbejdsmiljøet. Besøget er uanmeldt, men

arbejdspladsen er dog mindst en måned forinden blevet varslet om det kommende tilsynsbesøg

(uden angivelse af specifik dato). Hvis det skønnes, at der kan være problemer med arbejdsmiljøet,

som ikke kan afdækkes ved første besøg, udtages arbejdspladsen til Del Af Risikobaseret Tilsyn

(DART) (Figur 2). Ved DART udføres ét eller i nogle tilfælde flere tilsynsbesøg for at afdække

arbejdsmiljøet.

Udvidet Risikobaseret Tilsyn

Ved URT-besøg blev der foretaget en ekstra, grundig gennemgang af arbejdspladsens

ergonomiske og psykiske arbejdsmiljø stort set uanset vurderingen af arbejdspladsens arbejdsmiljø

på første tilsynsbesøg (se Figur 2). Mens et almindeligt RT hovedsageligt forløber over en enkelt

dag, strakte URT sig i udgangspunktet over to til tre dage. Formålet med URT var at gøre en ekstra

indsats for at vejlede i forhold til løsning af eventuelle problemer i arbejdsmiljøet samt at

understøtte arbejdspladserne i deres forebyggende arbejdsmiljøarbejde med hensyn til ergonomi

og psykisk arbejdsmiljø.

Ved URT-besøg blev der på førstedagen gennemført et tilsyn svarende til RT, typisk med én

tilsynsførende. Her planlagde arbejdspladsen og den tilsynsførende sammen det efterfølgende

tilsyn, som lå to til otte uger efter første besøg. Man aftalte, hvordan der skulle fokuseres på det

psykiske og/eller ergonomiske arbejdsmiljø, og der var typisk to tilsynsførende på de opfølgende

besøg. Der var dog mulighed for, at de tilsynsførende ikke udtog en virksomhed i URT-gruppen til

opfølgende besøg, hvis de havde gode grunde til ikke at gøre det. Det kunne eksempelvis være,

hvis de på første besøg havde tid nok til en grundig afdækning af arbejdsmiljøet.

Ved de opfølgende URT-besøg blev en række arbejdsprocesser observeret og beskrevet for at

afdække det ergonomiske arbejdsmiljø, og/eller der blev gennemført gruppesamtaler med flere

grupper af medarbejdere for at afdække det psykiske arbejdsmiljø. Derudover blev der

gennemført en samtale med ledelsen samt en afsluttende samtale med lederen af arbejdspladsen

og arbejdsmiljøorganisationen, hvor Arbejdstilsynet gav en tilbagemelding og vejledte i forhold til

relevante arbejdsmiljøfaktorer.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Udvalgte

arbejdspladser i

branchen

'Døgninstitutioner

og hjemmepleje'

randomiseres

- det almindelige

risikobaserede tilsyn

Evt.

DART

URT

- en særlig grundig og målrettet gennemgang af

arbejdpladens ergonomiske og psykiske

arbejdsmiljø

Figur 2.

Oversigt over RT/DART og URT

2.2 Population og data

Herunder beskrives studiepopulationen og de datakilder, som indgik i de forskellige analyser.

Population

Oprindeligt lavede Arbejdstilsynet et udtræk med omkring 660 arbejdspladser inden for branchen

Døgninstitutioner og hjemmepleje

jf. deres standarder for udtræk til tilsyn. Allerede inden

randomisering blev flere arbejdspladser ekskluderet af forskellige årsager, herunder nedlagte

arbejdspladser, arbejdspladser med færre end 10 ansatte samt arbejdspladser, som var

flygtningecentre eller havde været udsat for ejerskifte. Det resulterede i, at 617 arbejdspladser blev

randomiseret til henholdsvis URT og RT, herunder 308 arbejdspladser til URT og 309 til RT.

Randomiseringen blev foretaget, så der blev en ligelig fordeling af URT og RT i hvert af de tre

tilsynscentre. Tilsynene blev gennemført fra marts 2016 til og med september 2016. Af praktiske

årsager måtte de samme tilsynsførende gennemføre både URT og RT.

Efter randomisering blev yderligere 78 arbejdspladser ekskluderet, da de enten var rent

administrative enheder eller lukket. Således blev det endelige antal arbejdspladser på 539 fordelt

med 257 på URT og 282 på RT.

Figur 3 nedenfor viser flowchart over dataindsamling i URT- og RT-gruppen.

I den oprensede bruttopopulation indgik medarbejdere, som havde modtaget løn fra den givne

arbejdsplads i samme måned som

besvarelsen

af spørgeskemaet eller én af de tre foregående

måneder (baseret på E-indkomst-registeret fra Danmarks Statistik), og som var ansat på mindst én

af de arbejdspladser, som fik tilsyn i perioden.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Ved første opfølgning blev der udsendt spørgeskemaer til medarbejdere, der havde besvaret

baseline samt alle medarbejdere fra arbejdspladser med manglende besvarelse ved baseline.

Sidstnævnte skyldtes, at første opfølgningsspørgeskema indeholdt supplerende effektspørgsmål,

som man gerne ville have svar på. Ved anden opfølgning blev opfølgningsskemaer sendt ud til

den samme population, som havde modtaget første opfølgningsspørgeskema.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

INKLUDERET

Omkring 660 arbejdspladser

udtrukket til URT-projektet

BORTFALD

Omkring 40 arbejdspladser bortfalder pga. fx:

Nedlagt virksomhed

Færre end ti ansatte

Ejerskifte

Flygtningecentre

617 arbejdspladser randomiseret:

309 RT

308 URT

539 arbejdspladser fik tilsyn:

282 RT

257 URT

78 arbejdspladser (27 RT og 51 URT) bortfalder pga.:

Lukkede virksomheder

Administrative enheder (ikke en del af branchen)

TILSYN

Tilsynsskema ikke udfyldt for 148 af de 617

arbejdspladser:

57 RT

91 URT

Data fra repræsentanter fra arbejdspladser

INTERVIEWS

TILSYNSSKEMA

I alt 20 interviews med ledere og

arbejdsmiljørepræsentanter fra 10

arbejdspladser (fire RT og seks URT)

Data fra tilsyn og tilsynsførende

469 arbejdspladser med udfyldte

tilsynsskemaer (ud af 617, dvs. 76 %):

252 RT

217 URT

BASELINE

Data fra spørgeskemarunder

Baseline spørgeskema udsendt til 29.328

ansatte fra de 539 arbejdspladser

21.927 ikke-returnerede baselineskemaer

7.401 returnerede besvarelser på

baselineskema (25,2 %), hvoraf 7.172 indgik i

analyser, fordelt på:

3.780 i RT

3.392 i URT

1. OPFØLGNING

OBSERVATION

Observation af fire tilsyn (to RT og to

URT)

INTERVIEWS

Telefonisk enkeltperson-interviews med

seks tilsynsførende

5.917 skemaer sendt ud i første

opfølgningsrunde

3.242 ikke-returnerede opfølgningsskemaer

2.675 returnerede besvarelser på første

opfølgningsskema (45,2 %), hvoraf 2.638

indgik i analyser, fordelt på:

1.464 i RT

1.174 i URT

2. OPFØLGNING

5.917 skemaer sendt ud i anden

opfølgningsrunde

3.663 ikke-returnerede opfølgningsskemaer

2.254 returnerede besvarelser i anden

opfølgningsrunde (38,1 %), hvoraf 2.254

indgik i analyser, fordelt på:

1.215 i RT

1.039 i URT

Figur 3.

Flowchart over dataindsamling i URT- og RT-gruppen

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Tabel 1 nedenfor viser antal besvarelser og svarprocenter for spørgeskemaerne ved baseline samt

første og anden opfølgning (se Bilag 2 vedrørende non-respons og frafald). Disse antal kan dog

variere i de statistiske analyser, idet de afhænger af antallet af personer, der besvarede de enkelte

spørgsmål.

Derudover skal det bemærkes, at nogle af deltagerne besvarede spørgeskemaet flere gange

grundet flere ansættelsesforhold i projektperioden. Tabellen viser derfor antallet af udsendte

spørgeskemaer og besvarelser og ikke antallet af personer.

Tabel 1.

Svarprocenter på medarbejderniveau

Antal inviterede

Baseline

Første opfølgning

Anden opfølgning

29.328

5.917

Antal besvarelser

7.401

2.675

2.670

Svarprocent (%)

25,2

45,2

38,1

Efter dataoprensning indgik henholdsvis 7.172 besvarelser fra baselinespørgeskemaet, 2.638

besvarelser fra første opfølgningsspørgeskema og 2.254 fra andet opfølgningsspørgeskema i

analyserne.

Figur 4.

Skitse af svarmuligheder og antal besvarelser for hver mulighed.

Figuren illustrerer de forskellige kombinationer af svarmuligheder og antallet af besvarelser for

hver mulighed.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Data

URT blev evalueret på baggrund af kvantitative og kvalitative metoder, og de anvendte datakilder

skitseres kort i det følgende og er beskrevet i nærmere detaljer i Tabel 2.

Data i effektevaluering

Effektevalueringen bygger på spørgeskemadata fra i alt tre spørgeskemarunder, som blev

foretaget blandt de ansatte fra arbejdspladserne, der indgik i projektet. Der blev sendt et

spørgeskema ved baseline, som var planlagt til udsendelse inden Arbejdstilsynet gennemførte sine

tilsynsbesøg. Den første opfølgning lå seks måneder efter tilsyn, og den anden opfølgning lå 12

måneder efter tilsyn. Spørgeskemaerne blev udsendt som brev til hjemmeadresse med link til

spørgeskemaet i web-format. Nogle arbejdspladser fik tilsyn, før de ansatte modtog

baselinespørgeskemaet.

Data i procesevaluering

Følgende data indgik i procesevalueringen: 1) tilsynsskemaer, herunder både det skema, som

Arbejdstilsynet normalt bruger ved tilsyn og et specielt udviklet skema til URT-undersøgelsen; 2)

processpørgsmål om oplevelsen af tilsyn, som indgik i spørgeskema ved første opfølgning; 3) i alt

fire observationer af tilsyn, henholdsvis to RT og to URT; 4) telefoninterviews med seks

tilsynsførende; og 5) i alt 20 interviews med arbejdsmiljørepræsentanter og ledere på i alt 10

arbejdspladser, herunder seks URT og fire RT. Samtlige datakilder er beskrevet og uddybet i Tabel

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Tabel 2.

Datakilder i effekt- og procesevaluering

Datakilde

Baseline-spørgeskema

Beskrivelse

Periode

Baseline-spørgeskemaet indeholdt en række spørgsmål, som dels kom fra NFA s

oktober-marts 2016

nationale Arbejdsmiljø- og Helbredsundersøgelser og dels blev udarbejdet i

forbindelse med URT-projektet. Spørgsmålene dækkede både arbejdsmiljø og

helbred, hvoraf udvalgte spørgsmål indgik i projektets analyser.

Baseline-spørgeskemaet blev sendt til alle ansatte på arbejdspladserne i

undersøgelsen. Udsendelsen var planlagt til at ligge forud for Arbejdstilsynets

tilsynsbesøg, men i nogle tilfælde var dette ikke muligt, hvorfor tilsynet lå før

spørgeskemabesvarelsen.

Tilsynsskemaer

Til hvert tilsynsbesøg skulle den tilsynsførende efter normal procedure udfylde

et tilsynsskema med registreringer fra tilsynsbesøget. Derudover havde de

tilsynsførende i forbindelse med URT-projektet et ekstra tilsynsskema.

Tilsynsskemaet blev blandt andet brugt til at undersøge, hvilke fokusområder

de tilsynsførende havde haft, eventuelt også hvilke grunde der lå bag

udtagelsen til DART.

marts-september 2016

Observationer af

tilsynsbesøg

Observation af tilsynsbesøg, herunder to arbejdspladser, som fik RT og to

arbejdspladser, som fik URT. Observationerne inkluderede

NFA s

observation

af gruppesamtaler samt tilsynsførendes observation af forflytninger.

Seks tilsynsførende - to fra hvert af de tre landsdækkende tilsynscentre - deltog i

telefoniske interviews. Kriterierne for inklusion til interview var, at den

tilsynsførende 1) som minimum havde ét års erfaring som tilsynsførende i

Arbejdstilsynet og både havde gennemført RT og URT i Døgninstitutioner og

september 2016

Interviews med

tilsynsførende

oktober 2016

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

hjemmepleje

i projektperioden.

NFA stod for at lave et tilfældigt udtræk af fem arbejdspladser under hvert af de

tre tilsynscentre, hvorefter Arbejdstilsynet kunne identificere de tilsynsførende,

som havde besøgt de pågældende arbejdspladser. Chefer for tilsynscentrene

stod dernæst for at formidle kontakt til to af de tilsynsførende per center, som

indgik i de semistrukturerede telefoninterviews, gennemført af to forskere fra

NFA.

Interviews med ledere og

Ledere og arbejdsmiljørepræsentanter fra i alt 10 arbejdspladser blev udvalgt til

arbejdsmiljørepræsentanter

semistrukturerede interviews, dvs. i alt 20 interviews, som blev foretaget af to

forskere fra NFA. De 10 interviews blev foretaget to til fem måneder efter, at

tilsynsbesøgene på de respektive arbejdspladser var afsluttet. Interviewguides

blev blandt andet udformet på baggrund af observationer af tilsyn og tidligere

interviews med tilsynsførende.

I ét tilfælde deltog tillidsrepræsentanten i interviewet i stedet for

arbejdsmiljørepræsentanten, da denne netop var fratrådt i sin stilling på

arbejdspladsen. Af hensyn til anonymitet blev der i analysen ikke skelnet

mellem, om det var arbejdsmiljørepræsentant eller tillidsrepræsentant, der

udtalte sig.

Af de 10 udvalgte arbejdspladser var tre selvejende institutioner og resten

kommunale tilbud. Fordelingen af arbejdspladser på branchegrupper faldt

således ud med én hjemmepleje, to døgninstitutioner for personer med

handicap og syv plejecentre. Heraf havde seks arbejdspladser fået URT, og fire

november-december 2016

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

arbejdspladser fået RT.

De 10 arbejdspladser blev udvalgt med henblik på at lave interviews på både

arbejdspladser, der havde fået påbud, og arbejdspladser, der havde fået skriftlig

vejledning. Fire af de 10 arbejdspladser havde imidlertid hverken fået påbud

eller skriftlig vejledning, men repræsentanter herfra blev alligevel udvalgt til

interviews med henblik på at undersøge, om den mundtlige feedback i

forbindelse med URT havde været anderledes end i RT.

Første

opfølgningsspørgeskema

(seks måneder efter tilsyn)

Andet

opfølgningsspørgeskema

(12 måneder efter tilsyn)

Samtlige personer, der havde besvaret baseline spørgeskemaet, samt alle ansatte

på arbejdspladser, hvorfra der ingen baseline besvarelser havde været, modtog

et opfølgningsspørgeskema seks måneder efter tilsyn.

Opfølgningsskemaet til anden opfølgningsrunde (12 måneder efter tilsyn) blev

sendt ud til samme personer, der modtog første opfølgningsskema.

oktober 2016-marts 2017

april- september 2017

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

3. E

FFEKTEVALUERING

Forskningsspørgsmål 1 vedrørende en mulig effekt af URT på arbejdspladsniveau blev

undersøgt ved at sammenligne antallet af påbud og skriftlige vejledninger givet ved

URT og RT.

Forskningsspørgsmål 2 vedrørende en mulig effekt af URT på medarbejdernes oplevelse

af arbejdspladsens arbejdsmiljøarbejde efter tilsyn blev undersøgt ved følgende

spørgsmål:



”Der bliver fulgt op på de samtaler, vi har om

eventuelle problemer i arbejdsmiljøet på

min arbejdsplads”.

Forskningsspørgsmål 3 vedrørende en mulig effekt af URT på medarbejdernes oplevelse

af psykisk og ergonomisk arbejdsmiljø efter tilsyn blev undersøgt ved følgende

spørgsmål:



”Hvor tilfreds er du alt i alt med det psykiske arbejdsmiljø på din arbejdsplads?”

”Hvor fysisk hårdt opfatter du normalt dit nuværende arbejde?”

En nærmere beskrivelse af spørgsmålene kan findes i Bilag 1.

Supplerende effektmål

Derudover blev der evalueret på fem henholdsvis fire spørgsmål i første og anden

opfølgning. Disse spørgsmål indgik ikke i den oprindelige protokol for de statistiske

analyser, men blev efterfølgende udvalgt som supplement til de primære effektmål.

Forskningsspørgsmål 2 vedrørende en mulig effekt af URT på medarbejdernes oplevelse

af arbejdspladsens arbejdsmiljøarbejde efter tilsyn blev suppleret med følgende to

spørgsmål:



Hvor enig er du i følgende udsagn? "I løbet af de seneste 6 måneder har vi haft øget fokus

på arbejdsmiljø og trivsel."

Har der inden for de seneste 6 måneder været igangsat arbejdsmiljøindsatser på din

arbejdsplads?

Forskningsspørgsmål 3 vedrørende en mulig effekt af URT på medarbejdernes oplevelse

af psykisk og ergonomisk arbejdsmiljø efter tilsyn blev suppleret med følgende tre

spørgsmål:



Hvor enig er du i følgende udsagn? "Initiativerne har bidraget til et bedre psykisk

arbejdsmiljø."

Hvor enig er du i følgende udsagn? "Initiativerne har bidraget til et bedre fysisk

arbejdsmiljø."

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren



Er der i de sidste 6 måneder sket en forbedring af det/de pågældende

arbejdsmiljøproblem(er), I fik påbud om?

Ved første opfølgning blev der evalueret på alle fem supplerende spørgsmål, og ved

anden opfølgning blev der kun evalueret på de fire første spørgsmål. Bemærk, at de tre

sidste spørgsmål kun blev stillet til ansatte, der havde svaret bekræftende på, at der

henholdsvis havde været igangsat arbejdsmiljøindsatser (med fokus på henholdsvis

psykisk og fysisk arbejdsmiljø), og at arbejdspladsen havde fået påbud.

3.1 Statistisk metode

Effekt på arbejdspladsniveau

Effekten på arbejdspladsniveau blev

testet i en ordinal logistisk regression.

Antallet af påbud og skriftlige

vejledninger blev kombineret til én

ordinal variabel, hvor arbejdspladser, der hverken fik påbud eller skriftlige vejledninger,

var i laveste kategori; arbejdspladser, som fik mindst én skriftlig vejledning, men ingen

påbud, var i mellemste kategori; og arbejdspladser med mindst et påbud var i højeste

kategori. Variablen blev

dermed et mål for alvorligheden af Arbejdstilsynets eventuelle

skriftlige reaktion.

Tilsynscenter samt vekselvirkningen mellem tilsynscenter og interventionsgruppe (URT

versus RT) indgik som tilfældige effekter for at tage højde for, at der kunne være

forskelle på gennemførelsen af tilsyn og tilbøjeligheden til at give påbud/skriftlige

vejledninger mellem tilsynscentrene. Alle hypoteser blev testet ved brug af en tosidet

test med signifikansniveau på 0,05.

Oversigt over datakilder

Tilsynsskemaer

Effekt på medarbejderniveau

Effekten på medarbejderniveau

blev undersøgt ved hjælp af en

regressionsanalyse med antagelse

om normalfordeling for

responsvariablen. Der blev

gennemført to analyser for hvert af

de tre effektmål, svarende til effekten af URT fra baseline til hvert af de to

opfølgningstidspunkter.

Operationalisering af variable ses i Bilag 1. Arbejdsplads, tilsynscenter samt

vekselvirkningen mellem tilsynscenter og interventionsgruppe (URT versus RT) indgik

Oversigt over datakilder

Baselinespørgeskema til ansatte

Første opfølgningsspørgeskema til ansatte

Andet opfølgningsspørgeskema til ansatte.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

som tilfældige effekter for at tage højde for, at der kunne være forskelle på

gennemførelsen af tilsyn mellem tilsynscentrene og mellem arbejdspladserne. Bemærk,

at der i analyserne af ændringen fra baseline til opfølgning kun indgik personer, der

havde besvaret de specifikke effektmål ved baseline og det givne opfølgningstidspunkt.

Alle hypoteser blev testet ved brug af en tosidet test med signifikansniveau på 0,05.

Effekt af supplerende effektmål

De sekundære effektmål blev undersøgt ved hjælp af ordinal logistisk regression.

Operationalisering af variable ses i Bilag 1. Tilsynscenter samt vekselvirkningen mellem

tilsynscenter og interventionsgruppe (URT versus RT) indgik som tilfældige effekter for

at tage højde for, at der kunne være forskelle på gennemførelsen af tilsyn mellem

tilsynscentrene. Bemærk, at de supplerende effektmål kun er målt ved én eller begge af

de to opfølgninger, hvorfor der ikke blev inkluderet en baseline-værdi i denne analyse.

Alle hypoteser blev testet ved brug af en tosidet test med signifikansniveau på 0,05.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

3.2 Resultater

Effekt på arbejdspladsniveau

I alt deltog 539 arbejdspladser i studiet, hvor 257 arbejdspladser blev randomiseret til

URT og 282 til RT. Antallet af påbud og skriftlige vejledninger er opgivet i henholdsvis

Tabel 3 og 4. Heraf fremgår, at der generelt blev givet flere påbud og skriftlige

vejledninger på arbejdspladserne i URT i forhold til RT. For arbejdspladserne i URT blev

der især givet flere påbud inden for ergonomi og psykisk arbejdsmiljø, og skriftlige

vejledninger inden for psykisk arbejdsmiljø. Kun vedrørende

Andet, fx ulykker, støj

blev der givet flere skriftlige vejledninger i RT i forhold til URT.

Tabel 3.

Antal skriftlige vejledninger afgivet i URT og RT

Antal skriftlige vejledninger

Ergonomi

Psykisk arbejdsmiljø

Andet, fx ulykker, støj

I alt

URT

107

I alt fik 257 arbejdspladser i URT og 282 arbejdspladser i RT et tilsyn.

Tabel 4.

Antal påbud afgivet i URT og RT

Antal påbud

Ergonomi

Psykisk arbejdsmiljø

Andet, fx ulykker, støj

I alt

URT

191

112

I alt fik 257 arbejdspladser i URT og 282 arbejdspladser i RT et tilsyn.

I Tabel 5 ses fordelingen af arbejdspladser i forhold til antallet af skriftlige vejledninger,

hvor andelen af arbejdspladser, der fik mindst én skriftlig vejledning, var henholdsvis

35,4 % og 18,1 % i URT og RT.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Tabel 5.

Antal skriftlige vejledninger per arbejdsplads i henholdsvis URT og RT

Antal skriftlige

vejledninger per

arbejdsplads

I alt

URT arbejdspladser

N (%)

166 (64,6)

76 (29,6)

14 (5,4)

1 (0,4)

257 (100)

RT arbejdspladser

N (%)

231 (81,9)

44 (15,6)

7 (2,5)

0 (0)

282 (100)

Total

N (%)

397 (73,7)

120 (22,3)

21 (3,9)

1 (0,2)

539 (100)

I alt fik 257 arbejdspladser i URT og 282 arbejdspladser i RT et tilsyn.

I tabel 6 ses antal (og andel) påbud per arbejdsplads i henholdsvis URT og RT. Således

var andelen af arbejdspladser, der fik mindst ét påbud, henholdsvis 35,8 % i URT-

gruppen og 22,7 % i RT-gruppen (Tabel 6).

Tabel 6.

Antal påbud per arbejdsplads i henholdsvis URT og RT

Antal påbud per

arbejdsplads

I alt

URT arbejdspladser

N (%)

165 (64,2)

41 (16,0)

27 (10,5)

12 (4,7)

6 (2,3)

3 (1,2)

0 (0)

3 (1,2)

257 (100)

RT arbejdspladser

N (%)

218 (77,3)

28 (9,9)

26 (9,2)

9 (3,2)

0 (0)

1 (0,4)

0 (0)

282 (100)

Total

N (%)

383 (71,1)

69 (12,8)

53 (9,8)

21 (3,9)

6 (1,1)

4 (0,7)

0 (0)

3 (0,6)

539 (100)

I alt fik 257 arbejdspladser i URT og 282 arbejdspladser i RT et tilsyn.

Alt i alt indikerer de deskriptive analyser, at der kunne være forskel på URT og RT

vedrørende antallet af modtagne påbud og skriftlige vejledninger. Test af dette fremgår

af det følgende afsnit.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Test af effekt

Arbejdspladserne i URT og RT blev som tidligere nævnt grupperet på baggrund af

antallet af modtagne påbud og skriftlige vejledninger, og fordelingen i de tre grupper er

vist i Tabel 7. Tabellen viser, at der blev givet flere skriftlige vejledninger og påbud i

URT i forhold til RT. OR (95 % konfidensinterval) var 2,24 (1,60; 3,12), svarende til en

statistisk høj-signifikant forskel (p < 0,0001).

Tabel 7.

Arbejdspladser i URT og RT for hver gruppering baseret på antallet af skriftlige

vejledninger og påbud

Gruppe

URT

arbejdspladser

N (%)

Hverken skriftlige

vejledninger eller påbud

Mindst én skriftlig

vejledning, men ingen

påbud

Mindst ét påbud

I alt

110 (42,8)

55 (21,4)

arbejdspladser

N (%)

182 (64,5)

36 (12,8)

292

Total

92 (35,8)

257 (100)

64 (22,7)

282 (100)

156

539 (100)

Effekt på medarbejderniveau

Som det ses af Figur 3 og Tabel 4 var køn- og aldersfordelingen næsten identisk for URT-

og RT-gruppen, idet henholdsvis 86,6 % og 88,0 % var kvinder og gennemsnitsalderen

var 48,7 år og 49,0 år.

URT

(ved baseline)

Mænd

13%

Mænd

12%

(ved baseline)

Kvinder

87%

Kvinder

88%

Figur 3.

Diagrammer over kønsfordelingen i URT og RT ved baseline

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Tabel 8 viser de gennemsnitlige værdier for de tre effektmål, hvoraf det fremgår, at URT

og RT var sammenlignelige ved baseline.

Tabel 8.

Gennemsnitsværdier for URT- og RT-gruppen ved baseline

URT (N = 3.392)

Variabel

Alder (år)

Opfølgning på samtaler om

problemer i arbejdsmiljøet

Tilfredshed med det psykiske

arbejdsmiljø

Fysisk hårdt arbejde

5,13

(2,86)

5,13

(2,83)

6,00

(2,75)

5,90

(2,75)

Gennemsnit

48,70

3,19

(SD)

(11,50)

(1,08)

RT (N = 3.780)

Gennemsnit

49,03

3,15

(SD)

(11,14)

(1,06)

SD = standardafvigelse, N = antal, Gennemsnit = gennemsnitlig score. Bemærk at en højere

gennemsnitlig score angiver en højere grad af den målte variabel

1) Spørgsmål:

I hvilken grad er du enig i nedenstående: ”Der bliver fulgt op på de samtaler, vi har

eventuelle problemer i arbejdsmiljøet på min arbejdsplads”

(svarskala 1-5,

hvor 1: ”I meget høj

grad” og 5: ”I meget lav grad”).

2) Spørgsmål: ”Hvor

tilfreds er du alt i alt med det psykiske arbejdsmiljø på din arbejdsplads?”

(Svarskala 0 - 10, hvor 0:"Meget utilfreds", og 10: "Meget tilfreds".)

3) Spørgsmål:

Hvor fysisk hårdt opfatter du normalt dit nuværende arbejde?

(Svarskala 0 - 10, hvor

0: "Ikke hårdt", og 10: "Maksimalt hårdt".

Test af effekt

Resultaterne af analyserne af ændringer fra baseline fremgår af Tabel 9 for første

opfølgning og Tabel 10 for anden opfølgning.

Af tabellerne ses, at der ikke kunne påvises en statistisk signifikant forskel på URT og

RT, idet p-værdien var mindst 0,13 for alle effektmål. Det bemærkes, at alle estimater er

meget tæt på nul, svarende til at der ikke skete en ændring fra baseline til opfølgning;

dette gælder både i URT og RT.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Tabel 9.

Estimeret effekt af URT for ændring i gennemsnitlig score fra baseline til første

opfølgning (seks måneder efter tilsyn) med justering for baseline

URT

Effektmål

Estimat

(95 % KI)

Opfølgning på samtaler om

eventuelle problemer i

arbejdsmiljøet

0,00

(-0,13; 0,13)

N = 1108

-0,11

(-0,61; 0,39)

N = 1117

Fysisk hårdt arbejde

-0,03

(-0,19; 0,14)

N = 1135

Estimat

(95 % KI)

-0,06

(-0,19; 0,07)

N = 1380

-0,19

(-0,71; 0,32)

N = 1387

0,01

(-0,15; 0,17)

N = 1404

-0,04

(-0,20; 0,13)

0,67

0,08

(-0,13; 0,30)

0,43

0,06

(-0,02; 0,14)

0,13

Forskel

Estimat

(95 % KI)

P-værdi

Tilfredshed med det

psykiske arbejdsmiljø

KI = konfidensinterval, N = antal besvarelser i analysen.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Tabel 10.

Estimeret effekt af URT for ændring i gennemsnitlig score fra baseline til anden

opfølgning (12 måneder efter tilsyn) med justering for baseline

URT

Effektmål

Estimat

(95 % KI)

Opfølgning på samtaler om

eventuelle problemer i

arbejdsmiljøet

-0,07

(-0,25; 0,12)

N = 975

-0,15

(-0,67; 0,37)

N = 980

Fysisk hårdt arbejde

0,05

(-0,10; 0,19)

N = 995

Estimat

(95 % KI)

-0,10

(-0,28; 0,09)

N = 1153

-0,19

(-0,72; 0,34)

N = 1158

0,10

(-0,04; 0,24)

N = 1176

-0,06

(-0,26; 0,15)

0,59

0,04

(-0,22; 0,29)

0,77

0,03

(-0,06; 0,13)

0,51

Forskel

Estimat

(95 % KI)

P-værdi

Tilfredshed med det

psykiske arbejdsmiljø

KI = konfidensinterval, N = antal besvarelser i analysen.

Supplerende effektmål

Svarfordelingen for de supplerende effektmål kan ses i Figur 6-9 herunder.

Figur 6 viser svarfordelingen på spørgsmålet om, hvorvidt der havde været øget fokus

på arbejdsmiljø og trivsel de seneste seks måneder. Således svarede over halvdelen af de

ansatte i både URT- og RT-gruppen, at de var enige eller meget enige i, at der havde

været et øget fokus på arbejdsmiljø og trivsel inden for de seneste seks måneder, mens

cirka hver tredje var uenig eller meget uenig.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Figur 6.

Svarfordeling på spørgsmål om hvorvidt der har været fokus på arbejdsmiljø og

trivsel. Datakilde: første og andet opfølgningsskema.

Test for forskel mellem URT og RT viste, at OR (95 % konfidensinterval) var henholdsvis

1,19 (0,86; 1,63) til første opfølgning og 1,33 (1,14; 1,55) til anden opfølgning, svarende til

statistisk signifikant effekt af URT efter 12 måneder (p=0,0003) med større fokus på

arbejdsmiljø og trivsel i URT-gruppen i forhold til RT-gruppen.

Figur 7 viser svarfordelingen på spørgsmålet om, hvorvidt der havde været igangsat

arbejdsmiljøindsatser på arbejdspladsen inden for de seneste seks måneder. Således

svarede over halvdelen af arbejdspladserne i URT-gruppen, at der havde været igangsat

arbejdsmiljøindsatser, mens det samme var tilfældet for under halvdelen af

arbejdspladserne i RT-gruppen.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Arbejdsmiljøindsatser

Har der inden for de seneste 6 måneder været igangsat arbejdsmiljøindsatser på din

arbejdsplads?

FØRSTE OPFØLGNING

100%

ANDEN OPFØLGNING

75%

50%

25%

URT (n=1.153)

Andel (%)

53,7

RT (n=1.436)

Andel (%)

46,0

URT (n=1.027)

Andel (%)

51,9

RT (n=1.199)

Andel (%)

42,2

Ved ikke

26,9

19,4

29,3

24,8

24,0

24,2

29,8

28,0

Nej

Figur 7.

Svarfordeling på spørgsmål om hvorvidt der har været igangsat

arbejdsmiljøindsatser. Datakilde: første og andet opfølgningsskema.

Test for forskel mellem URT- og RT-gruppen viste, at OR (95 % konfidensinterval) var

1,39 (1,18; 1,62) for anden opfølgning, svarende til en statistisk signifikant effekt af URT

efter 12 måneder (p<0,0001) med flere igangsatte arbejdsmiljøindsatser i URT-gruppen i

forhold til RT-gruppen. Grundet statistiske konvergensproblemer var det ikke muligt at

analysere data fra første opfølgning for dette spørgsmål, men mønstret var det samme

som ved anden opfølgning.

Figur 8 viser svarfordelingen på spørgsmålet om, hvorvidt initiativerne med fokus på

det psykiske arbejdsmiljø havde bidraget til et bedre psykisk arbejdsmiljø. Dette

spørgsmål blev kun stillet til ansatte, der både svarede bekræftende på spørgsmålet

ovenfor (Figur 7) samt på, at initiativerne havde fokus på at forbedre det psykiske

arbejdsmiljø. Heraf svarede omkring 62 % i både URT- og RT-gruppen, at de var enige

eller meget enige, mens omkring hver fjerde svarede, at de var uenige eller meget

uenige.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Figur 8.

Svarfordeling på spørgsmål om hvorvidt initiativer har bidraget til et bedre psykisk

arbejdsmiljø

(blandt ansatte der svarede ’Ja’ til at der havde været igangsat

arbejdsmiljøindsatser på arbejdsplads, og at initiativerne havde fokus på at forbedre det

psykiske arbejdsmiljø). Datakilde: første og andet opfølgningsskema.

Test for forskel mellem URT og RT viste, at OR (95 % konfidensinterval) var henholdsvis

0,91 (0,72; 1,15) for første opfølgning og 1,38 (1,07; 1,78) for anden opfølgning, svarende

til en statistisk signifikant effekt af URT efter 12 måneder (p=0,014) med bedre psykisk

arbejdsmiljø i URT-gruppen i forhold til RT-gruppen.

Figur 9 viser svarfordelingen på spørgsmålet om, hvorvidt initiativerne med fokus på

det fysiske arbejdsmiljø havde bidraget til et bedre fysisk arbejdsmiljø. Dette spørgsmål

blev kun stillet til ansatte, der både svarede bekræftende på spørgsmålet, om hvorvidt

der har været igangsat arbejdsmiljøindsatser inden for de seneste seks måneder, og at

initiativerne fokuserede på at forbedre det fysiske arbejdsmiljø. Ved første opfølgning

svarede knap 70 % af de ansatte i både URT- og RT-gruppen, at de var enige eller meget

enige i, at initiativerne havde bidraget til et bedre fysisk arbejdsmiljø, mens tallet ved

anden opfølgning var steget til 75 % i URT-gruppen mod cirka 63 % i RT-gruppen.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Figur 9.

Svarfordeling på spørgsmål om hvorvidt initiativer har bidraget til et bedre fysisk

arbejdsmiljø (blandt ansatte der svarede ’Ja’ til,

at der havde været igangsat

arbejdsmiljøindsatser på arbejdsplads, og at initiativerne havde fokus på at forbedre det

fysiske arbejdsmiljø). Datakilde: første og andet opfølgningsskema.

Test for forskel mellem URT og RT viste, at OR (95 % konfidensinterval) var henholdsvis

1,03 (0,80; 1,33) for første opfølgning og 1,63 (1,23; 2,16) for anden opfølgning, svarende

til en statistisk signifikant effekt af URT efter 12 måneder (p=0,0007) med bedre fysisk

arbejdsmiljø i URT-gruppen i forhold til RT-gruppen.

Figur 10 viser svarfordelingen på spørgsmålet om, hvorvidt der var sket forbedringer i

relation til det/de arbejdsmiljøproblem(er), som arbejdspladsen fik påbud om. Dette

spørgsmål blev kun stillet til første opfølgning og til ansatte, der havde svaret

bekræftende på, at arbejdspladsen havde fået påbud. Således svarede 73,7 % af de

ansatte i URT-gruppen og 70,6 % af de ansatte i RT-gruppen bekræftende på, at der var

sket forbedringer i relation til påbud. Henholdsvis 14,3 % og 9,8 % i URT- og RT-

gruppen svarede Nej på dette spørgsmål.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Forbedring som følge af påbud

Er der i de sidste 6 måneder sket en forbedring af det/de pågældende

arbejdsmiljøproblem(er), I fik påbud om?

FØRSTE OPFØLGNING

100%

75%

50%

25%

URT (n=251)

Andel (%)

RT (n=143)

Andel (%)

Ved ikke

Nej

73,7

12,0

14,3

70,6

19,6

9,8

Figur 10.

Svarfordeling på spørgsmål om hvorvidt der er sket forbedringer i relation til påbud

(blandt ansatte

der svarede ’Ja’ til,

at arbejdspladsen fik påbud). Datakilde: første

opfølgningsskema.

Test for forskel mellem URT og RT viste, at OR (95 % konfidensinterval) var 1,15 (0,02;

55,4), svarende til at der ikke var nogen påviselig effekt af URT på løsning af

arbejdsmiljøproblemer som følge af påbud (seks måneder efter baseline).

3.3 Deldiskussion

De overordnede resultater fra effektevalueringen viste, at der blev givet statistisk

signifikant flere påbud og skriftlige vejledninger i URT-gruppen i forhold til RT-

gruppen, mens der ikke var forskel mellem grupperne i oplevelsen af, om der blev fulgt

op på samtaler om eventuelle problemer i arbejdsmiljøet, om der var større tilfredshed

med det psykiske arbejdsmiljø, eller om arbejdet var mindre fysisk hårdt. Til gengæld

viste de supplerende effektmål, at der i URT-gruppen var en større oplevelse af, at der

havde været større fokus på arbejdsmiljø og trivsel inden for de seneste seks måneder, at

der havde været igangsat arbejdsmiljøindsatser, og at initiativerne havde bidraget til et

bedre arbejdsmiljø (blandt ansatte, der svarede, at der havde været igangsat

arbejdsmiljøindsatser på arbejdspladsen, og at initiativerne havde fokus på at forbedre

det psykiske/fysiske arbejdsmiljø) i forhold til i RT-gruppen. Der var ingen forskel

mellem grupperne på oplevelsen af, hvorvidt der var sket forbedringer i relation til

det/de arbejdsmiljøområde(r), hvor arbejdspladsen havde fået påbud (blandt ansatte, der

svarede, at deres arbejdsplads havde fået påbud).

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Udover de ovenfor beskrevne analyser blev der gennemført en række modelkontroller

og sensitivitetsanalyser for at undersøge robustheden af de fundne resultater.

Først blev antagelsen om proportionale odds (i analysen på arbejdspladsniveau) testet

ved to selvstændige logistiske regressioner, den ene med påbud versus ikke-påbud, den

anden med skriftlige vejledninger og/eller påbud versus hverken skriftlige vejledninger

eller påbud. Disse analyser viste resultater i samme størrelsesorden med større andel

skriftlige vejledninger/påbud i URT og understøtter dermed validiteten af antagelsen om

proportionale odds. I modelvalideringen af analyserne på medarbejderniveau blev

modelantagelserne vurderet gennem histogrammer, residual- og QQ-plots. Heraf

fremgik, at analyserne af ændringen fra baseline til opfølgning opfyldte antagelsen om

normalfordeling for alle effektmål.

Efterfølgende blev følgende sensitivitetsanalyser gennemført:

1. Analyser af forskelle mellem URT og RT til sluttidspunktet uden inklusion af

baseline ændrede ikke resultaterne (p for de tre effektmål på medarbejderniveau

0,27; 0,30 og 0,94 ved første opfølgning, og henholdsvis 0,51; 0,78 og 0,51 ved

anden opfølgning).

2. Analyser af dét at have besvaret baseline-spørgeskemaet

efter

første tilsynsbesøg

(hvilket var tilfældet for 2.841 ud af 7.172 besvarelser) viste, at det ikke havde

betydning for resultaterne

p≥ ,

for alle tre

effektmål på medarbejderniveau).

3. Analyser af påbuds eventuelle betydning for de tre effektmål på

medarbejderniveau, uafhængigt af interventionsgruppe, viste, at der heller ikke

inden for grupperne (URT eller RT) var effekt af påbud

p≥0,18

for alle mål).

4. Analyser af dét at ekskludere personer, der svarede

Ved ikke

, viste, at det

absolut ikke gjorde en forskel for resultaterne af de supplerende effektmål,

hvorvidt Ved ikke blev inkluderet

som midterkategori eller taget ud af

analyserne. OR (95 % konfidensinterval, p-værdi) var 1,34 (1,14; 1,58, p=0,0004)

for spørgsmålet om fokus på arbejdsmiljø og trivsel; 1,44 (1,17; 1,77, p=0,0005) for

spørgsmålet om igangsættelse af arbejdsmiljøindsatser; 1,40 (1,05; 1,86, p=0,0207)

for spørgsmålet om, hvorvidt initiativer har bidraget til et bedre arbejdsmiljø.

Ovenstående tyder på, at resultaterne (og dermed konklusionerne) fra de valgte

statistiske analyser er ret robuste.

3.4 Delkonklusion

Den statistiske analyse af afgivelsen af påbud og skriftlige vejledninger viste, at der var

statistisk signifikant forskel mellem URT og RT, hvor en større andel af arbejdspladserne

i URT-gruppen fik påbud og skriftlige vejledninger i forhold til RT-gruppen. På

baggrund af spørgeskemaundersøgelsen blandt alle ansatte på arbejdspladserne kunne

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

der ikke påvises en statistisk signifikant effekt af URT på de tre udvalgte primære

effektmål, hverken til første eller anden opfølgning. Der var således ikke forskel mellem

grupperne i oplevelsen af, om der blev fulgt op på samtaler om eventuelle problemer i

arbejdsmiljøet, tilfredsheden med det psykiske arbejdsmiljø, eller om arbejdet var

mindre fysisk hårdt.

De supplerende effektmål viste dog, at der i URT-gruppen var en større oplevelse af, at

der havde været større fokus på arbejdsmiljø og trivsel inden for de seneste seks

måneder, at der havde været igangsat arbejdsmiljøindsatser, og at initiativerne havde

bidraget til et bedre arbejdsmiljø (både psykisk og fysisk) i forhold til i RT-gruppen. Der

var ingen forskel mellem grupperne på oplevelsen af, hvorvidt der var sket forbedringer

i relation til det/de arbejdsmiljøområde(r), hvor arbejdspladsen havde fået påbud (blandt

ansatte, der svarede, at deres arbejdsplads havde fået påbud).

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

4. P

ROCESEVALUERING

En effektevaluering giver ikke konkret viden om,

hvorfor

en indsats har effekt eller ej

–

det kan en procesevaluering til gengæld. Desuden kan en procesevaluering anvendes til

at afdække, hvorvidt en indsats er forløbet som planlagt, idet planlagte indsatser ofte

forandres i større eller mindre grad, når de implementeres [1]

Viden om, hvorvidt URT

blev implementeret som planlagt, er derfor væsentligt for at kunne vurdere hvilken

indsats, der reelt evalueres, og om en manglende effekt muligvis kan tilskrives

implementeringen.

Procesevalueringen af URT skal således bidrage til at forstå, hvorledes URT forløb, og

hvordan arbejdspladserne oplevede tilsynene og udbyttet heraf. Derudover kan

procesevalueringen generelt give input til det videre arbejde med at udvikle

Arbejdstilsynets tilsyn. Forskelle mellem URT og RT vil blive fremhævet.

4.1 Metode

Procesevalueringen tog afsæt i et bredt udsnit af kvalitativ metode. Der blev foretaget

interviews med tilsynsførende, ledere og arbejdsmiljørepræsentanter (AMR) samt

observationer af tilsyn og indhentet data fra tilsynsskemaer. I hvert afsnit ses en oversigt

over anvendte datakilder.

4.2 Resultater

Forskningsspørgsmål A: Gennemførelsen af URT

Dette afsnit omhandler det første

forskningsspørgsmål vedrørende

hvor høj grad tilsynene er gennemført

som planlagt.

Først blev

implementeringen af URT

undersøgt på baggrund af data fra Arbejdstilsynet. Efterfølgende blev interviews med de

tilsynsførende analyseret med henblik på at få et nuanceret indblik i deres oplevelse af

indsatsens praktiske gennemførelse. Det konkluderes, at URT overordnet set blev

gennemført som planlagt. I den forbindelse gav de tilsynsførende forslag til, hvordan

URT kunne bruges fremadrettet.

Implementering af URT på baggrund af tilsynsskemaer

Analyserne i dette afsnit er baseret på data fra tilsynsskemaer, som de tilsynsførende

udfyldte for hver arbejdsplads i URT. Udfyldelse af tilsynsskemaet til evaluering af URT

supplerede de normale procedurer for registreringer af tilsynsbesøg i Arbejdstilsynet.

Der blev udfyldt skemaer for 469 arbejdspladser ud af de 617 arbejdspladser, som blev

Oversigt over datakilder

Tilsynsskemaer

Interviews med tilsynsførende.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

udvalgt til URT (dvs. 76 %). Af de 469 arbejdspladser med tilsynsskemadata hørte 217

arbejdspladser til URT og 252 til RT. Dog var data ikke fuldstændige med besvarelser af

alle punkter for alle disse arbejdspladser, hvorfor der ved figurer i afsnittet vil stå, hvor

mange arbejdspladser de hver især repræsenterede (og fejlregistreringer er slettet).

Af tilsynsskemaerne fremgik, at 96 ud af 252, altså 38,1 % blev udtaget til DART efter RT.

I URT blev 188 ud af 217 arbejdspladser (86,6 %) udtaget til opfølgende URT-besøg (se

Tabel 11). Disse tal stemmer nogenlunde overens med Arbejdstilsynets samlede

opgørelser over alle tilsynsbesøg i URT-projektet

i branchen Døgninstitutioner og

hjemmepleje

. Heraf fremgår, at 41,8 % af arbejdspladserne i RT-gruppen blev udtaget til

DART, og 90,7 % af arbejdspladserne i URT-gruppen blev udtaget til udvidet tilsyn.

Tabel 11.

Oversigt over udtagelse til DART og URT på baggrund af tilsynsskemaer

DART

Nej

Manglende besvarelser

I alt

154

252

URT

188

217

Resultaterne understøtter, at indsatsen er forløbet som planlagt, hvor de tilsynsførende

ved et RT-besøg skulle gøre, som de plejede og udtage til DART ved begrundet

mistanke, hvorimod de ved et URT-besøg altid skulle udtage til opfølgende besøg,

medmindre de havde gode grunde til ikke at gøre det. De tilsynsførende angav

forskellige begrundelser for, hvorfor de i nogle tilfælde valgte

ikke

at udtage til et

opfølgende URT-besøg (se Figur 11).

Figur 11.

Årsager til

ikke

at udtage til URT. Figuren viser antallet af besvarelser fordelt på

årsag blandt 27 arbejdspladser, der tilhørte URT-gruppen, men som ikke blev udtaget til

opfølgende besøg. Det har været muligt at krydse af ved flere årsager (Datakilde:

Tilsynsskemaer).

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Ved nogle få tilsynsbesøg viste det sig, at arbejdspladsen ikke tilhørte branchen

Døgninstitutioner og hjemmepleje , og

i andre tilfælde havde den tilsynsførende tid nok

på første besøg til at vurdere det psykiske og ergonomiske arbejdsmiljø.

Blandt de arbejdspladser, der blev udtaget til opfølgende URT-besøg, blev ikke alle

udtaget med henblik på at undersøge både det ergonomiske og psykiske arbejdsmiljø,

som der ellers var lagt op til (se Figur 12).

Figur 12.

Årsager til udtagelse til opfølgende URT-besøg. Figuren viser antallet af besvarelser

fordelt på årsag blandt 184 arbejdspladser i URT-gruppen. Det var muligt at krydse af ved

flere årsager (Datakilde: Tilsynsskemaer).

Én årsag til, at ikke alle arbejdspladser fik undersøgt det ergonomiske arbejdsmiljø,

kunne være, at borgerne var selvhjulpne og ikke skulle forflyttes eller lignende, hvorfor

det ikke var relevant at lave observationer af ergonomi på de pågældende

arbejdspladser.

Størstedelen af arbejdspladserne i URT (114) blev dog udtaget med henblik på at

undersøge

både

ergonomiske og psykiske belastninger jf. protokol.

Til sammenligning var det kun en mindre del af arbejdspladserne i DART (27), der blev

udtaget med henblik på

både

at undersøge ergonomi og psykisk arbejdsmiljø (se Figur

13).

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Figur 13.

Årsager til udtagelse til DART. Figuren viser antallet af besvarelser fordelt på årsag

blandt 83 arbejdspladser i RT-gruppen. Det har været muligt at krydse af ved flere årsager

(Datakilde: Tilsynsskemaer).

Implementering af URT på baggrund af interviews med tilsynsførende

Det har været væsentligt at få de tilsynsførendes beskrivelser af forskellen på URT og

RT. Dels for at vurdere, om det var muligt for dem at følge instruktionerne for indsatsen

og dels for at få deres uddybning af, hvordan tilsynene i praksis blev gennemført. Der

blev gennemført interviews med seks tilsynsførende

–

to fra hvert af de tre

landsdækkende tilsynscentre.

I dette afsnit præsenteres først de tilsynsførendes beskrivelser af forskellene mellem URT

og RT med eventuel udtagelse til DART. Dernæst præsenteres de tilsynsførendes

oplevelse af fordele og ulemper ved URT.

De tilsynsførendes oplevelse af forskel på URT og RT

I interviews med de tilsynsførende udtrykte de gennemgående, at den overordnede

forskel på URT og RT var beslutningen om, hvorvidt den tilsynsførende skulle komme

igen på en arbejdsplads. I URT var andet besøg fastlagt uanset den tilsynsførendes

vurdering på første besøg:

I forhold til URT, så har der været øremærket tid til at kigge særskilt på psyk [psykisk

arbejdsmiljø] og ergonomi. Og der kan man sige, der har forskellen været, at der skulle vi

komme igen. Med mindre, de selvfølgelig slet ikke havde noget ergonomi, så var det kun

psyk. Men der har været mere en fast ramme i det, end når det er på RT, så er det jo ene og

alene vores vurdering, om vi skal på baggrund af første besøg, om vi skal komme igen.

Tilsynsførende

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Det blev påpeget af interviewpersonerne, at selve metoderne i URT og RT/DART var de

samme

–

i overensstemmelse med projektets protokol.

Fordele ved URT

1. Krav om grundig gennemgang af arbejdsmiljøet

Ifølge en tilsynsførende kunne det i forhold til at vurdere arbejdsmiljøet være ret

afgørende på det almindelige RT, hvem den tilsynsførende fik mulighed for at

tale med under tilsynsbesøget

–

var det fx en medarbejder, der havde det rigtig

godt på sin arbejdsplads, eller én der påpegede problemer i arbejdsmiljøet, så fik

det betydning for, om den tilsynsførende vurderede, at der var behov for at

komme igen og lave gruppesamtaler med arbejdspladsens medarbejdere. Én

interviewperson vurderede, at URT sandsynligvis ville være bedre til at opspore

problemer på arbejdspladser, hvor kun nogle af medarbejdergrupperne havde et

dårligt arbejdsmiljø, fordi der blev talt med flere medarbejdere til de fastlagte

gruppesamtaler.

Det, at de tilsynsførende som udgangspunkt skulle komme på opfølgende besøg i

URT, blev også nævnt i interviewene med de tilsynsførende som en fordel, fordi

arbejdspladserne ikke på samme måde havde haft mulighed for at undvige et

opfølgende besøg. Eksempelvis udtalte en tilsynsførende om den største fordel

ved URT:

…en

klar udmelding om, at der er noget, vi VIL se. Og vi VIL høre om. Og de kan ikke

skjule sig bag et eller andet

– ”arh, vi har ikke lige fået en trivselsmåling endnu”, ”APV'en

er ikke helt i orden”, ”vi er ikke helt færdige”.

Tilsynsførende

I forlængelse heraf udtalte en tilsynsførende om RT, at:

”Du

er ikke tvunget til at se,

hvis du ikke ser det [problematiske arbejdsmiljøforhold]”,

hvorimod de tilsynsførende i

forbindelse med URT i højere grad var 'tvunget' til at undersøge

arbejdsmiljøforholdene grundigt.

Flere tilsynsførende oplevede det som positivt, at de havde mere tid til en

grundig gennemgang af arbejdspladsens arbejdsmiljø og havde mulighed for at

gå i dybden med emner og eventuelt afdække flere problematikker på

arbejdspladserne.

2. URT gav bedre mulighed for vejledning i ergonomi

I forhold til det ergonomiske arbejdsmiljø fremhævede de tilsynsførende

fordelene ved URT, hvor de så flere forflytninger og derved havde bedre

mulighed for at opdage eventuelle problematikker. De tilsynsførende påpegede,

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

at det var meget væsentligt at se konkrete forflytninger for at kunne give god

vejledning med hensyn til det ergonomiske arbejdsmiljø. Flere tilsynsførende

oplevede, at de fik en god dialog omkring forflytninger, og at tiden blev brugt

meningsfuldt

–

også selvom de ekstra observationer af ergonomi på URT-

besøgene ikke altid førte til påbud.

Med hensyn til ergo [ergonomi] der har der jo ikke rigtig tidligere været vilje til, at hvis vi

ikke havde en mistanke, at vi så skulle ud og kigge på det. Og det har vi skulle med URT

her, og det synes jeg har været rigtig fint. Også selv om det viser, at der ikke har været

noget, vi skulle reagere på. Så har vi alligevel haft rigtig gode snakke derude omkring

ergonomien og forflytninger og vores vejledningsmateriale. Så der synes jeg virkelig, det

har givet god mening.

Tilsynsførende

3. Mulighed for mere specifik vejledning på URT

En enkelt tilsynsførende mente, at der kunne gives mere arbejdspladsspecifik

vejledning i URT:

Altså i og med, at vi jo kommer ud og ser mere ergonomi og mere ser psyk [psykisk

arbejdsmiljø], end vi vanligvis ville gøre, så får du mere viden om arbejdspladsen, og kan

give mere specifik vejledning.

Tilsynsførende

Flere tilsynsførende angav generelt, at det at have mere tid til tilsynet og at få

konkrete oplysninger fra arbejdspladsen på tilsynet var vigtigt for at kunne give

god vejledning:

Jeg skal have noget helt konkret at vejlede om. Hvis jeg ikke har været ude at se noget

ergonomi, hvis jeg ikke har talt med dem omkring deres psykiske arbejdsmiljø, så kan jeg

ikke vejlede dem. Fordi, hvis du ikke kan lave vejledningen, som er vedkommende og aktuel

for dem, men det bliver sådan noget generelt vejledningsmateriale, så kan det være lige

meget. Så man skal kende den konkrete arbejdsplads. Man kan ikke gå ud og på et besøg,

hvor man har talt med dem en halv time, vejlede dem ud fra nogle generelle forhold i

branchen. Der vil de ikke kunne genkende sig selv. Det vil have meget lille effekt.

Tilsynsførende

Det kan på den baggrund overvejes, om URT kan have ført til mere specifik

vejledning af arbejdspladserne, fordi de tilsynsførende havde mere tid til en

grundig gennemgang af arbejdsmiljøet end på et RT (medmindre arbejdspladsen

blev udtaget til DART). Dette perspektiv kom også frem i forbindelse med en

observation af et URT, hvor den tilsynsførende efter første besøg vurderede, at

der ikke var problematiske forhold på arbejdspladsen, men efter de opfølgende

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

URT blev der alligevel givet to skriftlige vejledninger.

4. Læring for de tilsynsførende gennem URT

En tilsynsførende fremhævede, at der indgik mange parametre i udvælgelsen af

om en arbejdsplads burde undersøges nærmere ved et DART i forhold til det

psykiske arbejdsmiljø, og det var under stadig udvikling. I den forbindelse gav

det ifølge den tilsynsførende også de tilsynsførende mere erfaring, jo mere de var

ude og afdække nye problematikker, som de kunne være opmærksomme på ved

et andet tilsyn. På baggrund af dette, kan det overvejes, om URT muligvis også

styrkede nogle tilsynsførendes vurdering af, hvornår der under et RT skulle

udtages til DART angående det psykiske arbejdsmiljø.

Det blev også fremhævet i interviews, at da de tilsynsførende var

tvunget til at

undersøge en hel del ergonomi i URT, gav det øget læring:

Nu kan jeg jo sige om ergonomien, som jeg har ansvaret for at lære folk op i i den gruppe…

de har da fået et ordentligt løft på det her område ved, at alle er rykket ud så massivt og har

kigget på det.

Tilsynsførende

Lidt i forlængelse heraf mente en anden tilsynsførende, at de blev bedre til at give

strakspåbud på ergonomiområdet, fordi de tilsynsførende havde set mere

ergonomi:

Jeg synes, vi er blevet ret gode til at få givet nogle strakspåbud, for eksempel også på det

ergonomiske område. Med den her indsats. Et strakspåbud, det er der, hvor de skal finde en

løsning straks eller inden for syv dage, hedder det sådan formelt set. Men det er et redskab,

der er ret godt, kan man sige, til nogle ting, fordi det giver en mindre tung proces



…



det lige er på grund af vi har kørt de her URT og kontrol-URT





eller hvad, men i hvert

fald ved at vi har været derude - altså, vi har set mere ergonomi, vi har set flere

plejesituationer og forflytninger...

Tilsynsførende

Disse udsagn fra interviewene med de tilsynsførende kan således give anledning

til overvejelser om, hvorvidt URT kan have haft en mere generel effekt på

tilsynsindsatsen og fremtidige tilsyn.

Ulemper ved URT ifølge tilsynsførende

1. URT førte til tidsspilde

Flere tilsynsførende syntes, at de ekstra URT-besøg var unødvendige, fordi de

ikke oplevede, at deres oprindelige vurdering af en arbejdsplads med godt

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

arbejdsmiljø ændrede sig ved URT

–

de fandt ikke yderligere problematikker ved

at være på ekstra tilsynsbesøg. Det fyldte en del hos flere af de tilsynsførende, at

de oplevede at have spildt tiden, og at de derved også vurderede, at

arbejdspladserne havde spildt tiden:

Ulempen er klart det her med, at når vi har en fornemmelse af, at der er ikke noget at

komme efter på arbejdspladsen - sådan de store problemer, rent sikkerheds- og

sundhedsmæssigt - at vi så skal bruge tiden på at køre ud på arbejdspladsen igen, selv om vi

godt ved, at der ikke er noget at komme efter.

Tilsynsførende

De tilsynsførende oplevede især gruppesamtalerne som spild af tid på de

arbejdspladser i URT, hvor de på første besøg ikke vurderede, at der var behov

for yderligere afdækning af det psykiske arbejdsmiljø:

Forskellen er, på almindelig RT, når vi er ude og får en mistanke om, at her kan der være

nogle udfordringer, så kommer vi jo igen og tager gruppesamtaler. Her [i URT] har vi

skullet det per automatik. Så jeg synes egentlig på det psykiske arbejdsmiljø, at det ikke har

været - der har jeg i hvert fald ikke mødt nogen forskel på URT og på almindelige RT'er.

Tværtimod, så synes jeg, det er at spilde tiden lidt. Også for arbejdspladserne.

Tilsynsførende

Flere tilsynsførende mente ikke, at URT gav noget ekstra i forhold til vurderingen

af arbejdspladsernes arbejdsmiljø, fordi de altid ved et normalt RT udtog en

arbejdsplads til DART, hvis de havde mistanke om problematiske forhold og

derfor gav sig tid til at undersøge disse arbejdspladser grundigt.

Eksempelvis svarede en tilsynsførende følgende med hensyn til, om der var

forskel på at vurdere det psykiske arbejdsmiljø på URT og RT:

Det synes jeg ikke, [at der er forskel på] for på kontrol-URT





, der gør vi jo det, vi synes,

der er behov for. Altså, der har vi jo også udtaget [til DART] for at få afdækket ordentligt.

Tilsynsførende

Det var nogle tilsynsførendes holdning, at deres vurderinger af, om det var værd

at komme igen på opfølgende besøg, var tilstrækkeligt sikre, og de så derfor URT

som en ulempe:

Jeg synes, at vi selv er bedre til at vurdere, hvor det er relevant at komme igen. Som sagt, så

har jeg jo været på rigtig mange URT-besøg, hvor jeg ikke har givet påbud, og hvor jeg

egentlig ikke har vurderet, her er det relevant at komme igen.

Tilsynsførende

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Tilsynsførendes forslag til fremtidige tilsyn

I forlængelse af de tilsynsførendes oplevelser med fordele og ulemper ved URT var der i

interviewene også forslag til en tilpasning af URT. Med hensyn til det psykiske

arbejdsmiljø ønskede nogle tilsynsførende i højere grad, at det skulle være den enkelte

tilsynsførende, som vurderede, om en arbejdsplads skulle udtages til ekstra besøg med

gruppesamtaler. Til gengæld var flere tilsynsførende positive overfor en tilgang, hvor

der altid laves konkrete observationer af ergonomi, fordi de på grund af URT havde fået

gode erfaringer med det:

På ergonomidelen, der synes jeg, at det giver god mening, at vi skal ud at se noget. Fordi

det kan altså godt være på RT-besøg i hjemmeplejen, at vi overhovedet ikke når ud til at se

noget som helst forflytning. Fordi, de jo også er ude i borgernes hjem, og så skal vi ud og

have lavet kontakter og aftaler, både med borgerne, der skal give os tilladelse, og selvfølgelig

arbejdspladsen. Og der har vi indtil videre praksis for, at hvis det ikke ser ud, som om der er

nogle udfordringer, jamen så er det så sådan, så kommer vi ikke ud. Og der tænker jeg, at

der kunne det give rigtig god mening at sige: Jamen det skal vi. Når vi er på de her besøg i

hjemmeplejen eller på plejehjem, jamen så skal vi. Det er en del af tilsynet, at vi skal ud at

se på forflytningerne.

Tilsynsførende

Opsummering

Data fra tilsynsskemaerne underbyggede, at protokollen for indsatsen overordnet blev

fulgt, idet størstedelen af arbejdspladserne i URT blev udtaget til ekstra besøg, og for

størstedelens vedkommende var fokus at undersøge både ergonomi og psykisk

arbejdsmiljø.

På baggrund af analysen af interviews med tilsynsførende, kan det udledes, at de

tilsynsførende var enige om, at det i URT var fastlagt, at de tilsynsførende skulle komme

igen på opfølgende tilsynsbesøg med særligt fokus på ergonomi og psykiske

arbejdsmiljø

–

stort set uanset den tilsynsførendes vurdering på første besøg, i

modsætning til i RT, hvor beslutningen om opfølgende besøg afhang af den

tilsynsførendes vurdering. Dette understøtter også, at de tilsynsførende kendte og fulgte

protokollen.

Af fordele ved URT fremhævede de tilsynsførende, at de havde bedre mulighed for at

vejlede og opdage eventuelle problematikker generelt, men især inden for det

ergonomiske arbejdsmiljø, fordi det var fastlagt, at de skulle lave observationer af

ergonomi. Desuden var der eksempler på, at tilsynsførende påpegede, at der var generel

læring forbundet med gennemførelsen af URT. Af ulemper ved URT nævnte flere

tilsynsførende en oplevelse af at spilde tiden, særligt i forhold til psykisk arbejdsmiljø, på

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

de arbejdspladser, hvor de tilsynsførende ikke selv ville have valgt at komme på

opfølgende besøg, men var tvunget til det grundet URT-protokollen.

Et par tilsynsførende foreslog, at der i fremtidige tilsyn skulle lægges op til en fast

procedure for altid at observere ergonomi, men at det skulle være op til de

tilsynsførende selv at vurdere, hvorvidt der var behov for yderligere afdækning af det

psykiske arbejdsmiljø på den enkelte arbejdsplads.

Forskningsspørgsmål B: Arbejdspladsernes oplevelse af

tilsynsbesøgene

Det næste forskningsspørgsmål

omhandler,

hvordan arbejdspladserne

oplevede selve tilsynsbesøgene.

Først vises

resultater fra første opfølgningsskema

vedrørende arbejdspladsens besøg af

tilsynsførende fra Arbejdstilsynet.

Dernæst vises resultater fra interviews

og observationer.

Arbejdstilsynet benytter følgende metoder ved tilsyn: 1) dialog med leder og

arbejdsmiljørepræsentant (AMR); 2) gruppesamtaler med medarbejdere for at afdække

det psykiske arbejdsmiljø; og 3) observation af forflytninger for at afdække det

ergonomiske arbejdsmiljø. Punkt 2 og 3 benyttes primært ved URT og DART på det

opfølgende besøg.

Arbejdspladserne fandt generelt tilsynsbesøgene gode og givende, men flere svagheder

blev samtidig fremhævet.

Afdækning på baggrund af spørgeskemadata fra ansatte

Ved første opfølgning (og kun første) blev der evalueret på følgende to spørgsmål:



Har en tilsynsførende fra Arbejdstilsynet været på besøg på din arbejdsplads inden for de

sidste 8 måneder?

Hvor enig er du i følgende udsagn? "Der var en god dialog med den tilsynsførende."

Oversigt over datakilder

Første opfølgningsspørgeskema til ansatte

Interviews med ledere og

arbejdsmiljørepræsentanter (AMR)

Observation af tilsyn (gruppesamtaler og

forflytninger).

I Figur 14 herunder ses svarfordelingen på spørgsmålet om, hvorvidt arbejdspladsen

havde haft besøg af Arbejdstilsynet. Således svarede henholdsvis 66,5 % af de ansatte i

URT-gruppen og 54,9 % i RT-gruppen, at der havde været besøg.

Test for forskel mellem URT og RT viste, at OR (95 % konfidensinterval) var 1,55 (0,65-

3,67) for første opfølgning, svarende til at der ikke kunne påvises en effekt af URT på,

hvorvidt de ansatte havde oplevet besøg fra Arbejdstilsynet (efter seks måneder).

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Besøg af Arbejdstilsynet

Har en tilsynsførende fra Arbejdstilsynet været på besøg på din arbejdsplads inden

for de sidste 8 måneder?

FØRSTE OPFØLGNING

100%

75%

50%

25%

URT (n=1.121)

Andel (%)

66,5

29,5

4,0

RT (n=1.392)

Andel (%)

54,9

40,5

4,6

Ved ikke

Nej

Figur 14.

Svarfordeling på spørgsmål om besøg af tilsynsførende. Datakilde: første

opfølgningsskema.

I Figur 15 herunder ses svarfordelingen på spørgsmålet om, hvorvidt dialogen med den

tilsynsførende fra Arbejdstilsynet havde været god under tilsynet. Spørgsmålet blev kun

stillet til ansatte, der havde svaret Ja til,

at deres arbejdsplads havde fået tilsyn.

Resultaterne viser, at der var stor tilfredshed med dialogen med tilsynsførende, både i

URT- og RT-gruppen. Således svarede henholdsvis 91,8 % af de ansatte i URT-gruppen

og 94,3 % i RT-gruppen, at de var enige eller meget enige i, at dialogen med den

tilsynsførende havde været god. Blot 3,3 % i URT-gruppen og 2,9 % i RT-gruppen

svarede, at de var uenige eller meget uenige.

Test for forskel mellem URT og RT viste, at OR (95 % konfidensinterval) var 1,09 (0,53;

2,22) ved første opfølgning, svarende til at der ikke kunne påvises en effekt af URT på,

hvorvidt dialogen med den tilsynsførende havde været god (efter seks måneder).

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Dialogen med tilsynsførende

Hvor enig er du i følgende udsagn: "Der var en god dialog med den tilsynsførende"?

FØRSTE OPFØLGNING

100%

75%

50%

25%

URT (n=307)

Andel (%)

43,3

48,5

4,9

RT (n=175)

Andel (%)

38,3

56,0

2,9

Meget enig

Enig

Ved ikke

Uenig

Meget uenig

2,6

0,7

2,3

0,6

Figur 15.

Svarfordeling på spørgsmål om dialogen med tilsynsførende (blandt ansatte, der

svarede bekræftende på, at der havde været tilsyn). Datakilde: første opfølgningsskema.

Afdækning på baggrund af interviews med ledere og AMR

I interviews med ledere og AMR tegnede det samme billede sig. Ledere og AMR fortalte,

at dialogen med de tilsynsførende havde været god. De tilsynsførende blev blandt andet

beskrevet som sympatiske, saglige, venlige og kompetente. Interviewpersonerne

oplevede, at de tilsynsførende tog dem alvorligt, lyttede til dem og stillede relevante

spørgsmål. Helt konkret nævnte flere, at der var en god dialog, fordi de tilsynsførende

ikke kom med ”løftede pegefingre”:

Jeg synes, det var en meget ligeværdig dialog. Der var ikke sådan nogen løftede pegefingre,

eller der var ikke noget nedladende ved dem. De kunne godt have valgt at være arrogante

eller sådan lidt overlegne, fordi at her havde vi et issue [arbejdsmiljøproblem], ikke?

Leder

Oplevelsen af dialog virkede ydermere ikke til at være afhængig af, om der var givet

påbud eller ej. Interviewpersoner fra arbejdspladser, der havde fået påbud, beskrev også

dialogen med de tilsynsførende i positive vendinger.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Det var også tydeligt, at de tilsynsførende vægtede en god dialog højt. Flere af de

tilsynsførende så det som en af deres væsentligste opgaver at sørge for et dialogbaseret

tilsyn, hvor de både anerkendte arbejdspladserne for det, de gjorde godt, og samtidigt

diskuterede problematiske emner.

Der var således en gensidig oplevelse af en god dialog med de tilsynsførende, hvilket

også afspejlede sig i at være prioriteret af Arbejdstilsynets tilsynsførende.

Afdækning på baggrund af gruppesamtaler med medarbejdere

Gruppesamtaler med medarbejdere blev benyttet til at afdække det psykiske

arbejdsmiljø på arbejdspladsen. For det meste fandt medarbejderne gruppesamtalerne

relevante. De gav blandt andet udtryk for, at gruppesamtalerne gav dem et godt rum at

tale i. På nogle arbejdspladser kom der endda problemstillinger op, som ellers ikke

havde været pointeret:

Jamen, jeg tror faktisk, at [medarbejderne] synes, det var godt. Jeg synes egentlig, der var

kommet nogle ting frem, som var…

sindssygt relevante. Og jeg tror også, at de kunne

næsten ikke have kommet frem på anden måde.

Leder

Andre arbejdspladser syntes til gengæld ikke, de fik så meget ud af gruppesamtalerne

eller påpegede svagheder ved dem. Én af de hyppigste grunde til, at de ikke fandt

gruppesamtalerne relevante var, at de i forvejen var klar over problematikkerne, som

medarbejdergruppen fremhævede. En anden grund var, at der var snævre rammer for,

hvad de tilsynsførende kunne tage op i gruppesamtalerne. Det samme blev registreret i

de observationer af tilsyn med gruppesamtaler, der er gennemført. Det var frustrerende

for nogle medarbejdere, fordi de ikke følte, at de mest nærværende problemer med

arbejdsmiljøet kunne tages op under de rammer:

Jeg tænker, at de [tilsynsførende] havde en meget lille boks for os at handle i, hvis man kan

sige det sådan. Altså, vi troede, vi kunne snakke om alt muligt

–

det kunne vi ikke. De var

meget

sådan ”kun dét her, vi snakker om”. Og ”kun indenfor de rammer, som vi har med at

gøre” og sådan noget, hvor vi sad: ”Nå, men hvad så med det og det og det?” Jamen, det

havde de ikke noget at gøre med.

AMR

Derudover var der et eksempel på, at medarbejderne ikke oplevede, at snakken fra

gruppesamtalerne blev videreformidlet, eller i hvert fald var det ikke synligt for dem,

fordi det ikke blev noteret i tilsynsrapporten (i dette tilfælde fik de ingen påbud eller

skriftlig vejledning). På baggrund af dette udtrykte interviewpersonen, at det for

medarbejderne, der havde deltaget i en gruppesamtale, kunne føles nyttesløst, hvis

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

problematikkerne, der blev diskuteret til gruppesamtalen ikke førte til synlige ændringer

i arbejdsmiljøet.

Ydermere kom manglen på repræsentation i gruppesamtalerne op som et problem.

Selvom en del arbejdspladser gjorde meget ud af at vælge medarbejdere til

gruppesamtalen, så de var repræsentative for arbejdspladsen, var der også undtagelser.

På én af arbejdspladserne klagede AMR over, at kun dagvagter blev inddraget og ikke

også nattevagter, da det kunne give et skævt billede af arbejdsmiljøet på arbejdspladsen.

En leder nævnte i den forbindelse, at det var ressourcekrævende at udtage medarbejdere

til gruppesamtaler:

Altså, jeg synes, det er en stor investering i, at der er mange medarbejdere, der bliver taget

fra og ud af arbejdet fra beboerne.

Leder

Derudover blev det i interviews med tilsynsførende nævnt som problematisk, at lederen

overordnet stod for at udvælge medarbejdere til gruppesamtalen. En enkelt leder på en

arbejdsplads kritiserede også, at antallet af gruppesamtaler ikke blev tilpasset

arbejdspladsens størrelse. Sammensætningen og antallet af medarbejdere til

gruppesamtaler kunne således have betydning for relevansen af gruppesamtalerne. Både

i forhold til hvad Arbejdstilsynet og arbejdspladserne fik ud af dem.

Gruppesamtaler med medarbejdere blev brugt til at få et indblik i det psykiske

arbejdsmiljø på arbejdspladsen. Medarbejderne fandt generelt metoden for relevant, da

den gav medarbejderne rum til at italesætte problematikker som måske ellers ikke ville

blive rejst. Samtidigt var der også visse svagheder, som gjorde, at arbejdspladserne ikke

altid fandt dem relevante. Svaghederne inkluderede, at gruppesamtalerne ikke bidrog

med noget, de ikke allerede vidste; spørgerammen for de tilsynsførende var for snæver;

medarbejderne oplevede, at problematikker ikke blev videreformidlet til ledelsen; samt

mangel på repræsentation i sammensætningen af medarbejdere.

Afdækning på baggrund af observation af forflytninger

Observationer af forflytninger blev benyttet til at afdække det ergonomiske arbejdsmiljø.

Interviewpersonerne oplevede, at de tilsynsførendes observation af forflytninger var

relevant. Det gav mulighed for konkret sparring i forhold til de pågældende

arbejdssituationer, hvilket muliggjorde ændringer af praksis. Påbud inden for ergonomi

blev desuden givet på baggrund af disse observationer. På den anden side var bagsiden

af metoden blandt andet, at det kunne være ubehageligt for borgere at blive observeret

under forflytninger, og i særdeleshed hvis det drejede sig om forflytning ved personlig

hygiejne:

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Jeg synes, det er grænseoverskridende for vores beboere […] Ja, der står en fremmed

og ser

på dem, at de ikke har noget tøj på. […] ”Nu kan vi lige se, hvordan du bliver liftet på

toilettet og af igen.”

Leder

Det var også indtrykket fra observationerne af tilsyn, at de tilsynsførende kunne møde

modstand, når de skulle ud og observere, hvordan borgere eksempelvis blev forflyttet.

De tilsynsførende var dog meget opmærksomme på, at det kunne være en forstyrrelse af

dagligdagen, og at de påvirkede situationen. På én arbejdsplads undlod de

tilsynsførende at observere det ergonomiske arbejdsmiljø, blandt andet fordi borgerne

var meget udadreagerende.

Det tydede således på, at observationer gav god mulighed for sparring i praktiske

situationer, men de kunne også virke grænseoverskridende for borgerne.

Opsummering

Arbejdstilsynets metoder (dialog, gruppesamtaler og observation af forflytninger) blev

generelt oplevet som gode og givende metoder til vurdering af arbejdsmiljøet. Dialogen

med de tilsynsførende blev fremhævet som værende rigtig god. Gruppesamtaler og

observation af forflytninger blev oplevet som gode, praktiske muligheder for relevant

sparring og vurdering af arbejdsmiljøet, og eftersom der var flere tilsynsbesøg forbundet

med URT i forhold til RT, fik arbejdspladserne i URT-gruppen sandsynligvis mere

sparring end arbejdspladserne i RT-gruppen.

Der fremstod dog også et par problematikker vedrørende de to sidstnævnte metoder.

For gruppesamtalerne blev det fremhævet, at det var ressourcekrævende; at

spørgerammen for de tilsynsførende var snæver; at problematikker ikke blev

videreformidlet til ledelsen; samt at sammensætningen af medarbejderne ikke altid var

repræsentativ. For observation af forflytninger var den største problematik, at den kunne

være grænseoverskridende for borgerne.

Forskningsspørgsmål C: Arbejdspladsernes udbytte af

Arbejdstilsynets forskellige virkemidler

Det sidste forskningsspørgsmål omhandler

arbejdspladsernes udbytte af Arbejdstilsynets

forskellige virkemidler.

Arbejdstilsynet benytter

følgende virkemidler i forbindelse med tilsyn:

1) mundtlig feedback; 2) skriftlig vejledning;

Oversigt over datakilder

Interviews med ledere og

arbejdsmiljørepræsentanter (AMR).

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

og 3) påbud.

Især mundtlig feedback og påbud blev oplevet som relevante og konstruktive metoder

for arbejdspladserne. I særdeleshed når det blev konkret, og arbejdspladsspecifikt var

udbyttet størst. Det udvidede tilsyn imødekom sandsynligvis i højere grad end RT

arbejdspladsernes ønske om dialog og rådgivning.

Oplevelse af tilsynets virkemidler

Dette afsnit omhandler, hvordan tilsynets forskellige virkemidler konkret blev oplevet,

og der skelnes mellem mundtlig feedback, skriftlig vejledning og påbud. I denne

sammenhæng blev det undersøgt, hvorvidt de udvalgte arbejdspladser rapporterede, at

de havde handlet på den feedback, de fik i forbindelse med tilsynsbesøg. Afsnittet giver

et væsentligt indblik i, hvordan tilsynets virkemidler blev oplevet, samt hvad der videre

skete på arbejdspladserne efter tilsynet.

Mundtlig feedback

Mundtlig feedback er en rådgivende og støttende tilbagemelding om arbejdsmiljøet på

arbejdspladsen, som gives under tilsynet. Flere af interviewpersonerne modtog feedback

fra de tilsynsførende, som de både fandt konstruktiv og relevant. Specielt i URT-gruppen

oplevede de ansatte at få konkret og brugbar feedback i løbet af tilsynsbesøget, hvor

tilsynet også varede længere end i RT-gruppen. Det største kritikpunkt af mundtlig

feedback var, at arbejdspladserne ønskede mere af det og gerne mere konkret feedback.

Arbejdspladserne satte pris på feedback. Flere fik positiv feedback om, at arbejdspladsen

havde et godt arbejdsmiljø. De udtrykte, at det var fint at blive kigget efter og få at vide,

at deres arbejdsmiljøarbejde var

”godt nok”.

For disse interviewpersoner havde det

mindre betydning, hvorvidt de konkret oplevede at have fået udbytte af tilsynet, som de

kunne arbejde videre med. Desuden blev den positive, anerkendende feedback vægtet

højt. For eksempel havde de tilsynsførende i nogle tilfælde videregivet ros til ledelsen

efter, de fik indblik i deres ledelsesevner i gruppesamtaler med medarbejderne.

Arbejdspladserne var generelt glade for at få positiv feedback og blive bekræftet i, at de

var på rette vej med arbejdsmiljøarbejdet:

[…] jeg synes jo, at vi fik masser af anerkendelse for, at vi

var på rette vej.

Leder

Flere nævnte også konkrete eksempler på feedback, hvor de fik konkrete forslag til, hvad

der kunne forbedres i arbejdsmiljøet. For eksempel hvordan arbejdspladsen i højere grad

kunne arbejde systematisk med voldsregistrering. Mange havde også fået sparring i

forbindelse med de tilsynsførendes observation af forflytninger. Desuden vurderede

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

flere tilsynsførende, at sparring med arbejdspladsen var en væsentlig motivationsfaktor

for, at arbejdspladsen gjorde noget ved arbejdsmiljøet. Dog oplevede en AMR at blive

afvist, da vedkommende efterspurgte sparring om, hvad der kunne gøres i forbindelse

med et påbud

–

med begrundelsen at de tilsynsførende ikke måtte vejlede. Feedback kan

føre til, at medarbejdere i højere grad reflekterer over egen praksis:

[…] de [tilsynsførende] formår at stille spørgsmål og skabe nogle fiktive episoder og sige:

”Her vil det kunne

gå galt, og skal man egentlig…?”

Altså, de får stillet nogle spørgsmål,

hvor medarbejderne får reflekteret

og sagt: ”Nåh nej, det er selvfølgelig ikke…

det er rigtigt,

sådan behøver det jo ikke at være”.

Leder

Generel feedback om for eksempel ”mere systematik”

i arbejdsmiljøarbejdet kan være

svær at overføre i praksis. Derfor ønskede flere interviewpersoner mere konkret

sparring, og at vejledning og sparring fyldte mere i tilsynet:

Jamen altså, jeg lytter jo, når de siger, at mere systematik er godt. Og det tager jeg jo til

mig og siger […] ”det skal vi have”. Så er det så spørgsmålet næste trin, hvordan

får jeg

det så…

Leder

Jeg kunne godt have brugt noget mere konkret fra dem. Altså, de siger jo: ”Jamen, I kan

kigge på det.” Ja, ja, det kan vi godt, altså. Men det kunne have været fint, hvis det havde

været mere konkret og sagt: ”Faktisk her, der har du sådan og sådan,” eller ”I kan faktisk

gå

ind på denne her side,”

eller

du ved, et eller andet, ikke?

AMR

Derudover fik en leder på et tilsyn eksempelvis mundtlig feedback om, at

medarbejderne var usikre på kvalitetstandarder og serviceniveauer for pleje af borgere,

hvilket lederen efterfølgende tog op på et personalemøde. Selvom feedbacken var

relevant, var den svær at arbejde videre med uden konkrete ændringsforslag:

[…] de ting, vi snakkede om, det var sådan nogle lidt diffuse nogen. Det er jo ikke

sådan,

hvor du kan sige: ”Så, nu er det en done deal, og nu kører vi sådan her”. Det er jo noget,

der skal følges op på løbende.

Leder

Den konkrete feedback var som nævnt et ønske, som flere efterspurgte. Men i følge en

leder fører den mundtlige feedback ikke til overordnede ændringer i

arbejdsmiljøarbejdet men primært i forhold til de konkrete feedbackpunkter:

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

[…] det har selvfølgelig indflydelse på lige de her udviklingspunkter […] de her specifikke

ting, men generelt tror jeg ikke, at det har indflydelse på, hvor meget vi arbejder med

arbejdsmiljø eller … hvor meget fokus vi har på det. Det tænker jeg slet ikke.

Leder

Flere gav udtryk for, at mundtlig feedback i sig selv var nok til, at arbejdspladsen

ændrede praksis, og efterspurgte dét fremfor påbud. Mundtlig feedback mente én, gav

arbejdspladsen andre muligheder for at arbejde med et emne i stedet for at få et påbud,

som de tidligere har fået, hvor de ikke var helt enige i afgørelsen:

Sådan rent pædagogisk, så synes jeg, det virker bedre med vejledninger [mundtlig

feedback]… Altså, det der med påbud… også hvis ikke det giver sådan helt fuldstændig

total mening for os, altså sådan et påbud, så bliver det jo bare noget, vi skal, fordi vi skal,

fordi der er nogle, der siger, vi skal, ikke? Men det bliver måske svært at finde meningen i

det.

Leder

En anden leder gav indtryk af, at der i lige så høj grad blev fulgt op på mundtlig

feedback som på påbud:

Jeg tror, vi får gjort noget ved det, uanset om det er

et påbud, eller om det er… vejledning.

Det vil vi gøre. Det er helt sikkert.

Leder

Konkret feedback med specifikke råd virkede dog også irrelevant for nogle, hvis de ikke

følte rådet kunne bruges direkte. Én af arbejdspladserne fik forslag om at bruge

skåneærmer og registrering af riv, krads osv., men lederen havde allerede planlagt at

arbejde med problematikken på en anden måde gennem foredrag om nødværge. Dette

er et eksempel på, at arbejdspladsen allerede var opmærksom på problematikken, og

selv var i gang med at håndtere den. De tilsynsførendes feedback kan måske betyde

fortsat fokus på området, selvom rådene ikke anvendes direkte.

En leder på en anden arbejdsplads, der tidligere havde fået et påbud på det psykiske

arbejdsmiljø, oplevede, at der hovedsageligt var mulighed for sparring, når der var store

problemer med arbejdsmiljøet. Ved det seneste tilsyn, hvor de fik en grøn smiley, havde

vedkommende ikke rigtig oplevet sparring, og det kunne derfor føles som om, der ikke

kom så meget ud af tilsynet:

Den her situation [tidligere påbud], hvor det rent faktisk var alvorligt, der synes jeg, der

har været rigtig god sparring, men når at det egentlig kører okay, så er det måske knap så

meget, man får ud af det, ikke?

Leder

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Arbejdspladserne syntes, at mundtlig feedback var et konstruktivt og relevant

virkemiddel, som de ønskede fyldte mere i tilsynet, især konkret feedback blev

efterspurgt. På de arbejdspladser, hvor arbejdsmiljøarbejdet var godt, og som ikke fik

skriftlig vejledning eller påbud, var dette virkemiddel væsentligt for deres motivation og

udbytte.

Skriftlig vejledning

Skriftlig vejledning benyttes, hvis der er arbejdsmiljøforhold, som kan justeres, men hvor

Arbejdstilsynet ikke mener, at der er grundlag for at give et påbud. Vejledninger er ikke

retligt bindende, men er alene information om arbejdsmiljøreglerne eller anbefalinger til,

hvordan et bestemt arbejdsmiljøproblem kan forbedres.

Det overordnede indtryk fra de skriftlige vejledninger var, at de ikke lå klart i

erindringen hos interviewpersonerne, og det var usikkert, hvad de havde fået ud af dem.

Oftest svarede interviewpersonerne, at de ikke havde fået en skriftlig vejledning, når der

blev spurgt direkte til det, selvom de ifølge Arbejdstilsynet havde fået det. Det kan være,

at de ikke forstod

det samme ved begrebet ”skriftlig vejledning” som intervieweren, eller

at de ikke kunne huske at have fået en skriftlig vejledning. Det er også muligt, at lederen

ikke har videresendt vejledningen til AMR, som derfor af gode grunde ikke kunne kende

til den. De arbejdsmiljøtemaer, som interviewpersonerne omtalte, svarede dog ofte til

temaerne for de skriftlige vejledninger, men de erindrede dem oftere fra den mundtlige

feedback end fra den skriftlige vejledning.

Alt andet lige gav flere udtryk for, at skriftlig vejledning var nok til, at arbejdspladsen

ændrede praksis og efterspurgte vejledning fremfor påbud. Én foretrak skriftlig

vejledning, fordi det gav arbejdspladsen andre muligheder for at arbejde med et emne i

stedet for at få et påbud, som de tidligere har fået, hvor de ikke var helt enige i

afgørelsen:

Sådan rent pædagogisk, så synes jeg, det virker bedre med vejledninger… Altså, det der

med påbud…

også hvis ikke det giver sådan helt fuldstændig total mening for os, altså

sådan et påbud, så bliver det jo bare noget, vi skal, fordi vi skal, fordi der er nogle, der siger,

vi skal, ikke? Men det bliver måske svært at finde meningen i det.

Leder

I forlængelse deraf gjorde andre opmærksom på, at skriftlig vejledning bidrog på lige

fod med de andre virkemidler:

Jeg tror, vi får gjort noget ved det, uanset om det er et påbud, eller om det er en …

vejledning. Det vil vi gøre. Det er helt sikkert.

Leder

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Af dem der kendte til skriftlig vejledning, påpegede en interviewperson, at den skriftlige

vejledning var for generel til, at de kunne bruge den på arbejdspladsen:

[…] altså, det er mere sådan, [at vi skulle] være opmærksom på, at de [skriftlige

vejledninger] er der. Altså, det var ikke sådan vejledninger specielt til os. Det var mere

sådan en henvisning til nogle generelle vejledninger.

Leder

Som denne leder oplevede den skriftlige vejledning, gjorde den dem blot opmærksom på

et overordnet tema, de skulle have fokus på. En AMR vurderede ligeledes ikke, at den

skriftlige vejledning om ergonomi var særlig anvendelig, fordi arbejdspladsen allerede

var opmærksom på temaet og på selve tilsynet allerede havde aftalt helt at stoppe

brugen af et bestemt forflytningsredskab, som de tilsynsførende fandt problematisk. Her

overlappede mundtlig feedback og skriftlig vejledning, hvorfor den skriftlige vejledning

virkede unødig.

Da der kun var to interviewpersoner, der konkret erindrede den skriftlige vejledning,

var det sparsomt med viden om anvendelsen af disse på baggrund af interviewene. Det

tydede på, at de skriftlige vejledninger ikke satte større aftryk på arbejdspladsernes

arbejdsmiljøarbejde.

Slutteligt bemærkes, at data fra spørgeskemaerne vedrørende skriftlig vejledning blev

krydstjekket med data fra Arbejdstilsynet, og det viste sig, at i omkring halvdelen af de

tilfælde, hvor en ansat havde svaret, at arbejdspladsen fik en skriftlig vejledning, var

arbejdspladsen ikke registeret hos Arbejdstilsynet som havende fået en skriftlig

vejledning. Det er derfor uklart, hvad besvarelserne omkring de skriftlige vejledninger i

virkeligheden dækker over. Én mulighed er, at nogle ansatte har anset besøgsrapporten

fra Arbejdstilsynet som en skriftlig vejledning. En anden mulighed er, at spørgeskemaet

var for omfattende at svare på for nogle ansatte, og at spørgsmålene i sidste del af

spørgeskemaet (bl.a. dette spørgsmål) derfor var knap så fyldestgørende udfyldt som de

øvrige. Noget tyder dog på, at skriftlig vejledning ikke var et klart begreb/virkemiddel

for AMR og ledere på arbejdspladserne.

Påbud

Påbud er et virkemiddel, der benyttes ved arbejdsmiljøforhold, der ikke lever op til

arbejdsmiljøloven. Arbejdstilsynet pålægger arbejdspladsen at løse

arbejdsmiljøproblemet ved at give et påbud. Arbejdspladserne i dette projekt tog påbud

meget seriøst, uafhængigt af om de var enige i beslutningen. Flere så positivt på påbud,

da det kræver handling og kan føre til ekstra ressourcer til arbejdspladsen. Samtidigt

kunne påbud også føles som nederlag og påvirke, hvordan andre ser på arbejdspladsen.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

I det følgende er det indikeret, hvis der er tale om oplevelser af påbud givet før URT-

projektet eller i forbindelse med.

Påbud er et virkemiddel, der kræver handling. Når interviewpersonerne blev spurgt om

Arbejdstilsynets muligheder for at påvirke deres arbejdsmiljø, så fremhævede de påbud

som særligt effektfulde. I kontrast til en skriftlig vejledning skal der handles på et påbud.

Ved påbud er der krav til arbejdspladserne om, at de melder tilbage til Arbejdstilsynet

om, hvordan de har løst problemet. Påbud forpligter og skaber øget fokus på det

pågældende arbejdsmiljøområde:

Det giver da lige én sådan et wake up call, at det kan godt være, man går og tror, at tingene

er i orden, men… virkeligheden kan være en anden, ikke? Og det er selvfølgelig meget rart

lige at få sat fokus på det. Så selvfølgelig, så motiverer det da til at man lige har et… fortsat

fokus på det, ikke?

Leder

Det er klart, at hvis det er, at det er påbud, så bliver det gjort, ikke? Hvis det er noget andet,

der bliver anbefalet, så kan det jo også være, det bliver gjort, men det kan også være, at det

ikke bliver gjort.

AMR

Jeg mener, at det bedste, der kan ske for en organisation, det er jo enten, at man får nogle

klager, som man rent faktisk tager seriøst, eller at der kommer et påbud, fordi man rent

faktisk ikke ved, at der er nogle ting, som man ikke gør. […] og mange af os arbejder jo på

den måde, at, at jorden skal brænde lidt før, at man får taget sig sammen til det.

Leder

Overordnet oplevede interviewpersonerne påbuddene som rimelige. De kunne godt

forstå årsagen til dem, selvom det kunne tyde på, at et par ledere måske alligevel syntes,

det var lige i overkanten at få et påbud i forhold til den konkrete sag:

Min øverste leder synes, at man har skudt gråspurve med kanoner i den her sag, men det

skal ikke være os om at vurdere det. Altså, det er jo et arbejdstilsyn, der skal vurdere det.

Leder

Mange, særligt AMR, beskrev til gengæld, at de blev glade for at få påbud, fordi det

betød, at der var udsigt til, at der ville blive taget hånd om problemerne:

[…] det er måske forkert, men jeg var faktisk glad for det [påbuddet]. Man kan aldrig være

glad for et påbud, men forstået på den måde, nu blev der taget rigtig hånd om det.

AMR

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Det [påbuddet] blev jeg egentlig glad for. Fordi, som jeg siger, så kunne der blive gjort

noget. Der er et eller andet … respekt for Arbejdstilsynet, tror jeg.

AMR

Altså, man kan sige, at når man har så kompliceret en problemstilling, som vi havde haft

ovre hos denne her borger, som vi fik det her påbud hos … så har det været …

faktisk en

rigtig god ting, at vi har fået et påbud … fordi det har gjort, at der ligesom blev sat noget

skub i tingene, og at der kom nogle andre øjne på i forhold til, hvad man kunne gøre. Fordi,

havde vi ikke fået det påbud, jamen så havde situationen formentlig været den samme den

dag i dag.

Leder

En anden fordel ved påbud er, at arbejdspladsen nogle gange kan få adgang til

økonomiske midler fra kommunen i forhold til løsningen af det pågældende

arbejdsmiljøproblem. I alle tilfælde af påbud blev andre/eksterne inddraget i løsningen

af arbejdsmiljøproblemet. Kommunen havde i nogle tilfælde været inddraget for at

ændre de overordnede rammer for arbejdsmiljøet, og i flere tilfælde havde eksterne

konsulenter og undervisere været inddraget. Med et påbud i ryggen oplevede både

ledere og AMR at få mere gennemslagskraft i organisationen

–

herunder kommunen, der

kan lave organisatoriske ændringer, men også i forhold til pårørende og borgere. Det var

lettere at overbevise pårørende om nødvendigheden af diverse tiltag, hvis de ansatte

kunne støtte sig til Arbejdstilsynets påbud.

En arbejdsplads gav et eksempel på, at et påbud ved et tidligere tilsyn førte til en

opnormering og opkvalificering af personalet på arbejdspladsen

–

noget som den enkelte

leder ikke selv kunne beslutte:

Vi fik en ekstra normering på nogle punkter, sådan så at der var flere hænder til at tage sig

af tingene. Og alt det var faktisk fra påbuddet, så for mig at se som mellemleder, der var det

fantastisk… fordi der var fokus […] specielt oppefra.

Leder

AMR fra samme arbejdsplads beskrev, at der også blev igangsat flere relaterede

indsatser i forbindelse med håndteringen af påbuddet. Medarbejderne modtog

undervisning, mødestrukturen blev ændret, og de deltog i forløb med eksterne

konsulenter omkring det psykiske arbejdsmiljø:

[…] jeg synes faktisk, det rullede ligesom en snebold, der blev trillet ned, og så kom der

mere og mere med den.

AMR

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Flere tilsynsførende vægtede ligesom arbejdspladserne effekten af påbud højt:

Det er jo påbuddene, der er det interessante. Det er dér, vi jo virkelig rykker noget på

arbejdspladsen, hvor vi siger i påbuddene, at arbejdspladsen de skal håndtere de her

problemstillinger. Vejledninger, det er jo sådan lidt mere blødt.

Tilsynsførende

Ét af Arbejdstilsynets mål med påbud er, at løsningen af påbuddet bredes ud til andre

arbejdsmiljøområder og således ikke kun påvirker den specifikke problematik, påbuddet

blev givet på [2. Dette viser sig at være tilfældet nogle gange. For eksempel ønskede en

leder, der fik et påbud angående psykisk arbejdsmiljø, at det førte til en ny kultur på

arbejdspladsen. Arbejdspladsen oplevede, at både lederen selv og medarbejderne blev

hurtigere til at tage emner op, så de kunne forebygge arbejdsmiljøproblemer.

To andre ledere beskrev, at de havde øget fokus på forflytninger generelt, efter de fik et

påbud på det ergonomiske arbejdsmiljøområde. På den ene arbejdsplads gik de i gang

med at udarbejde en overordnet procedure for indretning af boliger på plejecentret, så

de i fremtiden kunne undgå at stå i en lignende situation, hvor de blandt andet grundet

pårørendes ønsker havde svært ved at indrette boligen, så det var forsvarligt for de

ansatte at arbejde der:

Men nu kan vi faktisk

–

har vi ligesom fået øjnene op for, at nu kan vi også sætte nogle krav

til, hvordan hjemmet skal være indrettet i forhold til, at vi kan arbejde der [...] Der er

kommet noget mere skærpet fokus på det.

Leder

Mens lederen på denne arbejdsplads også mente, at der kom øget fokus på

arbejdsmiljøet generelt og særligt på arbejdsstillinger blandt medarbejderne, så udtalte

AMR, at der ikke var tegn på en generel øget opmærksomhed blandt medarbejderne.

AMR udtalte, at det kun med sikkerhed var lykkedes at ændre på håndteringen af

borgere, hvor der blev givet påbud. Der var således ikke enighed om, hvorvidt et påbud

førte til fokus på arbejdsmiljøet mere generelt.

Påbud skaber fokus på et arbejdsmiljøområde og kræver en løsning, men et påbud er

dog ikke entydigt positivt. Flere, især ledere, angav, at de helst ville undgå påbuddet.

Problemet ved at få et påbud er blandt andet, at det kan tolkes som, at leder og AMR

ikke selv formår at løse et problem, som de har ansvar for:

Men man føler, og det er man også lidt ansvarlig for, at tingene når så langt ud. Det er ikke

altid, man kan gøre noget ved det. Eller nok ved det, vel? Fordi jeg bestemmer ikke noget.

AMR

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Det er bestemt ikke rart at få et påbud på sin arbejdsplads… og det er heller ikke rart at få et

påbud af den slags [for psykisk arbejdsmiljø] […] vi ved jo, at lederen er forpligtet til

egentlig at lede sin arbejdsplads, så der ikke [opleves problemer med det psykiske

arbejdsmiljø].

Leder

Der var yderligere eksempler på, at interviewpersonerne vurderede, at et påbud kan

medføre et forringet omdømme for arbejdspladsen:

Det er en rigtig god ting at have [tilsyn/smileyordning] … fordi det fortæller offentligheden

om, der er noget galt her. [...] når folk skal søge job, så er det altså rart at vide, at: ”Nå, der

er da godt nok lige noget galt med arbejdsmiljøet der,” ikke? ”Så er det ikke her, vi søger”.

Så alene det, ikke også?

AMR

Jamen altså, jeg vil da helst være foruden [påbud], det er der da ingen tvivl om. [...] Det har

selvfølgelig betydning for vores hus’ renommé. Det er der ingen tvivl om.

Leder

På den måde kan et påbud have negative konsekvenser for arbejdspladsen, idet

arbejdspladsen risikerer at blive stemplet som en arbejdsplads med dårligt arbejdsmiljø.

Påbud er et virkningsfuldt virkemiddel, der er det mest alvorlige og forpligtende af de

tre, som er diskuteret her. Påbud kan være den afgørende faktor i at få sat skub i

forbedring af en bestemt arbejdsmiljøproblematik, som arbejdspladsen ikke selv har

formået at løse. Et påbud kræver forbedring, hvorfor det forventes, at påbud har en

større effekt end de andre virkemidler. Arbejdspladserne i dette projekt tog påbud

alvorligt, uafhængigt af om de var enige i beslutningen. Flere så positivt på påbud, da

det krævede en løsning og kunne tilføre ekstra ressourcer til arbejdspladsen. Samtidigt

kunne påbud føles som et nederlag og påvirke, hvordan andre så på arbejdspladsen.

Opsummering

Især mundtlig feedback og påbud blev oplevet som relevante virkemidler. I særdeleshed

når det blev konkret, og arbejdspladsspecifikt var udbyttet stort, da arbejdspladserne

ellers kunne have svært ved at omsætte Arbejdstilsynets anbefalinger til praksis. Noget

tydede på, at selvom tilsynet ikke nødvendigvis førte til generel øget opmærksomhed på

arbejdsmiljøarbejdet, så kunne det føre til øget fokus på de konkrete punkter, de

tilsynsførende påpegede gennem virkemidlerne.

Mundtlig feedback var væsentlig for dialogen og udbyttet, mens skriftlig vejledning var

et mere diffust begreb for arbejdspladserne, hvorfor det var usikkert, om det større antal

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

skriftlige vejledninger afgivet i URT-gruppen sammenlignet med RT-gruppen havde

effekt på arbejdspladsernes arbejdsmiljø.

Påbud blev oplevet som et virkningsfuldt virkemiddel og som det mest alvorlige og

forpligtende af de tre virkemidler diskuteret her. Arbejdspladserne i dette projekt tog

påbud meget alvorligt, uafhængigt af om de var enige i beslutningen. De så positivt på

påbud, da det krævede en løsning og kunne føre til ekstra ressourcer til arbejdspladsen.

Påbud førte med større sandsynlighed til konkrete tiltag, da arbejdspladserne ved et

påbud var forpligtet til at handle.

4.3 Deldiskussion

På baggrund af ovenstående analyse vurderes det, at URT overordnet set blev

gennemført som planlagt, og at Arbejdstilsynets metoder og virkemidler var relevante.

Arbejdspladserne oplevede sandsynligvis et større udbytte ved URT i forhold til RT, da

flere af Arbejdstilsynets metoder og virkemidler var i brug. Udover de nævnte resultater

var der flere fund i procesevalueringen, som potentielt kan bruges i det fremtidige

tilsynsarbejde, og som resultaterne fra effektevalueringen på medarbejderniveau skal ses

i lyset af.

Udbyttet af skriftlig vejledning er der en vis usikkerhed omkring, da det overordnede

indtryk var, at de ikke lå klart i erindringen hos interviewpersonerne. Det kan der være

mange grunde til, hvor (manglende) udbytte af de skriftlige vejledninger kunne være én

af dem.

Det kom frem, at der for de tilsynsførende havde været en generel læring forbundet med

URT, og det kan derfor ikke afvises, at der kan have været elementer af URT, som blev

overført til RT også (spill-over). Nogle tilsynsførende nævnte også, at de nogle gange

havde været i tvivl om, hvorvidt de skulle på URT- eller RT-besøg.

Derudover dukkede et interessant perspektiv op i analysen af interviews

–

nemlig

dilemmaet mellem at arbejdspladserne på den ene side gerne ville undgå påbud, men på

den anden side var nødt til at vise deres svagheder frem, hvis de skulle have mulighed

for at få konkret vejledning på oplevede problematikker. Det blev antydet, at det kunne

lade sige gøre at skjule problematiske emner under et tilsyn. Eksempelvis udvalgte en

leder i URT-gruppen bevidst en borger til observation af ergonomi, hvor der var behov

for sparring, men hvor der ikke var problemer.

Dette kunne være en del af grunden til, at der blev givet flere skriftlige vejledninger og

påbud i URT-gruppen,

da det har været sværere ved flere og længere besøg at skjule

arbejdsmiljøproblemer.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Med hensyn til åbenheden kunne noget tyde på, at det var vigtigt at sørge for, at både

leder- og medarbejderperspektivet altid blev hørt på et tilsyn, fordi parterne kunne have

bestemte interesser hver især, hvilket også blev påpeget af interviewpersonerne fra

arbejdspladserne. På to arbejdspladser fremgik det, at arbejdsmiljørepræsentanten havde

brugt tilsynet aktivt til at pege på bestemte problematikker, som det ikke var lykkedes at

få løst.

Endelig skal det nævnes, at valget af branche kan have haft betydning for effekten af

URT, da branchen Døgninstitutioner og hjemmepleje fremstod som en branche, hvor

der i høj grad blev arbejdet med arbejdsmiljøet løbende. Flere af de interviewede udtalte,

at de generelt ikke oplevede tilsyn som en motivationsfaktor til at arbejde med

arbejdsmiljøet, fordi de allerede var meget motiverede til at arbejde med forbedring af

arbejdsmiljøet. Nogle mente overhovedet ikke, at tilsyn spillede en rolle

–

de arbejdede

allerede med diverse arbejdsmiljøemner og fik ikke noget ud af tilsyn, og de beskrev

tilsynet som overflødigt eller direkte forstyrrende.

4.4 Delkonklusion

På baggrund af procesevalueringen konkluderes følgende:

a) Gennemførelse af indsatsen



URT blev overordnet implementeret som planlagt.

De tilsynsførende oplevede, at URT især gav god mulighed for at vurdere det

ergonomiske arbejdsmiljø men også det psykiske.

Nogle tilsynsførende oplevede dog også, at URT i flere tilfælde var tidsspilde i

forhold til afdækning af det psykiske arbejdsmiljø.

Derudover omtalte flere tilsynsførende, at der havde været god, generel læring af

URT.

b) Arbejdspladsernes oplevelse af selve tilsynsforløbet



Dialogen med de tilsynsførende blev fremhævet som værende rigtig god.

Gruppesamtaler og observation af forflytninger blev oplevet som gode og

givende metoder til vurdering af arbejdsmiljøet.

Svagheder ved gruppesamtalerne var, at spørgerammen for de tilsynsførende var

snæver; at problematikker ikke blev videreformidlet til ledelsen; samt at

medarbejdergruppen ikke blev repræsentativt sammensat.



For observation af forflytninger var den største problematik, at den kunne

opleves grænseoverskridende for borgerne.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

c) Oplevelse af udbytte af Arbejdstilsynets forskellige virkemidler



Især mundtlig feedback og påbud blev oplevet som relevante virkemidler.

I særdeleshed var det relevant, når udbyttet var konkret og arbejdspladsspecifikt,

da arbejdspladserne ellers havde svært ved at omsætte Arbejdstilsynets

anbefalinger til praksis.



Mundtlig feedback havde stor betydning for arbejdspladsernes udbytte af tilsyn.

Påbud var virkningsfulde, da de krævede løsninger og med større sandsynlighed

medførte konkrete tiltag og ekstra ressourcer til arbejdspladsen.

Skriftlig vejledning satte umiddelbart ikke det store aftryk på arbejdspladsernes

udbytte.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

VERORDNET DISKUSSION

I dette afsnit diskuteres resultater af effektevalueringen i lyset af de anvendte metoder

og resultater fra procesevalueringen. Det bliver Arbejdstilsynets opgave at sammenholde

resultaterne af denne evaluering med tidligere forskning og tidligere evalueringer

–

dog

vil der i slutningen være en kort perspektivering til resultater af tidligere evalueringer af

Arbejdstilsynets tilsyn.

5.1 Undersøgelsens styrker og svagheder

Det anses som en stor styrke ved evalueringen, at der blev gennemført en

effektevaluering såvel som en procesevaluering på baggrund af både kvantitative og

kvalitative metoder samt forskellige datakilder. Det betyder, at der både blev målt på

effekten af en indsats og indsatsens proces, hvilket kan bidrage med input til

videreudvikling af tilsynsarbejdet.

En stor styrke ved effektevalueringen var det randomiserede kontrollerede design, som

gav unik mulighed for at sammenligne en effekt i en indsatsgruppe (URT) med en

kontrolgruppe (RT). Derudover blev effektmålene målt både før og efter indsatsen.

Tidligere effektevalueringer af Arbejdstilsynet har i høj grad været baseret på

retrospektive studier og været uden kontrolgrupper. Andre styrker er, at det er en

national undersøgelse, at der var effektmål på både kort og længere sigt, og at

spørgeskemaerne var ganske omfattende.

Det anses som en stor styrke ved procesevalueringen, at forskellige kvalitative metoder

blev inddraget. Der blev foretaget interviews på 10 forskellige arbejdspladser både med

ledelsen og arbejdsmiljørepræsentanter. Derudover var der observationer af tilsyn samt

interviews af tilsynsførende. Derudover blev tilsynsskemaer og spørgeskemadata også

inddraget i analysen.

Svagheder ved effektevalueringen kunne være, at effektmålene måske ikke var

målrettede nok til at finde en effekt af eventuelle mindre indsatser, og at det fx i

formuleringen af første effektmål, ”Der

bliver fulgt op på de samtaler, vi har om eventuelle

problemer i arbejdsmiljøet”,

forudsættes, at der er eller har været arbejdsmiljøproblemer.

Begge dele vil gøre det sværere at detektere en mulig effekt af URT. Derudover har der

været en meget høj grad af både non-respons (ikke-deltagelse) og frafald i denne

undersøgelse, og det er uvist, hvilken betydning det eventuelt har haft for resultaterne.

For at kunne indgå i effektanalyserne på medarbejderniveau, skulle de ansatte have

besvaret baselinespørgeskemaet (det gjorde 25,2 %) samt mindst ét af

opfølgningsspørgeskemaer og det specifikke spørgsmål (det gjorde knap 10 % af de

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

inviterede). Det kan derfor ikke afvises, at resultaterne havde været anderledes, hvis

flere medarbejdere havde svaret på spørgeskemaet, og især hvis dét ikke at svare både

var relateret til deres oplevelse af arbejdsmiljøet og indsatstypen (URT eller RT). Det var

imidlertid ikke muligt at vurdere oplevelsen af arbejdsmiljøet blandt ikke-deltagere, men

der var ikke tegn på forskel i non-respons på spørgeskemaerne mellem URT og RT.

Af gennemførte non-respons-analyser (se Bilag 1) fremgik, at højere alder var associeret

med øget sandsynlighed for at have besvaret baseline, ligesom en større andel af de

inviterede kvinder end mænd har svaret på spørgeskemaet, hvilket er typisk for denne

type undersøgelser [3]. Derfor blev der yderligere suppleret med køn- og aldersjusterede

sensitivitetsanalyser af de primære effektmål, og resultaterne viste, at det ikke gjorde en

væsentlig forskel.

Svagheder ved procesevalueringen kunne være de mange forskellige cases på

arbejdspladserne, hvilket betød, at det var svært at sammenligne arbejdspladser fra URT

med arbejdspladser i RT, da konteksten for de enkelte arbejdspladser, og hvorvidt

arbejdspladsen fx havde fået et påbud, syntes at spille en større rolle end tilsynstypen.

Ligeledes blev der heller ikke fokuseret på forskelle i oplevelser mellem leder og AMR,

selvom det har vist sig, at deres rolle kunne spille ind på deres oplevelser af tilsyn. I

analysen blev det dog fastholdt, om udtalelser var fra leder eller AMR. Endelig skal det

nævnes, at eftersom de tilsynsførende skulle gennemføre både URT og RT sideløbende,

kunne der være risiko for spill-over mellem de to indsatser, hvilket reducerer chancerne

for at finde en forskel.

5.2 Effekt på arbejdspladsniveau

Ved URT blev der foretaget en mere omfattende gennemgang af arbejdspladsernes

arbejdsmiljø, uanset de tilsynsførendes vurdering af behovet herfor. De tilsynsførende

opdagede også flere problematiske forhold i arbejdsmiljøet og afgav tilsvarende flere

påbud og skriftlige vejledninger.

Det er dog interessant, at flere tilsynsførende syntes, at URT var spild af tid, især i

forhold til afdækning af det psykiske arbejdsmiljø. De fremhævede, at de selv kunne

vurdere, om der skulle udtages til ekstra tilsyn. Der blev imidlertid givet markant flere

påbud og skriftlige vejledninger inden for det psykiske arbejdsmiljø i URT sammenlignet

med RT, og med mindre de tilførende følte sig presset til at uddele flere påbud og

skriftlige vejledninger i URT, så kunne det tyde på, at de tilsynsførende overså nogle

problemer på det psykosociale område i RT. Desuden havde de fleste arbejdspladser i

RT såvel som URT

ikke

fået påbud, og det betyder, at de tilsynsførende ofte oplevede, at

tilsynsbesøg ikke resulterede i konkrete afgørelser fra deres side. Dette kan muligvis

forklare flere af de tilsynsførendes holdning om, at de havde spildt deres tid. Dog skal

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

det pointeres, at der kun blev interviewet seks tilsynsførende, og det kan være tilfældigt,

at netop disse tilsynsførende oplevede, at deres førstehåndsindtryk af en virksomhed

ikke ændrede sig markant ved opfølgende tilsynsbesøg.

Det større antal påbud/skriftlige vejledninger, afgivet i URT i forhold til RT, vidner om,

at de tilsynsførendes adfærd og mulighed for at give påbud/skriftlige vejledninger

overordnet var forskellig mellem URT og RT.

5.3 Effekt på medarbejderniveau

På baggrund af spørgeskemaundersøgelsen blandt alle de ansatte på arbejdspladserne

kunne der ikke påvises en statistisk signifikant effekt af URT på de tre udvalgte

effektmål, hverken efter seks eller 12 måneder: 1) medarbejdernes oplevelse af

opfølgning på samtaler om eventuelle problemer i arbejdsmiljøet, 2a) tilfredshed med

det psykiske arbejdsmiljø og 2b) opfattelsen af hvor fysisk hårdt arbejdet er.

De supplerende effektmål viste dog, at der i URT-gruppen var en større oplevelse af, at

der havde været større fokus på arbejdsmiljø og trivsel inden for de seneste seks

måneder, og at initiativerne havde bidraget til et bedre arbejdsmiljø (blandt ansatte, der

svarede, at der havde været igangsat arbejdsmiljøindsatser på arbejdsplads, og at

initiativerne havde fokus på at forbedre det psykiske arbejdsmiljø) i forhold til i RT-

gruppen. Der var ingen forskel mellem grupperne på oplevelsen af, hvorvidt der var

sket forbedringer i relation til det/de arbejdsmiljøområde(r), hvor arbejdspladsen havde

fået påbud (blandt ansatte, der svarede, at deres arbejdsplads havde fået påbud).

At der ikke kunne påvises en effekt på de valgte effektmål på medarbejderniveau kan

skyldes flere forhold:



Størstedelen af arbejdspladserne fik ikke påbud

Hvis det antages, at påbud især påvirker arbejdsmiljøet på arbejdspladserne, kan det

undre, at der ikke sås effekt på medarbejderniveau, når der blev givet signifikant flere

påbud i URT end RT. Men størstedelen af arbejdspladserne i begge grupper fik

ikke

påbud, og måske skulle en større andel arbejdspladser have haft påbud, for at der kunne

ses en forskel. Det betyder, at rigtig mange arbejdspladser ikke oplevede effekten af

påbud (fordi de ikke fik ét). Dette vil samlet set give mindre effekt og svækkelse af

styrken til at finde en effekt.



Påbud havde ikke påviselig, overordnet effekt på de valgte effektmål

I forbindelse med effektevalueringen viste en analyse, at påbud generelt ikke havde en

effekt på ændringen i de tre valgte effektmål på medarbejderniveau. På baggrund af

interviews med repræsentanter fra arbejdspladserne var der imidlertid tegn på, at der

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

blev igangsat initiativer på arbejdspladserne efter tilsynsbesøg og især efter påbud. Det

er dog muligt, at igangsatte aktiviteter ikke var omfattende nok til at påvirke de valgte

effektmål.



Valg af effektmål

”Der

bliver

Spørgsmålene til måling af effekten af URT rummer nogle begrænsninger. Eksempelvis

forudsætter ordlyden af spørgsmålet til måling af forskningsspørgsmål

fulgt op på de samtaler, vi har om eventuelle problemer i arbejdsmiljøet på min arbejdsplads”

som nævnt, at der har været problemer på arbejdspladsen, men også at man har nået at

tale om dem (med et vist antal medarbejdere for at effekten heraf kan måles), samt at

man har nået at følge op på det. Vedrørende forskningsspørgsmål 3 om forbedret

psykisk og fysisk arbejdsmiljø, så er det ikke sikkert, at et påbud givet inden for

ergonomi betyder, at arbejdet er blevet mindre fysisk hårdt. Hvis en arbejdsplads fx har

fået forbedret det ergonomiske arbejdsmiljø ved blandt andet at være to medarbejdere

sammen om svære forflytninger af beboere og/eller ved brug af hjælpemidler, kan

medarbejdernes belastninger godt være formindsket, men det er ikke sikkert, at det er

nok til at ændre deres overordnede opfattelse af, hvor fysisk hårdt deres arbejde er, og

det kan kræve flere indsatser over længere tid (jf. forandringsteori). Grundet disse

udfordringer blev de supplerende effektmål inddraget til at belyse

forskningsspørgsmålene.



Påbud påvirkede ikke nødvendigvis alle ansatte på arbejdspladsen

I spørgeskemaundersøgelsen havde de ansatte mulighed for at uddybe deres besvarelse

af, om der var sket en forbedring af det arbejdsmiljøproblem, arbejdspladsen fik påbud

på. I disse fritekstbesvarelser fremgik flere gange, at et påbud var givet i forhold til

håndtering af en enkelt beboer, som den pågældende medarbejder ikke selv arbejdede

med. Eller at påbuddet var givet i en anden afdeling på arbejdspladsen, hvorfor

pågældende medarbejder ikke havde oplevet forandringer efter påbuddet.

Det var også indtrykket fra interviewene på arbejdspladserne, at påbud kan være snævre

og dermed ikke kan forventes at påvirke en hel arbejdsplads på kort sigt, før der evt.

sker en spredning af læringen fra løsningen af det enkelte påbud. Der var dog også

eksempler på bredere påbud, hvor alle medarbejdere må forventes at være blevet

inddraget som fx ved påbud om, at alle medarbejdere skal på kursus i forflytninger.



Effekt af tilsyn

per se

Målet med Arbejdstilsynets indsats er at forbedre arbejdsmiljøet bredt, og det kan måske

give en effekt i sig selv, at arbejdspladserne ved, at der kommer tilsyn, hvorfor de

kontinuerligt er opmærksomme på arbejdsmiljøet. Dermed vil den specifikke

tilsynsform (URT/RT) få mindre betydning. For at kunne evaluere nogle af de forventede

mere umiddelbare/kortsigtede effekter af tilsyn kunne det være interessant at analysere

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

spørgsmål, der omhandler oplevelsen af praksis på arbejdspladsen, og hvordan

arbejdsopgaver konkret håndteres.



Usikkert om der altid blev givet de mest relevante påbud

Det kan også diskuteres, om Arbejdstilsynet altid gav de mest relevante påbud, da der i

analyserne i procesevalueringen var eksempler på, at medarbejdere til gruppesamtalerne

ikke altid følte, at de kunne tale om de mest presserende emner med de tilsynsførende.

Dette skyldtes, at der var grænser for, hvad Arbejdstilsynet måtte gå ind i med hensyn til

det psykiske arbejdsmiljø (fx ikke forhold, der vedrører ledelsesretten). I forlængelse

heraf udtalte de tilsynsførende, at der er forskel på hvor meget dokumentation, der

kræves for at give påbud inden for forskellige områder af det psykiske arbejdsmiljø.

Observationer af tilsyn og interviews med de tilsynsførende tydede endvidere på, at det

var lettere og mindre tidskrævende for de tilsynsførende at indsamle nok

dokumentation til at give et påbud inden for ergonomi end inden for det psykiske

arbejdsmiljø. I denne undersøgelse blev der faktisk givet flere påbud inden for ergonomi

end psykisk arbejdsmiljø både i URT og RT. Spørgsmålet er, om det skyldtes, at der var

større problemer med det ergonomiske arbejdsmiljø end det psykiske arbejdsmiljø i

branchen

Døgninstitutioner og hjemmepleje

, eller om det skyldtes ulige muligheder for

at give påbud.



Muligt spill-over mellem tilsynsindsatser

Der kan have været spill-over mellem de to indsatser, dels fordi de samme

tilsynsførende udførte URT og RT (dvs. samme metode og risiko for ombytning), og dels

fordi de tilsynsførende opnåede en generel læring ved URT. De fik erfaring med, hvad

der virkede godt ved URT, hvilket især handlede om det opfølgende besøg, der

karakteriserede URT. Resultaterne viste, at langt flere arbejdspladser i URT (90,7 %) end

i RT (41,8 %) blev udtaget til ekstra besøg. Til sammenligning blev en tredjedel (32,7 %)

af arbejdspladserne med over

ansatte i branchen Døgninstitutioner og hjemmepleje

udtaget til DART i 2013-2015 (kilde: Arbejdstilsynet). Dette tyder på, at der, mens URT-

forsøget kørte, blev udtaget flere arbejdspladser til DART i forhold til tidligere år.

Ovenstående kan have været med til at mindske forskelle mellem URT og RT.



Forholdsvis lille forskel mellem intervention og kontrol

Forskellen mellem URT og RT handlede især om, at der i URT altid var et andet,

opfølgende besøg. Efter som 38 % af arbejdspladserne i RT blev udtaget til DART, skal

det nævnes, at forskellen mellem intervention og kontrol var forholdsvis lille.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Perspektivering i forhold til tidligere evalueringer

Enkelte tidligere evalueringer havde fokus på Arbejdstilsynets tilsynsarbejde. Disse

evalueringer havde et lidt andet fokus og er derfor svære at lave direkte

sammenligninger med, men er dog fine at perspektivere til.

I tidligere kvantitative evalueringer var fokus på en overordnet evaluering af tilsyn og

specifikke virkemidler, hvor denne evaluering havde et unikt randomiseret, kontrolleret

design og sammenlignede to tilsynsindsatser. En tidligere kvalitativ evaluering af tilsyn

havde også fokus på dialogen med de tilsynsførende og vurderede, at arbejdspladserne

(ligesom i nærværende evaluering) oplevede dialogen meget positivt [4]. Tidligere

evalueringer inkluderede færre personer per virksomhed [5-7] og overvejende

lederrepræsentanter [6, 7], hvilket kan være med til at forklare, at de i deres

konklusioner i højere grad kom frem til, at der var sket forandringer i arbejdsmiljøet efter

tilsyn. Lederne var i højere grad involveret i tilsyn og ville formentlig være mere

tilbøjelige til at være opmærksomme på hvilke initiativer, der blev sat i gang som følge af

et tilsyn end medarbejderne. I nærværende evaluering blev alle medarbejdere på

arbejdspladserne spurgt, og det gav i højere grad svar på, hvordan medarbejderne

oplevede eventuelle forandringer som følge af tilsyn. Dette er relevant, da det er

medarbejdernes arbejdsmiljø, som i sidste ende skal forbedres med Arbejdstilsynets

indsatser.

Derudover har tidligere evalueringer primært evalueret arbejdspladser, som fik et påbud

af Arbejdstilsynet, hvor der også forventeligt sker flere ændringer i arbejdsmiljøet end på

virksomheder, der ikke får påbud. Dette kan også forklare, at tidligere evalueringer

konkluderede, at tilsyn på halvdelen eller størstedelen af arbejdspladserne førte til

indsatser i arbejdsmiljøarbejdet og løsninger af konkrete arbejdsmiljøproblemer [5-7].

URT-evalueringen var mere bred og inkluderede alle arbejdspladser uanset afgørelser

fra Arbejdstilsynet, hvilket også kan have påvirket i hvor høj grad, der blev oplevet

forandringer efter tilsyn, da der ikke blev givet påbud og dermed ikke var krav om

forandring på størstedelen af arbejdspladserne i denne evaluering. Eksempelvis sås i

nærværende evaluering, at en stor andel af de ansatte, som svarede, at deres

arbejdsplads fik et påbud af Arbejdstilsynet, også svarede, at der var sket forbedringer af

det pågældende arbejdsmiljøproblem (henholdsvis 71 % og 74 %). Dette stemmer godt

overens med de tidligere evalueringer af Arbejdstilsynets indsatser.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

6. O

VERORDNET KONKLUSION

URT førte til, at der blev givet statistisk signifikant flere påbud og skriftlige vejledninger

end ved RT. Der kunne imidlertid

ikke

påvises en statistisk signifikant effekt af URT på

de primære effektmål på medarbejderniveau: oplevelsen af opfølgning på samtaler om

eventuelle problemer i arbejdsmiljøet, tilfredshed med det psykiske arbejdsmiljø eller

opfattelsen af hvor fysisk hårdt arbejdet var.

De supplerende effektmål viste dog, at der i URT-gruppen var en større oplevelse af, at

der havde været større fokus på arbejdsmiljø og trivsel inden for de seneste seks

måneder, at der havde været igangsat arbejdsmiljøindsatser, og at initiativerne havde

bidraget til et bedre arbejdsmiljø (både psykisk og fysisk) i forhold til i RT-gruppen. Der

var ingen forskel mellem grupperne på oplevelsen af, hvorvidt der var sket forbedringer

i relation til det/de arbejdsmiljøområde(r), hvor arbejdspladsen havde fået påbud (blandt

ansatte, der svarede, at deres arbejdsplads havde fået påbud).

Det bemærkes, at de lave svarprocenter på spørgeskemaerne kan have haft betydning

for resultaterne.

På baggrund af procesevalueringen vurderes det, at URT overordnet set blev

gennemført som planlagt, og at Arbejdstilsynets metoder var gode og givende, samt at

de forskellige virkemidler var relevante. Arbejdspladserne oplevede sandsynligvis et

større udbytte ved URT i forhold til RT, da flere af Arbejdstilsynets metoder og

virkemidler var i brug. Grundet de flere og længere besøg ved URT, imødekom URT

sandsynligvis i højere grad end RT arbejdspladsernes ønske om dialog og rådgivning.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

7. R

EFERENCER

1. Saunders RP, Evans MH, Joshi P. Developing a process-evaluation plan for

assessing health promotion program implementation: a how-to guide. Health

Promotion Practice 2005;6(2):134-47.

2. Arbejdstilsynet. Arbejdstilsynets strategi 2015. 2015. Available from:

https://arbejdstilsynet.dk/~/media/AT/at/16-Om-Arbejdstilsynet/01-Formaal-og-

opgaver/Arbejdstilsynet-strategi-2015.pdf.

3. Bach EP, Pedersen JM, Hansen JV, Thomsen BL. Danskernes arbejdsmiljø 2014.

2016. Available from: http://www.arbejdsmiljoforskning.dk/~/media/Boeger-og-

rapporter/AH-2014okt-final-version.pdf

4. Pedersen F, Plougmannm P, Jakobsen MB, Nielsen K, Christensen NT, Uglebjerg

A. Evaluering af dialog i det risikobaserede tilsyn. Team Arbejdsliv, 2014.

5. Nielsen KT, Hansen AM, Starheim L, Lund HH. Har Arbejdstilsynet et godt øje

til arbejdsmiljøet? Øje på arbejdsmiljøet. Landsorganisationen i Danmark, 2010.

6. Aldrich PT, Wibroe L, Limborg HJ. Evaluering af arbejdsmiljøreformen -

Arbejdstilsynet, slutrapport. COWI A/S i samarbejde med Alectia A/S og

TeamArbejdsliv, 2010.

7. Aldrich PT, Pedersen F, Nilsen K, Grundtvig G, Sachs PL. Evaluering af effekten

af det risikobaserede tilsyn på mellemlangt sigt. COWI A/S og TeamArbejdsliv

APs, 2016.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

8. B

ILAG

Bilag 1 Variabelinformation og operationalisering

Bilag 2 Non-respons- og frafaldsanalyser

Bilag 3 Transskribering og kodning af interviews

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Bilag 1.

Variabelinformation og operationalisering

Tabel 12.

Operationalisering af spørgsmålsvariable

Spørgsmålsvariabel

Effektevaluering

Primære effektmål:



Opfølgning på

samtaler om eventuelle

problemer i

arbejdsmiljøet

Spørgsmålsformulering

Svarmuligheder

Operationalisering



Tilfredshed med det

psykiske arbejdsmiljø

Fysisk hårdt arbejde



I hvilken grad er du enig i

nedenstående:

Der bliver fulgt op på de

samtaler, vi har om eventuelle

problemer i arbejdsmiljøet på

min arbejdsplads.

Hvor tilfreds er du alt i alt med

det psykiske arbejdsmiljø på din

arbejdsplads?

Hvor fysisk hårdt opfatter du

normalt dit nuværende arbejde?

: I meget høj grad ,

: I høj grad , :

Delvist , : I lav

grad eller :

I meget

lav grad

Skala fra 0 til 10.

: Meget utilfreds ,

: Meget tilfreds .

Skala fra 0 til 10.

: Ikke hårdt , :

Maksimalt hårdt

Meget enig , Enig ,

Uenig , Meget

uenig , Ved ikke .

Skalaen er vendt, så en

høj værdi angiver høj

grad af enighed.

Skala fra 0 til 10.

Sekundære effektmål:



Arbejdsmiljø og trivsel



Arbejdsmiljøindsatser



Bedre psykisk

arbejdsmiljø

Hvor enig er du i følgende

udsagn?

”I løbet af de seneste 6 måneder har

vi haft øget fokus på arbejdsmiljø og

trivsel.”

Har der inden for de seneste 6

måneder været igangsat

arbejdsmiljø-indsatser på din

arbejdsplads?

Hvor enig er du i følgende

udsagn?

”Initiativerne har alt i alt bidraget

til et bedre psykisk arbejdsmiljø.”

Hvor enig er du i følgende

udsagn?

”Initiativerne har alt

i alt bidraget

til et bedre fysisk

arbejdsmiljø.”

Er der i de sidste 6 måneder sket

en forbedring af det/de

pågældende

arbejdsmiljøproblem(er), I fik

påbud om?

Ja , Nej , eller Ved

ikke .

Konstrueret variabel,

hvor 1=

Meget uenig ,

Uenig , = Ved ikke ,

Enig , = Meget

enig .

Konstrueret variabel,

hvor = Nej , = Ved

ikke , =

Ja .

Konstrueret variabel,

hvor 1=

Meget uenig ,

Uenig , = Ved ikke ,

Enig , = Meget

enig .

Konstrueret variabel,

hvor 1=

Meget uenig ,

Uenig , = Ved ikke ,

Enig , = Meget

enig .

Konstrueret variabel,

hvor

= Nej , = Ved

ikke , =

Ja .

Meget enig , Enig ,

Uenig , Meget

uenig , Ved ikke .



Bedre fysisk

arbejdsmiljø

Meget enig , Enig ,

Uenig , Meget

uenig , Ved ikke .



Forbedringer

Ja , Nej , eller Ved

ikke .

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Procesevaluering



Besøg fra tilsynsførende

Har en tilsynsførende fra

Arbejdstilsynet være på besøg på din

arbejdsplads inde for de sidste 8

måneder?

Hvor enig er du i følgende udsagn?

”Der

var en god dialog med den

tilsynsførende.”

Ja , Nej , eller Ved

ikke .

Konstrueret

variabel, hvor

= Nej , = Ved

ikke , =

Ja .

Konstrueret

variabel, hvor

Meget uenig ,

Uenig , = Ved

ikke , = Enig

= Meget enig .



Dialog med

tilsynsførende

Meget enig , Enig ,

Uenig , Meget

uenig , Ved ikke .

Besvarelserne for de enkelte effektmål konverteres til en numerisk skala inden de indgår

i de statistiske analyser.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Bilag 2.

Non-respons- og frafaldsanalyser

I Tabel 13 og 14 fremgår svarprocenter i forskellige aldersgrupper samt opdelt efter køn

for henholdsvis URT og RT.

Tabel 13.

Svarprocenter ved baseline i URT, opdelt på køn og alder (tertiler)

Kvinder

Alder

<38 år

38-52 år

>52 år

15,7 %

27,5 %

37,1 %

11,0 %

21,2 %

29,2 %

Mænd

Tabel 14.

Svarprocenter ved baseline i RT-gruppen, opdelt på køn og alder (tertiler)

Kvinder

Alder

<38 år

38-52 år

>52 år

14,9 %

26,6 %

35,2 %

10,2 %

19,3 %

32,4 %

Mænd

For at undersøge, om der var statistisk signifikant forskel på de personer, der svarede og

ikke svarede på spørgeskemaerne i projektet, gennemførtes flere frafaldsanalyser.

Til analyserne af frafald anvendtes en logistisk regressionsmodel med en kategorisk

variabel for besvarelse/ikke besvarelse som responsvariabel. Som forklarende variable

indgik køn, alder målt i år og interventionsgruppe. I modellen indgik også arbejdsplads

som tilfældig effekt. I alle frafaldsanalyser er der taget udgangspunkt i den oprensede

bruttopopulation, dvs. medarbejdere, som var ansat på de pågældende arbejdspladser

(oprenset i forhold til e-indkomst), og kun fra de arbejdspladser, som fik tilsyn i

projektperioden.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Analyse af non-respons ved baseline generelt

For at den statistiske model kunne anvendes i baselineanalyserne af frafald, fjernedes

svar fra 13 arbejdspladser, hvor enten alle medarbejdere havde svaret, eller ingen havde

svaret. Det vil sige inden for disse arbejdspladser var der ikke nogle at sammenligne

med mht., om medarbejdere havde svaret eller ikke svaret på baselinespørgeskemaet.

Det var i højere grad kvinder end mænd, der svarede (OR=1,39, p<0,0001), og højere

alder (OR=1,04, p<0,0001) var associeret med besvarelse af baselinespørgeskemaet,

hvilket ofte er tilfældet ved besvarelse af spørgeskemaer[3]. Ved baseline svarede

personer i URT i højere grad end dem fra RT, omend forskellen på andelen af besvarelser

i de to grupper ikke er stor, dog var forskellen statistisk signifikant (OR=1,10, p<0,03).

Analyse af non-respons ved første opfølgning generelt

Ligesom ved baseline var dem, der svarede på første opfølgning karakteriseret ved

højere alder end dem, der ikke svarede, og forskellen var statistisk signifikant (OR=1,03,

p<0,0001). Der var ikke statistisk signifikant forskel i frafald mht. køn og

interventionsgruppe ved første opfølgning.

Analyse af frafald mellem baseline og første opfølgning

Med udgangspunkt i de medarbejdere, der svarede ved baseline, undersøgtes, om der

var et systematisk frafald mht. hvem af dem, der svarede igen ved første opfølgning

–

dvs. de medarbejdere, der indgik i hovedeffektanalyserne. Udover at undersøge

forskelle i køn, alder og interventionsgruppe blev det undersøgt om baselinebesvarelser

på de tre hovedeffektmål om arbejdsmiljøarbejdet, det ergonomiske arbejdsmiljø og det

psykiske arbejdsmiljø var relateret til frafaldet. For de personer, der ikke havde svaret på

ét eller flere af de tre effektspørgsmål, blev den hyppigst forekommende værdi for hvert

af de tre udfald anvendt som imputeret værdi i analyserne.

Højere alder var associeret med besvarelse af opfølgningsspørgeskemaet efter at have

svaret på baseline, og resultatet var statistisk signifikant (OR=1,03, p<0,0001). Der var

ikke statistisk signifikant forskel på frafaldet mht. køn og interventionsgruppe.

Baselinebesvarelse af de tre effektmål var ikke heller ikke signifikant forskellig blandt

dem, der svarede, og dem, der ikke svarede på første opfølgningsspørgeskema.

For at undersøge om der evt. var forskel i frafaldet for URT og RT fx mht.

baselinebesvarelser af effektudfald, blev alle vekselvirkninger mellem

interventionsgruppe og de andre variable undersøgt. Der blev ikke fundet statistisk

signifikante vekselvirkninger, dvs., der kunne ikke påvises forskel i frafaldet ml. URT og

RT, som ellers ville kunne have påvirket analyserne.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Bilag 3.

Transskribering og kodning af interviews

Observation af tilsyn

I forbindelse med analyse af interviews er observationsnoterne gennemlæst for at kunne

perspektivere interviewene. Dvs. i de tilfælde, hvor observationsnoterne omhandlede

samme emner som i interviewene og enten kunne styrke eller problematisere

interviewanalysen, er de blevet inddraget. Observationerne har ikke været genstand for

særskilt analyse.

Interviews med tilsynsførende

Interviewene blev først lyttet i gennem inden interviewene på arbejdspladserne. Herefter

blev interviewene med de tilsynsførende transskriberet af to eksterne transkribenter.

Mere systematisk analyse af interviews med de tilsynsførende blev lavet efter analyse af

arbejdspladsinterviewene.

Alle interviewtransskriptioner blev gennemlæst og kodet i forhold til de fire følgende

temaer defineret på forhånd:



Dialog og motivation: De tilsynsførendes vurderinger af, hvad der er god dialog,

og hvordan arbejdspladser motiveres til at forbedre arbejdsmiljøet.

Forskel på URT og RT: De tilsynsførendes beskrivelser af URT og RT og

eventuelle forskelle herimellem.

Effekt af påbud versus skriftlig/mundtlig vejledning: De tilsynsførendes

vurderinger af virkningerne af påbud, skriftlig vejledning og mundtlig

vejledning.



Tegn på spillover ml. URT og RT?: De tilsynsførendes beskrivelser af, hvordan

det havde været både at skulle gennemføre URT og RT i samme periode.

Desuden var der i interviewmaterialet vurderinger af de metoder, som de tilsynsførende

bruger, hvilket var relevant at have med i forhold til arbejdspladsernes vurderinger

heraf.

Derfor indgik følgende tema også i kodningen:



Vurdering af tilsynsmetoder: De tilsynsførendes oplevelser med og vurderinger

af observationer af ergonomi samt gruppesamtaler mht. afdækning af psykisk

arbejdsmiljø.

Kodningen og analysen af interviewene blev foretaget af en forsker fra NFA. På

baggrund af kodningen blev en første analyse lavet for hvert tema, inden analysen af

interviews med de tilsynsførende blev koblet til analyse af andre datakilder i

procesevalueringen.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Interviews på arbejdspladser

Alle interview blev transskriberet af en ekstern transkribent. Efter gennemførelse af

interviewene og på baggrund af interviewguiden blev der lavet en kode/temastruktur

med de gennemgående temaer og undertemaer i interviewene.

Tabel 15.

Kode-/temastruktur for analyse af interviews på arbejdspladser

Kode/tema

Dialog med

tilsynsførende

Gruppesamtale

relevans

Observation

forflytning relevans

Beskrivelse

Hvordan opleves de tilsynsførende, hvordan var dialogen

med de tilsynsførende?

Vurdering af gruppesamtalen: relevans, udbytte af

gruppesamtale

Hvorvidt observation oplevedes relevant, udbytterigt. Dette

har ikke været del af interviewguide, men spurgt til det

enkelte steder

Udfordringer ved

tilsyn - gennemførelse

Oplevede arbejdspladskonkrete udfordringer med hensyn til

gennemførelse af selve tilsynene? Eksempelvis i forhold til

brugen af tid på tilsyn og stille personale til rådighed til

gruppesamtale.

Påbud

Oplevelse af påbud

Umiddelbar reaktion på påbud, vurdering af rimelighed i

påbud, årsag til påbud klar for arbejdsplads?

Håndtering af påbud

Inddragelse af andre

Relaterede indsatser

Hvad har de konkret gjort for at løse problemstilling?

Har de inddraget andre i arbejdet med at efterkomme påbud?

Har arbejdet med påbud afstedkommet andre relaterede

indsatser? Eksempler på konkrete indsatser

Vurdering af

tidsfrister

Tidsfrister på tilbagemelding på påbud - hvordan opleves de

af arbejdsplads? Både i forhold til strakspåbud og "alm."

påbud

Skriftlige vejledninger

Anvendelighed af

Var vejledning relevant for arbejdsplads, oplevede de den

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

vejledning

Håndtering af

vejledning

Relaterede indsatser

som brugbar?

Arbejdspladsens håndtering af skr. vejledning - hvad har de

konkret gjort for at arbejde med emnet

Har arbejde med vejledningsemne afstedkommet andre

relaterede indsatser?

Mundtlig feedback

til arbejdspladsen

Vurdering af

feedbacken

Konkrete tiltag efter

feedback

Sparring med

tilsynsførende

Hvad har de konkret fået af mundtlig positiv og negativ

feedback fra den tilsynsførende?

Umiddelbar reaktion på feedback, oplevelse af feedbacken, fx

relevans af feedbacken

Hvad har arbejdsplads konkret gjort i forhold til af følge op

på feedback, der indeholdt forslag til ændringer?

Oplever arbejdsplads at kunne få sparring eller ej omkring

arbejdsmiljø? Fokus på om arbejdsplads oplever at kunne

bringe emner på banen, som de kan få sparring på fra de

tilsynsførende. I modsætning til feedback, handler sparring

her om det arbejdspladsinitierede

Virkning af påbud

versus vejledning

Motiverer tilsyn

Vurdering af hvad der virker bedst og hvordan/hvorfor:

påbud versus skriftlig vejledning versus mundtlig vejledning.

I hvor høj grad motiverer tilsyn til at arbejde med

arbejdsmiljø?

Ændringsforslag,

tilsyn

Samarbejde leder og

AMR

Konkrete bud på ændringsforslag - eller afvisning af at

komme med bud herpå, når der er spurgt om det

AMR/leder beskriver deres vurdering af deres samarbejde og

ex. konkrete opgavefordeling i forhold til

arbejdsmiljøarbejdet

Ressourceforbrug

versus udbytte

Sammenhæng ml.

tilsyn og øvrige

Arbejdsplads vurdering af ressourceforbrug, fx tidsforbrug i

forhold til det udbytte, de har fået ud af tilsynet.

Oplever arbejdsplads at der er sammenhæng mellem det

tilsynet har fokus på og det arbejdsmiljøarbejde, de ellers

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

arbejdsmiljøarbejde

Fordele ved tilsyn

laver?

Beskrivelser af overordnede fordele ved at Arbejdstilsynet

gennemfører tilsyn generelt

Ulemper ved tilsyn

Beskrivelser af overordnede ulemper ved at Arbejdstilsynet

gennemfører tilsyn generelt

Muligheder pga. tilsyn

Hvilke muligheder giver tilsyn konkret arbejdspladsen i

forhold til deres arbejdsmiljøarbejde/arbejdsmiljø

Arbejdstilsynets

mulighed for

påvirkning af

arbejdsmiljø

Åbenhed overfor

Arbejdstilsynet

Kritikpunkter

Arbejdstilsynet

Psykisk arbejdsmiljø

versus ergonomi

AMR/leders vurdering af om Arbejdstilsynet har mulighed

for at påvirke deres arbejdsmiljø?

Åbenhed versus frygt for at få påbud. Hvor åbne er

arbejdspladser på tilsyn, hvor meget prøver de at skjule?

Kritikpunkter, der falder uden for andre koder. Ex kritik af

faktuelle fejl i tilbagemeldingsrapporter fra Arbejdstilsynet.

Vurderinger/oplevelser af om der forskel på at få påbud (evt.

skriftlig vejledning) indenfor det psykiske ergonomiske. (De

færreste har dog kunnet svare på dette, da de ofte ikke har

oplevet begge dele).

To interviews blev kodet af to forskellige forskere og efterfølgende sammenholdt for at

diskutere indholdet i de forskellige koder og blive enige om en definition for hver enkelt

kode/tema. Herefter blev resten af interviewene kodet af en enkelt forsker. I første del af

analysen blev hver kode gennemarbejdet enkeltvis for at undersøge arbejdspladsernes

oplevelser i forhold til de forskellige temaer. Herefter blev analysen kondenseret på

tværs af temaerne.

Grundet det relativt lave antal arbejdspladser i interviewanalysen og meget forskellige

cases var det meget begrænset med sammenligning af arbejdspladser fra URT med

arbejdspladser i RT, da konteksten for de enkelte arbejdspladser, og hvorvidt

arbejdspladsen fx havde fået et påbud, syntes at spille en større rolle end tilsynstypen.

Ligeledes blev der heller ikke fokuseret på forskelle i oplevelser mellem leder og

medarbejderrepræsentanter, men i analysen har det hele tiden været fastholdt, om

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

udtalelser var fra leder eller medarbejderrepræsentant. For nogle arbejdspladser var det

tydeligt, at der var forskellig holdning til forskellige temaer, hvorfor det af

procesevalueringens resultater fremgår, hvorvidt udtalelser kommer fra leder eller

arbejdsmiljørepræsentant.

BEU, Alm.del - 2018-19 (1. samling) - Bilag 249: Orientering om resultat af evaluering af udvidet risikobaseret tilsyn i døgninstitutioner og hjemmepleje, fra beskæftigelsesministeren

Lersø Parkallé 105

2100 København Ø

T 39 16 52 00

F 39 16 52 01

E [email protected]

W www.nfa.dk