UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Uddannelses- og Forskningsudvalget 2018-19 (1. samling)
UFU Alm.del Bilag 42
Offentligt

Notat

Notat om institutionsakkreditering og uddannelsesakkreditering

Styrker og svagheder ved det nuværende IA koncept ............................................ 2

Inddragelse af interessenter og systematisk erfaringsopsamling ........................... 7

Erfaringsindsamling fra institutioner ........................................................................ 9

Panelmedlemmers vurdering af institutionsakkreditering ...................................... 13

Dokumentationsomfanget ifm. institutionsakkreditering ........................................ 16

Antal interviewpersoner ved institutionsakkrediteringer ........................................ 22

Uddannelsesakkrediteringer – omfang af dokumentation og personer

interviewet under besøg ........................................................................................ 24

Overblik over belastningsindikatorer ved hhv. UA og IA ....................................... 31

Bilag: Internationale erfaringer med mindskelse af dokumentationsbyrden.......... 32

November 2018

Danmarks

Akkrediteringsinstitution

Bredgade 38

1260 København K

Tel. 3392 6900

Fax 3392 6901

[email protected]

www.akkr.dk

CVR-nr. 3060 3907

Side 1/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Styrker og svagheder ved det nuværende IA koncept

I forbindelse med Styrelsens evaluering af institutionsakkreditering, er Danmarks

Akkrediteringsinstituion (AI) blevet bedt om at afgive denne redegørelse

, der rum-

mer såvel data om fx dokumentationsomfang som kvalitative beskrivelser og ana-

lyser vedr. erfaringer med det nuværende system. Vi indleder med en vurdering af

styrker og svagheder ved det nuværende koncept.

Styrelsen har også bedt om forslag til ændringer og lettelser i akkrediteringssyste-

met, men de formuleres aktuelt i de interne processer hos AI og Akkrediteringsrå-

det. De drøftes på rådsmøderne i efteråret (6. oktober og 28. november), hvor rå-

det skal tage konkret stilling til ændringer i genstandsfelt og metode for runde 2.

Formålet med ændringerne er at fastholde (og måske endda styrke) nytteværdien

af institutionsakkreditering og opnå en betydelig reduktion i omfanget af dokumen-

tation gennem blandt andet (men ikke alene) en mere fokuseret og målrettet til-

gang. Den fremadrettede del må afvente rådets proces og kommer derfor ikke

med i dette bidrag til styrelsen.

Dette korte oplæg fokuserer altså alene på styrker og svagheder ved det nuvæ-

rende koncept, og det baserer sig på opsamling af erfaringerne, hvoraf nogle

fremgår i de efterfølgende kapitler i dette notat. Analysen rummer overvejelser om

metode og proces samt indhold og resultater.

Siden 2014 er der i skrivende stund afgjort 28 sager om institutionsakkreditering,

heraf fem opfølgninger på betinget positive akkrediteringer. Erfaringerne baserer

sig på disse 28 sager.

Styrker

Metode og proces

Rummelige kriterier og fleksibel udmøntning

Intentionen bag lovændringen fra 2013 var at skabe et fælles eksternt kvalitetssik-

ringssystem for hele spektret fra små, specialiserede uddannelsesinstitutioner til

store, fagligt brede institutioner. De fem kriterier fra bekendtgørelsen udgør en fæl-

les referenceramme for forventningerne til et velfungerende kvalitetssikringssy-

stem. Kriterierne udgør ikke en facitliste og er efter vores vurdering formuleret til-

pas rummeligt til at kunne indfange institutionernes forskellige systemer, organise-

ringer, strategier og prioriteringer. AI har i praksis har været i stand til at udmønte

kriterierne i overensstemmelse med lovintentionen om tilpasning til institutionstype

og den enkelte institutions særlige karakteristika med henblik på at sikre størst

mulig relevans for den enkelte institution. Tilbagemeldingerne fra institutionerne

(se senere kapitel) peger på, at processen med institutionsakkreditering i flere til-

fælde er blevet brugt til at understøtte en intern organisationsudvikling. De rum-

melige kriterier og den fleksible udmøntning er en klar styrke ved det nuværende

koncept.

Notatet er oprindeligt afleveret 1. september 2018. Denne version er primo november

2018 lettere redigeret mhp. offentliggørelse.

Side 2/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Veldefineret metode med høj legitimitet

En anden styrkeposition er metoden, der følger de fælles europæiske standarder

(ESG'erne). Metoden er internationalt ankerkendt og er dermed med til at skabe

gennemsigtighed og legitimitet.

Metodeelementerne er institutionens selvevalueringsrapport, deltagelse af et ek-

spertpanel, institutionsbesøg (med en enkelt undtagelse altid to besøg), og en of-

fentligt tilgængelig akkrediteringsrapport. For at belyse praksis af institutionernes

kvalitetssikringssystemer indgår stikprøvekontroller i form af audit trails (tematiske

neddyk), som panelet udvælger og går i dybden med på institutionsbesøget. I au-

dit trails indgår en eller flere uddannelser, der varierer i antal afhængigt af instituti-

onens størrelse, kompleksitet og geografiske spredning. På de store flerfaglige in-

stitutioner har antallet af uddannelser, der har indgået, været helt op til mellem 25-

30 i alt for at sikre en tilstrækkelig dækning mht. centrale fagområder. De udvalgte

temaer for audit trails kan også variere og afspejler bl.a. den enkelte institutions

system, prioriteringer og evt. udfordringer. Så inden for rammerne af den faste og

veldefinerede metode er der plads til forskellighed og variation, hvilket er en klar

styrke.

Velkvalificerede formænd og øvrige medlemmer af ekspertpanelerne

Centralt i metoden er peer-elementet. I den sammenhæng er det afgørende at re-

kruttere kvalificerede formænd og øvrige medlemmer af panelerne. I akkredite-

ringsvejledningen er beskrevet retningslinjer l for sammensætning af paneler, her-

under ekspertprofiler og antal deltagere. AI er grundig i rekrutteringsprocessen og

baserer ofte valget af (nye) panelformænd og medlemmer på anbefalinger fra AI's

søsterorganisationer eller tidligere panelformænd, som AI har gode erfaringer

med. I takt med antallet af gennemførte institutionsakkrediteringer har AI desuden

tilstræbt at genbruge panelmedlemmer, der har opnået et grundigt kendskab til

metoden og konceptet.

AI prioriterer en grundig træning af panelerne for at sikre en fælles forståelse af

kriterier og metode inden processen for alvor går i gang. I det seneste ENQA re-

view fra 2016 roses AI meget for den professionelle tilgang til rekruttering og træ-

ning af ekspertpanelerne. Institutionerne melder også positivt tilbage mht. valg af

panelmedlemmer og panelernes professionelle tilgang til opgaven på institutions-

besøgene.

Stærk, professionel operatør

Ekspertpanelerne foretager de faglige vurderinger, mens AI er ansvarlig for me-

tode, proces og sekretariatsbetjening af panelerne. AI har blandt andet kontakt til

institutionen, planlægger besøgsprogram, panelmøder, rapportskrivning, hørings-

proces mv. AI har desuden ansvaret for at sikre konsistens på tværs af de mange

sager, forberedelse af materiale til rådet og den efterfølgende dialog med instituti-

onen efter afgørelsen. Denne arbejdsdeling er meget lig den, der eksisterer, i de

øvrige nordiske lande, med undtagelse af, at AI står for selve skrivearbejdet i sam-

arbejde med ekspertpanelet.

Den stærke professionalisme og kapacitet i AI’s sekretariatsbetjening af panelerne

er en styrke og forudsætning for at sikre den tværgående konsistens, grundighed

og kvalitet i rapporterne. Den generelle tilbagemelding fra ekspertpanelerne er, at

Side 3/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

standarden og kvaliteten af såvel den faglige som den praktiske sekretariatsbetje-

ning er meget høj.

Grundige og velunderbyggede rapporter som afgørelsesgrundlag for Akkredite-

ringsrådet

Akkrediteringsrapporterne med indstilling til rådet er grundlaget for rådets afgørel-

ser. Det er derfor centralt, at rapporterne er grundige og velargumenterede med

udgangspunkt i den indsamlede dokumentation og panelernes faglige vurdering

heraf. For at tydeliggøre hvordan AI og panelerne har behandlet høringssvaret fra

institutionerne indeholder rapporterne panelernes stillingtagen hertil. Det betyder

samtidig, at rapporterne i nogle tilfælde kan være omfattende. Institutionerne mel-

der generelt tilbage, at de er glade for de grundige rapporter, hvor de kan gen-

kende sig selv.

Indhold og resultater

Styrket ledelsesansvar og tydeliggørelse af organisering af kvalitetsarbejdet

Erfaringerne med institutionsakkreditering peger entydigt på, at processen med in-

stitutionsakkreditering har bidraget til at tydeliggøre, at ansvaret for kvalitetsarbej-

det er placeret i ledelsesstrengen og i sidste instans hos den øverste ledelse. Le-

delsesforankring af kvalitetsansvaret var en eksplicit målsætning med lovændrin-

gen fra 2013 med overgang fra uddannelsesakkreditering til institutionsakkredite-

ring. Det er en gennemgående erfaring, at institutionerne er kommet relativ langt

med at etablere en organisering for kvalitetsarbejdet, der samtidig understøtter le-

delsesforankringen af kerneopgaven med uddannelse, forskning og udviklingsar-

bejde. Det gælder, uanset om der er valgt en løsning med central organisering el-

ler overvejende decentrale enheder.

Øget fokus på kvalitetsarbejde

Erfaringen viser, at overgangen til institutionsakkreditering har igangsat en positiv

udvikling i institutionernes kvalitetskulturer bl.a. gennem etablering af et fælles

sprog, og at det har understøttet et fælles ansvar for og engagement i uddannel-

seskvalitet på tværs af de forskellige niveauer på institutionerne fra studerende og

undervisere til ledelse. Institutionsakkrediteringen har samtidig bidraget til at skabe

selvbevidste institutioner, der i højere grad end tidligere er parat til at åbne sig og

lære af andre. Det sidste kendetegner især de professions- og erhvervsrettede ud-

dannelsesinstitutioner.

Etablering af nøgletal og ledelsesinformation

Med institutionsakkreditering er der på institutionsniveau skabt effektive systemer

for indsamling og anvendelse af centrale nøgletal, herunder fastlæggelse af græn-

seværdier, og øvrig relevant ledelsesinformation om uddannelseskvalitet og -rele-

vans. Der er samtidig kommet et tydeligere fokus på opfølgning og handling på

kvalitetsproblemer, som ikke tidligere sås i samme omfang og med samme grad af

systematik. Der er selvfølgelig fortsat forskel på, hvor langt institutionerne er nået

med at etablere effektive informationssystemer, og heller ikke alle institutioner har

i første omgang opnået en positiv akkreditering.

Side 4/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Systematisk brug af undervisningsevalueringer

Institutionsakkreditering har stimuleret til en systematisk brug af undervisningseva-

luering og opfølgning herpå. Fra uddannelsesakkreditering ved vi, at undervis-

ningsevaluering nogle steder indgik mere sporadisk i uddannelsernes kvalitetsar-

bejde. Det billede genkender vi ikke i dag, hvor der er kommet langt større fokus

på anvendelsen af undervisningsevalueringer i arbejdet med at kvalitetssikre de

enkelte uddannelser og udbud.

Svagheder

De skitserede svagheder relaterer sig til dokumentationsomfang, utilsigtet ind-

holdsmæssigt fokus samt overlap mellem kriterier.

Omfattende dokumentation

Som det fremgår af et senere kapitel, er dokumentationsomfanget i de enkelte ak-

krediteringer stort, og det skal uden tvivl nedbringes betragteligt i anden runde.

Omfanget af dokumentation varierer mellem sager, men for alle sager gælder det,

at omfanget af dokumentation er for stort. Det gennemsnitlige antal sider for en in-

stitutionsakkreditering er i alt ca. 3.500. Den største kilde til dokumentation er au-

dit trail-materialet, men også selvevalueringsrapporterne er i flere tilfælde meget

omfattende. Det er især bilagsdelen, der er omfattende, mens selve rapportdelen

er på et mere acceptabelt niveau mellem 35 og 130 sider.

Der er flere årsager til den omfattende dokumentation. Centralt er selve det for-

hold, at vi i det danske akkrediteringssystem har et uforholdsmæssigt stærkt fokus

på dokumentation af

gennemprøvet kvalitetssikringspraksis

sammenlignet med til-

svarende akkrediteringssystemer i andre lande. Praksisefterprøvningen har om-

vendt skabt tillid til, at vurderingerne hviler på et solidt og sikkert grundlag, hvilket

understøtter formålet med første runde, som i høj grad har været at skabe sikker-

hed for, at de grundlæggende kvalitetssikringssystemer er på plads og fungerer i

praksis. Som konsekvens heraf har AI i første runde lagt betydelig vægt på den

skriftlige dokumentation som grundlag for den faglige vurdering.

Det er også værd at bemærke, at et stort flertal af paneler anbefaler den institu-

tion, de har vurderet, at overveje at se på om mængden af dokumentation i deres

kvalitetssikringssystem er hensigtsmæssig. Det kunne indikere, at en del institutio-

ner har anlagt en strategi om hellere at dokumentere for meget end for lidt i deres

interne system, for at leve op til kravene om et velbeskrevet system.

Selvom fokus for anden runde ikke er fastlagt endnu, er det vores forventning, at

der ikke vil være samme behov for dokumentation af de grundlæggende elemen-

ter i kvalitetssikringssystemet, herunder dokumentation af nedskrevne procedurer

og processer. Hvis denne del udgår eller reduceres, vil det i sig selv indebære en

reduktion i dokumentationsmaterialet. Herudover overvejes andre metodiske greb

til at nedbringe dokumentationsomfanget.

Utilsigtet indholdsmæssigt fokus

I første runde har det vejet tungt, at institutionen kunne vise, at der var ned-

skrevne, obligatoriske procedurer for de forskellige led i kvalitetssikringsarbejdet.

Det ”nedskrevne” bidrager til at opfylde lovens forventninger om, at kvalitetssyste-

met bl.a. skal være ”velbeskrevet” og ”veldokumenteret”. Og det ”obligatoriske”

Side 5/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

gør, at proceduren med sikkerhed kan betragtes som en del af institutionens kvali-

tetssystem. Når det har kunnet konstateres, at der var tale om en nedskrevet og

obligatorisk procedure, har panelet vurderet, om der var tale om en hensigtsmæs-

sig procedure, og dernæst set på hvordan den er anvendt i praksis. I den forbin-

delse har det ofte givet anledning til kritik, hvis institutionen ikke gjorde det, den

selv havde angivet med sine procedurer. Dvs. at der har været meget fokus på

overensstemmelse mellem procedurer og praksis.

Der er gode grunde til, at første runde har lagt vægt på, at der er et nedskrevet,

obligatorisk og i øvrigt hensigtsmæssigt kvalitetssystem, som føres ud i livet som

planlagt. Svagheden derved er dog, at der er en risiko for, at praksis

–

også rigtig

god kvalitetssikringspraksis

–

som ikke er omfattet af en nedskrevet procedure,

ikke tæller positivt og ikke får meget opmærksomhed, når udgangspunktet er det

beskrevne. Forsøg og eksperimenter med nye måder at organisere og gennem-

føre kvalitetsarbejde på, har heller ikke vejet tungt på den positive side

–

primært

fordi de ikke (endnu) er en fast del af kvalitetssystemet. Samtidig vil en ny og der-

med begrænset praksis være vanskelig at dokumentere. Svagheden er således,

at denne tilgang til akkreditering kun i mindre grad støtter institutionernes (lyst til)

udvikling af deres kvalitetsarbejde. Flere IA-rapporter fremhæver ganske vist insti-

tutionens arbejde med at udvikle sit kvalitetsarbejde som et positivt træk. Men det

grundlæggende fokus på et nedskrevet og obligatorisk kvalitetssystem som be-

skrevet ovenfor kan ikke siges at være stærkt til at understøtte udvikling.

En anden svaghed er, at det i mindre grad er blevet efterprøvet, om institutionerne

i deres kvalitetsstrategi og politikker har fastsat ambitiøse mål, som kriterium I stil-

ler som krav. Om institutioner har sat ambitiøse mål og skabt progression år for år

i kvalitetsstandarderne har for det meste ikke været genstand for vurdering, og

derfor er "høje ambitioner" på en institution ikke blevet vægtet mere positivt end

mindre ambitioner på en anden, når panelet har vurderet kvalitetsstandarder og

udvikling i uddannelsernes kvalitet.

Overlap mellem kriterier

På det professions- og erhvervsrettede område er der et overlap mellem kriterium

III om videngrundlag og kriterium V om relevans. I K III skal institutionen vise,

hvordan den sikrer, at der tilgår uddannelserne ny viden fra forskning, udviklings-

arbejde og erhverv eller profession. Særligt sidstnævnte giver et overlap med K V,

hvor institutionen skal vise, hvordan de løbende har kontakt med aftagersiden for

at sikre uddannelsernes relevans. I begge tilfælde er sikring af god og systematisk

kontakt med aftagerne med til at opfylde kriteriet. Eneste

–

hårfine og primært

analytiske

–

forskel er, at K III angår procedurer for tilgang af viden som bruges af

underviserne i undervisningen, mens K V angår procedurer for tilgang af viden,

som også kan påvirke uddannelsernes mål, opbygning mv. For den enkelte institu-

tion er der i praksis stort set altid tale om de samme procedurer og aktiviteter.

I K III er det endvidere ret vanskeligt at skelne mellem underpunkt 1 og 3. Reelt

angår de det samme forhold, nemlig hvordan institutionen sikrer, at uddannelserne

er baseret på ny, relevant viden.

Side 6/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Inddragelse af interessenter og systematisk erfaringsopsamling

AI har i forbindelse med gennemførelsen af første runde af institutionsakkrediterin-

ger haft en systematisk inddragelse af eksterne interessenter for at understøtte en

kontinuerlig videreudvikling og tilpasning af det nuværende IA-koncept samt forbe-

rede udviklingen af det nye IA-koncept til andenrunde.

Formålet med inddragelsen har været at give AI et 360-graders syn på, hvordan IA-

konceptet har virket i praksis, og hvordan det er blevet opfattet af uddannelsesinsti-

tutionerne og øvrige aktører i uddannelsessektoren. I forlængelse af de synspunkter

har formålet også været at høre deres forslag til justeringer og forbedringer af kon-

ceptet.

Det har således de seneste tre år været en integreret del af AI’s mål-

og resultatplan,

at AI løbende foretager en generel og systematisk erfaringsopsamling både blandt

uddannelsesinstitutionerne, i Akkrediteringsrådet, blandt de enkelte akkrediterings-

paneler samt fra institutionernes kvalitetsudvalg og rektorforsamlinger.

Overordnet set har interessentinddragelsen været håndteret i tre spor:



Erfaringsopsamling i relation til den enkelte IA



Akkrediteringsrådets dialog med repræsentanter fra uddannelsessektoren



AI’s bilaterale møder med uddannelsesinstitutioner samt oplæg mv.

De tre spor for interessentinddragelse har understøttet hindanden. Nedenfor er ind-

holdet i de enkelte spor beskrevet.

Erfaringsopsamling i relation til den enkelte IA

Ved afslutningen af hver IA foretages der to mindre mundtlige evalueringer. Den

ene evaluering er mellem AI’s ledelse og uddannelsesinstitutionen. Den anden eva-

luering er med akkrediteringspanelet.

Evalueringen med uddannelsesinstitutionen har fokus på erfaringsopsamling om

akkrediteringsrapportens kvalitet og anvendelighed for institutionens egen efterføl-

gende kvalitetsudvikling. AI har brugt erfaringerne fra disse evalueringer til blandt

andet at justere dokumentationsomfanget og brugen af audit trails.

Evalueringen med akkrediteringspanelet har fokus på den anvendte metode, ar-

bejdsdelingen mellem panelet og AI samt panelets organisering af arbejdet. AI har

brugt erfaringerne fra disse evalueringer til blandt andet at justere ansvarsfordelin-

gen blandt medlemmerne i det enkelte akkrediteringspanel for at opnå en bedre

anvendelse af paneldeltagernes ressourcer.

De to typer af slutevalueringer har ligeledes bidraget til AI’s

arbejde med at udvikle

det nye IA-koncept til anden runde. I næste kapitel er en kort opsamling på de gen-

nemførte evalueringer.

Rådets dialog med repræsentanter fra uddannelsessektoren

I samarbejde med AI samler Akkrediteringsrådet løbende op på erfaringerne fra de

hidtidige institutionsakkrediteringer i generelle termer med henblik på at styrke

Side 7/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

grundlaget for videreudviklingen af akkrediteringskonceptet. Det sker både på bila-

terale møder mellem rådsformanden og repræsentanter fra uddannelsessektoren

hhv. arbejdsmarkedets parter samt på rådsseminarer, hvor eksterne interessenter

får mulighed for at bidrage med deres vinkel på akkrediteringsarbejdet.

Den 9. november 2018 afholdt Rådet et seminar, hvor der var en bred deltagerkreds

fra uddannelsessektoren. Seminaret havde blandt andet til formål at opsamle erfa-

ringer fra første runde, der kunne bruges til at styrke beslutningsgrundlaget for,

hvordan konceptet for anden runde kan se ud i praksis.

Rådet nedsætter også løbende arbejdsgrupper, der undersøger konkrete spørgs-

mål, blandt andet om

den anvendte metode. Her inddrages AI’s

ovennævnte erfa-

ringsopsamling fra møder med uddannelsesinstitutionerne.

AI’s bilaterale møder med uddannelsesinstitutioner samt oplæg mv.

Det fremgår af AI’s mål-

og resultatplan, at AI selv afholder eller deltager i ca. 30

møder om året, herunder oplæg for uddannelsesinstitutionernes kvalitetsudvalg og

rektorforsamlingerne. Det giver AI en solid platform for erfaringsindsamling og inte-

ressentinddragelse gennem dialogen på møderne og til oplæggene.

AI har desuden kvartalsvise møder med sekretariaterne for rektorforsamlingerne for

henholdsvis professionshøjskolerne og erhvervsakademierne, ligesom AI’s direktør

løbende har møder med direktøren for Danske Universiteter.

Erfaringerne fra disse

møder bruges løbende i AI’s justeringer af det nuværende

akkrediteringskoncept samt til udviklingen af det nye koncept, ligesom det giver AI

mulighed for løbende at holde rådet orienteret om, hvad der sker i uddannelsessek-

toren med relevans for akkreditering.

Vurdering af udbyttet af interessentinddragelsen

Det er AI’s vurdering, at de forskellige typer af interessentinddragelse har under-

støttet hinanden og har givet et godt indtryk af, hvordan akkrediteringskonceptet har

fungeret i praksis, herunder identificering af styrker og svagheder, der løbende er

blevet justeret i det nuværende koncept.

Den brede interessentinddragelse ad forskellige kanaler har også understøttet et

nuanceret billede af, hvor det nye akkrediteringskoncept med fordel kan bygge vi-

dere på det eksisterende, og hvor der er behov for forandring.

Side 8/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Erfaringsindsamling fra institutioner

Dette kapitel er en opsamling på evalueringer med de institutioner, der gennemgik

en institutionsakkreditering (IA) i 2016-2017.

Efter hvert forløb afholder AI evalueringsmøde med den pågældende institution,

hvor teamet fra AI mødes med repræsentanter fra institutionen, fx kvalitetschefen

og udvalgte kvalitetsmedarbejdere. Møderne følger en fast struktur på baggrund af

en række dagsordenspunkter, der gennemgås. Fx skal vejledningen, akkredite-

ringspanelet, besøgene, dokumentationskravene og rapporten drøftes. Dette kapi-

tel bygger på en analyse af de skriftlige referater fra evalueringsmøderne samt en

mundtlig dialog med både projektledere og projektejere, der løbende er i kontakt

med institutionerne. Det er vigtigt at understrege, at AI undervejs i første runde har

justeret metoden og processen for institutionsakkrediteringerne efter institutioner-

nes og panelernes tilbagemeldinger. Denne opsummering er altså baseret på de

mundtlige tilbagemeldinger, som institutionerne giver til AI’s ledelse, relativt kort

efter afgørelsen af akkrediteringen.

Overordnet

Der er helt overvejende positive tilbagemeldinger fra institutionerne angående før-

ste runde. Det er institutionernes oplevelse, at deres kvalitetsarbejde er blevet for-

bedret i forberedelsen forud for en institutionsakkrediteringsproces, at arbejdet

med kvalitetssikring skaber et fælles sprog blandt medarbejderne på institutionen,

at samarbejdet med AI har været velfungerende, og at mødet med akkrediterings-

panelerne har været givende. Generelt oplever institutionerne, at det har været et

grundigt system, der har stillet høje krav til bl.a. videngrundlag. Der har været en

høj detaljeringsgrad; både i kravene til dokumentationen, i fokus på besøgene og

den endelige rapports indhold. Nedenstående uddyber dels institutionernes posi-

tive oplevelser, dels deres kritiske tilbagemeldinger med ønsker til forbedringer.

Krav: vejledning og dokumentation

Alle institutioner melder tilbage, at der har været en god dialog på møder og i øvrig

kontakt undervejs med konsulenterne om vejledningens begreber og krav.

AI og rådet har løbende udgivet supplerende eller opdaterede notater til vejlednin-

gen, som har haft til formål at præcisere Akkrediteringsrådets forventninger til in-

stitutionernes kvalitetsarbejde og erfaringsopsamle fra de gennemførte instituti-

onsakkrediteringer. Det er nogle enkelte institutioners oplevelse, at disse notater

er blevet sendt ud for sent i forhold til indleveringsfristen for selvevalueringsrap-

porten, så institutionerne ikke har kunnet nå at forholde sig til de præciserede

krav. Det er vigtigt at præcisere, at notaterne har været udsendt løbende, hvorfor

nogle institutioner har oplevet, at notaterne var i karambolage med deres konkrete

IA-processer på det givne tidspunkt. Der har på flere institutioner været usikkerhed

om disse notater, herunder, hvilken status de har ift. vejledningen, og hvad bag-

grunden har været for at publicere dem. De ønsker, at AI fremover arbejder på at

tydeliggøre status og formål med disse notater, og at de indarbejdes i vejlednin-

gen.

Flere institutioner melder tilbage, at der er et ønske om større klarhed om forvent-

ning til formen på det materiale, som institutionerne skal sende ind. Både i forbin-

Side 9/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

delse med selvevalueringen og audit trail-materialet. Særligt om audit trail-materi-

alet har nogle institutioner været i tvivl: Hvad skal materialet illustrere? Hvad er

formålet med at få bestemt materiale? Ønsker AI at modtage eksempler på en

praksis eller procedurer, eller ønsker man samtlige dokumenter tilsendt? Hvordan

dokumenterer man gennemført praksis? Forud for indsendelse af audit trail-mate-

riale afholder AI et møde med repræsentanter fra institutionerne, typisk kvalitets-

medarbejdere, hvor akkrediteringspanelets ønsker til dokumentation bliver gen-

nemgået. I evalueringerne roser institutionerne dette møde, som de oplever som

konstruktivt, men der er på trods af dette møde altså i nogle tilfælde et behov for

klarere krav til særligt audit trail-materialet.

En institution fremhæver, at der med audit trail-materialet har været stor frihed til

at vælge, hvad institutionen selv vurderede, var relevant. Det oplevede de som po-

sitivt.

Akkrediteringspanel

Flere institutioner roser sammensætningen af akkrediteringspanelet, herunder bru-

gen af anerkendte nordiske eksperter. Panelets medlemmer og sammensætning

har betydning for, hvor legitimt og relevant rapportens konklusioner opfattes af in-

stitutionerne. Nogle institutioner problematiserer dog brugen af nordiske panel-

medlemmer på grund af den sprogbarriere, som særligt de studerende på besø-

gene kunne opleve.

En institution fremhæver brugen af andre, nordiske rektorer i panelet, som afgø-

rende for den efterfølgende legitimitet blandt eksterne samarbejdspartnere. Også

fordi rektorer ifølge institutionen har en bedre forståelse for institutionernes virke-

lighed og det at lede en uddannelsesinstitution.

Det er generelt institutionernes opfattelse, at akkrediteringspanelet, herunder sær-

ligt formanden, har været meget velforberedte og tydeligvis læst materialet og for-

stået den pågældende institution.

En enkelt institution har anbefalet bedre brug af eksperter med deres særlige per-

spektiver, dvs. en større sammenhæng mellem de spørgsmål, de enkelte panel-

medlemmer stiller, hvem de interviewer og deres profil, fx at arbejdsmarkedsprofi-

len i panelet taler med institutionens eksterne samarbejdspartnere.

Besøg

Alle institutionerne finder det positivt, at akkrediteringspanelerne kommer på be-

søg. Både ledelse, undervisere og studerende har været glade for den mundtlige

dialog med panelerne.

Der er et ønske om, at rollefordelingen mellem panel og AI bliver tydeligere og

fremover bliver kommunikeret ud til institutionen forud for besøgene. Enkelte insti-

tutioner har således meldt tilbage, at deltagerne under besøgene har været usikre

på, hvorfor konsulenterne fra AI også stillede spørgsmål.

En enkelt institution melder tilbage, at antallet af interviewpersoner ved enkelte

møder var for højt til, at alle repræsentanter fra uddannelsesinstitutionen havde

mulighed for at bidrage.

Side 10/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

En institution betoner vigtigheden af, at bestyrelsesformanden deltager, så man

kan se, at systemet er forankret på øverste niveau.

Slutteligt melder en institution tilbage, at panelets afsluttende møde med institutio-

nens ledelse på andet besøg bør rammesættes bedre, da den pågældende le-

delse var overrasket over at få nye spørgsmål og havde forventet en tilbagemel-

ding på panelets konklusioner.

Rapport

De fleste institutioner fremhæver, at den endelige rapport er meget grundig, vel-

skrevet og tegner et retvisende billede af institutionen. Flere institutioner fremhæ-

ver, at kritikpunkterne i rapporten var meget håndterbare og konkrete i det videre

kvalitetsarbejde.

En enkelt institution påpeger, at det kunne være hensigtsmæssigt, hvis kritikpunk-

terne blevet suppleret med anbefalinger i rapporten uanset panelets vurdering (på

nuværende tidspunkt indgår anbefalinger kun i rapporter med indstilling til positiv

institutionsakkreditering) for derigennem at øge konkretiseringen af kritikpunk-

terne.

Nogle institutioner påpeger, at der i rapporten flere gange bliver brugt formulerin-

gen: ”… i tilstrækkelig grad” uden at det specificeres yderligere, hvad der menes.

Flere institutioner påpeger vigtigheden af, at helhedsvurdering og indstilling i be-

gyndelsen af rapporten (der fungerer som ”executive summary”) afspejler

rappor-

tens vurderinger og panelets bemærkninger; både positive og negative, da de eks-

terne samarbejdspartnere typisk kun læser denne del af rapporten.

Den samlede proces

Generelt set oplever institutionerne den samlede institutionsakkrediteringsproces

som tidskrævende, særligt i det store dokumentationsarbejde. Flere institutioner

fremhæver, at de har været nervøse for ikke at levere nok materiale til AI.

Flere institutioner melder tilbage, at akkrediteringsprocessen har fungeret som en

god teambuildingøvelse for hele institutionen og har skabt en holdånd i de forskel-

lige medarbejdergrupper.

Flere institutioner melder positivt tilbage, at de oplevede, at høringsfasen ikke bare

var en formalitet, men at bemærkninger og vurderinger kan rykkes i den periode.

Konsulenterne fra AI fremhæves i den forbindelse som dialogorienterede.

Samarbejdet med AI

Flere institutioner fremhæver, at det indledende møde, som ledelse og kvalitets-

medarbejdere afholder sammen med AI’s ledelse og medarbejdere er et initiativ,

der bl.a. er godt til at forventningsafstemme om den kommende proces.

Flere institutioner melder tilbage, at de har haft en god og løbende dialog med de

ansvarlige konsulenter fra AI. Samarbejdet har været vigtigt og professionelt, bl.a.

i dialogen om institutionernes udvælgelse af materiale.

Side 11/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Opfølgning på betingede positive akkrediteringer

De institutioner, der i første omgang har fået en betinget positive institutionsakkre-

ditering, melder tilbage, at det har været en konstruktiv proces mellem den afgø-

relse og opfølgningsprocessen, hvor der er blevet arbejdet seriøst med kritikpunk-

terne fra første rapport, indtil akkrediteringspanelet og AI kom på besøg igen. Insti-

tutionerne fremhæver dog, at det opleves som en lang periode fra første til anden

afgørelse.

Side 12/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Panelmedlemmers vurdering af institutionsakkreditering

I forbindelse med institutionsakkreditering gennemfører teamet i AI en evaluering

med akkrediteringspanelet af deres oplevelse af akkrediteringsprocessens forløb.

Evalueringen er mundtlig, og den gennemføres på det sidste møde, hvor akkredi-

teringspanelet er samlet for at drøfte et udkast til akkrediteringsrapport, typisk en

månedstid før akkrediteringsrapporten sendes i høring på institutionen. Derudover

kan der være en mere uformel drøftelse mellem panelformanden og projektlede-

ren i AI i forbindelse med rådsmødet, hvor panelformanden deltager for at frem-

lægge rapportens konklusioner for Akkrediteringsrådet.

For at imødekomme efterspørgslen af viden om panelernes syn på institutionsak-

krediteringen i Danmark, har vi i august 2018 gennemført en kort survey blandt

alle akkrediteringspanelmedlemmer, der har arbejdet med en sag, som er blevet

afgjort i 2018 eller 2017. Det drejer sig om 65 personer, hvoraf 63 har kunnet kon-

taktes; 13 af disse har ikke åbnet den tilsendte invitation. Af de resterende 50 har

35 svaret på surveyen, dvs. 70 % af de reelt inviterede eller 54 % af alle panel-

medlemmer

Kriterierne

Generelt siger panelmedlemmerne, at akkrediteringskriterierne sikrer, at man

kommer godt omkring kvalitetssikringssystemerne og kvalitetssikringspraksissen

på institutionerne. Flere nævner dog eksempler på emner, der kan overlappe mel-

lem kriterierne, og hvor det derfor indimellem kan være udfordrende at afgøre,

”hvor det hører til” –

fx i akkrediteringsrapporten. Eksempelvis nævner flere et

overlap mellem kriterium III og kriterium V

–

særligt på det professions- og er-

hvervsrettede område, hvor de processer, der skal sikre, at uddannelsesudbud

holdes relevante for aftagere, overlapper med de processer, der skal holde under-

visernes videngrundlag ajour. Et andet eksempel er sikring af videngrundlag og til-

rettelæggelse af uddannelsens indhold.

En del bemærker, at det er lettere at vurdere, om der er et kvalitetssikringssystem,

end det er at vurdere, om der er en kvalitetssikringspraksis, som er i overensstem-

melse med det beskrevne system (en nævner det særligt gælder ved institutioner

som er ”unge”). Enkelte bemærker også, at det kan være svært at afdække eller få

et sikkert indtryk af kvalitetskulturen på en institution.

Enkelte panelmedlemmer nævner, at akkrediteringens fokus på kvalitetssikring

ikke er det samme som at have fokus på kvalitet, og at det kan være svært at af-

gøre, i hvilket omfang institutionsakkreditering sikrer kvaliteten af uddannelserne

på den enkelte institution. En enkelt påpeger, at det fokus i uheldige tilfælde kan

fremme fokus på dokumentation af processer mere end det fremmer kvalitet.

Der er forskellige indtryk blandt panelmedlemmerne af, i hvilken grad institutio-

nerne har forstået og imødekommet kravene i akkrediteringsprocessen. Flere har

en oplevelse af, at institutionen havde vanskeligheder med at forstå det, eller at

den først undervejs i processen opnåede en god forståelse. Andre synes dog, at

det virkede som om institutionen havde en god forståelse.

Side 13/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Panelets rolle

Generelt udtrykker panelmedlemmerne en høj grad af tilfredshed med tilrettelæg-

gelsen af processen og understøttelsen af deres opgave med at vurdere institutio-

nens kvalitetssikring. De er glade for den rollefordeling, hvor AI undervejs i akkre-

diteringsprocessen bistår med diverse hjælperedskaber og processtøtte fx i form

af opsummeringer af materiale, læsevejledninger, udkast til interviewspørgsmål og

facilitering af diskussioner om kriterievurderinger i panelet. Enkelte kunne dog

godt ønske sig, at panelet var mere aktivt inddraget i sikringen af konsistens i gær-

dehøjden for vurderingsudfald. Fx foreslår et panelmedlem, at panelformændene i

en akkrediteringsrunde mødes sammen med de relevante medarbejdere fra AI for

at drøfte vurderinger på tværs af de igangværende sager.

Nogle af panelmedlemmerne efterlyser mulighed for at bruge deres egen eksper-

tise og erfaring i højere grad og at kunne give institutionerne mere feedback eller

indgå i en udviklingsorienteret dialog. En nævner fx at det kan være lettere at for-

midle kritik gennem forslag til forbedringer, og vedkommende kunne derfor også

ønske sig at få mulighed for at formulere anbefalinger til institutioner, der er indstil-

let afslag eller betinget positiv akkreditering.

Processen

Mange panelmedlemmer giver udtryk for, at processen samlet set er omfattende

og krævende

–

både for dem og for institutionen. Der er meget dokumentation,

som skal læses, og der går lang tid fra institutionen afleverer en selvevaluerings-

rapport til rådet træffer en afgørelse. De fleste har dog svært ved at se, at det kan

være meget anderledes, med de krav, der stilles til en akkreditering. Flere næv-

ner, at kravene er høje, fx med henvisning til, at det både skal vurderes om institu-

tionen har et kvalitetssikringssystem og også om praksis i systemet er tilfredsstil-

lende efter kriterierne. En enkelt er i tvivl om, om den omfattende indsats står mål

med udbyttet af processen. En anden anser dog det danske system som mere

velegnet og grundigt til ekstern kvalitetssikring end det vedkommende har kend-

skab til i andre lande. Flere mener, at akkreditering er med til at drive institutio-

nens arbejde med kvalitetssikring fremad, men nogle kan være i tvivl om, hvor me-

get der sker på en institution, når der er faldet en afgørelse om positiv akkredite-

ring.

Panelmedlemmerne anser besøgene for meget vigtige, men nogle påpeger van-

skeligheden med at afgøre værdien af de oplysninger, der kommer frem under

møderne med repræsentanter for institutionen. Fx kan det være svært at vurdere,

om repræsentanterne er håndplukket som de dygtigste repræsentanter, eller om

der er foretaget en indgående instruktion af nogle af dem om, hvad de må og ikke

må sige.

Akkrediteringsrapporten

Alle synes, at akkrediteringsrapporten er god til at beskrive, hvordan institutionen

lever op til kriterierne, og i hvor høj grad institutionen sikrer kvaliteten på sine ud-

dannelser. Enkelte er lidt i tvivl om, om rapporterne er for omfattende i omfang, fx

som formidling til Akkrediteringsrådet.

Side 14/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Tværgående

Især i de mere uformelle evalueringer, der holdes med panelerne nær afslutningen

af akkrediteringsprocessen, nævner flere projektledere i AI, at en del panelmed-

lemmer giver udtryk for, at mange institutioner, de kender i andre lande, herunder

måske den de selv er ansat ved, ikke ville kunne klare sig igennem en dansk ak-

kreditering.

Nogle panelmedlemmer kan også udtrykke ærgrelse over, at der er så meget fo-

kus på at sikre skriftlig dokumentation for vurderingerne, og at de indtryk panelet

kan få under institutionsbesøgene ikke vejer lige så tungt. På den anden side fin-

der de også grundigheden betryggende.

Side 15/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Dokumentationsomfanget ifm. institutionsakkreditering

Til denne opgørelse er dokumentationen inddelt i fire kategorier:

Selvevalueringsrapport

Den ”ansøgning”, som institutionen indsender i første

fase. Ud over insti-

tutionsledelsens evaluering af institutionens kvalitetssikring, består rap-

porten af en række bilag, som dokumenterer kvalitetssikringssystemet og

giver eksempler på praksis samt af en redegørelse, der i mere beskri-

vende tekst forklarer sammenhængen.

Audit trail-materiale

Det materiale, som institutionen sender som svar på den bestilling, akkre-

diteringspanelet laver efter første institutionsbesøg. Det varierer altså væ-

sentlig efter, dels hvad panelet har hæftet sig ved efter læsning af selv-

evalueringen og gennemførelse af første besøg, dels institutionens karak-

ter (fx uddannelsesudbud, udbuddenes diversitet, campusser, samlet

størrelse).

Supplerende dokumentation

Materiale, som kan blive indhentet i alle faser af akkrediteringsprocessen

mellem aflevering af selvevalueringsrapport og overlevering af akkredite-

ringsrapporten til Akkrediteringsrådet. Det kan altså være materiale ind-

hentet inden første besøg, efter første besøg

–

men inden modtagelse af

audit trail-materiale, materiale indhentet efter modtagelse af audit trail-ma-

teriale, men inden andet besøg, eller materiale indhentet efter andet be-

søg. I helt særlige tilfælde kan det også være materiale indhentet efter

modtagelse af høringssvar. Endelig kan der dels være tale om materiale,

som er rekvireret hos institutionen, og der kan være tale om materiale,

som AI selv har indsamlet direkte (fx via adgang til institutionens intra- el-

ler extranet).

Høringssvar

Materiale, som institutionen sender som svar på det udkast til akkredite-

ringsrapport, inklusive indstilling til rådets afgørelse, de har fået i høring.

Derudover er der i opgørelsen skelnet mellem ordinær akkreditering og opfølgning

på betinget positiv akkreditering. Sidstnævnte gruppe varierer især på grund af va-

riationen i forhold, der gav anledning til den betinget positive akkreditering.

Selvevalueringerne

Som det fremgår af skemaet (se bilag) er der meget stor variation i dokumentati-

onsomfanget for de enkelte institutioner. Variationen i selvevalueringsrapporter

skyldes først og fremmest

variation i bilagenes omfang. Selve ”rapportdelen”, som

indeholder dels institutionsledelsens refleksion og deres evaluering af eget system

og praksis, dels en beskrivende og forklarende tekst, varierer i omfang mellem ca.

35 og 130 sider. Forskellene i bilagenes omfang kan skyldes mange forskellige

forhold:



Institutionens størrelse og kompleksitet (antal uddannelsesudbud, udbudde-

nes diversitet, institutionens organisering og historik

–

herunder også den

geografiske spredning). Alt andet lige har større, spredte institutioner med

et diverst uddannelsudbud mere at forklare og dokumentere.

Side 16/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren



Karakteristika ved institutionens system og kvalitetskultur. Fx har nogle in-

stitutioner en højere grad af skriftlighed om mange forhold end andre, nogle

har meget detaljerede procedurer, mens andre har mere overordnede.

Nogle benytter ”skemaer” og ”skabeloner” i udstrakt grad i deres system,

som betyder at det nødvendige sideantal for at formidle information kan

blive relativt forøget.



Kombinationen af institutions- og system-karakteristika. Fx kan en stor insti-

tution med et diverst uddannelsesudbud have et system som består af cen-

trale retningslinjer og overordnede procedurer, som i decentrale enheder

udmøntes forskelligt af hensyn til

”lokale særpræg”.



Institutionens valg ifm. dokumentationen. Fx varierer det, hvor detaljeret in-

stitutionerne har dokumenteret deres procedurer. Nogle har valgt at doku-

mentere procedurer meget detaljeret, hvilket også kan give nogle overlap,

når de også har indsendt eksempler på praksis efter procedurerne. Andre

har beskrevet deres system mere overordnet med eksemplificerende illu-

stration i dybden.

I en enkelt af sagerne, Københavns Universitet, er sidetallet usædvanligt højt. Det

dækker bl.a. over, at KU selv indsendte 757 sider, men en del af disse sider var

link til internetsider eller dokumenter på KU’s sider, som AI har downloadet og til-

føjet som i alt yderligere 962 sider. Det store samlede sidetal afspejler i høj grad

den decentrale organisering af kvalitetssikringen på KU (fx omfatter det kvalitets-

sikringspolitikker for hvert fakultet).

Audit trail-materiale

Langt hovedparten af audit trail-materialet er dokumenter fra kvalitetssikringssy-

stemets daglige drift (fx referater, rapporter, planer og oversigter) eller forskrifter i

systemet, som ikke blev leveret med i forbindelse med selvevalueringsrapporten

(fx procedurer, kommissorier, koncepter, funktionsbeskrivelser). Hver audit trail er

ledsaget af en kort, forklarende tekst, som typisk kan være 1-5 sider.

Variationen i omfanget af audit trail-materialet er større end variationen i selveva-

lueringsrapporterne og forklarer dermed hovedparten af variationen i det samlede

dokumentationsomfang. Nogle af de samme faktorer, som kan forklare variationen

i selvevalueringsrapporterne, kan også forklare variationen i audit trail-materialet;

især karakteristika ved institutionen, dens system og dens kvalitetskultur. Men der-

udover er der supplerende faktorer, der spiller ind:



Antallet og karakteren af audit trail spiller en væsentlig rolle. Der er to for-

hold: Som ved selvevalueringsrapportens omfang, spiller institutionens stør-

relse og kompleksitet ind på, hvor mange eller hvor brede audit trail, det er

nødvendigt at udpege for at opnå en vis repræsentativitet i det udvalgte.

Derudover har det væsentlig betydning, hvad panelet hæfter sig ved i selv-

evalueringen og under det første besøg: Hvilke svage eller uklare forhold

har panelet fundet i en foreløbig status over institutionen, og er de forhold af

mere afgrænset karakter eller gennemgående? Eksempelvis Aarhus Uni-

versitet er stort og komplekst og bl.a. havde et af campusserne en akkredi-

teringshistorik, som foranledigede særlig opmærksomhed fra panelet. Der

blev derfor udvalgt 6 audit trail, som dækkede 4 fakulteter, campusser i 3

Side 17/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

byer og i alt 61(brutto med overlap mellem audit trail) eller 22 (netto) uddan-

nelsesudbud af 4 forskellige uddannelsestyper.



Bestillingens udformning spiller ind. Især ved større institutioner og tilsva-

rende større paneler har arbejdet i panelet i nogle tilfælde været delt op, så-

dan at panelmedlemmer typisk parvist har fået ansvar for at bearbejde ma-

teriale fra en audit trail og efterfølgende fremstille resultatet for resten af pa-

nelet. Derfor har bestillingen af det samlede audit trail-materiale i nogle sa-

ger krævet, at alt relevant materiale til en audit trail skulle sendes som en

samlet pakke. Det har indebåret større eller mindre omfang af overlap. Ek-

sempelvis har vi analyseret den meget store mængde audit trail-materiale

ved den ordinære akkreditering af Aalborg Universitet. De samlet 10.198 si-

der dækker over 5.791 unikke sider. Der er altså i alt 4.408 sider som er

gentagelser på tværs af det samlede materiale. Det samlede sidetal belyser

derfor ikke på nogen simpel måde det reelle omfang af materialet.



Alderen på institutionens system spiller ind, idet det kan sætte begrænsning

på, hvor langt tilbage i tid noget kan dokumenteres (fx gennemløb af et eller

to årshjul).

Mere generelt siger sidetallet ikke noget eksakt om dokumentationsbyrden for in-

stitutionen, idet fx de seks audit trails på AAU ud af de ca. 6./10.000 sider kun in-

deholder samlet 10 siders redegørende tekst, der er skrevet til akkrediteringspa-

nelet.

Supplerende dokumentation

Som nævnt kan den supplerende dokumentation blive indhentet på forskellige

tidspunkter under akkrediteringsprocessen, og det kan variere, om der er tale om

dokumentation rekvireret fra institutionen, eller om der er tale om dokumentation,

som AI har tilvejebragt fra en tilgængelig kilde. I enkelte tilfælde har institutionen

henvendt sig uopfordret og anmodet om at indsende supplerende.

Generelt er der som ved audit trail-materiale tale om dokumenter fra den daglige

drift eller systemets forskrifter, som ikke har været dokumenteret i anden forbin-

delse.

En sag, UC Syddanmark, skiller sig markant ud i oversigten som en følge af et

sammentræf af omstændigheder. Dels var selvevalueringens beskrivelse af syste-

met svær at forstå for udenforstående, hvilket gav anledning til indhentning af sup-

plerende information både før og efter andet besøg. AI blev nødt til at sætte en ny

projektleder på akkrediteringen midt i processen, og forløbet blev derfor forlænget.

Endelig var UC Syds kvalitetssikringssystem relativt nyt, så der blev i løbet af den

forlængede periode, hvor akkrediteringsprocessen forløb, undervejs genereret en

del dokumentation for kvalitetssikringspraksis, som det var nødvendigt at indhente

for at sikre et retvisende billede af både system og praksis som grundlag for pane-

lets vurderinger.

Høringssvar

Omfanget varierer hovedsageligt efter, hvilken indstilling akkrediteringsrapporten

er sendt i høring med. Når en institution modtager en rapport i høring med indstil-

ling om betinget positiv eller afslag på akkreditering forøger det typisk høringssva-

Side 18/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

rets længde. Det gælder særligt i de tilfælde, hvor institutionen i løbet af akkredite-

ringsprocessen har dokumenteret mere af sin praksis og måske foretaget ændrin-

ger i sit system. I de tilfælde kan høringssvar blive ledsaget af bilag, som doku-

menterer væsentlige, nye forhold på institutionen.

Konklusion

Der er meget stor variation i omfanget af dokumentation mellem sager; medianen

og gennemsnittet ligger dog på samme niveau, hvilket hænger sammen med den

tilnærmelsesvise normalfordeling af sideantallet, som det fremgår af søjlediagram-

met nedenfor. Selv om sidetallene er optalt omhyggeligt, så er de ikke præcist si-

gende for det faktisk antal leverede sider. Dels er der som nævnt i en del tilfælde

overlap af dokumenter mellem forskellige audit trails på en institution (der kan

også være overlap mellem selvevalueringsrapporten og audit trail-dokumentation),

dels er der i nogle tilfælde tale om materiale, som AI selv har indhentet (det har

ikke været muligt at opgøre fordelingen, men eksemplet med KU’s selvevaluering

illustrerer, at det kan være en betragtelig del, som AI har indhentet

–

dog typisk in-

den for den del, der er kategoriseret som ”supplerende”).

Side 19/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Oversigt over dokumentationsomfanget af institutionsakkrediteringer

Institutionsakkreditering

Selvevaluering

Audit

Supplerende

Copenhagen Business School

Danmarks Tekniske Universitet

Erhvervsakademi Aarhus

IT-Universitetet i København

Københavns Erhvervsakademi (KEA)

Syddansk Universitet

University College Lillebælt

Professionshøjskolen Absalon (UC Sjælland)

Aarhus Maskinmesterskole

Erhvervsakademi Sjælland

Fredericia Maskinmesterskole

Københavns Universitet

Københavns Professionshøjskole (Metropol)

Svendborg International Maritime Academy

University College Syd

VIA University College

Aalborg Universitet

Aarhus Universitet

CPH Business

EA Midtvest

EA Kolding

EA Sydvest

Dania

Copenhagen Business School, opfølgning

IT-Universitetet i København, opfølgning

Københavns Erhvervsakademi (KEA), opfølgning

Aarhus Maskinmesterskole, opfølgning

Aalborg Universitet, opfølgning

287

622

551

455

414

312

222

342

223

821

483

1.719

741

599

323

997

772

420

571

380

643

579

892

729

1.595

270

206

1.766

643

2.877

2.307

2.862

3.263

1.772

1.694

169

2.265

860

2.253

2.374

553

1.644

2.691

(*) 10.198

4.228

2.023

3.047

1.748

1.964

2.799

578

367

1.052

300

305

347

305

646

330

217

479

229

407

489

1.918

219

417

152

619

795

216

638

212

203

Høringsvar

259

238

Total

2.367

1.355

3.738

3.119

3.659

4.226

2.344

2.106

612

3.652

1.391

4.211

3.524

1.693

3.887

3.774

(*) 11.197

5.127

2.831

4.305

3.226

2.657

4.145

137

1.309

2.236

902

1.462

Gennemsnit

Danmarks

Akkrediteringsinstitution

3.441

1.209

(*) Som forklaret i analysen, indeholder især AAU’s audit trail-materiale

et stort antal dubletter. Nettosidetallet er 5.791 sider, hvilket svarer til en total for AAU på 6.790 sider.

Side 20/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Sager fordelt på samlet sidetal

0-999

1000-1999 2000-2999 3000-3999 4000-4999 5000-5999 6000-6999

Fordelingen af ordinære institutionsakkrediteringssager (AAU opgjort excl. dublerede dokumenter i audit trail-materialet).

Side 21/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Antal interviewpersoner ved institutionsakkrediteringer

Her er optalt, hvor mange personer akkrediteringspanelet mødes med i forbindelse

med besøgene under en institutionsakkreditering. I optællingen skelnes mellem en

ordinær institutionsakkreditering og en opfølgning på en betinget positiv akkredite-

ring. I sidstnævnte tilfælde er det ofte tilfældet, at der kun er et besøg, eller når der

er to, så er første besøg meget kort og indeholder kun møde med den øverste le-

delse og evt. centrale stabsfunktioner (typisk kvalitetsansvarlige).

En enkelt ordinær akkrediteringssag, Aarhus Maskinmesterskole, skiller sig ud, idet

der kun var et besøg. Det var i første runde, hvor AI testede, om det var muligt at nø-

jes med et enkelt besøg på små og enkle institutioner. Det var muligt, men erfarin-

gerne viste dog, at det ikke var optimalt, så derfor står den sag alene med kun et be-

Danmarks

søg.

Akkrediteringsinstitution

Tallene opgør de personer, panelet har mødtes med på hvert besøg, dog eksklusive

studerende, som ikke er talt med, da hensynet er at belyse ressourcetrækket på in-

stitutionen. Hver person er tilstræbt kun medtaget en gang pr. besøg, selvom det

sagtens kan forekomme, at den samme person mødes med panelet i flere omgange

under det samme besøg (fx er det typisk at mødes med den øverste ledelse både

først og sidst under første besøg). Der er optalt ud fra de deltagerlister, AI har mod-

taget fra institutionerne forud for besøgene, og i nogle tilfælde er der kontrolleret ud

fra andre kilder (de noter, AI's konsulenter tager undervejs). Der kan derfor være

mindre afvigelser fra de faktiske tal, men vi vurderer, at det samlet set er et realistisk

billede, tallene viser.

Som sagt er studerende ikke talt med, men fx medlemmer af aftagerpaneler eller ud-

dannelsesudvalg, bestyrelsesmedlemmer, praktikværter, dimittender eller andre eks-

terne er talt med. De er medtaget ud fra den betragtning, at det ofte er et væsentligt

arbejde for institutionen at sikre eksterne personers deltagelse under et panelbesøg.

Side 22/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Institutionsakkreditering

Copenhagen Business School

Danmarks Tekniske Universitet

Erhvervsakademi Sjælland

Aarhus Maskinmesterskole

Erhvervsakademi Aarhus

IT-Universitetet i København

Syddansk Universitet

University College Lillebælt

Københavns Erhvervsakademi (KEA)

Professionshøjskolen Absalon

Fredericia Maskinmesterskole

Københavns Universitet

Københavns Professionshøjskole

Svendborg International Maritime Academy

University College Syd

VIA University College

Aalborg Universitet

Aarhus Universitet

IBA Kolding

CBA

EAMV

EASV

Dania

Copenhagen Business School, opfølgning

IT-Universitetet i København, opfølgning

Københavns Erhvervsakademi (KEA), opfølgning

Aarhus Maskinmesterskole, opfølgning

AAU, opfølgning

1. besøg

2. besøg

100

127

I alt

115

155

118

174

118

190

133

Snit

i alt

Side 23/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Uddannelsesakkrediteringer

–

omfang af dokumentation og personer

interviewet under besøg

I dette kapitel er en opgørelse af omfanget af uddannelsesakkrediteringer i perioden

fra 2008 og frem målt på hhv. indsendt dokumentation og antal personer interviewet.

I tolkningen af opgørelserne er det væsentligt at have sig for øje, at turnusakkredite-

ringerne har haft et væsentligt reduceret omfang efter 2013, både af hensyn til be-

lastningen af institutionerne og af hensyn til akkrediteringsinstitutionens kapacitet.

Dette er særligt udtalt på universitetsområdet. Med indførelsen af institutionsakkredi-

tering fulgte også et fald i antallet af ansøgninger om nye uddannelser og nye ud-

bud, hvilket primært skyldes etableringen af RUVU (færre ansøgninger når AI), og at

flere institutioner har afventet ansøgning om oprettelsen af nye uddannelser/udbud

til efter en institutionsakkrediteringsproces (med positiv institutionsakkreditering vil

institutionen undgå en akkreditering af nye uddannelser/udbud). I en sammenligning

af belastningen af institutionerne i hhv. et system med uddannelsesakkrediteringer

og et system med institutionsakkreditering, vil det derfor være mest retvisende at for-

holde sig til belastningen af uddannelsesakkrediteringer i perioden forud for 2013.

Det bør også bemærkes, at kadencen i turnusakkrediteringerne på særligt det pro-

fessions- og erhvervsrettede område i perioden før 2013 ikke forløb i et tempo, som

kunne sikre, at alle uddannelser ville nå igennem en akkreditering inden for den

seksårige periode, som en akkrediteringsperiode var fastsat til i loven. Udvælgelsen

af uddannelser til turnus i perioden før 2013 blev prioriteret ud fra uddannelsens

størrelse. På erhvervsakademiområdet blev det eksempelvis prioriteret at turnusak-

kreditere alle udbud af markedsføringsøkonom, finansøkonom og serviceøkonom,

mens sygeplejerskeuddannelsen, læreruddannelsen og pædagoguddannelsen bl.a.

blev udvalgt til turnusakkreditering på professionshøjskolerne. Denne prioritering be-

tyder også, at der var stor variation i belastningen af den enkelte institution i perio-

den forud for 2013. Eksempelvis vil omfanget af dokumentationsmateriale og perso-

ner interviewet ifm. uddannelsesakkreditering være markant for en institution som

VIA University College, der udbyder de store professionsbacheloruddannelser på

flere forskellige udbudssteder. Modsat har en institution som KEA aldrig haft en tur-

nusakkreditering, da de primært udbyder mindre erhvervsakademiuddannelser inden

for teknik og design.

Om beregningen af dokumentationsomfang og antal personer interviewet

I beregningen af dokumentationsomfang og antal personer interviewet ifm. uddan-

nelsesakkrediteringer har det været nødvendigt at sondre mellem

dokumentations-

sag

akkrediteringssag.

Sondringen er vigtig, da en del institutioner vælger af

samdokumentere, når beslægtede uddannelser eller flere udbud af samme uddan-

nelse skal akkrediteres. Det vil i praksis betyde, at samme dokumentation dækker en

række akkrediteringssager, hvorfor antallet af dokumentationsager er mindre end

antallet af akkrediteringssager. Eksempelvis var det sædvane for universiteter at do-

kumentere beslægtede bachelor- og kandidatuddannelser samlet, hvorfor de er op-

gjort som to akkrediteringssager men med fælles dokumentation. Antallet af siders

indsendt dokumentation og antal personer interviewet kan således estimeres ud fra

antallet af dokumentationssager (som stort set svarer antallet af akkrediteringsrap-

porter). For at estimere antallet af interviewpersoner antages, atdet ofte kun var nød-

vendigt at gennemføre ét samlet besøg, når flere udbud dokumenteredes samlet

(uddannelsesledelse og undervisergruppe vil som udgangspunkt være den samme).

Side 24/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Det gælder dog ikke fuldt ud i de tilfælde, hvor der er tale om udbud på forskellige

campusser. I de tilfælde vil der typisk være gennemført besøg med separat delta-

gelse af undervisere (og studerende) fra de respektive campusser (enten via frem-

møde over flere besøgsdage eller via virtuelt fremmøde).

Dokumentationsomfanget ifm. uddannelsesakkrediteringer

I opgørelsen af dokumentationsomfanget af uddannelsesakkrediteringer på det pro-

fessions- og erhvervsrettede område skelnes der mellem akkreditering af henholds-

vis eksisterende uddannelsesudbud, nyt udbud af eksisterende uddannelse og nye

uddannelser. Denne sondring er foretaget, da forskellige kriteriesæt har været an-

vendt på de forskellige akkrediteringstyper i perioden 2008-2013 (se tabel 1).

Tabel 1: overblik over kriteriesæt anvendt i perioden 2008-2018

År

Akkrediteringstype

Gældende kriteriesæt

Universiteter

2007-2009

Eksisterende og nye uddan-

10 kriterier

nelser

2009-2013

Eksisterende og nye uddan-

nelser

5 kriterier

4 kriterier

3 kriterier

7 kriterier

17 kriterier

5 kriterier

3 kriterier

1 kriterium

2013-

Eksisterende

2013-

Nye uddannelser

Professions- og erhvervsrettede

2008-2013

Nye uddannelser

2008-2013

Nye udbud

2008-2013

Eksisterende udbud

2013-

Eksisterende udbud

2013-

Nye udbud

2013-

Nye uddannelser

For at etablere et hensigtsmæssigt sammenligningsgrundlag er opgørelsen af doku-

mentationsomfanget på både universiteterne og de professions- og erhvervsrettede

uddannelser opgjort hhv. for perioden 2008-2013 og perioden 2014-2018.

Optællingen af dokumentationsomfanget er foretaget ved at sammenlægge sidean-

tallet i ansøgning, supplerende dokumentation og høringssvar for de enkelte doku-

mentationssager. Når det gælder uddannelsesakkrediteringer i perioden 2008-2013

er dokumentationsomfanget pr. institution estimeret på baggrund af en stikprøve

mens dokumentationsomfanget pr. institution i perioden 2014-2018 er baseret på en

faktisk optælling af al dokumentation. Begrundelsen for at beregne dokumentations-

Udvælgelseskriterier for stikprøve: først en tilfældig udvælgelse af uddannelsesakkrediterin-

ger som samlet set dækker 10 % af den samlede population af uddannelsesakkrediteringer

(122 sager ud af 1234 sager). Derefter er foretaget supplerende optællinger for at sikre, at der

i stikprøven forekommer mindst to optællinger af hver institution på hvert kriteriesæt. For ud-

dannelsesakkrediteringer på det professions- og erhvervsrettede område har det ikke været

muligt at optælle omfanget af dokumentationsmateriale for perioden 2008-2010, hvorfor doku-

mentationsomfanget for akkrediteringer i denne periode er udregnet på baggrund af gennem-

snittet for sektoren. De maritime uddannelsesinstitutioner har kun haft uddannelsesakkredite-

ringer i perioden før 2011, hvorfor det ikke har været muligt at udregne et sektorgennemsnit

for disse institutioner.

Side 25/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

omfanget for perioden 2008-2013 på baggrund af en stikprøve frem for en faktisk op-

tælling er først og fremmest et ressourcehensyn. En faktisk optælling ville kræve, at

omfanget af akkrediteringsansøgning, supplerende dokumentation og høringssvar

skulle indtastes manuelt for hver af de 1234 akkrediteringssager, som vi har gen-

nemført i perioden. Derudover har vi efter ressortomlægningen i 2013 ikke længere

adgang til dokumentationen for de akkrediteringer, der er gennemført med EVA som

operatør i perioden 2009-2011.

Side 26/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Tabel 2: opgørelse af dokumentationsomfang for uddannelsesakkrediteringer på det

professions- og erhvervsrettede område.

Institution

2008-2013

Copenhagen Business Academy

Danmarks Medie- og Journalisthøjskole

Erhvervsakademi Dania

Erhvervsakademi Kolding

Erhvervsakademi Midtvest

Erhvervsakademi Sjælland

Erhvervsakademi Sydvest

Erhvervsakademi Aarhus

Københavns Erhvervsakademi (KEA)

Københavns Professionshøjskole

Professionshøjskolen Absalon

UCL Erhvervsakademi og Professionshøjskole

University College Nordjylland

University College Syd

VIA University College

Subtotal

Relativ fordeling

2014-2018

Copenhagen Business Academy

Danmarks Medie- og Journalisthøjskole

Erhvervsakademi Dania

Erhvervsakademi Kolding

Erhvervsakademi Midtvest

Erhvervsakademi Sjælland

Erhvervsakademi Sydvest

Erhvervsakademi Aarhus

Københavns Erhvervsakademi (KEA)

Københavns Professionshøjskole

Professionshøjskolen Absalon

UCL Erhvervsakademi og Professionshøjskole

University College Nordjylland

University College Syd

VIA University College

Subtotal

Relativ fordeling

5119 (11)

1691 (4)

2275 (4)

1722 (5)

3276 (6)

3297 (5)

1487 (4)

1890 (5)

8300 (11)

342 (1)

6096 (10)

4624 (7)

888 (2)

1858 (5)

42.865

66 %

101 (1)

948 (4)

11 (1)

296 (1)

22.201

34 %

245 (1)

3136 (8)

1640 (5)

4521 (10)

1104 (4)

1570 (9)

626 (2)

2523 (6)

1210 (6)

3912 (11)

358 (1)

5364 (12)

1691 (4)

5411 (12)

3362 (10)

7898 (17)

4401 (9)

3057 (13)

2516 (7)

3471 (10)

8300 (11)

342 (1)

7306 (16)

8547 (19)

888 (2)

2512 (7)

65.066

100 %

2083 (7)

4398 (7)

1257 (2)

2150 (5)

1520 (4)

1257 (2)

4329 (3)

20451 (17)

10872 (9)

15012 (12)

17386 (11)

14450 (9)

16114 (18)

111.276

52 %

1488 (5)

298 (1)

893 (3)

298 (1)

3570 (12)

2083 (7)

1785 (6)

893 (3)

298 (1)

2380 (8)

101.025

48 %

3828 (24)

1828 (8)

2660 (8)

8988 (12)

5572 (11)

3474 (17)

3992 (12)

3159 (27)

8592 (25)

2855 (15)

1124 (7)

11543 (45)

12384 (27)

2850 (10)

9734 (21)

7399 (36)

3316 (13)

7356 (16)

10245 (14)

8615 (19)

5887 (24)

5547 (15)

11058 (42)

10675 (32)

25389 (39)

11996 (16)

28340 (63)

30663 (41)

17598 (20)

28228 (47)

212.301

100 %

Eksisterende

Ny uddannelse

Nyt udbud

Dokumentations-

omfang total

Antallet af dokumentationssager (antal akkrediteringsrapporter) er angivet i ( ).

Side 27/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Tabel 3: opgørelse af dokumentationsomfang for uddannelsesakkrediteringer på det

universitetsområdet.

Institution

Eksisterende

Nye

2008-2013

Copenhagen Business School

Danmarks Tekniske Universitet

IT-Universitetet i København

Københavns Universitet

Roskilde Universitet

Syddansk Universitet

Aalborg Universitet

Aarhus Universitet

Subtotal

Relativ fordeling

2014-2018

Copenhagen Business School

Danmarks Tekniske Universitet

IT-Universitetet i København

Københavns Universitet

Roskilde Universitet

Syddansk Universitet

Aalborg Universitet

Aarhus Universitet

Subtotal

Relativ fordeling

413

832

11.250

9.522

1.354

14.070

9.171

46.612

91 %

177

937

665

230

182

2.318

4.509

51.121

100 %

Sidetal

6.036

7.907

1.467

48.976

16.455

26.899

35.318

42.111

185.169

78 %

Sager

103

128

Sidetal

2.741

4.653

406

6.448

2.400

13.629

12.573

10.905

53.755

22 %

Sager

238.923

100 %

Vurdering af dokumentationsomfanget ved uddannelsesakkrediteringer

Som det fremgår af tabellerne 2 og 3 er der væsentlige forskelle på hhv. det profes-

sions- og erhvervsrettede område og universitetsområdet, når man ser på hvor stor

en andel af dokumentationsmængden, der stammer fra sager om hhv. eksisterende

og nye uddannelsesudbud. En væsentlig del af forklaringen på skævheden er nok

den tidligere omtalte lave takt, som akkrediteringen af eksisterende uddannelser på

det professions- og erhvervsrettede område forløb i. Fordelingen på universitetsom-

rådet i årene 2008-2013 er derfor måske den, der kommer tættest på en realistisk

fordeling, hvis alle eksisterende uddannelsesudbud skulle nå igennem akkreditering

over en seksårig periode. Men det ville dog stadig på begge områder have krævet

en større sagsmængde i de opgjorte perioder, og dermed også på begge områder

væsentligt flere siders dokumentation.

Blandt de mange sider er reelt en stor mængde dubletter, idet samme institution ty-

pisk ville indsende mange af de samme dokumenter til hver sag. Fx dokumentatio-

nen af institutionens egen kvalitetssikring af uddannelsen var ofte næsten ensly-

dende på tværs af mange sager.

Side 28/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Antal interviewpersoner ved uddannelsesakkrediteringer

Forud for et akkrediteringsbesøg har institutionen modtaget et brev, der fastlægger

rammen for besøget

–

en såkaldt besøgsmodel. Af besøgsmodellen fremgår det

blandt andet, hvor mange personer panelet skal mødes med under et besøg. Vores

opgørelsen af antallet af personer, som akkrediteringspanelerne har mødtes med i

forbindelse med akkreditering af eksisterende udbud af uddannelser tager derfor ud-

gangspunkt i de modeller for besøg, som operatøren har haft. Dette personantal kan

så multipliceres med antallet af besøg.

Model for ACE/UNIK (universiteter og efter 2013 kunstneriske institutioner)

Besøgsmodellen for ACE/UNIK har i praksis været den samme siden 2009 for be-

søg på universiteter. Et besøg har været med op til otte undervisere, tilsvarende for

studerende og dertil uddannelsens ledelse, eventuelt med følgeskab af personer i

stabsfunktioner. Et besøg, hvor rammen er udfyldt vil derfor gennemsnitligt have væ-

ret med 12 personer fra universitetet, eksklusive de studerende. Estimeringen af om-

fanget af interviewpersoner er således foretaget ved at multiplicere antallet af akkre-

diteringsrapporter med 12.

Model for EVA/PEM (professions- og erhvervsrettede uddannelser)

Tilsvarende besøgsmodellen på ACE/UNIK har rammen for besøg på de professi-

ons- og erhvervsrettede uddannelser været otte undervisere, otte studerende, ud-

dannelsesudbuddets centrale ledelsespersoner og derudover personer med ansvar

for praktik og internationalisering på uddannelsesudbuddet. Typisk har ansvaret for

praktik- og internationalisering været fordelt på to personer, mens udbuddets cen-

trale ledelsespersoner typisk er blevet repræsenteret i form af en studieleder, uddan-

nelsesleder/-chef og en kvalitetschef. Et besøg hvor rammen er udfyldt har derfor

gennemsnitligt været gennemført med 13 personer fra institutionen, eksklusive de

studerende. På en række uddannelsesudbud på særligt erhvervsakademierne har

kapaciteten dog i praksis ikke rakt til at udfylde det maksimale antal interviewperso-

ner, som besøgsmodellen tillader. Her vil undervisergruppen typisk bestå af 5-6 un-

dervisere, som også deler ansvaret for praktikken. Et typisk besøg på en mindre ud-

dannelsesudbud har derfor været gennemført med gennemsnitligt 10 personer fra

institutionen. I estimeringen af antallet af interviewpersoner ifm. uddannelsesakkredi-

teringer før 2013 (med EVA som operatør) er denne sondring foretaget på baggrund

af optagelsestallet fra uddannelsesudbuddet. På udbud hvor optaget er <50 er antal-

let af interviewpersoner under besøget estimeret til 10 personer, mens antallet af in-

terviewpersoner er estimeret til 13 for de øvrige udbud.

For uddannelsesakkrediteringer

efter

2013 (med AI som operatør) er opgørelsen af

interviewpersoner under UA-besøg ikke baseret på et estimat men derimod på en

faktisk optælling.

Side 29/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Tabel 3: opgørelse af antal personer interviewet ifm. uddannelsesakkrediteringer på det

professions- og erhvervsrettede område

Institution

Danmarks Medie- og Journalisthøjskole

Erhvervsakademi Kolding

Erhvervsakademi Sydvest

Erhvervsakademi Aarhus

Erhvervsakademi Sjælland

Erhvervsakademi Midtvest

University College Syd

Erhvervsakademi Dania

Professionshøjskolen Absalon

University College Nordjylland

Copenhagen Business Academy

UCL Erhvervsakademi og Professionshøjskole

Københavns Professionshøjskole

VIA University College

2010-2013

0 (0)

26 (2)

39 (3)

52 (4)

53 (5)

117 (9)

85 (7)

168 (14)

153 (13)

91 (7)

156 (12)

202 (16)

315 (25)

2014-2018

46 (4)

22 (4)

46 (6)

40 (5)

58 (5)

75 (7)

20 (2)

56 (5)

36 (3)

53 (8)

122 (12)

112 (13)

134 (11)

49 (5)

Total

110

128

137

141

204

206

213

268

336

364

Tabel 4: opgørelse af antal personer interviewet ifm. uddannelsesakkrediteringer på

universitetsområdet

Institution

IT-Universitetet i København

Danmarks Tekniske Universitet

Copenhagen Business School

Roskilde Universitet

Syddansk Universitet

Aalborg Universitet

Københavns Universitet

Aarhus Universitet

2008-2013

36 (3)

252 (21)

312 (26)

360 (30)

660 (55)

1080 (90)

1272 (106)

1536 (128)

2014-2018

36 (3)

12 (1)

264 (22)

60 (5)

312 (26)

336 (28)

228 (19)

Total

264

312

624

720

1392

1608

1764

Side 30/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Overblik over belastningsindikatorer ved hhv. UA og IA

Til illustration af forskellene mellem den samlede belastning ved hhv. UA og IA kan

man opstille tallene for de to indikatorer, hhv. sideantallet for dokumentation og an-

tallet af personer interviewet. Det skal dog aflæses med det forbehold, at hverken

UA eller IA er blevet fuldført, idet ikke alle uddannelser er blevet akkrediteret og til-

svarende er alle institutioner endnu ikke akkrediteret. Begge systemer forudsætter

en fuldførelse i en seksårs cyklus, men UA har samlet været i drift i over 10 år (siden

2013 dog i nedsat takt og efterhånden udfaset), mens IA har været i drift i ca. 5 år.

Dokumentation

600000

500000

400000

300000

200000

100000

UA-PEM

UA-UNI

Interview

10000

9000

8000

7000

6000

5000

4000

3000

2000

1000

UA-PEM

UA-UNI

Side 31/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Bilag: Internationale erfaringer med mindskelse af dokumentationsbyr-

den

Danmarks Akkrediteringsinstitution (AI) har undersøgt erfaringer i Finland, Norge og

Sverige med mindskelse af dokumentationsbyrden i forbindelse med akkreditering

på institutionsniveau. Undersøgelsen er baseret på læsning af vejledning og andre

dokumenter samt med korte interviews med repræsentanter for FINEEC (F), NOKUT

(N) og UKÄ (S). Formålet er især at inddrage de andre landes erfaringer i AI og rå-

dets arbejde med næste runde af IA.

Der er ifølge det oplyste ikke foretaget systematiske opgørelser af dokumentations-

byrden over tid i de tre lande. Derfor er det ikke muligt at kortlægge dokumentions-

byrden hhv. før og efter en given indsats for at mindske byrden. Af den grund af-

grænser denne redegørelse sig til at beskrive de typer af indsatser, de tre lande har

foretaget med henblik på at mindske dokumentationsbyrden eller holde den på et

ønsket lavt niveau.

I forlængelse af undersøgelsen af indsatser har AI også indhentet oplysninger om

balancen mellem skriftlig dokumentation og mundtlige udsagn på besøget.

Baggrund

I Norge har NOKUT gennemført tilsyn med uddannelsesinstitutionernes kvalitetssik-

ringssystemer i to cyklusser fra 2003 og frem. I 2017 gennemførte NOKUT pilottilsyn

efter et justeret koncept, der i højere grad betonede institutionernes kvalitetssikrings-

arbejde.

NOKUT havde i forbindelse med justeringen fokus på at præcisere og be-

grænse dokumentationsomfanget.

I Sverige gennemførte UKÄ i 2017 pilotgranskninger på baggrund af et nyudviklet

koncept, der havde fokus på såvel uddannelsesinstitutionernes kvalitetssikringssy-

stemer som -arbejde i praksis. Pilotgranskningerne lå i forlængelse af en periode fra

2011-2014, hvor den eksterne kvalitetssikring fandt sted på uddannelsesniveau.

UKÄ vurderer, at dokumentationsomfanget i institutionsgranskningerne er for højt,

og er aktuelt i færd med at opsamle erfaringer med dokumentationsomfanget med

henblik på præciseringer.

I Finland gennemførte FINHEEC/FINEEC i perioderne 2005-2013 og 2014-2018 to

cyklusser med auditeringer. I forlængelse af disse to cyklusser blev auditeringerne

udviklet og justeret til brug for den kommende cyklus 2018-2024. FINHEEC/FINEEC

havde allerede i 2014 et fokus på at begrænse dokumentationsomfanget, som ifølge

FINEEC var vellykket. I 2018 er der derfor tale om mindre ændringer.

UKÄ giver udtryk for, at det særligt var i forbindelse med belysningen af kvalitets-

praksis i audit trails i institutionsgranskningerne, at omfanget af dokumentation blev

for højt. Samtidig er det vigtigt at være opmærksom på, at det blandt de tre lande

mest tydeligt er UKÄ, der betoner vurderingen af kvalitetssikringspraksis på instituti-

onen.

Typer af indsatser for at mindske dokumentationsbyrden

I det følgende beskrives de typer af indsatser, som er taget i brug i Finland, Norge

og Sverige med henblik på at mindske dokumentationsbyrden. Der vil i sagens natur

Side 32/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

være et samspil mellem indsatserne i det enkelte system. Her præsenteres indsat-

serne som enkeltstående indsatser. En række indsatser er allerede kendt og an-

vendt i Danmark. Dette nævnes i teksten i kursiv.

Typer af indsatser

Generel opfordring og ty-

deliggørelse

Eksempler

NOKUT skriver i ’dokumentationskrav til institutio-

nerne’ en generel opfordring om at ”Det er ønskelig

å begrense den totale dokumentasjonsmengden, og

at dokumentasjonen som sendes inn er mest mulig

målrettet”.

NOKUT betoner videre, at man ikke ønsker at insti-

tutionen skal producere ny dokumentation ifm. tilsy-

net (udover efterspurgte refleksioner/redegørelser).

I AI’s Vejledning om institutionsakkreditering er der

en generel opfordring til at begrænse dokumentation

i forbindelse med selvevalueringsrapporten.

Konkret type af dokumen-

tation udpeges i vejledning

FINEEC efterspørger ud over selvevalueringsrappor-

ten syv dokumenter:

▪

an organisational chart

▪ the HEI’s strategy

▪

a quality manual or similar description of the

HEI’s

quality system including the management system

▪

web access to the curricula of degree programmes

▪

RPL instructions [Recognition of Previous Learning]

▪

the equality plan/non-discrimination statement

▪

monitoring data of graduation rates and the pro-

gress of studies for the past five years

FINEEC åbner dog for muligheden af, at institutionen

supplerende vedlægger andre dokumenter, ligesom

panelet før og under besøget kan efterspørge sup-

plerende dokumentation.

NOKUT udpeger mulige typer af dokumentation i for-

bindelse med vejledningens specifikke krav, fx: ”Do-

kumentasjon som belyser hvordan institusjonen imø-

tekommer krav i § 4-1 (5). Dette kan være institusjo-

nens systembeskrivelse for kvalitetsarbeidet, tilta-

ksplaner og/eller årsrapporter som beskriver hvordan

kunnskap fra kvalitetsarbeidet systematisk blir brukt

for å utvikle kvaliteten i studietilbudene og avdekke

eventuelt sviktende kvalitet. ” NOKUT giver samtidig

mulighed for, at uddannelsesinstitutionen kan belyse

kravet med anden dokumentation.

NOKUT betoner også, at tilknytning af dokumenta-

tion og redegørelse til specifikke og adskilte krav

fremfor til helheder skal bidrage til at begrænse do-

kumentationsomfanget.

Side 33/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Maksimalt sideantal på de

enkelte dokumentationsty-

per

UKÄ angiver et maksimalt sideantal i forbindelse

med uddannelsesinstitutionernes selvevaluerings-

rapport (30-50 normalsider), men ikke i forbindelse

med dokumentation af kvalitetssikringspraksis i audit

trails.

NOKUT efterspørger tre typer af dokumentation. 1)

Om dokumentationen, hvor der er en sidebegræns-

ning (typisk en halv side), 2) Dokumentationen, hvor

der ikke er begrænsninger og 3) Redegørelse, hvor

der er en begrænsning på sideantal (typisk 1-3 sider)

I Vejledning om institutionsakkreditering er der angi-

vet maksimale sidetal i forbindelse med de enkelte

dele af selvevalueringsrapporten.

Tekniske begrænsninger

FINEEC beder uddannelsesinstitutionerne om at be-

svare spørgsmålene i et nyt it-system, der er imple-

menteret som led i den nye audit model 2018. Syste-

met fungerer som en hjemmeside, hvor institutio-

nerne udfylder deres selvevalueringsrapport i afsnit

under hvert kriterie. Afsnittene har en vejledende

maksimalgrænse for omfanget af besvarelsen.

Tydeliggørelse af doku-

mentationsønske og for-

ventninger gennem vejle-

dende spørgsmål

FINEEC stiller i skabelonen spørgsmål, der angiver

forventninger om, hvilken sammenhæng institutio-

nerne skal belyse, fx ”How does the HEI ensure that

the education offered

is linked to the strategy?”

“How can students and external stakeholders impact

the planning of education?”

NOKUT stiller også i skabelonen spørgsmål, der an-

giver forventninger om, hvilken sammenhæng der

skal belyses. Fx spørger NOKUT: ”Hvordan blir insti-

tusjonens strategi fulgt opp gjennom det systemati-

ske kvalitetsarbeidet? (1-2

sider).”

Dialog med institutionerne

UKÄ vil fremover gennemføre dialogmøder med in-

stitutionerne om dokumentation i forbindelse med

første og andet besøg (dokumentation af audit

trails).

AI gennemfører møder med institutionerne om

blandt andet dokumentation før første besøg. Før

andet besøg er der møde eller anden form for tæt di-

alog, specifikt om afgrænsning af dokumentation til

de valgte audit trails.

Side 34/35

UFU, Alm.del - 2018-19 (1. samling) - Bilag 42: Uddannelses- og Forskningsministeriets evaluering af institutionsakkreditering, fra uddannelses- og forskningsministeren

Mundtlig dialog som dokumentationskilde

AI har også indhentet oplysninger om balancen mellem skriftlig dokumentation hhv.

mundtlige udsagn under besøg.

UKÄ betoner, at indholdet af mundtlige udsagn under besøg skal kunne genfindes i

den skriftlige dokumentation. Dette betones blandt andet i dialogen med gransk-

ningspanelerne.

NOKUT kommunikerer i ”Vejledning til sakkyndige” (2018) et klart hierarki mellem

(original) dokumentation, redegørelser og interviews fra besøg. Original dokumenta-

tion og derefter redegørelser er de vigtigste kilder. Om interviews hedder det såle-

des, at panelet skal ”gjennomføre intervjuer … for å få utdypet informasjon om den

skriftlige dokumentasjon, og for å eventuelt belyse forhold som er uklare eller ikke er

tilstrekkelig besvart.” og ”Opplysninger

fra intervjuene kan bekrefte, avkrefte eller ut-

fylle opplysninger fra dokumentasjonen.”

FINEEC anvender information fra besøget i rapporterne, men som støtte til skriftlig

dokumentation.

Kilder

NOKUT:

https://www.nokut.no/utdanningskvalitet/tilsyn-med-det-systematiske-kvalitetsar-

beidet/

Sverige:

http://www.uka.se/publikationer--beslut/publikationer--beslut/vagled-

ningar/vagledningar/2018-02-19-vagledning-for-granskningar-av-larosatenas-kvali-

tetssakringsarbete.html

Finland:

https://karvi.fi/app/uploads/2017/02/FINEEC_Audit_ma-

nual_for_higher_education_institutions_2018-2024_FINAL.pdf

Side 35/35