Varedeklarationer for stikprøveundersøgelser

For en konkret stikprøveundersøgelse er det en opgave for dataleverandøren atbeskrive dens samlede usikkerhed og kvalitet. Flere af de afgørendekvalitetskomponenter i en stikprøveundersøgelse kan dog ikke måles med tal ogmå i stedet beskrives med analyser, redegørelse for dataindsamlingens principperog opfyldelsen af relevante standarder for den konkrete stikprøveundersøgelse.De afgørende kvalitetskomponenter, der ikke kan måles med tal, vil det forbrugeren altid kræve en vis faglig indsigt at kunne fortolke, og det forudsætter, atdataleverandøren har givet en fuld dækkende beskrivelse. Dataleverandøren er denbedste til at give en samlet vurdering af sikkerheden, men vurderingen vil altidindeholde et subjektivt element baseret på erfaringen og specifik viden om denkonkrete stikprøveundersøgelse, som andre ikke har. Det er en meget omfattendeopgave, at udarbejde konkrete principper for varedeklarationer for undersøgelsermed helt forskellige stikprøvedesigns, der kort beskriver den samlede usikkerhed –og ingen har hidtil kunnet løfte en sådan opgave konkret. At der ikke findes enenkelt og let løsning fremgår bl.a. af, at Eurostat de sidste 5-10 år har arbejdet medudviklingen af fælles kvalitetsindikatorer for landenes dataindsamlinger. Det er enproces at udvikle kvalitetsmål, der dækker de forskellige landes problemstillinger.Selv om indikatorerne gradvist er blevet bedre, er det stadig kun indikatorer, derikke kan stå alene, når man skal beskrive den samlede usikkerhed. Fx vil enindikator, der måler størrelsen af bortfaldet, ikke nødvendigvist være udtryk for entilsvarende positiv/negativ betydning for den samlede sikkerhed i alle landene.Nogle stikprøver trækkes fra paneler, hvor personerne tidligere har indvilget i atdeltage, og andre er helt nye stikprøver. Hertil kommer at skævheden i bortfaldet,og dermed dets betydning for den samlede usikkerhed, ikke altid hængerproportionalt sammen med størrelsen af bortfaldet. Et andet eksempel er densåkaldte ”forskerbeskyttelse”, der blev indført i 2001, og som betyder at 12-13% afden danske befolkning er forhåndsudelukket til at deltage i fx brugerundersøgelserpå hospitaler og i kommuner, læseundersøgelser som PISA ogarbejdskraftundersøgelser, der udvælges fra CPR. Det har placeret Danmark blandtde tre EU-lande, der har det største bortfald, men vi ved ikke præcist, hvor megetdet påvirker undersøgelsernes repræsentativitet og sammenlignelighed over tid.En stikprøveundersøgelses samlede usikkerhed afhænger af en lang rækkekomponenter:Hvorfra trækkes stikprøven? Er det fra hele population eller en del afpopulation, er populationen aktuel og er der tale om en ”stikprøve istikprøven”, der trækkes fra en population af fx internetbrugere, dertidligere har deltaget i undersøgelser.Hvordan trækkes stikprøven? Er der tale om repræsentativ udtrækning,hvor man kender den enkeltes sandsynlig for at blive valgt eller afhængerudvælgelsen af ukendte forhold, fx hvor mange telefonnumre man kantræffes på.Hvorledes gennemføres dataindsamlingen? Kontrakter man kun en udvalgtperson én gang eller forsøger man mange gange, før man opgiver. Er dettilladt at lave erstatningsinterview med fx naboer, hvis den udvalgte ikkevil deltage. Hvordan administreres reglerne, når man fx skal vælge den, dernæste gang har fødselsdag, og denne ikke er hjemme.Hvordan spørges der til holdninger? Er det den samme formulering. Hvader instruktionen, når den udvalgte spørger om hjælp, og indgår spørgsmålet

i en større undersøgelse, der måske indeholder andre holdningsprægedespørgsmål.Hvordan opregnes der for skævt bortfald? Hvor meget kender man til deudvalgtes baggrundsvariabler, og hvad skal der sammenlignes imod. Fx ertidligere stemmeafgivelse ved folketingsvalg en effektiv korrektionsfaktorved meningsundersøgelser, hvis det sidste folketingsvalg ikke ligger flereår tilbage og knap så effektiv, hvis der spørges til EU-parlamentsvalget,der har 5 års interval, og hvor man ikke har så mange erfaringer medeffektive korrektioner.Hvor stort er bortfaldet? Både størrelsen og skævheden af bortfaldet erudtryk for kvalitet. Men hvordan måles størrelsen af bortfaldet, hvis dervælges blandt de, der på internettet har givet tilsagn om at ville deltage i etvælgerpanel, og hvordan sammenlignes dette bortfald med ettelefoninterview, der er trukket fra en kendt database med alletelefonnumre. Og hvordan måles skævheden af bortfaldet. Er det kun alderog køn, der inddrages, eller kender man fx også de udvalgtes uddannelse,og er denne uddannelse oplyst af den udvalgte og kan den sammenholdesmod kendte registeroplysninger.Hvor stor er stikprøven? Denne usikkerhedskomponent kan måles med tal,hvis man kender den udvalgssandsynlighed, de udvalgte er valgt med. Meden stikprøve på 1.000 vil usikkerheden fx typisk være godt 3%, hvis det eret spørgsmål om, der er flertal i befolkningen for en bestemt holdning,omkring 2½%, hvis det er parti med omkring 25%’s opbakning og knap2%, hvis det er et parti med 10% opbakning.

Det eneste af usikkerhedskomponenterne, der umiddelbart kan måles med eteksakt tal, er den sidste usikkerhedskomponent - stikprøveusikkerheden. Deførst nævnte faktorer har ofte langt større betydning og deres betydningafhænger ikke af stikprøvestørrelsen. Hvis de andre faktorers betydning ervæsentlig, er det eneste man får ud af at øge stikprøven, at resultatet kommertættere på den undervurdering eller overvurdering, de andre faktorer giveranledning til. Hvis man ønsker at reducere selve stikprøveusikkerheden til dethalve, skal man firedoble sin stikprøvestørrelse. Der skal således meget til atreducere den eneste målelige komponent – stikprøveusikkerheden, og det harderfor ikke stor betydning for den samlede usikkerhed, om stikprøven fx er800, 1.000 eller 1.200 personer.Problemet med det målelige og ikke målelige sammenfattes bedst af citatet fraEinstein:Ikke alt der kan tælles tæller, og ikke alt der tæller kan tælles.Detgælder også mht. kvaliteten og den samlede usikkerhed vedstikprøveundersøgelser. Der er både i Danmark og andre steder i verden enproces i gang med at giver brugerne en bedre forståelse af kvaliteten af destadig flere stikprøveundersøgelser. Men før man kan beslutte at standardiserede forskellige kvalitetsmål, kræver det en proces, hvor man forsøger atharmonisere og konkretisere de enkelte stikprøvedesigns kvalitetsmål.