Datakvalitet i dansk offentlig statistik: Hvilke spørgsmål bør du stille?

Datakvalitet er mere end præcision

Danmarks Statistik beskriver selv, at kvalitet i officiel statistik har flere forhold end præcisionen, som ofte er det, der fokuseres på. Den ramme er nyttig, når offentlige tal skal bruges i en analyse, en ansøgning eller en politisk beslutning: Spørger du kun til fejlmarginer, har du dækket én dimension, ikke hele billedet.

Før du regner videre på et tal, bør du afklare mindst fire ting: hvem og hvad statistikken dækker (population og enheder), hvornår oplysningerne er indsamlet og opdateret, hvordan begreberne er defineret og afgrænset, og om tallene kan sammenlignes med den tidligere periode eller den anden enhed, du vil stille dem op imod. Fejler ét af punkterne, kan præcisionen være høj, og konklusionen alligevel forkert.

En tredje dimension er dokumentationen: Findes der en metodebeskrivelse, en opgørelsesdato og en beskrivelse af de indberettende enheder? Hvis ikke, har du ikke grundlag for at vurdere, om tallene kan bære den konklusion, du vil bruge dem til.

Vigtige kvalitetsindikatorer i dansk offentlig statistik

Hvem har lavet statistikken – og efter hvilke principper?

Danmarks Statistik er en statslig institution, og produktionen følger faste principper for metode, offentliggørelse og kvalitet. Samarbejde og relevans nævnes sammen med kvalitet i Danmarks Statistiks beskrivelse af rollen og opgaven. Det giver et udgangspunkt: Statistik fra Danmarks Statistik bygger på faste principper, men du skal stadig spørge, hvilke principper der gælder for netop den tabel, du bruger.

Spørg derfor: Er tallene produceret af Danmarks Statistik, eller er de videreformidlet fra en anden myndighed, et ministerium, en brancheorganisation eller en forskningsinstitution? Findes der en metodebeskrivelse, der oplyser, hvordan data er indsamlet, og hvem der har leveret dem? Er der beskrevet et samarbejde mellem flere parter om opgørelsen, og hvad betyder det i så fald for, hvem der har defineret begreberne?

Er producenten en anden end Danmarks Statistik, er hovedsignalet, at du skal bede om dokumentation for metode og afgrænsning, før du bruger tallet på linje med den officielle statistik.

Fejl og rettelser: Hvordan rettes publicerede statistikker?

Danmarks Statistiks formidlingspolitik slår fast, at statistikkens billede af samfundsudviklingen skal være troværdigt og pålideligt, og at der offentliggøres rettelser, når der konstateres fejl i publicerede statistikker. Et tal, du har hentet, kan derfor være rettet efterfølgende – også uden at tabellen ser anderledes ud ved første øjekast.

Spørg: Hvordan og hvor offentliggøres rettelser, og hvordan kan du som bruger holde øje med dem? Har tabellen en version eller opgørelsesdato? Er der rettet i det tidsrum, din analyse dækker, og er rettelserne indarbejdet i de tal, du sidder med?

Angiv derfor altid opgørelsesdato og kilde i din egen formidling, og tjek for rettelser, før du gentager et tal i en ny rapport, et nyt notat eller en ny præsentation.

Løbende kvalitetssikring i indberetningen

I høringsnotatet af 16. juni 2021 om udkast til bekendtgørelse om dataindberetninger på dagtilbudsområdet giver Ministeriet Danmarks Statistik ret i, at det er vigtigt at kunne sikre kvaliteten af data løbende i samme omfang som i dag. Eksemplet viser, at kvalitetssikring ikke kun sker ved publicering – den foregår også i indberetningsprocessen, hvor data bliver til.

Spørg til en indberetningsbaseret statistik: Hvilke kontroller kører der på de indberettede data, mens de modtages – er der fastlagte valideringsregler for felter, beløb og perioder? Hvem følger op, hvis en indberetning er ufuldstændig eller usandsynlig, og hvor hurtigt? Kan den indberetningsansvarlige rette en fejl efter indsendelse, og fremgår det af opgørelsen, at data er korrigeret?

Danmarks Statistik tilbyder support til indberetning via en supportformular. Skal du selv indberette, kan du bruge den til at afklare, hvilke felter der er obligatoriske, hvordan enheder og perioder skal angives, og hvad der sker med indberetningen, hvis den afvises.

Overvej også, hvem der bærer byrden ved kontrollen. Ligger valideringen hos indberetteren, hos modtageren eller begge steder, og er det beskrevet, hvordan uenighed om et tal løses, før det ender i den offentliggjorte statistik?

Løbende kvalitetssikring i dataindberetning

Total eller stikprøve? Spørg til datagrundlaget

I kilden »MOF, Alm.del - 2021-22 - Bilag 649« omtales en eksisterende stikprøve på 1.600 bedrifter og en betaling pr. bedriftsskema. Eksemplet viser, at en officiel statistik ikke nødvendigvis er en totalundersøgelse af alle enheder, men kan bygge på et udvalg af bedrifter – og at omkostningen pr. enhed indgår i overvejelserne om, hvor stort udvalget skal være.

Spørg derfor: Er tallene en totalundersøgelse eller en stikprøve? Hvor mange enheder indgår, og hvordan er de udvalgt? Er der anvendt vægte for at kunne sige noget om hele populationen, og hvordan er vægtene beregnet?

Det afgørende er, hvor fint tallene må deles op. En stikprøve kan være robust på nationalt niveau og samtidig for usikker til at udtale sig om en enkelt kommune, en enkelt branche eller en lille gruppe. Bed derfor om usikkerhedsoplysninger for netop det opdelingsniveau, du vil bruge, før du konkluderer på forskelle mellem små grupper.

Totalundersøgelse vs. stikprøve – hvad betyder det?

Når data kobles på tværs: Følger kvaliteten med?

VIVE-rapporten om kobling af data på det specialiserede børneområde fra 25. maj 2017 beskriver, at de kvalitetssikrede data dengang ikke blev sendt fra Danmarks Statistik til FLIS. Pointen er central ved sammenkoblede registre: Kvalitetssikring ét sted i kæden følger ikke automatisk med data videre til den næste aktør.

Spørg, når data kobles eller deles mellem myndigheder og forskningsmiljøer: Følger kvalitetsdokumentationen med, eller overleveres data uden beskrivelse af, hvordan de er valideret? Hvilke variable indgår i koblingen, og er de defineret ens i begge kilder? Hvilken population dækker hvert datasæt, og hvordan håndteres enheder, der kun findes i det ene datasæt? Fremgår det, hvad der er sket med dubletter, manglende værdier og ikke-koblede poster?

Spørg også, hvem der er ansvarlig for kvaliteten efter koblingen. Hvis ansvaret deles mellem flere instanser, bør du få præciseret, hvem du henvender dig til, hvis du finder et problem i det færdige datasæt.

Fordeler og udfordringer ved kobling af data

Tillid, digitale kompetencer og datagrundlaget

Digitaliseringsstyrelsen beskriver, at tilliden til den digitale offentlige sektor blandt andet skabes af borgernes opfattelse af myndighederne, deres oplevelse med de offentlige digitale løsninger og borgernes digitale kompetencer. Styrelsen fremhæver, at borgeren skal have tillid til, at Digital Post kommer frem, at en selvbetjeningsløsning virker, og at data anvendes og behandles forsvarligt. Mange borgeres primære indgang til det offentlige er ifølge styrelsen borger.dk, sundhed.dk, kommunernes selvbetjeningsløsninger og apps som det digitale sundhedskort og kørekort.

Digitaliseringsstyrelsen afvikler årligt en undersøgelse af borgernes tillid til offentlige digitale løsninger i samarbejde med Danmarks Statistik. Der undersøges samtidig brugertilfredshed med konkrete løsninger, som styrelsen er ansvarlig for, herunder MitID, Digital Post og borger.dk. Når du bruger den type tillids- og tilfredshedsmålinger, bør du spørge: Hvem er spurgt, og hvordan er de udvalgt? Hvor mange svarer, og hvem falder fra? Er resultaterne vægtede, så de afspejler befolkningen, eller ved vi ikke, hvem der ikke er repræsenteret?

Koblingen til datakvalitet er, at digitale kompetencer varierer i befolkningen. Det påvirker, hvem der kan og vil svare digitalt, hvem der bruger selvbetjeningsløsninger, og dermed grundlaget for en undersøgelse af både brug og tillid. Falder grupper ud – fx borgere med svagere digitale kompetencer – bør det fremgå af din vurdering, før du bruger resultatet som udtryk for befolkningens tillid.

Spørgsmål du kan stille, før du bruger statistikken

Producent og principper: Hvem har produceret statistikken, og er produktionen omfattet af faste principper for metode, offentliggørelse og kvalitet? Findes der en metodebeskrivelse, og er der samarbejdsparter med i opgørelsen?

Dækning og definition: Hvilke enheder og hvilken population dækker tallene? Hvordan er begreberne defineret, og er opgørelsesdatoen angivet? Kan tallene sammenlignes med den anden periode eller enhed, du vil stille dem op imod?

Fejl og rettelser: Offentliggøres rettelser til publicerede statistikker, hvor kan du følge dem, og er de indarbejdet i den tabel, du bruger? Angiv altid opgørelsesdato og kilde i din egen formidling.

Indberetningskvalitet: Hvilke kontroller og valideringer kører der på de indberettede data? Hvem følger op på fejl og ufuldstændige indberetninger, og kan indberetteren rette efterfølgende? Brug indberetningssupporten, hvis du selv skal indberette.

Datagrundlag: Er der tale om en totalundersøgelse eller en stikprøve? Hvor mange enheder indgår, hvordan er de udvalgt og vægtet, og hvilken usikkerhed gælder på det opdelingsniveau, du vil bruge?

Kobling og deling: Følger kvalitetsdokumentationen med, når data kobles eller deles mellem myndigheder og forskningsmiljøer? Hvilke variable og populationer mødes, og hvem er ansvarlig for kvaliteten efter koblingen?

Tillid og svarpersoner: Hvem er spurgt i en tillids- eller tilfredshedsundersøgelse? Hvor mange svarer, hvem falder fra, og er resultaterne vægtede – ikke mindst for grupper med svagere digitale kompetencer?