Datakvalitet i dansk offentlig statistik: Hvilke spørgsmål bør du stille?

Datakvalitet er mere end præcision

Danmarks Statistik definerer kvalitet i officiel statistik bredere end præcision. Præcision er én dimension. Bruges offentlige tal i en analyse, en ansøgning eller en politisk beslutning, rækker fejlmarginer alene ikke.

Afklar mindst fire forhold, før du regner videre: population og enheder; indsamlings- og opdateringstidspunkt; begrebsdefinitioner og afgrænsning; sammenlignelighed med en tidligere periode eller en anden enhed. Fejler ét punkt, kan præcisionen være høj, mens konklusionen er forkert.

Dokumentation er en tredje dimension. Findes metodebeskrivelse, opgørelsesdato og beskrivelse af indberettende enheder? Uden dem kan du ikke vurdere, om tallene bærer din konklusion.

Spørg derfor, hvor præcist statistikken belyser det, den skal. Spørg også, hvilke andre forhold der kendetegner kvaliteten i officiel statistik, så du ikke kun får fejlmarginen at vide.

Retningslinjerne for Officiel Statistik bygger på Adfærdskodeks for Europæiske Statistikker (Code of Practice, CoP). Danmarks Statistik har 16 danske retningslinjer med 44 underliggende kriterier. De dækker institutionelle rammer, statistiske processer og statistiske produkter og skal sikre høj kvalitet.

Begrebet Officiel Statistik står i Lov om Danmarks Statistik. Loven definerer offentligt produceret statistik som statistik, der udgives af offentlige myndigheder, er generelt samfundsbelysende, er publiceret aggregeret talmateriale bearbejdet ved statistiske metoder, udgives med fast frekvens, er landsdækkende og offentligt tilgængelig.

Officiel Statistik er en delmængde: statistikken skal være offentligt produceret og tilmeldt ordningen. Producenten skal efterleve internationalt anerkendte standarder. Tilmeldte statistikker får et kvalitetsstempel for troværdig statistik produceret i Danmark.

Spørg: Er tabellen omfattet af ordningen Officiel Statistik? Hvilke af de 16 retningslinjer og 44 kriterier er relevante for denne statistik? Følges de op via det årlige elektroniske selvevalueringsskema og peer reviews af tilfældigt udvalgte producenter?

Vigtige fakta om dansk offentlig statistik

Hvem har lavet statistikken – og efter hvilke principper?

Danmarks Statistik er en statslig institution. Produktionen følger faste principper for metode, offentliggørelse og kvalitet. I beskrivelsen af rollen og opgaven nævnes samarbejde og relevans sammen med kvalitet. Spørg alligevel, hvilke principper der gælder for netop din tabel.

Er tallene produceret af Danmarks Statistik, eller videreformidlet fra en anden myndighed, et ministerium, en brancheorganisation eller en forskningsinstitution? Findes en metodebeskrivelse af indsamlingen, og fremgår det, hvem der leverede data?

Er et samarbejde mellem flere parter beskrevet, og hvem definerede i så fald begreberne? Er statistikken tilmeldt ordningen for Officiel Statistik?

Er producenten en anden end Danmarks Statistik, bør du bede om dokumentation for metode og afgrænsning, før du sidestiller tallet med officiel statistik.

Statistik, der produceres af Danmarks Statistik og andre offentlige myndigheder til EU’s statistiske program, skal efterleve retningslinjerne for Officiel Statistik. Spørg, om din tabel hører til den gruppe.

Fejl og rettelser: Hvordan rettes publicerede statistikker?

Danmarks Statistiks formidlingspolitik siger, at statistikkens billede af samfundsudviklingen skal være troværdigt og pålideligt. Fejl i publicerede statistikker rettes offentligt. Et hentet tal kan derfor være rettet efterfølgende, uden at tabellen ved første øjekast ser anderledes ud.

Spørg, hvordan og hvor rettelser offentliggøres, og hvordan du følger dem. Har tabellen version eller opgørelsesdato? Er der rettet i den periode, din analyse dækker, og er rettelserne indarbejdet i dine tal?

Angiv altid opgørelsesdato og kilde i din egen formidling. Tjek for rettelser, før du gentager et tal i en rapport, et notat eller en præsentation.

Følg formidlingspolitikken, og tjek om din tabel er omfattet af en rettelse. Spørg også, om der findes en fast oversigt eller et register over rettelser, du kan følge.

Løbende kvalitetssikring i indberetningen

Den 16. juni 2021 gav ministeriet Danmarks Statistik ret i, at kvaliteten af data skal kunne sikres løbende i samme omfang som i dag. Kvalitetssikring sker derfor ikke kun ved publicering, men også i indberetningsprocessen, hvor data bliver til.

I en indberetningsbaseret statistik: Hvilke kontroller kører på de indberettede data, mens de modtages? Findes faste valideringsregler for felter, beløb og perioder? Hvem følger op på ufuldstændige eller usandsynlige indberetninger, og hvor hurtigt?

Kan indberetteren rette en fejl efter indsendelse, og fremgår korrektionen af opgørelsen? Overvej, hvem der bærer kontrollen: indberetteren, modtageren eller begge.

Er det beskrevet, hvordan uenighed om et tal løses, før det ender i den offentliggjorte statistik? Er indberetningen beskrevet i en bekendtgørelse, og hvordan sikres kvaliteten i selve processen?

Danmarks Statistik oplyser, at man kan kontakte dem via supportformularen og få hjælp til sin indberetning. Skal du selv indberette, er formularen et sted at henvende sig.

Udvikling i kvalitetssikring af offentlig statistik

Total eller stikprøve? Spørg til datagrundlaget

En eksisterende stikprøve er på 1.600 bedrifter, og der er en betaling pr. bedriftsskema. Officiel statistik er altså ikke nødvendigvis en totalundersøgelse.

Et folketingsbilag om regnskab til Danmarks Statistik oplyser samme stikprøvestørrelse: 1.600 bedrifter. Spørg, hvem Kommissionen er, og hvad betalingen pr. bedriftsskema dækker. Indberettes regnskabet til Danmarks Statistik?

Er tallene en totalundersøgelse eller en stikprøve? Hvor mange enheder indgår, og hvordan er de udvalgt? Er der brugt vægte for hele populationen, og hvordan er de beregnet?

Det afgørende er, hvor fint tallene må deles op. En stikprøve kan være robust nationalt og for usikker til en enkelt kommune, en enkelt branche eller en lille gruppe. Bed om usikkerhedsoplysninger for netop dit opdelingsniveau, før du konkluderer på forskelle mellem små grupper.

Totalundersøgelse vs. stikprøve: Kvalitet og anvendelse

Når data kobles på tværs: Følger kvaliteten med?

Når data kobles på tværs af registre, er det værd at undersøge, om kvalitetssikringen følger med data videre til næste aktør.

Når data kobles eller deles mellem myndigheder og forskningsmiljøer: Følger kvalitetsdokumentationen med, eller overleveres data uden beskrivelse af valideringen? Hvilke variable indgår, og er de defineret ens i begge kilder?

Hvilken population dækker hvert datasæt, og hvordan håndteres enheder, der kun findes i det ene? Fremgår det, hvad der er sket med dubletter, manglende værdier og ikke-koblede poster?

Hvem er ansvarlig for kvaliteten efter koblingen? Deles ansvaret mellem flere instanser, bør du få præciseret, hvem du henvender dig til ved problemer i det færdige datasæt. Spørg også, hvad FLIS er for en instans, og om kvalitetsdokumentationen følger med, når data sendes videre.

Fordelene og udfordringer ved kobling af data mellem registre

Tillid, digitale kompetencer og datagrundlaget

Digitaliseringsstyrelsen peger på, at tilliden til den digitale offentlige sektor blandt andet skabes af borgernes opfattelse af myndighederne, deres oplevelse med offentlige digitale tjenester og deres digitale kompetencer. Borgeren skal kunne stole på, at Digital Post kommer frem, at en selvbetjeningsløsning virker, og at data anvendes og behandles forsvarligt.

Mange borgeres primære indgang til det offentlige er ifølge styrelsen borger.dk, sundhed.dk, kommunale selvbetjeningsløsninger og apps som det digitale sundhedskort og kørekort. Her bliver borgernes digitale kompetencer afgørende.

Digitaliseringsstyrelsen gennemfører årligt en undersøgelse af borgernes tiltro til de offentlige digitale tjenester sammen med Danmarks Statistik. Styrelsen undersøger samtidig brugertilfredsheden med konkrete løsninger, den er ansvarlig for, herunder MitID, Digital Post og borger.dk.

Ved den type tillids- og tilfredshedsmålinger bør du spørge: Hvem er spurgt, og hvordan er de udvalgt? Hvor mange svarer, og hvem falder fra? Er resultaterne vægtede, så de afspejler befolkningen, eller ved vi ikke, hvem der ikke er repræsenteret?

Digitale kompetencer varierer i befolkningen. Det påvirker, hvem der kan og vil svare digitalt, og hvem der bruger selvbetjeningsløsninger – og dermed grundlaget for undersøgelser af både brug og tillid. Falder grupper ud, fx borgere med svagere digitale kompetencer, bør det fremgå af din vurdering, før du bruger resultatet som udtryk for befolkningens tillid.

Spørg, om den årlige tillidsmåling sker med Danmarks Statistik, og om brugertilfredsheden med de nævnte tjenester undersøges særskilt.

Hvad hedder undersøgelsen af befolkningens tiltro til de offentlige digitale løsninger? Danmark er et af de mest digitaliserede lande i verden, men borgernes digitale kompetencer påvirker, hvem der kan svare digitalt.

Spørgsmål du kan stille, før du bruger statistikken

Spørg først, hvor præcist statistikken belyser det, den skal. Spørg derefter, hvilke andre forhold der kendetegner kvaliteten i netop denne officielle statistik.

Hvem har produceret statistikken, og følger produktionen faste principper for metode, offentliggørelse og kvalitet? Findes en metodebeskrivelse, og indgår samarbejdsparter i opgørelsen?

Hvilke enheder og hvilken population dækker tallene? Hvordan er begreberne defineret, og er opgørelsesdatoen angivet? Kan tallene sammenlignes med den periode eller enhed, du vil stille dem op imod?

Offentliggøres rettelser til publicerede statistikker, hvor kan du følge dem, og er de indarbejdet i den tabel, du bruger? Angiv altid opgørelsesdato og kilde i din egen formidling.

Hvilke kontroller og valideringer kører på de indberettede data? Hvem følger op på fejl og ufuldstændige indberetninger, og kan indberetteren rette efterfølgende? Brug indberetningssupporten, hvis du selv skal indberette.

Er der tale om en totalundersøgelse eller en stikprøve? Hvor mange enheder indgår, hvordan er de udvalgt og vægtet, og hvilken usikkerhed gælder på det opdelingsniveau, du vil bruge?

Følger kvalitetsdokumentationen med, når data kobles eller deles mellem myndigheder og forskningsmiljøer? Hvilke variable og populationer mødes, og hvem er ansvarlig for kvaliteten efter koblingen?

Hvem er spurgt i en tillids- eller tilfredshedsmåling? Hvor mange svarer, hvem falder fra, og er resultaterne vægtede – ikke mindst for grupper med svagere digitale kompetencer?

Skal du selv indberette, kan du kontakte Danmarks Statistik via supportformularen og få hjælp. Brug den, før du indsender.

Er statistikken omfattet af ordningen Officiel Statistik? Er producenten bundet af de 16 danske retningslinjer med 44 underliggende kriterier, der bygger på Adfærdskodeks for Europæiske Statistikker (Code of Practice, CoP)?

Opfylder statistikken definitionen i Lov om Danmarks Statistik? Er den offentligt produceret, generelt samfundsbelysende, aggregeret ved statistiske metoder, udgivet med fast frekvens, landsdækkende og offentligt tilgængelig?

Efterlever producenten retningslinjerne? Det monitoreres årligt gennem et elektronisk selvevalueringsskema, og der gennemføres peer reviews af tilfældigt udvalgte producenter.

Hvad er FLIS for en instans? Følger kvalitetsdokumentationen med, når data sendes videre, og hvem har ansvaret efter koblingen?

Hvad hedder målingen af befolkningens tiltro til de offentlige digitale tjenester? Gennemføres den årligt sammen med Danmarks Statistik, og undersøges brugertilfredsheden med de nævnte tjenester særskilt?

Hvem er Kommissionen, og hvad er betalingen pr. bedriftsskema? Indberettes regnskabet til Danmarks Statistik?

Spørgsmål du bør stille, før du bruger statistikken