Oppsummering, selvransakelse og takk for i år

Valget er over og det er på tide å gjøre opp status.

Meningsmålingsinstituttene er godt fornøyde mer årets innsats, men som vi skal se er det kanskje ikke helt åpenbart, selv om vi er enige i at det enkle ofte er det beste. Samtidig vil det alltid være noen som treffer best med så mange meningsmålinger.

Våre prognoser har bestått av en punktprognose (for eksempel oppslutningen til Venstre) og en usikkerhet rundt denne prognosen (Venstres oppslutning vil ligge mellom 3,2 og 5,0 %), eventuelt utsagn som at

Sannsynligheten for at Høyre blir større enn Arbeiderpartiet er under 5 %

Dette viste seg å være rett, men vi kunne også tatt feil.

Usikkerhetsintervallene rundt punktprognosene angir intervaller som i 80 av 100 valg bør inneholde valgresultatet. Det vil si at selv med en "riktig" modell bør valgresultatet i 20 av 100 valg ligge utenfor intervallet. Sagt på en annen måte: av alle våre prognoser for valgresultatet for partier og blokker, forventer vi at vi vil bomme på 20 % av dem. Nå når vi kjenner fasiten, årets valgresultat, viser det seg at alle våre partiprognoser, både i prosent og mandater per parti, ligger innenfor disse intervallene og det er bra.

Figuren nedenfor viser valgresultatet (heltrukken linje) og vår siste prognose (stiplet linje) per parti i prosent.

enter image description here

At høyresiden har gjort det mye bedre enn vår prognose og venstresiden dårligere enn vår prognose gjør at valgresultatet for blokkene havner like utenfor eller helt i kanten av usikkerhetsintervallet.

Mange er nok mest opptatt av selve punktprognosen, og der har vi ikke truffet like godt. Spesielt ligger den endelige oppslutningen for Arbeiderpartiet i nedre del av vårt usikkerhetsintervall, og oppslutningen til Høyre og Fremskrittspartiet endte i øvre del av intervallet.

For ordens skyld tar vi med gjennomsnittet av de siste seks publiserte målingene fra alle institutt siste uke før valget og VGs valgdagsmåling:

  • Gjennomsnitt av siste målinger/VGs valgdagsmåling
  • Rødt: 3,4 % / 3,1 %
  • SV: 6,4 % / 6,0 %
  • Ap: 27,0 %/ 26,6 %
  • Sp: 9,9 % / 9,8 %
  • MDG: 4,3 % / 3,8 %
  • V: 4,1 % / 5,4 %
  • KrF: 4,6 % / 4,8 %
  • H: 24,1 %/ 24,2 %
  • FrP: 14,4 %/14,7 %

Vi har regnet ut gjennomsnittlig absoluttavvik (i prosentpoeng) og det gir:

Til sammenligning hadde vi følgende resultater etter valget i 2013:

  • 169.no: 4,4 %
  • VGs valgdagsmåling: 6,3 %
  • TV 2 sin valgdagsmåling: 7,7 %
  • pollofopolls.no basert på fylkesmålinger: 5,3 %

(Her har vi ikke tatt med "Gjennomsnitt av siste seks målinger", fordi vi ikke er helt sikre på tallgrunnlaget, men feilen lå her mellom 169.no sin feil og pollofopolls.no basert på fylkesmålinger.)

Årsakene til at våre prognoser tildels havnet for langt unna valgresultatet er blant annet:

  1. Modellen vår er (med vilje) treg: Vi bruker et vektet snitt av mange justerte meningsmålinger, det vil si at meningsmålinger som er flere uker gamle bidrar i prognosen. Når vi får et slikt dramatisk fall som Arbeiderpartiet hadde i år, hang modellen etter og fanger ikke i stor nok grad opp den nedadgående trenden. I etterpåklokskapens lys burde de nyeste meningsmålingene i akkurat dette valget fått større vekt enn de fikk.

  2. Valget 2017 kontra tidligere valg: Modellen vårt er trent opp på de tre foregående Stortingsvalgene – 2005, 2009 og 2013. Siden alle valg(kamper) er forskjellige, var vi forsiktige med å anta at valgresultatet i 2017 skulle gjenspeile meningsmålingene på samme måte som i tidligere valg. Likevel kan det være at vi burde vært enda mer forsiktige. Som vi har vist tidligere har Arbeiderpartiets valgresultat gitt høyere oppslutning enn meningsmålingene viste, både i 2005, 2009 og 2013. Derfor har vår prognose for 2017 for Arbeiderpartiet vært høyere enn mange av meningsmålingene. Figuren under viser resultatet i de fire foregående valgene sammen med de tilhørende meningsmålingene. Hver prikk tilsvarer en meningsmåling.

enter image description here

Også i år lå meningsmålingene noe for lavt for Arbeiderpartet. Gjennomsnittet av de siste seks meningsmålingene ga en oppslutning på 27,0 %, mens valgresultatet ble 27,4 %, en forskjell på 0,4 %. VGs valgdagsmåling lå 0,8 % under sluttresultatet. Vår prognose var på 28,7 %, og en mer moderat justering i forhold til tidligere valg ville gitt en lavere prognose.

Modellen vår var også for optimistisk på MDGs vegne. Gjennomsnittet av de siste seks meningsmålingene ga MDG 4,3 %, vår modell trodde på 4,1 % og resultatet ble 3,2 %.

enter image description here

Som figuren viser, lå de fleste meningsmålingene for høyt og vår modell lå tross alt noe nærmere sannheten enn gjennomsnittet av meningsmålingene. I motsetning til for Arbeiderpartiet, hadde det vært lurt av modellen å legge mer, ikke mindre, vekt på historien til MDG.

Enkelte meningsmålinger har truffet godt i år, slik som TNS/TV2 6. september, med et totalt absolutt prosentavvik på kun 2,8 %. Imidlertid har en måling fra samme institutt, to dager senere, et avvik på 5,9 %, som er høyere enn valgdagsmålingen til VG.

I år ga gjennomsnittet av de siste seks målingene samme resultat som valgdagsmålingen, og bedre enn vår modell. Det er likevel verdt å legge merke til at dette gjennomsnittet også avviker mye fra valgresultatet.

Tusen takk til alle som fulgte oss og kom med innspill, vi sees kanskje ved neste valg!

Storting, strikking og historieessens

Ja, man kan faktisk strikke Stortinget, slik statistikeren Kathrine Frey Frøslie har gjort de siste to ukene. Og resultatet er blitt fantastisk:

enter image description here

Kathrines fanesak er at statistikk egentlig er historie-essens. Statistikk handler om å destillere data for å komme fram til kjernen av det dataene prøver å fortelle oss. Og det er akkurat det Norsk Regnesentral jobber med; på 169.no prøver vi å destillere meningsmålinger for å avdekke essensen i dataene og se gjennom støyen - fra måling til måling. Slik som i blokkmandat-utviklingen:

enter image description here

For de fleste er det også lettere å forstå data visuelt. Derfor har Kathrine funnet ut at statistikk faktisk er perfekt for strikking. For eksempel kan dagens Storting visualiseres som et kakediagram der hvert parti har en viss andel av de 169 mandatene, fra MDGs ene mandat og opp til APs 55. En strålende innføring i hva meningsmålinger er og hele historien fra idé til ferdig sitteunderlag kan leses på statistrikk.no.

For se hva som har skjedd siden dagens Storting ble valgt 2013 kan vi følge vår prognose i samme kakediagram, uke for uke fra 10. september 2013 og fram idag:

enter image description here

Siste prognose før valget

Like før valget, er det jevnt på de nasjonale målingene. De siste målingene ligger noe nærmere vår prognose. Vi har tidligere skrevet om TNS Gallups rullerende utvalg. I det siste har vi merket oss at TNS Gallup 3. september meldte at Høyre og Arbeiderpartiet var like store, mens forskjellen var på over fem prosentpoeng i gårsdagens måling. (Og for ordens skyld: disse to målingene rulleoverlapper ikke.)

Her er vår siste prognose:

enter image description here enter image description here enter image description here

Godt valg!