Zijn de peilingen weer fout? Waarom experts zich zorgen maken over ‘kuddegedrag’

Minder dan een week na de deal laten peilingen een waanzinnig spannende race zien tussen Donald Trump en Kamala Harris , zowel nationaal als in de zeven staten die het zwaar te verduren hebben. De laatste tijd is het moeilijk om peilingen te vinden die veel anders laten zien. En dat heeft geleid tot vermoedens, zoals vaak gebeurt in de laatste rechte lijn, dat peilers aan het ‘herden’ zijn, dat wil zeggen dat ze hun cijfers zo dicht mogelijk bij die van andere peilers brengen, zoals Nate Silver het verwoordde:

There are too many polls in the swing states that show the race exactly Harris +1, TIE, Trump +1. Should be more variance than that. Everyone's herding (or everyone but NYT/Siena).

— Nate Silver (@NateSilver538) October 29, 2024

Silver richt zich al een tijdje op kuddegedrag. Toen hij nog FiveThirtyEight leidde, gaf hij een verklaring voor waarom sommige peilers kuddegedrag vertonen:

Een andere complicatie is ‘ herding ‘, of de neiging van peilingen om zeer vergelijkbare resultaten te produceren als andere peilingen, vooral tegen het einde van een campagne. Een methodologisch inferieure peiler kan oppervlakkig goede resultaten boeken door zijn peilingen te manipuleren om ze te laten overeenkomen met die van de sterkere peilingsbureaus. Als hij aan zichzelf wordt overgelaten – zonder sterkere peilingen om hem te leiden – zal hij het misschien niet zo goed doen. Toen we  keken naar peilingen in de Senaat van 2006 tot 2013 , ontdekten we dat methodologisch slechte peilers hun nauwkeurigheid met ongeveer 2 punten verbeteren als er ook sterke peilingen in het veld zijn.

Om het anders te zeggen, niemand wil de schaamte van het publiceren van een laatste pre-electorale peiling die een complete uitschieter blijkt te zijn. Misschien is dat de reden dat sommige van de ergste uitschieters in feite worden geproduceerd door “sterkere peilingbureaus” die zich geen zorgen maken over hun reputatie voor nauwkeurigheid, zoals de New York Times- Siena-outfit die Silver aanwijst als eerlijk met zijn gegevens. 

Times- Siena had Joe Biden met negen punten voorsprong onder waarschijnlijke kiezers in zijn laatste peiling van half oktober 2020 (Biden won de nationale volksverkiezing met 4,5 procent). Erger nog, Times- Siena had een peiling van eind oktober vier jaar geleden waaruit bleek dat Biden met 11 punten leidde in Wisconsin , de omslagpuntstaat die hij eigenlijk met 0,7 procent won.

Dit zeer recente fenomeen roept een filosofische vraag op: als peilingen misleidend blijken te zijn, is de grootste boosdoener dan de opiniepeiler van hoge kwaliteit die een outlier-enquête publiceert of de opiniepeilers van lagere kwaliteit die in dezelfde richting ‘kudden’?

Dat is moeilijk te zeggen. Een onderliggende vraag is hoe het ‘kudden’ plaatsvindt, ervan uitgaande dat opiniepeilers niet gewoon om zich heen kijken en hun cijfers dwingen om die van iedereen anders te evenaren? Eerder deze week legde politicoloog Josh Clinton uit hoe de beslissingen die alle opiniepeilers moeten nemen over hun steekproeven hun bevindingen enorm kunnen veranderen zonder dat er openlijk aan de eindstreep wordt getornd:

Nadat peilingsgegevens zijn verzameld, moeten peilers beoordelen of ze de gegevens moeten aanpassen of ” wegen ” om de zeer reële mogelijkheid aan te pakken dat de mensen die de peiling hebben gedaan verschillen van degenen die dat niet hebben gedaan. Dit houdt in dat ze vier vragen moeten beantwoorden:

1. Komen respondenten qua geslacht, leeftijd, opleiding, ras, etc. overeen met het electoraat? (Dit was een  probleem in 2016. )

2. Passen respondenten  politiek gezien bij het electoraat nadat de steekproef is aangepast op basis van demografische factoren? (Dit was het  probleem in 2020. )

3. Welke respondenten gaan stemmen?

4. Mag de enquêteur de gegevens vertrouwen?

Clinton laat vervolgens zien dat de antwoorden van peilers op deze vragen een variatie van wel acht punten in de paardenraceresultaten kunnen opleveren. Dat peilingen voor de algemene verkiezingen van 2024 niet echt een enorme hoeveelheid variatie laten zien, is waarschijnlijk het beste bewijs dat peilers deze vragen als een ‘kudde’ beantwoorden, ook al zetten ze geen duim op de weegschaal voor Trump of Harris.

We kunnen pas na de verkiezingen weten of de kudde gelijk of ongelijk had, maar ter verdediging van de opiniepeilers: ze hebben vooral hard gewerkt om de problemen aan te pakken die tot grote fouten leidden in de staatspeilingen van 2016 en in de nationale en staatspeilingen van 2020. (Ze waren immers zeer accuraat in 2022. ) Toch zou de fout, zoals Clinton in een recenter artikel betoogt , dit jaar dezelfde kunnen zijn en systematischer worden gedeeld:

Het feit dat zoveel swing state polls vergelijkbare nauwe marges melden, is een probleem omdat het vragen oproept of de peilingen in deze races gelijk eindigen vanwege kiezers of peilers. Gaat 2024 net zo close zijn als 2020 omdat onze politiek stabiel is, of lijken de peilingen in 2024 alleen op de resultaten van 2020 vanwege de beslissingen die de peilers in de staten nemen? Het feit dat de peilingen dichter bij elkaar lijken te liggen dan we zouden verwachten in een perfecte peilingswereld, roept serieuze vragen op over het tweede scenario.

Als we de peilingen even buiten beschouwing laten, zijn angstige deskundigen en aanhangers van beide presidentskandidaten begrijpelijkerwijs op zoek naar signalen die kunnen duiden op een nipte verkiezing die op het laatste moment de ene of de andere kant op gaat.

Sommigen in beide kampen zijn geobsedeerd door het dwaze goud van gegevens over vroegtijdig stemmen ; gezien de enorme ondoorgrondelijke factoren die samenhangen met het bepalen wie deze mensen in de loop van de tijd zijn en of hun “opgeslagen” stemmen later zouden zijn uitgebracht, kun je vroegtijdig stemmen gebruiken om te “bewijzen” wat je maar wilt.

Anderen zijn geobsedeerd door subjectieve indicaties van ” enthousiasme “, wat ertoe kan doen, maar alleen in hoeverre het verder reikt dan de zekerheid om te stemmen en aanstekelijk is (een “niet-enthousiaste” stem telt precies hetzelfde als een “enthousiaste” stem).

Een relevantere factor is de reikwijdte en effectiviteit van last-minute advertenties en pogingen om kiezers te mobiliseren , maar de eerste heffen elkaar vaak op en de laatste zijn over het algemeen te ondergedompeld om met enige mate van zekerheid te wegen.

Ten slotte hechten sommige waarnemers waarde aan late trends met betrekking tot de objectieve toestand van het land, met name verbeteringen in macro-economische gegevens. Er zijn twee problemen met die benadering: ten eerste zijn percepties van de economie vaak al lang voor de verkiezingsdag ingebakken , en ten tweede hebben de huidige percepties van kiezers over allerlei fenomenen relatief weinig te maken met objectief bewijs .

Grote delen van het electoraat geloven, tegen het bewijs in, bijvoorbeeld dat de economie verschrikkelijk is en achteruitgaat, dat we midden in een nationale misdaadgolf zitten en dat miljoenen ongedocumenteerde immigranten naar gemeenschappen in het hart van het land stromen om misdaden te plegen en illegaal te stemmen. Dit is geen omgeving waarin veel kiezers angstig statistieken bestuderen om te zien hoe het met Amerika gaat.

Als de peilingen er flink naast blijken te zitten, zullen we vrijwel zeker een golf van postelectorale know-nothingisme zien, waarbij boze of gefrustreerde mensen beweren dat we alle objectieve indicatoren van hoe een verkiezing verloopt, moeten weggooien en in plaats daarvan moeten vertrouwen op vibes, “gut impulss” en onze eigen vooroordelen. Ik hoop dat dat niet gebeurt.

Hoe imperfect ze ook zijn, peilingen (en, voor dat doel, economische indicatoren en criminaliteits- of immigratiestatistieken) zijn veel beter dan vertrouwen op cynische partijdige hype, spin en desinformatie, die allemaal de neiging hebben zichzelf in stand te houden naarmate ze geloofwaardig worden geacht. En zoals we al weten — en misschien worden we er op 5 november aan herinnerd — is het een kleine stap van het verwerpen van peilingen naar het verwerpen van daadwerkelijke verkiezingsresultaten. En die kant op ligt een nieuwe 6 januari, of iets ergers.