Met belangstelling heb ik jullie gedachtewisseling gelezen over nepnieuws

Beste Jona, beste Marcel,

Met belangstelling heb ik jullie gedachtewisseling gelezen over nepnieuws. Misschien, dacht ik, kan ik daar ook iets aan bijdragen, waarbij ik mij van tevoren verontschuldig voor de lengte van mijn bijdrage, want ik had geen tijd om een korter stuk te schrijven.

Bij het lezen van jullie discussie viel mij het volgende in: Een belangrijke reden voor het welig tieren van nepnieuws, is wellicht dat het voor de ‘gewone burger’ nog helemaal niet zo gemakkelijk is om te bepalen wat wetenschappelijke informatie is, en wat niet.

En dat kunnen we die gewone burger volgens mij ook niet verwijten. Het komt omdat hem op scholen nooit geleerd is wat een onderzoek nu eigenlijk “wetenschappelijk” maakt. Misschien is het nuttig daar eens aandacht aan te besteden?

Doe je eigen onderzoek

Valt het jullie ook niet op dat de term “je eigen onderzoek doen” juist in zwang is bij mensen die blijken te zijn gevallen voor berichtgeving die doorgaans totaal niet voldoet aan de eisen voor het wetenschappelijk onderbouwen van informatie? De grap is: als je die berichtgeving echt gaat bestuderen, blijkt dat die complotsites zoals we ze noemen juist heel erg goed zijn in het doen alsof ze heel gedegen en kritisch ‘wetenschappelijk’ onderzoek doen. Vandaar de populariteit van die term.

Maar wat maakt nieuws nu wetenschappelijk verantwoord?

Jullie twee zijn net als ik wetenschappelijk geschoold, en bovendien geïnteresseerd in wetenschapsfilosofie. Voor jullie zal het dus wel duidelijk zijn aan welke voorwaarden een wetenschappelijk onderzoek of argument zal moeten voldoen. Maar deze informatie wordt doorgaans niet op scholen onderwezen. Niet op het basisonderwijs, en niet in het voortgezet onderwijs. Ja, het was voor mij pas in de masterfase dat ik echt met wetenschapsfilosofie geconfronteerd werd. Naar mijn mening is dat veel te laat.

Enfin, om ook voor de meelezers duidelijk te maken waar ik het over heb, zal ik een en ander bespreken, met behulp van enkele voorbeelden uit de recente discussie over corona en het coronabeleid.

Wat maakt een wetenschapper?

Om te beginnen: sites die mensen wat op de mouw willen spelden putten zich vaak tot uit den treure uit in het gebruik van het zogenaamde ‘autoriteitsargument’. Zij verwijzen naar iemand met heel veel titels en een indrukwekkend CV die iets gezegd zou hebben. Daarmee menen ze aan te tonen dat het om een heel wetenschappelijke bewering gaat. Alsof iets automatisch wetenschappelijk is als het gezegd wordt door iemand met een titel.

Dat is natuurlijk onzin. Een wetenschapper is geen wetenschapper vanwege een onderscheiding of functie, maar omdat (en zolang) hij of zij zich committeert aan de wetenschappelijke methode. Deze wetenschappelijke methode is een set afspraken en regels waar wetenschappers elkaar aan houden, om valpartijen in bekende al te menselijke valkuilen bij het zoeken naar hoe de werkelijkheid in elkaar zit zoveel mogelijk te voorkomen.

Die methode is er niet voor niets! Wij weten (uit allerlei onderzoek) dat ieder mens de realiteit zoals hij die ervaart maar al te graag vertekent. Als een mens dus zomaar in de wilde weg gaat zoeken naar een bevestiging van een idee dat hij heeft, dan heeft hij een grote kans dat hij zichzelf bedriegt.

Dit doet hij door ofwel zeer selectief informatie te vergaren, ofwel de informatie op een dubieuze manier te interpreteren. Dit doen wij allemaal, soms bewust, maar nog veel vaker doen wij dat onbewust.

De wetenschappelijke methode

De wetenschappelijke methode is een set regels die wetenschappers tegen dit soort fouten tracht te wapenen. Wat behoort daar allemaal toe?

Een makkelijk te begrijpen regel is dat een wetenschapper altijd gebruik moet maken van objectieve meetinstrumenten: meetinstrumenten die in verschillende situaties hetzelfde meten. Dat is in het geval van een maatcylinder makkelijk, maar in het geval van een vragenlijst is dat al lastiger op te stellen. Daar zijn echter trucs en regels voor, om een vragenlijst min of meer objectief te laten meten, deze te ‘ijken’.

Een ander voorbeeld is dat het onderzoek dusdanig opgezet moet worden dat  iedereen het kan reproduceren, en dus kan controleren of hij of zij dezelfde uitkomsten krijgt. Dit natuurlijk om mogelijke onbewuste of zelfs bewuste meetfouten een grotere kans te geven om ooit uit te komen.

Weer een ander voorbeeld is de zogenaamde controlegroep-methode, waarin we de metingen in twee verschillende situaties doen, waarbij we alle condities hetzelfde houden, maar heel nauwgezet één conditie,die welke we willen onderzoeken, veranderen. Dit om te kijken of dat wat we meten wel echt ligt aan de variabele die we onderzoeken, en niet aan een ander effect.

Maar een heel belangrijk voorbeeld dat ik hieronder graag wat meer uitwerk, is dat modern wetenschappelijk onderzoek altijd uitgaat van één duidelijk meetbare onderzoeksstelling, waarvan vervolgens gekeken wordt of deze resistent is tegen kritisch onderzoek. We noemen dat falsificatie.

Waarom falsificatie

Een grote fout die wij mensen maken wanneer wij een stelling proberen te controleren, is dat wij gaan zoeken naar bevestiging daarvan. Dit klinkt logisch, maar het is precies de foute methode om een stelling te controleren, en niet zelden leidt het tot puur zelfbedrog.

Een simpel voorbeeld: ik ben overtuigd van de stelling dat alle Fransen van wijn houden, en ik wil dat bewijzen. De klassieke methode om dit te controleren is naar Frankrijk af te reizen en honderd willekeurige Fransen te vragen of ze van wijn houden. Zeggen ze alle honderd ja, dan acht ik de stelling bewezen.

Dit is echter een volstrekt verkeerde methode. Het kan zijn dat ik nu juist toevallig in een stad kom waar iedereen van wijn houdt, terwijl men in een andere landstreek juist walgt van dit vocht, en de voorkeur geeft aan groene thee. Of het kan zijn dat alle Fransen die juist niet van wijn hielden mijn rooie neus van verre aan zagen komen, en daarom een blokje om zijn gaan lopen, en zodoende mijn vraag nooit gehoord hebben.

Ik noem maar wat voorbeelden waar het fout kan gaan, zelfs als ik niet eens van zins ben de zaak te flessen (laat staan wat er fout kan gaan als ik opzettelijk de uitkomsten wil sturen).

Wat is dan de juiste methode om te kijken of mijn stelling klopt? Dat is door te proberen of ik hem kan falsificeren. Ik moet dus juist op zoek te gaan naar Fransen die niet van wijn houden.

Dat kan natuurlijk door enorme steekproeven te nemen van mensen die ik willekeurig selecteer uit het telefoonboek. Maar het kan in dit geval ook door gericht te gaan zoeken: ik zet een advertentie met de vraag of Fransen die niet van wijn houden zich bij mij willen melden.

Hoe grondiger dit onderzoek is, en hoe langer ik faal om mijn stelling te weerleggen, hoe waarschijnlijker het is dat zij klopt.

De wetenschappelijke cyclus

Dit noemt men dus het falsificatieprincipe. Het is een standaard in de wetenschappelijke methode sinds de filosoof Karl Popper het in de vorige eeuw (her)ontdekt heeft, en handen en voeten heeft gegeven.

Verwant hieraan is de wetenschappelijke cyclus, waarbij de wetenschapper als een stelling verworpen wordt door de feiten, een alternatieve verklaring gaat zoeken, die de gevonden verschijnselen wél goed verklaart.

Die alternatieve verklaring kan een heel andere verklaring zijn, maar vaak moet er aan de oude stelling slechts iets genuanceerd worden, om hem toch bruikbaar te maken. Mijn stelling over de Fransen die van wijn houden zou bijvoorbeeld aangepast kunnen worden naar “de meeste Fransen houden van wijn”.

Belangrijk is dat deze stelling op zijn beurt weer falsifieerbaar moet zijn. Zo kunnen wetenschappers ook deze stelling weer gaan toetsen, door actief op zoek te gaan naar manieren om de stelling onderuit te halen. Hoe moeilijker dat blijkt, hoe waarschijnlijker het is dat de stelling waar is, of om het in postmodern correcte termen te zeggen: hoe bruikbaarder de stelling is als model (want waarheid bestaat niet, of is onkenbaar).

Door de stellingen zo steeds aan te passen en te verfijnen werken we onze modellen van de werkelijkheid uit, en bewijzen we hun nut.

Fundamentele twijfel

Wat de slimme lezer bij bovenstaande zal opvallen, is dat er met deze methode nooit een moment is waarop de wetenschapper zegt: deze stelling is voldoende bewezen, deze stelling is waar!

En dat klopt. Een ware wetenschapper zal nooit de fout maken te zeggen dat zijn stelling honderd procent zeker waar is. Ook al is een stelling nog zo succesvol in het verklaren en misschien zelfs voorspellen van wat we waarnemen, het is nooit bewezen dat die stelling ook echt een adequate voorstelling is van de werkelijkheid.

Of om de Engelse verlichtingsfilosoof David Hume te parafraseren, naar wie bovengenoemde Karl Popper heel goed had geluisterd: als ik duizend keer een steen loslaat en hij valt iedere keer naar beneden, dan kan ik misschien aannemen dat dit in de toekomst ook altijd het geval zal zijn – zeker weten doe ik het nooit. Een stelling die gebaseerd is op ervaring is nooit honderd procent zeker waar.

Dat lijkt een beetje kinderachtig, maar die fundamentele twijfel is juist wat de wetenschap zo sterk maakt: dat ze haar eigen onzekerheden onderkent en blijft onderzoeken.

Helaas wordt de kracht van die fundamentele twijfel niet altijd goed gewaardeerd door het publiek.

De PCR test

Terug naar het nu. Laten we eens kijken naar de PCR-test. Veel mensen die graag geloven dat corona geen groot probleem is, houden zich vast aan twee kritiekpunten op die test.

Als eerste het verhaal van de false positives. De PCR test heeft een foutmarge van zo’n half tot een heel procent. We hoeven geen held in statistiek te zijn om te kunnen berekenen dat dit betekent dat als we een populatie personen testen waar één procent daadwerkelijk het coronavirus draagt, wij waarschijnlijk twee procent personen vinden met een positieve test. De helft is dus een ‘false positive’.

Die hele test is dus zo onbetrouwbaar als wat, menen mensen hierop te kunnen stellen. De totalen kloppen voor geen kant! Dit geluid hoorde je vooral veel in de nazomer, toen veel mensen nog dachten (of hoopten: de wens is maar al te vaak de vader van de gedachte) dat de tweede golf nooit zou komen.

Die mensen maken twee denkfouten. Ten eerste beseffen ze niet dat wanneer de populatie mensen die daadwerkelijk besmet is stijgt naar ongeveer 10%, het aantal vals positieven met een test met dezelfde gevoeligheid nog steeds hooguit 1% blijft. Dit aandeel is dus lang zo groot niet meer. Ten tweede beseffen ze niet dat de mensen die inchattingen maken van hoeveel procent van de bevolking daadwerkelijk besmet is dit effect kennen, en daarop corrigeren: het aantal geschatte besmette mensen wordt vastgesteld op basis van onder meer de testen, waarbij rekening gehouden wordt met dit effect, plus met de kennis of verwachting dat veel mensen zich ook met klachten niet willen laten testen, en aanvullende metingen, zoals in het rioolwater. Het effect heeft dus invloed op individuele uitslagen, maar niet op de schattingen van het daadwerkelijke aantal besmettingen.

In feite zou het erkennen van de false positives juist meer vertrouwen moeten geven in de wetenschap. Die lui erkennen hun onzekerheden, hebben die becijferd, en passen hun ramingen erop aan. Maar veel mensen denken oprecht dat het anders zit.

Als tweede het verhaal dat de PCR test geen besmettelijkheid meet. Dit argument hoor je vaak genoemd door mensen die daarmee verwijzen naar een filmpje van virologe Marion Koopmans, die voor de pers uitgebreid de onzekerheden van de PCR test besprak. Zij onderstreept in de video dat de test niet rechtstreeks kan meten of iemand besmettelijk is: de test meet alleen of het virus nog aanwezig is. In praktijk is het mogelijk dat iemand een virus met zich meedraagt, maar zelf niet besmettelijk (meer) is.

https://www.youtube.com/watch?v=_zthGp65LYA

Zie je wel? Wordt geroepen: die test deugt voor geen kant! De cijfers rammelen!

En dat terwijl ook dit verhaal juist meer vertrouwen zou moeten wekken. De mensen die deze test ontwierpen, zijn zich bewust van de mogelijke fouten en hebben alles gedaan om zowel de metingen als de ramingen daarop te compenseren.

De kracht wordt gezien als zwakte

Wat we hier zien, is dat wetenschappers inzicht geven in de fundamentele twijfel in het wetenschappelijke proces, welke hen behoedt voor het trekken van overhaaste conclusies, en hen helpt om zorgvuldiger te werken.

Deze neiging wordt echter niet als kracht herkend, maar aangegrepen voor een algehele scepsis die al lang niet productief meer is, maar wordt misbruikt om ongemakkelijke waarheden te kunnen vervangen door een wenselijk alternatief, waarvoor verder eigenlijk alle onderbouwing ontbreekt (in dit geval dus de aanname dat corona helemaal niet (meer) aanwezig zou zijn, een stelling die meer vragen oproept dan dat ze ergens een verklaring voor is).

Veel mensen maken dit soort fouten. Sommigen doen dat vast bewust. Er zijn veel mensen die er een handig verdienmodel in hebben ontdekt om mensen geruststellende onwaarheden op de mouw te spelden. Een oplichter werkt natuurlijk wel een beetje intelligent, anders is hij geen goede oplichter. Maar ik denk dat het aantal mensen dat er onbewust intrapt, misleid door hun wensen, veel groter is. En dit is mogelijk doordat ze de wetenschappelijke discipline niet begrijpen, of in ieder geval niet goed toepassen.

Wanneer wij Koopmans en kornuiten zouden werkelijk willen corrigeren, zouden wij juist een vertekenend effect moeten vinden dat zijn juist niet zelf in het oog hebben, en dus niet meenemen in hun berekeningen. De besproken vertekenende effecten zijn echter juist wel bekend, en er wordt daarom juist rekening mee gehouden.

Onwetenschappelijke argumenten

Een en ander wordt overigens bemoeilijkt doordat wetenschappelijke argumenten nogal eens verward worden met argumenten die met de wetenschap helemaal niets te maken hebben. Dat wordt gedaan door tegenstanders van een ongemakkelijke wetenschappelijke waarheid, maar ook door politici die een moeilijk verhaal te verkopen hebben, of door wetenschappers met een politieke mening.

Ik noemde hierboven al het autoriteitsargument, dat eigenlijk helemaal geen argument is maar een drogreden. Een verwante drogreden die je vaak hoort is dit: die wetenschappers liegen, want ze worden toch maar gefinancierd door ‘big pharma’.

Dat is geen valide argument, want dat wetenschappers soms raar gefinancierd worden is inderdaad zo, en daar mogen we zeker wat van vinden, het is geen argument dat met de wetenschap zelf iets te maken heeft. Een onderzoek is al dan niet netjes via de wetenschappelijke methode uitgevoerd: als dat wel gebeurd is, dan is de kans dat de financiering invloed had op de resultaten geminimaliseerd.

Of kort gezegd: kritiek op wetenschappelijk onderzoek is goed, dat voedt juist de wetenschap, maar moet wel geleverd worden met een wetenschappelijke argumentatie. Ook de gewone menselijke criticaster die wetenschappelijke resultaten ter discussie stelt, zal dat moeten doen volgens de wetenschappelijke methode om een wetenschappelijk relevante bijdrage te leveren.

Het verschil tussen wetenschap en politiek

Maar denk ook aan een wetenschapper die bijvoorbeeld zegt dat je exponentiële groei helemaal niet zou moeten willen. Wat wij willen, namelijk, daar heeft een wetenschapper niets over te zeggen, laat staan wat wij moeten willen. Dat is aan de politiek.

De wetenschapper beschrijft alleen wat er gebeurt als we exponentiële groei toestaan, en eventueel wat eraan te doen zou zijn, en misschien wat en hoeveel dat dan kost. Hij doet slechts aan beschrijven, en misschien ook aan voorspellen. Wat wij dan vervolgens willen, daar heeft hij als wetenschapper helemaal geen mening over. Dat is een politieke discussie.

Laat ik hierbij benadrukken dat het feit dat iemand wetenschapper is geen garantie is voor dat hij zich altijd zomaar aan de wetenschappelijke methode houdt. Je zou zeggen dat dit voor wetenschappers een tweede natuur moet zijn geworden, maar helaas, dat is niet zo. Ook wetenschappers zijn mensen en er wordt gerommeld en gerotzooid bij het leven, bewust, maar vooral onbewust. De wetenschap als discipline probeert dit te controleren door alle wetenschappers elkaar te laten controleren. Ook dat maakt weer deel uit van de wetenschappelijke methode. Maar dit is dus de reden dat wij de wetenschap als instituut beter zouden moeten kunnen vertrouwen dan individuele wetenschappers. Die laatsten maken zich maar al te vaak bewust of onbewust schuldig aan het bedrijven van politiek, en het gebruiken van hun label als wetenschapper daartoe. Ziehier waarom het autoriteitsargument zeker bij wetenschappers vaak kan leiden tot misstanden.

Aan de andere kant de politicus zelf: hij maakt ook een fout als hij bijvoorbeeld stelt dat ‘de wetenschap ons voorschrijft’ dat we anderhalve meter afstand moeten houden. Dat zegt de wetenschap helemaal niet. De wetenschap kan ons zeggen dat dit de meest effectieve maatregel is om het virus te remmen in zijn verspreiding. Of wij dat vervolgens een goed idee vinden, is geen wetenschappelijke stelling, maar een politieke mening. De wetenschap gaat de facto niet over wat wij mensen van waarde vinden, behalve dan in puur beschrijvende zin.

Maurice de Hond

Mijn punt is dat het de moeite waard is dat mensen het recht hebben te leren hoe de wetenschappelijke methode werkt. Om het misschien toch wat minder abstract te maken geef ik nog twee voorbeelden waarom dat zo belangrijk is.

Het geval Maurice de Hond: met bovenstaande kennis kunnen wij meteen zien wat er nu bijvoorbeeld niet deugt aan de insteek van Maurice de Hond in het coronadebat. Deze man heeft een diploma in statistiek, doet zijn hele leven onderzoek, en hij heeft het voor elkaar gekregen om een artikel met zijn diagnose te publiceren in een gezaghebbend medisch vakblad over de verspreiding van het coronavirus door microdruppels. Moeten we wat hij daarnaast zegt dan niet wat meer serieus nemen?

Nee, want dit is nu juist dat autoriteitsargument. Met het genoemde artikel is verder niet zoveel mis. Maar wat wel heel mis is, is dat hij buiten dat artikel om de stelling aanhangt dat het coronavirus zich bijna uitsluitend via microdruppels verspreidt, en dat daarom de anderhalvemetersamenleving zinloos is. Het is die stellingname die hij nooit in het artikel geproduceerd zou krijgen. Immers, zijn modellen beschrijven wel een aantal grotere uitbraken op een correcte manier, maar hij heeft met zijn statistieken geenszins de totale verspreiding van het virus in beeld. Zijn onderzoek is waardevol, maar weerspreekt het nut van afstand houden nergens. Dit is echter wel de stellingname waarmee hij de bühne mee opgaat bij anticoronademonstraties.

Verder levert hij wel kritiek op de zorgvuldigheid van de onderbouwing van de anderhalve meter als maatregel: die vindt hij mager. Dat mag hij vinden, maar hij heeft daarmee de stelling nog allerminst gefasificeerd. En hij negeert de onderzoeken die dat juist wel hebben geprobeerd.

Daarbij valt ook zijn onwetenschappelijke houding op: de stelligheid waarmee de Hond zijn beweringen doet, heeft niets van de wetenschappelijke fundamentele twijfel. Daarbij doet hij alsof hij zo’n beetje eigenhandig de aerosool ontdekt heeft in het debat. Dat is alles behalve het geval. Daar werd al lang uitgebreid onderzoek naar gedaan. Alleen uit die onderzoeken kwamen nooit echt overtuigende resultaten, niet over de rol van die aerosolen. Die ‘mislukte’ onderzoeken laat hij weg in zijn analyse, terwijl mislukte pogingen tot falsificatie óók belangrijk zijn.

Een plausibele factor wordt verheven tot de enige belangrijke factor, en er wordt een hele werkelijkheid omheen gebouwd. De wetenschap is nog niet eens ondubbelzinnig overtuigd van de rol van aerosolen, laat staan over wat dan de beste maatregelen daartegen zouden zijn, maar Maurice de Hond heeft daar al een heel (kostbaar) plan voor liggen. Wensdenken is waarschijnlijk hiervan de oorzaak.

Zoeken naar bevestiging

Een laatste voorbeeld: Wat we vaak zien, is dat mensen in een discussie op de sociale media komen met een link naar een of ander onderzoek dat toevallig precies hun stelling (min of meer) ondersteunt.

Dat onderzoek mag dan misschien wetenschappelijk zijn, deze manier van discussies voeren is dat feitelijk niet. Wie een stelling rond een wetenschappelijk controversieel onderwerp wil verdedigen kan niet zomaar één onderzoek pakken en dat als bewijs aandragen. Dat is immers het zoeken naar bevestiging waar we het boven over hadden: zoeken naar Fransen die van wijn houden. Dit is het beruchte Cherry Picking, tegenwoordig ook wel bekend als Thierry Picking.

De juiste methode om wetenschappelijk bewijs te citeren is om een recent overzichtsonderzoek te nemen uit de literatuur, waarin alle relevante onderzoeken tot dan toe meegenomen zijn, en de gemiddelden en uitbijters in besproken en geanalyseerd worden.

(Overigens komt het naar mijn ervaring nogal vaak voor dat mensen die met links strooien geregeld links posten die hun stelling niet eens ondersteunen, en soms zelfs ronduit tegenspreken: zij lezen dan zelf de onderzoeken niet, of vertrouwen erop dat jij dat niet doet. Het heeft daarmee altijd zin om dit soort links te openen. Tijdrovend is dat natuurlijk wel. Dit terzijde. )

Educatie

Enfin, tot zover mijn lange uiteenzetting over zaken die mensen volgens mij over het wetenschappelijke bedrijf zouden mogen weten. Natuurlijk is er veel meer te leren: ik heb het bijvoorbeeld nog niet gehad over Ockhams Scheermes, de regel dat een wetenschapper voor een verklaring nooit onnodige extra stellingen moet verzinnen dan strikt nodig zijn om een verschijnsel te verklaren. Deze regel botst heftig met de manier waarop bijvoorbeeld complottheorieën worden verdedigd.

Maar dit stuk duurt al te lang. Laat ik afsluiten met de stelling dat het bij de bestrijding van nepnieuws zou kunnen helpen als pubers tijdens hun opleiding grondig kennis zouden nemen van het wetenschappelijk bedrijf. Zij dienen te leren dat iedereen recht heeft op een eigen mening, maar niet op eigen feiten.

Kennis van het wetenschappelijk bedrijf kan in de politieke discussie helpen om meningen van feiten te onderscheiden, en ons te behoeden voor de valkuilen die wij mensen voor onszelf opzetten. Mij lijkt het om meerdere redenen de moeite waard dat op jonge leeftijd al te leren.