Waarom peilingen per definitie fout zijn

Ooit lag hij bij De Standaard aan de basis van de grootste politieke opiniepeiling van ons land. Nu moet hij van geen peilingen meer weten. Hoofdredacteur Peter Vandermeersch heeft op 'zijn' NRC Handelsblad een duidelijke policy: we schrijven niet over peilingen. Niet. Nooit meer. Niet over binnenlandse en niet over buitenlandse. En we organiseren er al helemaal geen zelf meer. "Dat doen we nu al een jaar of vijf", legt hij uit. "Omdat peilingen niet betrouwbaar en niet zinvol zijn."

Je kunt er inderdaad moeilijk naast kijken. Opiniepeilingen hebben de jongste tijd vooral veel weg van een spelletje vogelpik. Een grote meerderheid van de Britten zou tegen een brexit stemmen, Trump had maar 15 procent kans om president te worden en Nicolas Sarkozy zou zeker de voorverkiezingen bij de Republikeinse partij in Frankrijk winnen. Niet dus.

Bij de peilers zelf begint het besef te groeien dat er iets moet gebeuren, want dat hun reputatie toch behoorlijk gehavend uit die campagnes komt. In Amerika kondigde de associatie van Amerikaanse opiniepeilers Aapor al een diepgravend onderzoek naar de handelswijze van haar leden aan. Er zijn te veel blunders gemaakt, vindt de organisatie. Er is een hele onderstroom in de bevolking niet voldoende gedetecteerd.

Ook in Nederland willen peilers, met de nationale verkiezingen van maart in het achterhoofd, meer gaan zoeken naar emoties. "De onderbuik is een vies woord", vindt Tim de Beer van het Nederlandse onderzoeksbureau Kantar Public. "Maar toch is het net dat wat we als peilers zullen moeten onderzoeken. Dat is het lesje dat we geleerd hebben van Amerika. We moeten op zoek naar: wat denken mensen nu écht?"

Kantar Public start daarom met een experiment. Het heeft een speciale techniek ontwikkeld om de reactietijd van respondenten te meten. Die reactietijd zegt iets over emotie of ratio. Mensen die snel antwoorden, doen dat vaak vanuit de onderbuik. Niet dat die techniek nu alles zal oplossen, weet ook De Beer: "We kunnen hooguit zien welke thema's meer op de emotie gespeeld worden en welke op de ratio. Maar door ook die elementen mee in rekening te brengen bij de verwerking van een peiling, kunnen we misschien betere analyses maken."

Menswetenschap

Louis Tobback merkte het enkele jaren geleden al op. "Opiniepeilers zijn als de oude zieners, die de toekomst trachten te voorspellen door het lezen van de ingewanden van dieren of de vlucht van ganzen", sprak hij. Het zijn woorden die zwaar vallen bij Jan Drijvers, client service manager bij TNS, het bedrijf dat de politieke opiniepeilingen van de VRT en De Standaard organiseert. "Nu wordt er veel geschoten op de peilers. Maar het probleem is vaak dat de verwachting over zo'n peiling groter is dan wat de methode kan waarmaken. Zeker als twee partijen, denk Clinton-Trump, dicht bij elkaar liggen. Dan is het altijd moeilijk om uitspraken te doen."

Peilen is vooral een menswetenschap, geen exacte wiskunde, stelt Drijvers. "De 'waarheid' bestaat niet. Een peiling, uitgevoerd in de aanloop naar verkiezingen, is geen glazen bol waarmee het eindresultaat van de stemming kan worden voorspeld. Dat is een grote misvatting. De meest peilingen zijn kiesintentiemetingen, die enkel meten wat de voorkeur is van de kiezer op het moment dat die ondervraagd wordt. Het probleem is dat die metingen afgerekend worden op de mate waarin ze de verkiezingsuitslag al dan niet juist voorspelden. Maar dat was eigenlijk nooit de bedoeling. Mensen vergeten dat vaak."

Volgens peilers speelt ook de zogenaamde 'selfdestroying prophecy' van een peiling een grote rol. Drijvers: "Een peiling verdraagt eigenlijk geen zonlicht. Eens gepubliceerd, beïnvloedt ze rechtstreeks of onrechtstreeks het stemgedrag van burgers en vernietigt ze zelf haar voorspellende waarde. Partijstrategen passen hun campagnes aan, peilingen gaan een eigen leven leiden in journalistieke debatten. Kiezers gaan strategische keuzes maken. Het is een spel dat we nooit kunnen winnen. Eigenlijk is een 'juiste' voorspelling dan ook vaak toeval."

Het is gewoon heel moeilijk om in te schatten wat een mens nu écht denkt, menen de peilers. Emoties en onderbuikgevoelens zijn erg moeilijk te detecteren. Vandaar dat ze er naar eigen zeggen ook zo vaak naast zitten. Bij brexit en Trump werd gretig verwezen naar die zogenaamde 'gordijnfactor'. Een mooi Nederlands woord om aan te stippen dat mensen zich graag achter een sociaal wenselijk gordijn verstoppen.

Met andere woorden, dat je op een xenofobe, racistische en vrouwonvriendelijke persoon als Trump wil stemmen, zeg je niet op voorhand aan een onderzoeker. Dat hou je lekker voor jezelf. Ook in België zagen opiniepeilers in 1991 Zwarte Zondag, de doorbraak van het toenmalige Vlaams Blok, niet aankomen. Mensen wilden dat niet zeggen, klonk het ook toen.

Maar vorig weekend zagen we in Frankrijk net het omgekeerde effect: aan de peilers zeiden de Fransen net wél dat ze op Trump-imitator Sarkozy zouden stemmen, maar deden het uiteindelijk niet. Tot daar de gordijnfactor dus.

Niet representatief

De mythe van de gordijnfactor was vorig jaar eigenlijk al officieel doorgeprikt, door onderzoek naar de 'UK polling disaster'. Alle peilers voorspelden in de Britse parlementsverkiezingen van 7 mei vorig jaar een nek-aan-nekrace tussen Labour en de Conservatieven. David Cameron won echter met een overweldigende meerderheid en kon alleen regeren. Consternatie alom. Onderzoek naar wat fout liep bij de peilingen toonde een duidelijke oorzaak: de gebruikte steekproeven bij de polls bleken niet representatief. Alle andere factoren waren volgens de onderzoekers van ondergeschikt belang.

De kwestie van de niet-representatieve steekproeven is een bekend euvel. De hele bevolking ondervragen is ondoenbaar. Op zich geen probleem. Wanneer een kok soep maakt en die proeft, hoeft hij ook niet de hele pot uit te drinken om de smaak te kunnen beoordelen. Maar de manier waarop een steekproef wordt getrokken is wel van het allergrootste belang. En daar wringt nu net het schoentje.

Vaste panels

Peilingen gebeuren meer en meer via onlinebevraging, blijkt uit een rondvraag bij onderzoeksbureaus. Lekker makkelijk, snel én goedkoop. Aangezien er steeds meer peilingen besteld worden, is dat uiteraard mooi meegenomen. Alleen sluit je zo al meteen een kwart van je populatie uit, diegenen die geen internet hebben. Je bereikt ook vooral mensen die vaak online zijn. Die zijn - weten we uit onderzoeken - vaak hoger opgeleid en jong. Hadden in de VS enkel de hoger opgeleide en jonge kiezers mogen stemmen, dan hadden we inderdaad een andere president.

En aangezien er niet zoiets bestaat als een telefoonboek met mailadressen, werken die bureaus met vaste panels. Mensen dus die zich vrijwillig opgeven om mee te doen aan die onderzoeken. Mensen ook die al bij voorbaat bij de 'geïnteresseerden' behoren en zich vaak ook heel bewust zijn van wat ze doen. Of simpel gezegd: een onlinepanel is zelden een afspiegeling van de maatschappij.

Er is inderdaad veel kwaliteitsverschil tussen peilingen en ook peilingbureaus, stelt Jan Drijvers van TNS. "De grote bureaus, zoals het onze, werken voornamelijk met telefonische onderzoeken, net omdat dat een beter beeld geeft. Iedereen heeft een telefoon, wij bellen zowel naar vaste als naar mobiele nummers. En werken ook altijd met een bredere bevraging. De mensen die meedoen, krijgen vragen over een aantal dingen, niet alleen politieke vragen dus. Zo krijg je ook mensen die niet erg politiek geïnteresseerd zijn zover om mee te werken."

Ook bij dat andere grote onderzoeksbureau, Ipsos, wordt vaak met telefonische onderzoeken gewerkt. "Het hangt voor een stuk van de opdrachtgever af natuurlijk. Vaak is het een 50/50-geval: voor de helft via onlinebevraging, de andere helft telefonisch. Online alleen is inderdaad geen goed idee", zegt ook marketingexpert Peter Janssen, die instaat voor de communicatie bij Ipsos, het bureau dat de politieke peilingen van VTM en Het Laatste Nieuws voor zijn rekening neemt.

Rijksregister

De bureaus zelf lijken goed te weten waar het schoentje knelt. Al vertellen ze maar een deel van het verhaal, vindt Dimokritos Kavadias, politicoloog aan de VUB. "Internetpanels zijn inderdaad de slechtst denkbare methode. Maar vergis je niet. Ook telefonisch onderzoek heeft beperkingen. Want dan wordt aan een computer gevraagd om telefoonnummers te genereren. Als onderzoeker heb je weinig zicht op wie die mensen zijn. Behoren ze tot eenzelfde bevolkingsgroep? Tot hetzelfde gezin misschien? Evenveel mannen als vrouwen, jongeren als ouderen? Daar heb je allemaal geen zicht op. Het is dus een fabeltje dat telefonisch zoveel beter is."

Ook het wetenschappelijk tijdschrift Nature wees onlangs op de beperkingen van een telefonisch onderzoek bij het uitvoeren van peilingen. Een van de factoren die daarbij een rol spelen, is de opmars van de mobiele telefoon. Vroeger belden de peilbureaus naar vaste lijnen, waar na een paar pogingen altijd wel iemand opnam. Nu nemen veel mensen niet op als er een onbekend nummer op het scherm verschijnt. Volgens Nature leidde twintig jaar geleden 36 procent van de telefoontjes tot deelname aan een peiling. Nu is dat nog 10 procent of minder.

De beste onderzoeken zijn die waarbij gewerkt wordt met face-to-face-interviews, bepaald door een steekproef op basis van het rijksregister. Daar is zowat iedereen het over eens. Alleen is die methode vreselijk tijdrovend. In ons land is ook toestemming nodig van de Privacycommissie om de gegevens uit het rijksregister te mogen gebruiken. Tijdrovend, arbeidsintensief en dus duur. Maar pas dan zijn de gegevens betrouwbaar.

Het betere giswerk

Nog een vereiste voor een goede opiniepeiling: voldoende mensen bevragen. Op dat vlak is het toch wel wat schrikken. Op de site van de Belgische federatie van onderzoeksbureaus, Febelmar, is van elk onderzoek een technische fiche te vinden. De professionele bureaus die lid zijn van de federatie, gaan er prat op dat ze volledige transparantie bieden.

Transparant is het zeker, maar een blik op die fiches leert ons vooral dat er voor een doorsnee politieke peiling in ons land gemiddeld zo'n 1.000 mensen worden bevraagd. Wat die 1.000 mensen verklaren, wordt vervolgens gecorrigeerd, gewogen en geëxtrapoleerd naar de volledige bevolking.

Sommige onderzoeken gebeuren zelfs bij nog minder mensen. Het bureau in kwestie baseert zich in zo'n geval dan op eerdere onderzoeken, vermeende nieuwe trends en te verwachten evoluties. Het betere giswerk zeg maar.

Het is een vaststelling die bij de peilingbureaus ook niet ontkend wordt. "Het klopt dat we veelal maar 1.000 mensen mogen bevragen", geeft Jan Drijvers van TNS toe. "Ik zeg bewust 'mogen', want hoeveel bevragingen er zijn, wordt door de opdrachtgever bepaald. Niet door het bureau. Want er hangt natuurlijk een prijskaartje aan vast. Hoe meer mensen we bevragen, hoe duurder het onderzoek. Daar moeten we niet onnozel over doen. En ja, op basis van wat 1.000 mensen zeggen uitspraken doen, is moeilijk. Zeker als de resultaten dan nog eens dicht bij elkaar liggen. Dan is het moeilijk om onderscheid te maken tussen partij A en B."

Kritischer kijken

Waarom dan nog peilingen uitvoeren? Zouden we ze niet beter massaal naar de prullenmand verwijzen? "Ja", zeggen heel wat academici. Zeker als we ze, zoals de bureaus zelf aangeven, toch niet deftig kunnen doen door geldgebrek.

We hebben allemaal een grote verantwoordelijkheid, meent professor Dirk Jacobs, socioloog aan de ULB. Peilingen zijn fel begeerd door de media en worden vaak klakkeloos overgenomen, zonder ook maar naar de responsgraad te kijken. Onderzoeken bij tien man en een paardenkop en op een bedenkelijke manier gevoerd, krijgen zo een gewicht dat ze niet verdienen.

Jacobs: "Media moeten kritischer kijken naar de onderzoeken, maar ook de bureaus moeten daar duidelijker over communiceren. Als er bij een onderzoek een foutenmarge is van 2,5 procent en het verschil in onderzoeksresultaten ligt ook onder de 3 procent, dan betekent dat eigenlijk dat je op basis van het onderzoek niets zinnigs kunt zeggen. Een opdrachtgever betaalt veel geld voor een onderzoek en het bureau stopt er veel tijd in. Om dan te antwoorden: eigenlijk weten we het niet, dat ligt moeilijk. Maar eigenlijk is dat wat bureau en opdrachtgever zouden moeten doen."

Dat niet alle polls per definitie slecht zijn en dat het ook anders kan, bewees de Franse krant Le Monde vorig weekend. Op hun vraag had de Franse afdeling van Ipsos een peiling gehouden bij 18.000 mensen. Zij waren de enige die zagen dat François Fillon op het nippertje nog een inhaalbeweging aan het maken was. Meteen het bewijs dat het met voldoende mensen te bevragen en een representatieve steekproef wél mogelijk is.

Voorzichtigheid geboden

Le Monde gaat er prat op een eigen politiek te hebben rond peilingen: eigen onderzoeken worden door professionele bureaus uitgevoerd en die van anderen, ook buitenlandse, worden eerst deftig onder de loep genomen vooraleer ze in een publicatie terechtkomen. Ook andere binnen- en buitenlandse nieuwsmedia, van de Volkskrant, Libération tot de VRT en De Morgen, geven aan steeds voorzichtiger te zijn met peilingen.

De Morgen is overigens na de vorige federale verkiezingen al gestopt met haar eigen politieke peiling. Bart Eeckhout, opiniërend hoofdredacteur: "Omdat na evaluatie bleek dat die schromelijk tekort was geschoten. We zijn ook voorzichtig met de polls door andere nieuwsmedia. Daar berichten we alleen nog kort en zakelijk over. Enkel wanneer er een echte trend zichtbaar is, komt het in de krant. Zoals de heropstanding van het Vlaams Belang.

"Berichtgeving over buitenlandse peilingen uitsluiten, is bijna ondoenbaar. Bij de brexit of Trump-Clinton zijn het de grote Angelsaksische media die de agenda bepalen. Daar is het al peiling wat de klok slaat. Je ontkomt niet aan die algemene trend. Al mogen we daar dus wel nog meer voorzichtigheid aan de dag leggen."

Geen absolute waarheden

Journalisten moeten vooral meer kaderen dat het 'maar' peilingen zijn, vindt Kris Hoflack, hoofdredacteur bij de VTM-nieuwsdienst. "Veel heeft te maken met wat je uit zo'n peiling afleidt. Als je verwacht dat die de verkiezingen kunnen voorspellen, dan is dat fout. Persoonlijk heb ik uit de peilingen in de VS nooit afgeleid dat Trump geen kans maakte. Hetzelfde met de brexit. Peilingen zijn geen absolute waarheden. Al mogen we dat als journalisten misschien soms wel wat beter uitleggen aan onze kijkers, lezers of luisteraars."

Een uitleg die volgens Peter Vandermeersch van het Nederlandse NRC Handelsblad weinig steek houdt. "Je mag als nieuwsmedium nog zo benadrukken dat het 'maar' een peiling is, dat er ook een foutenmarge is, dat we met z'n allen voorzichtig moeten zijn. Die boodschap komt bij het publiek niet binnen. Dat ziet vooral die of die partij een paar procenten stijgen of dalen. En die cijfers gaan hun eigen leven leiden. Daarom doen wij er bij NRC niet meer aan mee.

"Al lezen we de resultaten natuurlijk wel en gebruiken we de kennis ervan soms in een politieke analyse. Als Maurice de Hond (in Nederland bekende politieke peiler, CG) in zijn peiling zegt dat de kleine Nederlandse partij 50PLUS nu gepeild wordt op tien zetels, gaan ook wij wat aandachtiger kijken naar die partij. Maar zonder te focussen op de cijfers. Want die zijn niet te vertrouwen."