De niet zo grote enquête-enquête

Hij is 19 jaar, Afro-Amerikaan, en woont in Illinois. En dankzij hem scoort de Amerikaanse presidentskandidaat Donald Trump beter in een nationale peiling. Hoe dat kan? Hij is een panellid van de 'USC Dornsife/Los Angeles Times Poll'. Door zijn profiel woog hij in sommige peilingen tot 30 keer meer door dan de gemiddelde respondent en liefst 300 keer meer dan de minst meegetelde respondent. Hoewel hij maar 1 van de 3.000 panelleden is. De media in de VS smullen ervan.

Deze case toont aan - voor zover nodig - hoe moeilijk en gevaarlijk onderzoeken zijn. En toch laven we ons regelmatig aan deze of gene enquête.

Dichter bij huis ontstond deze week heisa omtrent de waarde van het Ivox-onderzoek in opdracht van Humo en VTMnieuws, dat suggereert dat 20 procent van onze moslims begrip zou hebben voor de acties van IS. Academici als Dirk Jacobs (ULB) en Dimokritos Kavadias (VUB) kraakten de studie af. Wat dan weer leidde tot oprispingen dat 'bepaalde politiek correcte middens' moeite hadden met de uitkomst.

Nuanceringen gaan verloren

Terwijl de échte vraag luidt: is degelijk onderzoek niet per definitie duur, omwille van de tijd en middelen die erin kruipen om het gedegen en wetenschappelijk te onderbouwen?

"Neen", verrast Dirk Jacobs ons. "Het genuanceerde antwoord is dat een degelijk onderzoek inderdaad tijd en middelen kost, en dat deze luxe niet voorhanden is bij de onderzoeksbureaus. Maar daarom zijn niet alle enquêtes bij voorbaat flut. Wil je het gedegen, dan kan dat. Wil je echter quick & dirty, dan kan dat ook." Jacobs gebruikt een metafoor: "Als een hartoperatie normaal zes uur duurt, maar een arts zegt dat hij hetzelfde kan in een halfuur, dan wéét je dat er iets niet klopt. De prijs zal, net als de kwaliteit, verschillen tonen."

De prijs, is dat het breekijzer? Dat valt nog maar te bezien. Een wetenschappelijk onderzoek is niet per se duurder of goedkoper dan een enquête bij een marktonderzoeksbureau, zo leert navraag. Een doorsnee online onderzoek begint vanaf zowat 8.000 euro, voor een marktonderzoek tel je snel 100 tot 120 euro per respondent neer. Wat een beetje onderzoek dus snel een prijskaartje van tussen de 75.000 tot 100.000 euro oplevert.

Fons Vandyck, trendwatcher met veel ervaring in onderzoek en media zegt het zo: "De bureaus in ons land die lid zijn van Febelmar (beroepsfederatie, LID) leveren kwalitatief werk. Maar er is een verschil tussen de verzamelde data, en wat de klant daarmee doet. En zeker in de media is een 'significante minderheid' vaak interessanter als krantenkop omdat het controversiëler is. Wat de nuanceringen in het gehele onderzoek soms tenietdoet."

Gerd Callewaert, topman van het bureau Ipsos en tevens voorzitter van Febelmar ziet het zo: "Het is een universele wet dat van zodra de cijfers of de uitslag van een onderzoek voor enige controverse zorgen, er meteen getwijfeld wordt aan de methodologie." Callewaert verwijst als typevoorbeeld naar de politieke peilingen. "Los daarvan, een onderzoek moet je soms durven weigeren als bureau omdat het schier onbetaalbaar is om het representatief te doen. En dat geldt dus ook voor het befaamde islamonderzoek. Een juiste afbakening van de doelgroep en representatieve respons is - zeker op korte termijn - niet haalbaar. Maar ook de opdrachtgever moet zich de vraag stellen of het wel zinvol is om dergelijke enquêtes zo te presenteren."

► De afgelopen maanden verschenen heel wat onderzoeken van bureaus als Ivox en Ipsos in deze en andere kranten.