De relatieve waarheid van psychologisch onderzoek

Maarten Keulemans schrijft op 28 augustus in de Volkskrant over het bericht dat veel psychologisch onderzoek bij nader inzien geen stand houdt.

Een citaat.
Het spook heeft vele namen: 'bureaulade-effect', 'afname-effect', 'publicatiebias'. Denken wetenschappers eindelijk iets te hebben ontdekt, blijkt het na een tijdje helemaal niet te bestaan. Rode wijn is bij nader inzien toch niet goed voor de gezondheid, mild depressieve mensen hebben toch geen baat bij antidepressiva, en de effecten van antioxidanten zijn minder groot dan onderzoek aanvankelijk uitwees. Ach, de publicatiebias, verzuchten wetenschappers op zo'n moment.
Dat zit zo. Wetenschappers werken liever experimenten met een mooi resultaat uit, dan proeven die niets opleveren (die verdwijnen in de bureaulade, vandaar de naam). Ook vakbladen publiceren liever opvallende resultaten dan studies die iets níét aantonen. Er is geen kwade opzet en er zijn geen schuldigen: in de wetenschap waait de wind nu eenmaal richting 'gelukt' onderzoek en klinkende resultaten. Onopvallende of negatieve uitkomsten blijven zo onder belicht.
Daarbij komt dat zelfs de beste onderzoeker wel eens door toeval iets ontdekt. Onderzoek hanteert vaak de spelregel dat iets waar is, als de kans op toeval kleiner is dan één op twintig. De keerzijde is dat experimenten dus één op de twintig keer een op het oog klinkend resultaat opleveren, terwijl er gewoon sprake is van toeval.
De optelsom van die twee toevalstreffers komen voor en mooie resultaten worden voorgetrokken geeft problemen. Sterker, het lijkt erop dat van al het gepubliceerde onderzoek het meeste 'fout' is, betoogde de Grieks-Amerikaanse epidemioloog John Ioannidis al tien jaar geleden.
Tot zover de Volkskrant.

Bij deze verklaringen komt dat psychologisch onderzoek gaat over mensen. Wanneer mensen te horen krijgen dat zij zich gedragen volgens een bepaalde theorie dan kunnen ze een aantal dingen doen: zich daarom zo blijven gedragen; zich juist daarom anders gaan gedragen of hun schouders ophalen. Met andere woorden: de menselijke realiteit wordt beïnvloed door publicaties over de realiteit.

Ook uit hetzelfde artikel.
“De oplossing is simpel, zegt onder meer de Tilburgse methodoloog Marcel van Assen. 'Neem grotere steekproeven, zorg dat de uitkomsten van alle uitgevoerde studies ook echt worden gerapporteerd en zorg voor een systeem van registratie vooraf, waarbij je voordat je gegevens gaat verzamelen al netjes vastlegt wat je precies gaat doen'. Zo houd je ook zicht op de studies die géén 'gewenste' uitkomsten opleveren en verklein je de kans op toevalstreffers”.

In een tijd waarin geschermd wordt met wetenschappelijke inzichten om commerciële belangen te dienen wordt de kans steeds kleiner dat er betrouwbaar gerapporteerd wordt over onderzoeksresultaten. Het gemakzuchtige frauderen van hoogleraar Diederik Stapel hielp ook al niet om het imago van psychologisch onderzoek hoog te houden. Als consument wordt je steeds meer op jezelf teruggeworpen om te kunnen weten of een opvatting en wat je leest in de media hout snijdt. Gelukkig worden we steeds meer getraind om kritisch te zijn op wat je leest, maar die vaardigheid moet je wel weten toe te passen en kan gemakkelijk leiden tot impasses, besluiteloosheid, lethargie of onverschilligheid. Het enige wat helpt is de vaardigheid te ontwikkelen om integer overleg met anderen te voeren om samen tot waarheidsvinding te komen.

Dat de waarheid in het midden ligt wil vooral zeggen dat het op dat moment en die plaats onderwerp van discussie is en niet dat het een reële bepaling is. Veelzeggend is het antwoord op de vraag wie belang heeft bij welke waarheid?

Dat conclusies uit onderzoek niet snel definitief zijn was in de universitaire wereld al langer bekend. Vandaar dat de wetenschappelijke cyclus is benoemd. Waar je jouw hypotheses vandaan haalt is niet zo belangrijk. Wat van belang is wat je ermee doet. Klopt de methodologie van jouw onderzoeken en is jouw rapportage integer gedaan. De uitslag is altijd startpunt van een nieuwe cyclus, die gericht is op confirmatie (bevestiging) of op verdieping. Een hypothese moet altijd weerlegd (gefalsificeerd) kunnen worden.