Publication bias in meta-analysis: its causes and consequences - Thornton, & Lee - 2000 - Artikel

Wat is publicatie bias en waarom is het problematisch?

De publicatie bias is een wijd verspreid probleem. De bestudeerde literatuur voor dit artikel, is bekeken op zowel de opzet van "single studies" als meta-analyses, als de rol van auteur, redacteur en recent in het ontstaan van een publicatie bias. Ook zijn de verschillende methodes voor het voorkomen van deze bias bekeken. Het geheel voorkomen van een publicatie bias lijkt nagenoeg onmogelijk, het op allerlei manieren proberen te voorkomen is wel mogelijk.

Publicatie bias als begrip kan op verschillende manieren worden uitgelegd. Een uitleg is: een redactionele voorliefde voor het publiceren van bepaalde specifieke bevindingen (vaak positieve resultaten), wat er voor zorgt dat auteurs bepaalde andere specifieke bevindingen niet kunnen publiceren. Dit gebeurt bijvoorbeeld vaak met onderzoeken die een positieve uitkomst hebben. Deze worden vaker gepubliceerd dan onderzoeken met bijvoorbeeld een neutrale of negatieve uitkomst. In de jaren '50 werd dit probleem voor het eerst geconstateerd, pas in de jaren '60 werd het probleem echter pas verder onderzocht. Momenteel is de publicatie bias een bekend probleem waar velen zich bewust van zijn. Dit probleem kan zowel door de auteur als redacteur worden veroorzaakt, maar ook door hen beiden worden geminimaliseerd. Dit artikel probeert zo goed mogelijk te onderzoeken op welke manieren dit probleem het beste zou kunnen worden aangepakt.

Hoe speelt publicatie bias een rol bij de opzet of uitvoering van "single studies"?

Er zijn vele facetten die bij "single studies" (op zichzelf staande studies) kunnen leiden tot de publicatie bias. Een te kleine onderzoeksgroep kan bijvoorbeeld leiden tot een mindere geloofwaardigheid of relevantie van het onderzoek, wat kan leiden tot een beslissing tot niet publiceren. Een te grote onderzoeksgroep kan daarentegen weer leiden tot zeer veel resultaten. Er moet dan een keuze worden gemaakt m.b.t. deze resultaten, wat ook weer kan leiden tot de publicatie bias. Ook als een onderzoek, al dan niet bewust, is opgezet met een bepaald doel of focus, dan zullen resultaten die dit doel of deze focus niet onderschrijven sneller worden genegeerd door de onderzoeker. Daarnaast blijkt ook dat soms vooronderstellingen van onderzoekers van wat de resultaten zouden moeten zijn, de resultaten direct beïnvloeden. Ook bij de keuze van redacteurs om iets te publiceren, zijn vooronderstellingen (vooroordelen) van invloed.

Hoe speelt publicatie bias een rol bij de afwegingen van onderzoekers m.b.t. wel of niet te publiceren?

Een studie heeft bevonden dat proefschriften en scripties een drie a vier keer zo grote kans hebben om te worden gepubliceerd als de uitkomst positief is. Dit kan zowel zijn, omdat de auteur er zelf niet voor kiest om een negatief resultaat niet in te dienen (door bepaalde verwachtingen), als omdat de redacteur er voor kiest het niet te publiceren. Dit omdat zowel auteurs als redacteuren negatieve resultaten zelf minder interessant of relevant vinden.
Daarnaast zijn bijvoorbeeld facetten als de grootte van de studie van invloed op het ontstaan van de publicatie bias. Onderzoeker of redacteurs vinden het onderzoek zelf al minder relevant omdat de grootte van de studie beperkt is.

Hoe speelt publicatie bias een rol bij het afwijzen van tijdschriften van studies met negatieve resultaten?

Over het algemeen vindt men studies met negatieve resultaten simpelweg minder interessant dan studies met postieve resultaten. Het is interessanter om studies te publiceren die psychologen helpen bij het goed behandelen van cliënten, de prognose kan verbeteren of op een andere manier een positief handvat kan bieden aan de praktijk.
Onderzoeken die eerder gevonden positieve resultaten ontkrachten, hebben daarnaast een nog grotere kans om niet te worden gepubliceerd. Deze onderzoeken moeten extra worden onderbouwd, omdat er een grotere kans is op kritiek.
Eén onderzoek heeft zelfs aangetoond dat onderzoeken met een positief resultaat automatisch als beter onderbouwd werden beschouwd door redacteuren, dan onderzoeken met een negatief resultaat, ook al waren de onderzoeksmethoden exact hetzelfde. Ook bleek dat onderzoeken met een negatief resultaat vaker herzien werden dan onderzoeken met een positief resultaat. Bij 25% van de positieve onderzoeken werden de tegenstellingen (fouten) in het onderzoek gedetecteerd, tegenover 70% bij de negatieve onderzoeken.

Wat is de rol van sponsoring bij publicatie bias?

De betaler voor het onderzoek kan ook een bovenmatige invloed hebben op de uitkomsten. Studies die geen verband ontdekken tussen de blootstelling aan een bepaalde stof en ziekte-symptomen zullen bijvoorbeeld eerder worden uitvergroot dan studies die wél een verband ontdekken, waarbij de betaler in het diskrediet komt. De farmaceutische industrie kan bijvoorbeeld minder interesse hebben in studies die de werking van hun product ontkennen of afzwakken. Een ander, tegengesteld voorbeeld is de anti-rokers lobby die momenteel groot verzet bied tegen het publiceren van onderzoeken die de negatieve effecten van roken afzwakken; onafhankelijk van de kwaliteit van het onderzoek.