Publication bias in the social sciences: Unlocking the file drawer - Franco, Malhotra & Simonovits - 2014 - Artikel

Wat is publicatiebias eigenlijk?

Publicatiebias vindt plaats wanneer het wel of niet publiceren van onderzoeksresultaten afhangt van de richting of de significantie van de resultaten. Zo worden statistisch significante resultaten veel vaker gepubliceerd dan de niet significante resultaten, het zogenaamde file-drawer probleem. Deze selectieprocedure verhoogt de kans dat gepubliceerde resultaten type I fouten weerspiegelen in plaats van de daadwerkelijke populatieparameters. Omdat ongeldige resultaten grotendeels onwaarneembaar zijn in de academische wereld, belemmert het daarnaast pogingen om de staat van kennis binnen een veld of onderwerp te evalueren.

Hoe kom je erachter of er sprake is van publicatiebias?

Een manier om publicatiebias waar te nemen is een meta-analyse te repliceren met en zonder niet-gepubliceerde literatuur. Daar zitten beperkingen aan, omdat wat niet gepubliceerd is vaak onzichtbaar is.

Andere methoden richten zich op de gepubliceerde literatuur en zijn afhankelijk van veronderstellingen ten aanzien van de verspreiding van niet-gepubliceerd materiaal.In geval van publicatiebias vertonen kleinere studies dan grotere effecten om willekeurige statistische significantie drempels te overstijgen. Bij deze methodes worden echter vaak verschillende maatstaven van precisie gebruikt en er wordt verondersteld dat het resultaat en de effectgrootte bij verschillende studies gelijk zijn. Ook bestaat het gevaar dat strength of results verward wordt met onderzoekskwaliteit en is het onduidelijk tijdens welk stadium publicatiebias zich voordoet (tijdens het schrijven of gedurende de redactionele fase?).

Dan is er ook nog een methode die zich richt op het bestuderen van de publicatieresultaten van een groep studies (voor- of achteraf beschouwd). Zo blijkt er binnen klinische registries ingestuurd voor conferenties weinig tot geen publicatiebias te bestaan, maar besluiten juist auteurs het vaak niet in te sturen wanneer er sprake is van negatieve of null resultaten. Zulke “cohort” analyses zijn binnen de sociale wetenschappen minder gebruikelijk (de studies worden in dit veld niet voorgeregisteerd en door het kwaliteitsverschil zijn studies vaak moeilijk te vergelijken)..

Hoe zag het onderzoek van Franco, Malhotra en Simonovits eruit?

Voor dit onderzoek zijn 221 reeds verrichtte onderzoeken geanalyseerd. Er is gebruik gemaakt van TESS, een door de National Science Foundation gesponsord programma waarbij onderzoekers voorstellen doen om met behulp van surveys experimenten te doen op representatieve steekproeven van de Amerikaanse bevolking. Deze onderzoeksvoorstellen krijgen te maken met zeer zorgvuldige peer reviews, waardoor de kwaliteitsdrempel hoog ligt. Bijkomend voordeel is dat van alle onderzoeken bekend is welke uiteindelijk wel en welke uiteindelijk niet gepubliceerd zijn. Omdat bijna alle experimenten door dezelfde survey research firm zijn uitgevoerd, zijn ze onderling goed te vergelijken. Dankzij de standaarden die TESS hanteert voor de statistische bewijskracht, kan een gebrek aan statistisch relevante resultaten niet toegewezen worden aan een te kleine steekproef.

De statistische resultaten van TESS-onderzoeken die gepubliceerd zijn, zijn uiteindelijk vergeleken met onderzoeken die niet gepubliceerd zijn.

Een mogelijke tekortkoming zou kunnen zijn dat TESS studies niet representatief zijn voor onderzoek binnen de sociale wetenschappen in het algemeen, het is geen “random sample”. Het is echter onwaarschijnlijk dat de publicatiebias binnen het gehele veld minder groot zou zijn.

Wat waren de resultaten?

Uiteindelijk werden er 221 studies uit de jaren 2002-2012 uit de database van TESS geselecteerd voor het onderzoek. Van elke studie werd bekeken of deze gepubliceerd was. Niet-gepubliceerde experimenten konden onderverdeeld worden in twee types: diegenen die wel voorbereid waren voor inzending, en degene die dat niet waren. De gepubliceerde experimenten werden opgedeeld aan de hand van of ze wel of niet in hoogwaardige (top-tier) journals geplaatst werden. 80% van de TESS studies bleek voorbereid voor publicatie,en 48% bleek geplaatst in academische journals.

Er werd vastgesteld of de auteurs hun eigen resultaten als statistisch significant beschreven. Het zou te complex zijn geweest voor de onderzoekers om dit voor elke studie zelf nog eens na te lopen, en de visie van de auteur werd hierin belangrijker geacht dan de correctheid van de constatering. Het heeft namelijk invloed op hoe men editors/reviewers aanschrijft en op het wel of niet schrijven van een paper. Studies werden als volgt geclassificeerd:

• Strong (41%)

• Null (22%)

• Mixed (37%)

Er bleek een sterke relatie te bestaan tussen de resultaten van een studie en of deze gepubliceerd werd, wat duidt op publicatiebias. Uit de Pearson X² toets van onafhankelijkheid bleek dat er duidelijke verschillen zijn tussen de statistische resultaten van gepubliceerd en niet-gepubliceerd materiaal. Hoewel bijna de helft van de onderzochte studies gepubliceerd zijn, was maar 20% van de null studies gepubliceerd. Ongeveer 60% van de studies uit de categorie “strong” werd gepubliceerd en 50% van de studies met gemixte resultaten. Hoewel meer dan 20% van de geselecteerde studies in de categorie “null” viel, rapporteert minder dan 10% van de gepubliceerde artikelen over zulke resultaten. Opvallender nog is dat studies binnen de categorie “null” in 65% van de gevallen ook niet voorbereid werden voor publicatie. Ongeveer 57% uit een steekproef van de “null” auteurs gaf aan dat ze de studies, zelfs als ze de resultaten persoonlijk wel interessant vonden, niet waardig achtten voor publicatie vanwege de null resultaten. De auteurs gaan ervan uit dat het materiaal niet goed gekeurd zou worden, of men verliest simpelweg zelf de interesse.

Sterke (strong) resultaten zijn met deze resultaten 40 procentpunten waarschijnlijker gepubliceerd te worden dan null resultaten en 60 procentpunten waarschijnlijker uitgewerkt te worden voor publicatie.

Waarom zien de auteurs het niet publiceren van null resultaten als een probleem?

Het niet publiceren van null resultaten is problematisch omdat er op die manier onderzoeken gedaan worden die wellicht al eens zijn uitgevoerd en waarbij de treatments niet effectief bleken. Ook zou er wanneer er gelijkwaardig onderzoek wordt gedaan waarbij men statistische significantie ontdekt, door het ontbreken van het overige materiaal een te sterke werking kunnen worden toegeschreven aan het effect.

Hoe kunnen we dit probleem tegengaan?

We moeten meer zicht krijgen op de motivaties van wetenschappers die projecten wel of niet voortzetten op basis van resultaat. Er zijn maar weinig null resultaten die het tot het review stadium schoppen. We moeten zorgen dat onderzoeken niet ergens onderin de la belanden, door het interessanter te maken ze wel te publiceren. De trend richting open-access journals zou bijvoorbeeld plaats kunnen bieden aan zulk materiaal. Ook zouden financieringsinstanties kosten kunnen verbinden aan het niet verder uitwerken van gefinancierde studies.