Waar gaat dit artikel over?

Wetenschappelijke claims kunnen worden ondersteund door middel van bewijs voor repliceerbaarheid gebaseerd op nieuwe data. Dit is anders dan een claim opnieuw testen door dezelfde data en dezelfde analyses te gebruiken, wat reproduceerbaarheid of computationele reproduceerbaarheid wordt genoemd. Dit is ook anders dan repliceren door middel van dezelfde data, maar verschillende analyses. 

Pogingen om gepubliceerde wetenschappelijke claims of bevindingen te repliceren zijn vsaak mislukt. Uit 190 verschillende artikelen in de sociale en gedragswetenschappen waren maar 90 succesvol gerepliceerd. Dus, in totaal was maar 47% van de bevindingen repliceerbaar.

Een vorbeeld van een opmerkelijke wetenschappelijke bewering dat niet kon worden gerepliceerd, is het kandidaat-gen of de kandidaat-gen-voor-interactie-hypothese. Hoewel er meer dan 1000 artikelen zijn geschreven over deze hypothese, vond een review met een grote steekproef geen bewijs voor deze hypothese.

Deze problemen in replicatie hebben geleid tot initiatieven om de nauwkeurigheid en transparantie van de wetenschap te verbeteren, wat heeft geleid tot verschillen in methodologie zoals preregistratie en open data, open materialen en open code, ook wel ‘open science’ genoemd. Echter zijn er ook nieuwe discussies ontstaan, zoals: wanneer wordt iets precies een replicatie genoemd? 

Wat is replicatie?

Een algemeen begrip van replicatie is dat het gaat om het herhalen van de procedure van een onderzoek en het observeren of de eerdere bevindingen terugkeren. Deze definitie heeft echter zijn problemen. Vooral de nadruk op de methoden is een probleem. Bijvoorbeeld als het oorspronkelijke onderzoek in de Verenigde Staten werd uitgevoerd en de replicatie plaatsvindt in de Filippijnen. Dit betekent dat de materialen waarschijnlijk worden vertaald, zou dit nu nog een replicatie van de originele studie zijn?

Het is ook niet mogelijk om bepaalde verschijnselen na te bootsen, zoals een aardbeving of supernova. Als replicatie gaat over het herhalen van de gemeten gebeurtenissen van het onderzoek, dan is het moeilijk om onderzoek naar gebeurtenissen uit het verleden te repliceren.

De meeste onderzoekers volgen de oorspronkelijke methoden en procedures tijdens een replicatie zo nauwkeurig mogelijk. Dit is echter niet omdat dit nodig is voor replicatie. In plaats daarvan is het meer zo dat men gebruik maakt van vage theorieën die niet goed begrepen worden. Dan is het gemakkelijker om simpelweg de eerder toegepaste methoden en procedures te volgen. Daarnaast is het beter om geen onderscheid te maken tussen 'directe' en 'conceptuele' replicatie, omdat ook dit contraproductief kan zijn voor het behalen van adequate kennis over replicatie.

Dit artikel suggereert een alternatieve definitie voor replicatie, die al het onderzoek omvat en relevanter is voor de rol van replicatie. Replicatie wordt gedefinieerd als 'een onderzoek waarvan elke uitkomst zou worden beschouwd als diagnostisch bewijs voor een bewering uit eerder onderzoek'. In deze definitie is de nadruk op operationele kenmerken van het onderzoek minder, en in plaats daarvan ligt de nadruk op de interpretatie van mogelijke uitkomsten.

Er zijn twee voorwaarden voor een replicatie: uitkomsten die consistent zijn met vorige bevindingen moeten het vertrouwen in de bevindingen vergroten, en de uitkomsten die inconsistent zijn met vorige bevindingen moeten het vertrouwen in de uitkomsten verminderen.

Door middel van replicaties kan men testen of bestaande theorieën, hypothesen, en modellen inderdaad uitkomsten voorspellen die nog niet geobserveerd zijn. Succesvolle replicaties zorgen er voor dat men deze bestaande theorieën, hypothesen en modellen meer kan vertrouwen. Alle uitkomsten van een replicatie moeten dus serieus genomen worden, zowel successen als mislukkingen. Echter, niet iedereen zal het met elkaar eens zijn of iets wel of niet een replicatie genoemd kan worden. Dit is doordat replicatie is gedefinieerd op basis van theoretische verwachtingen. Een ander probleem met replicaties is dat men de uitkomsten van de vorige studies al kent en dat daardoor vooroordelen (biases) kunnen ontstaan. Dit kan leiden tot dat onderzoekers niet-succesvolle replicaties niet zien als een replicatie en dat alleen succesvolle replicaties worden gezien als een replicatie. Daarnaast kan een replicatie ook niet-succesvol zijn doordat men een foute methodologie heeft gevolgd. Wanneer er twijfels hierover zijn is de enige oplossing om wéér te repliceren.

Voor de wetenschap is het best om open te zijn. Dit houdt in dat onderzoekers beloond worden voor het openlijk beschrijven van hun theorieën en doelen vóórdat zij een onderzoek uitvoeren. Een goede theorie zou ook moeten beschrijven hoe replicatie hun theorie kan betwisten of juist ondersteunen.

Hoe kunnen de problemen met replicatie worden opgelost?

Beschouw de twee volgende claims: er zijn meer mensen met obesitas in welvarende landen vergeleken met arme landen, en mensen in welvarende landen leven langer dan mensen in arme landen. Beide claims kunnen repliceerbaar zijn. Wanneer deze claims worden gerepliceerd, moeten alle theorieën over welvaart, obesitas, en levensverwachting deze replicaties in de bestaande theorieën verwerken of zelfs aanpassingen maken.

Er bestaat echter niet zoiets als een exacte replicatie: zoals eerder genoemd kan men geen aardbeving of een tsunami reproduceren. Echter is dit ook niet het doel van replicatie. Het doel van replicatie is om te bepalen welke condities leiden tot bestaande bevindingen en claims. Individuele studies zijn niet voldoende om alle condities die leiden tot de vorige bevindingen te identificeren. Deze gaten worden dan gevuld met theorieën. Individuele studies kijken dus alleen naar een subset van units, behandelingen, uitkomsten, en situaties. Dit houdt in dat elke studie in een bepaald klimaat, een bepaald tijdstip, een bepaald punt in de geschiedenis, een bepaalde methode, en een bepaalde steekproef heeft. Echter generaliseren onderzoekers vaak vanuit deze studies. Dit is ook wel logisch, want anders zou geen enkele studie relevant zijn buiten de onderzochte condities (klimaat, tijdstip, geschiedenis, steekproef). De vraag hierbij is: welke van deze condities zijn belangrijk voor generaliseren? Zo kan de tijd van de dag veel invloed hebben bij studies naar het circadiaans ritme of inhibitie, maar heeft het minder invloed bij studies over persoonlijkheid.

Het feit dat men bij replicatie vaak dezelfde methoden volgt is eigenlijk een soort oplossing voor de invloed van verschillende condities. Als men precies op dezelfde moment van de dag meet, dan kan men niet zeggen dat de uitkomsten verschillen op basis van het tijdstip. Omdat er geen exacte replicaties bestaan, test elke replicatie dus of de bevindingen ook gelden voor de nieuwe condities (een ander klimaat, een andere steekproef). Dit betekent niet dat elke generaliseerbaarheid-test ook een replicatie is.

Wanneer een replicatie mislukt is dit niet altijd een slecht teken. Beschouw het volgende experiment. Otto Loewi (1936) vond dat acetylcholine werd afgescheiden van de nervus vagus van kikkers. Pogingen tot replicatie mislukten. Later werd echter ontdekt dat de tijd van het jaar waarin Loewi zijn onderzoek uitvoerde, een belangrijk punt was! Zo ontdekte men dus meer over de theorie, door middel van replicaties.

Waarom zijn replicaties zo zeldzaam?

Wanneer men andere methoden gebruikt om dezelfde studie uit te voeren, wordt dit een ‘conceptuele replicatie’ genoemd. Dit is goed voor de ontwikkeling van theorieën, maar het voldoet niet aan de definitie van replicatie zoals omschreven in dit artikel. Denk terug aan de twee voorwaarden van replicatie. Veel conceptuele replicaties voldoen alleen aan de eerste voorwaarde: de uitkomsten die consistent zijn met de vorige bevindingen leiden tot meer vertrouwen in de claim. De tweede voorwaarde, dat uitkomsten die inconsistent zijn met de vorige bevindingen of claims leiden tot minder vertrouwen in de bestaande claim, is dan een probleem. Men kan namelijk altijd zeggen: “onze studie was anders en daarom hebben wij geen succesvolle replicatie behaald”. Conceptuele replicaties zijn dus meer generaliseerbaarheids-tests. Wanneer men een replicatie wil uitvoeren met een andere methodologie, dan moet men de theorie en methoden van de bestaande theorie goed begrijpen. Dit is vaak niet het geval en daarom houdt men vaak dezelfde methoden aan, genaamd ‘directe replicatie’. Echter zou het goed zijn voor de ontwikkeling van theorie om bestaande claims te testen met een andere methodologie. Concluderend, replicaties moeten gezien worden als een uitdaging. Alle uitkomsten van replicaties zijn belangrijk voor de ontwikkeling van de wetenschap.