Scientific Misconduct and the Myth of Self- Correction in Science - Stroebe, Postmes & Spears - 2012 - Artikel

Introductie

Dit artikel gaat over wetenschappelijk wangedrag. Laatst was Diederik Stapel voortdurend in het nieuws en vroeg men zich af hoe fraude in de wetenschap voorkomen kan worden. Stapel is slechts een voorbeeld, maar volgens de schrijvers van het artikel komt fraude nog veel meer voor in de wetenschap. Het is dan slimmer om naar al deze fraude schandalen te kijken, om zo een beter beeld te krijgen over hoe fraude voorkomen kan worden. In het artikel worden vier vragen beantwoord: hoe vaak komt fraude voor, is psychologie gevoeliger voor fraude dan andere wetenschappen, hoe goed werken de methoden om fraude tegen te houden en welke lessen kunnen we leren van fraude? Wetenschappelijk wangedrag wordt gedefinieerd als bewust, met opzet, fabriceren, falsifiëren en het plegen van plagiaat tijdens het doen en rapporteren van onderzoek, of tijdens het recenseren van onderzoek. Fabricatie is het verzinnen van data en falsificatie is het aanpassen van data. Fraude kan vier externe gevolgen hebben, waarvan het eerste gevolg de beschadiging van de carrières van degenen die zich baseren op het gefraudeerde onderzoek is. Het tweede gevolg is dat het klinische patiënten kan misleiden omdat ze verkeerde informatie over een behandeling krijgen. Het derde gevolg is de vertraging van wetenschappelijke vooruitgang, omdat fraude een verspilling is van tijd en van de financiering. Het vierde gevolg is dat fraude het beeld dat mensen hebben beschadigt van het gebied waar het onderzoek naar gedaan werd.

Diederik Stapel

Het artikel gaat over wetenschappelijk wangedrag. Laatst was Diederik Stapel voortdurend in het nieuws en vroeg men zich af hoe fraude in de wetenschap voorkomen kan worden. Stapel is slechts een voorbeeld, maar volgens de schrijvers van het artikel komt fraude nog veel meer voor in de wetenschap. Het is dan slimmer om naar al deze fraude schandalen te kijken, om zo een beter beeld te krijgen over hoe fraude voorkomen kan worden. In het artikel worden vier vragen beantwoord: hoe vaak komt fraude voor, is psychologie gevoeliger voor fraude dan andere wetenschappen, hoe goed werken de methoden om fraude tegen te houden en welke lessen kunnen we leren van fraude? Wetenschappelijk wangedrag wordt gedefinieerd als bewust, met opzet, fabriceren, falsifiëren en het plegen van plagiaat tijdens het doen en rapporteren van onderzoek, of tijdens het recenseren van onderzoek. Fabricatie is het verzinnen van data en falsificatie is het aanpassen van data. Fraude kan vier externe gevolgen hebben, waarvan het eerste gevolg de beschadiging van de carrières van degenen die zich baseren op het gefraudeerde onderzoek is. Het tweede gevolg is dat het klinische patiënten kan misleiden omdat ze verkeerde informatie over een behandeling krijgen. Het derde gevolg is de vertraging van wetenschappelijke vooruitgang, omdat fraude een verspilling is van tijd en van de financiering. Het vierde gevolg is dat fraude het beeld dat mensen hebben beschadigt van het gebied waar het onderzoek naar gedaan werd.

Fraude in andere disciplines

Om te kijken of fraude, op de manier zoals Stapel dit deed, alleen voorkomt in de psychologie, hebben de schrijvers van dit artikel gezocht naar fraude in andere wetenschappen. Daarbij keken ze vooral naar hoe vaak de media hiervan bericht gaf. Toen ze deze lijst met fraudeurs vergeleken met Diederik Stapel zagen ze enkele overeenkomsten; de fraudeur is vaak een hooggewaardeerde onderzoeker, of een jonge onderzoeker die samenwerkt met een hooggewaardeerde onderzoeker. Bovendien wordt veel fraude ontdekt door informatie van binnenuit, iemand speelt dus de klokkenluider. Er zijn maar enkele fraudeurs die net als Stapel vanaf het begin van hun carrière eigenlijk bij bijna elk onderzoek fraude pleegden. Deze fraudeurs publiceren heel veel artikelen, ze hoeven immers geen tijd te steken in het data verzamelen. Ook lijkt hun data vaak te goed om waar te zijn, omdat ze weinig error bevatten en een hoge effect size hebben. Waarom mensen fraude plegen lijkt soms wat onduidelijk; waarom zou je fraude plegen als je een prima carrière hebt? Zelfs Stapel en andere fraudeurs kunnen moeilijk uitleggen waarom ze het hebben gedaan. De schrijvers van het artikel vermoeden dat het bij een kleine aanpassing begint, om de data beter te laten passen bij de hypotheses, en de aanpassingen steeds groter worden wanneer de data echt niet past. Ook ligt er een druk op onderzoekers om veel te publiceren, vooral wanneer je echt de top wil bereiken. Toch pleegt niet iedereen fraude en volgens Goodstein knoeiden de fraudeurs met data omdat ze dachten het antwoord op hun hypothese toch al heel goed te weten.

Prevalentie van fraude

De eerste vraag van het artikel was: hoe vaak komt fraude voor? Hoe vaak fraude precies voorkomt is onduidelijk, maar een meta-analyse over 18 onderzoeken naar fraude beweert dat er bij 2% van de onderzoeken gefraudeerd is. De beste schatting komt van the Gallup Organization, die schat dat er bij 1.5% van de onderzoeken sprake is van fraude. In 60% van de fraudegevallen ging het om fabriceren en falsifiëren van data. De tweede vraag van het artikel was: is psychologie gevoeliger voor fraude dan andere wetenschappen? Van de lijst van fraudeurs, die is opgesteld door de schrijvers van het artikel, is meer dan twee-derde van de onderzoeken een biomedisch onderzoek. Volgens Goodstein zijn de biomedische wetenschappen vooral gevoelig voor fraude en psychologie dus niet. Deze conclusie kan echter niet getrokken worden zonder te weten wat de proportie is, dus moeten we eerst weten hoeveel psychologen en biomedische wetenschappers er zijn. Bovendien zijn de fraudezaken gevonden door de ORI, een organisatie die ook vooral medische onderzoeken checkt. Het kan zijn dat de psychologie gevoelig is voor fraude, omdat proefpersonen van het psychologisch onderzoek vaak anoniem en dus niet terug te vinden zijn nadat het onderzoek is afgerond. Een meta-analyse van Fanelli beweert wel dat er meer fraude is in biomedische wetenschappen en een reden hiervoor kan zijn dat wetenschappers op dit gebied meer financiële beloningen krijgen.

Corrigeren

Het wordt vaak aangenomen dat de wetenschap zichzelf corrigeert en dat onderzoek dat niet gebaseerd is op echte data dus vanzelf ontdekt wordt. Dit corrigeren gebeurt door de controle van peer review, wanneer vakgenoten een artikel controleren voordat deze in een blad geplaatst wordt, en door het onderzoek te repliceren. Wanneer dit het geval zou zijn, zou het raar zijn dat er toch veel fraudegevallen zijn, waarbij niet ontdekt werd dat er sprake was van fraude. Veel fraudegevallen zijn dan ook ontdekt door klokkenluiders, mensen van binnenuit die aan de bel trokken, en niet door peer reviews en replicatie. Het doel van peer reviews is dan ook niet het ontdekken van fraude gevallen, maar het ontdekken van goed onderzoek die meewerkt aan wetenschappelijke vooruitgang. Peer review krijgt veel kritiek, omdat de interbeoordelaar betrouwbaarheid vaak laag is. Ook staan er nog vaak fouten in gepubliceerde artikelen, de vakgenoten hebben hier de fouten dus niet ontdekt. Waarom wordt fraude niet ontdekt door peer reviews? Ten eerste is fraude relatief zeldzaam en zien wetenschappers het dan ook niet als hun taak om tijdens een peer review op fraude te letten. Wanneer er wel opvallende dingen aan een onderzoek worden ontdekt, verwachten de wetenschappers niet dat dit door fraude komt. Doordat fraude niet als een optie wordt gezien, is het goed mogelijk dat mensen hierdoor over fraude heen kijken. Dit kan een gevolg zijn van sociale motieven, bijvoorbeeld dat mensen positiever tegenover mensen staan die bij hun groep horen, de in-group, dan mensen die niet bij hun groep horen, de out-group. Wanneer je dus het werk van een collega nakijkt, ben je sneller geneigd deze positief te beoordelen. Ook groep normen spelen een rol; wanneer fraude ondenkbaar is, zoek je ook niet naar tekenen van fraude in een onderzoek. Verder wordt fraude niet door peer reviews ontdekt, omdat de fraudeur vaak veel moeite heeft gestoken in het verbergen van zijn fraude. De resultaten van gefraudeerd onderzoek zijn vaak erg aannemelijk en lijken dus niet verdacht.

Replicatie

Dat replicatie ook niet zorgt voor het opmerken van fraude heeft een aantal redenen. Onderzoekers worden vaak niet echt geprikkeld om een onderzoek te repliceren, bovendien is het lastig om replicaties die wel gedaan zijn te publiceren, omdat het vaak niet erg interessant is. Een tweede reden is dat er vaak genoeg redenen zijn te noemen, waarom de replicatie van het onderzoek niet precies dezelfde resultaten oplevert. Daarom wordt er vaak niet gedacht aan fraude. Bij sociale psychologie is het repliceren van een onderzoek vaak lastig omdat niet duidelijk wordt beschreven welke methode precies gebruikt is. Daarnaast is het vaak lastig om een theoretisch begrip te operationaliseren. Bovendien is sociale psychologie cultuurafhankelijk en kan het goed zijn dat in verschillende culturen ook verschillende resultaten gevonden worden. Je zou kunnen verwachten dat replicatie misschien niet oplevert, maar dat meta-analyse wel in staat is om fraude te ontdekken. Toch is geen van de fraudes die de schrijvers van dit artikel hebben genoemd ontdekt door meta-analyse. Er zijn slechts twee gevallen bekend, waarbij fraude ontdekt werd door replicatie. Deze gevallen hadden erg unieke omstandigheden, maar er is wel van te leren. Een geval is de onderzoeker Gullis, die samen met een aantal collega’s vier artikelen had geschreven. Zijn collega’s konden een onderzoek van hem niet repliceren en vroegen hem toen om zijn onderzoek zelf te repliceren.

Omdat hij niet in staat was zijn eigen onderzoek te repliceren, kwam uit dat hij fraude had gepleegd. Het tweede geval, van de onderzoeker Ninov, ging over zijn onderzoek naar nucleaire deeltjes. Zijn onderzoek moest gerepliceerd worden, omdat zijn resultaten anders niet golden. Toen een succesvolle replicatie niet mogelijk was, kwam uit dat Ninov fraude had gepleegd. Dit is een uniek voorbeeld, omdat in andere wetenschappen succesvolle replicatie niet per se nodig is voor het accepteren van de resultaten.

Gevolgen fraude

Nadat uitkwam dat Stapel fraude had gepleegd, was er veel opschudding over de wetenschap en vooral over de sociale psychologie ontstaan. Het geval van Stapel leert de les dat er soms misbruik wordt gemaakt van systemen als de wetenschap en dat er nog veel te verbeteren valt aan de wetenschap. Zo zou het peer review systeem verbetert kunnen worden, bijvoorbeeld door beter te luisteren naar klokkenluiders en hun anonimiteit te beloven. Bovendien moeten wetenschappers openstaan voor de mogelijkheid dat de data gefalsifieerd of gefabriceerd zijn, wanneer de data te perfect lijkt. Het belangrijkste is om fraude dus onder ogen te zien, want wanneer fraude niet als een optie wordt beschouwd, wordt het ook moeilijk ontdekt.