Scientific Utopia: II. Restructuring Incentives and Practices to Promote Truth Over Publishability - Nosek, Spies & Motyl - 2012 - Artikel

Introductie

Het artikel gaat over de druk die wetenschappers ervaren om zoveel mogelijk te publiceren. De schrijvers van het artikel hadden onderzoek gedaan naar het effect van politiek recht, links of midden zijn op het zien van kleuren. Proefpersonen kregen een woord te zien, steeds in een andere tint grijs, en moesten dan aanklikken welke tint het woord precies was. Uit het onderzoek dat mensen die politiek extreem links of rechts waren hier minder goed in waren dan mensen die gematigd zijn. Zo bleek dat extremisten de wereld letterlijk en figuurlijk in zwart-wit zien. Voordat ze het onderzoek publiceerden, deden ze echter een replicatie van het onderzoek en toen werd het effect niet meer gevonden. Achteraf baalden ze van de replicatie, nu had het weinig zin om het oorspronkelijke onderzoek te laten publiceren; men wist van de replicatie af en wist dat deze had gefaald.

Publicatie of accuraatheid

Dat ze hiervan baalden is een indicatie voor het achterliggende probleem: het doen van een onderzoek om te publiceren kan op gespannen voet komen te staan met het doen van een onderzoek om accurate gegevens te verzamelen. Het publiceren van een artikel is uiteindelijk het doel van iedere onderzoeker. Op deze manier kunnen ze erkenning krijgen en bovendien wordt publicatie gebruikt om de universiteiten-ranking te bepalen. De arbeidsmarkt voor onderzoekers is erg competitief en door publiceren kun je aan de top komen. Hier komt nog bij dat sommige onderzoeken geschikter zijn voor publicatie dan anderen. De peer reviews blijken veel artikelen over sociale- en gedragswetenschappen af te keuren, sommige bladen weigeren tussen de 70 en 90% van de artikelen.

Scheiding tussen goed voor wetenschapper en goed voor de wetenschap

Doordat er zo’n druk op wetenschappers ligt om te publiceren, komt er een scheiding tussen wat goed is voor de wetenschapper en wat goed is voor de wetenschap. Publicatie is goed voor de wetenschapper en ‘de waarheid’ is goed voor de wetenschap, maar deze twee dingen zijn duidelijk niet hetzelfde. In het extreemste geval verzint de onderzoeker zijn onderzoek gewoon, waardoor hij kan publiceren, maar totaal niet bijdraagt aan de wetenschap. Nu doen niet veel onderzoekers dit, omdat het ontdekt kan worden en hun reputatie dan verwoest is, maar er zijn ook andere, meer gebruikelijke, effecten. Zo kan het zijn dat men beslissingen die hij in zijn onderzoek moest maken motiveert met redenen als ‘dit is goed voor de wetenschap’, terwijl de echte reden eigenlijk is ‘dit is goed voor mijn carrière’. Nu hoeft dit niet bewust te gebeuren, het klinkt logisch dat we minder kritisch zijn wanneer we bevestiging voor onze hypothese vinden en meer kritisch zijn wanneer we bewijs vinden dat onze hypothese ontkracht. Door flexibel te analyseren kunnen onderzoekers soms iets vinden wat interessanter is voor publicatie, maar wel minder accuraat is. Wanneer iets nieuws wordt gevonden, worden hypotheses soms to aangepast, dat de onverwachte gegevens een bevestigend antwoord zijn op de hypotheses.

Replicatie

In de gedragswetenschappen is alleen het ontdekken van nieuwe feiten belangrijk. Innovatie is het belangrijke kenmerk van de wetenschap. Dit is de reden dat er maar weinig replicatie van onderzoeken plaatsvindt. Vaak wordt replicatie niet gepubliceerd, omdat er wordt beweerd dat we deze kennis al wisten. Maar als iets gepubliceerd is, is het nog niet meteen waar; replicatie bevestigd dus meer informatie die al door anderen is beweerd. Je kan dus eigenlijk niet zeggen ‘dat wisten we al’. Replicatie zorgt ervoor dat we meer zekerheid hebben over informatie en dat er geen onjuiste onderzoeken worden aangenomen. In de psychologie testen we vaak met een 95% betrouwbaarheidsinterval. Dit betekent dat in 5% van de gevallen een onderzoek een valse positieve uitkomst geeft, wat zonder replicatie niet ontdekt wordt. Een positief resultaat is wanneer de nulhypothese wordt verworpen en er een effect wordt gevonden. In de psychologie worden bijna alleen positieve uitkomsten gepubliceerd, ruim 90% van de gepubliceerde artikelen gaf een positieve uitkomst als resultaat. Onderzoeken die een negatief resultaat hebben, waarbij er dus juist bewijs voor de nulhypothese wordt gevonden, worden haast niet gepubliceerd; ook al zijn deze ook informatief.

Andere factoren die validiteit van onderzoek beïnvloeden

Er zijn ook nog andere dingen die er aan bijdragen dat de publiciteit omhoog gaat, maar de validiteit van het onderzoek omlaag. Een eerste punt is dat onderzoekers vaak een flink aantal onderzoeken doen met een lage power, in plaats van een paar onderzoeken te doen met een hoge power. Een tweede punt is dat naar onderzoeken die gefaald zijn niet meer gekeken wordt, deze worden meteen afgekeurd en dat naar onderzoeken die succesvol zijn geweest niet meer gekeken wordt, omdat deze resultaten meteen geaccepteerd worden.

Een ander punt is dat onderzoeken met een negatieve uitkomst niet gepubliceerd worden en onderzoeken met een positieve uitkomst wel. Wat ook bijdraagt is dat men meteen stopt met het onderzoeken van proefpersonen, zodra ze een significant effect hebben gevonden, of net zo lang doorgaat met proefpersonen tot er eindelijk een significant effect optreedt. Nog een ander punt is dat men de variabelen weglaat, die uiteindelijk geen significant effect opleverden. Ook zorgen onderzoekers er vaak voor dat hun design flexibel is, zodat alles nog een beetje aangepast kan worden, om het meer kloppend te maken. Ook is het niet goed dat onderzoekers hypotheses bij een nieuwe ontdekking zo gaan aanpassen, dat het lijkt alsof ze dit verwachtten en de gegevens het bevestigen. Tenslotte zorgt het niet-repliceren van onderzoek ervoor dat de validiteit van de wetenschap omlaag gaat. Replicatie is zelfs zo belangrijk, dat sommige wetenschappers dit het verschil noemen tussen wetenschap en geen wetenschap. Veel van bovenstaande punten zijn echter heel normaal in de wetenschap, omdat er soms een goede reden is om dit te doen. Deze punten moeten echter alleen in gebruik worden genomen, wanneer er ook echt een goede reden is om dit te doen.

Oplossingen

De wetenschap is voortdurend in ontwikkeling en onze kennis neemt steeds verder toe. Nu zouden er oplossingen moeten zijn, om de wetenschappers meer te richten op het vinden van accurate gegevens, in plaats van zich te richten op publicatie. Er zijn een aantal mogelijkheden die in ieder geval niet werken.

De wetenschap is voortdurend in ontwikkeling en onze kennis neemt steeds verder toe. Nu zouden er oplossingen moeten zijn, om de wetenschappers meer te richten op het vinden van accurate gegevens, in plaats van zich te richten op publicatie. Er zijn een aantal mogelijkheden die in ieder geval niet werken.

Directe replicatie

Directe replicatie, waarbij je het onderzoek precies nadoet, is dus niet gewoon in de gedragswetenschappen, maar conceptuele replicatie gebeurd vaker. Bij conceptuele replicatie doe je het onderzoek niet precies na, maar verander je de operationele definities van de concepten die onderzocht zijn. Dan onderzoek je of het effect gevonden in het oorspronkelijke onderzoek nog steeds gevonden wordt. Conceptuele replicatie kan niet als oplossing gebruikt worden, omdat het alleen onderzoek kan bevestigen. Het kan geen onderzoek ontkrachten, omdat je gebruik maakt van andere operationele definities. Vaak wordt beweerd dat wetenschap zichzelf corrigeert, doordat er nieuwe kennis beschikbaar komt en zo foutieve kennis ontkracht wordt. Helaas blijkt dit een mythe te zijn, omdat wetenschap geen goed systeem heeft om fouten te ontdekken in kennis. Zo blijft de foutieve kennis stand houden en wordt dit gebruikt voor verder onderzoek.

Tijdschriften voor negatieve uitkomsten

Een andere oplossing die wel eens wordt gegeven, is het maken van tijdschriften die alleen maar onderzoeken plaatst met een negatieve uitkomst. De schrijvers van het artikel denken dat dit niet zal werken, omdat dit tijdschrift dan meteen de stempel ‘niet interessant’ krijgt. Dan wil geen enkele onderzoeker ook een artikel schrijven dat nergens geplaatst wordt, alleen in dit tijdschrift; het tijdschrift zou dan een beetje de afdankertjes plaatsen.

Het onderwijzen van redacteurs en auteurs

Een andere oplossing die waarschijnlijk niet gaat werken, is het onderwijzen van redacteurs en auteurs, om ze duidelijk te maken dat onderzoeken met een negatieve uitkomst ook interessant zijn. Dit is al enkele tientallen jaren geprobeerd, maar heeft helaas niets opgeleverd. Redacteurs willen de ruimte van hun tijdschrift zo goed mogelijk benutten en onderzoeken met een positieve uitkomst zijn nu eenmaal belangrijker. Een andere niet-werkende oplossing is die van recensenten, de peer reviews. Peer reviews lijken een goede oplossing, omdat ze vaak erg streng naar het onderzoek kijken en deze ook vaak afkeuren. Toch kunnen de peer reviews niet de complete oplossing zijn, om een aantal redenen. Ten eerste zijn de recensenten vrijwilligers die al veel werk doen voor niets, nog meer van ze vragen zou mensen afschrikken om recensent te worden. Ten tweede is recenseren van wetenschappelijke artikelen lastig, waardoor fouten soms over het hoofd worden gezien. De derde reden is dat recensenten alleen de uitkomsten van het onderzoek zien en dus niet alle data die er aan vooraf is gegaan. De laatste niet-werkende methode is het verhogen van de barrière voor publicatie. Zo zou er een criterium gesteld kunnen worden, dat alleen onderzoeken die gerepliceerd zijn gepubliceerd worden. Dit is geen goede oplossing omdat dit de vooruitgang van de wetenschap kan beperken en bovendien zijn de standaarden voor publicatie al erg hoog. Het eisen van replicatie kan ervoor zorgen dat onderzoekers minder risico nemen en minder innovatief zijn.

Oplossingen van de auteurs

De schrijvers van het artikel hebben ook een aantal oplossingen bedacht, die er wel voor zouden kunnen zorgen dat de wetenschap weer meer gericht is op het vinden van accurate gegevens, in plaats van op het publiceren. Deze oplossingen moeten gevonden worden in de motivatie van onderzoekers; onderzoekers zouden er meer van moeten kunnen profiteren wanneer ze de waarheid ontdekken. Vaak profiteren onderzoekers er op de korte termijn veel meer van dat ze iets publiceren, terwijl ze op de lange termijn er meer van zouden profiteren wanneer ze accurate gegevens hadden verzameld.

Paradigma-onderzoek

De eerste oplossing die wel zou werken, is door paradigma-onderzoek te promoten. Bij paradigma-onderzoek test je de theorieën en resultaten van voorgaand onderzoek, door de procedure aan te passen. Zo kun je in een onderzoek een onderzoek repliceren, maar ook nieuwe kennis ontdekken. Het gevaar van paradigma-onderzoek is dat onderzoekers zo meer gericht kunnen zijn op de procedure, in plaats van op de kennis. Conceptuele replicatie is een goede aanvulling, omdat dit test of het concept klopt en niet alleen of de methode goed is. Een andere oplossing is het maken van checklists voor recensenten en redacteurs, zodat fouten eerder opgemerkt worden. Checklists kunnen er voor zorgen dat er ook naar dingen als effect size wordt gekeken, wat een goede indicator is voor een foutief onderzoek. Op deze manier worden geen dingen vergeten of over het hoofd gezien. Een derde oplossing is het uitdagen van gedachtegangen die de gerichtheid op publicatie in stand houden.

Uitdagen van huidige ideeën

Veel onderzoekers hebben ook het idee alleen succesvol te zijn wanneer zij veel artikelen publiceren in vooraanstaande tijdschriften. De schrijvers van het artikel denken dat het uitdagen van deze ideeën een oplossing zou kunnen zijn, omdat er andere belangrijke aspecten zijn om een goede onderzoeker te zijn. Wanneer je een baan wil, kijken de werkgevers vaak eerst naar hoeveel je gepubliceerd hebt, maar daarna kijken ze ook naar andere aspecten. Onderzoekers zouden zich ook meer op deze andere aspecten moeten richten.

Norm voor replicatie

De vierde oplossing is om een norm uit te vinden die bepaalt hoe waardevol replicatie van het onderzoek zou zijn. Het is niet nodig om elk onderzoek te repliceren en daarom zou het handig zijn om alleen de onderzoeken te repliceren, waarbij dit daadwerkelijk nut heeft. The Open Science Collaboration is bezig met het opzetten van zo´n norm, die Replication Value (RV) genoemd wordt. Een andere oplossing die de schrijvers van het artikel geven, is om het repliceren openbaar te maken; zodat iedereen er aan mee kan werken, wanneer hij wil. Op deze manier ontwijk je het probleem dat individuele onderzoekers vaak niet de mogelijkheid hebben om een onderzoek precies te repliceren. Bovendien kan iedereen zo een klein stukje meewerken en kost het niet ontzettend veel tijd. Ook zou er een tijdschrift gemaakt kunnen worden die zich richt op hoe betrouwbaar en accuraat een onderzoek is, in plaats van op de belangrijkheid van een onderzoek. Online bestaat al het tijdschrift PLoS ONE, twee jaar geleden opgericht en nu al meer dan 13.000 artikels geplaatst, waardoor het een van de grootste tijdschriften ter wereld is. Hoewel het tijdschrift niet gericht is op belangrijkheid, waren de artikelen van het tijdschrift toch uiteindelijk van hoog belang. De laatste oplossing die geboden wordt is het verlagen van standaarden om te publiceren. Zo wordt publiceren uiteindelijk onbeduidend en heeft het niet meer zo veel betekenis voor wetenschappers. Peer review zou dan moeten worden omgezet in postpublicatie peer review: de auteur beslist dan of iets gepubliceerd wordt of niet, in plaats van dat zijn vakgenoten dit beslissen. Als publicatie niet meer zoveel zegt, kan er naar andere dingen gekeken worden, zoals evaluatie van het onderzoek en de impact van het onderzoek op andere onderzoeken.

De ultieme oplossing

De ultieme oplossing om de wetenschap te verbeteren, is door onderzoekers verantwoording te laten afleggen voor hun onderzoek. Dit kan door er een open systeem van te maken, waarbij een onderzoeker dus moet kunnen laten zien welke data hij gevonden heeft en welke methode hij precies gebruikt heeft. In een gepubliceerd artikel kun je alleen de interpretatie van de onderzoeker lezen en niet de oorspronkelijke gegevens. Bij een open wetenschapssysteem is het belangrijk dat oorspronkelijke data toegankelijk is. Zo kan deze data gebruikt worden om het onderzoek te controleren, bevestigen of bekritiseren en te heranalyseren wanneer er nieuwe methoden ontdekt worden. Bovendien zorgt openheid en transparantie ervoor dat de wetenschap geloofwaardiger is en kunnen vertekeningen in onderzoeken ontdekt worden. Het open datasysteem is al aan het opstarten in sommige wetenschappen. Het nadeel van toegankelijke data is dat data niet altijd beschikbaar is, omdat er ethische regels zijn hoe lang je dit mag bewaren. Bovendien is data vaak erg ingewikkeld en uitgebreid, wanneer er nog niets mee gedaan is. Ook gaat de privacy van de proefpersonen er op achteruit. Om deze redenen moet er goed gekeken worden welke onderzoeken toegankelijk kunnen zijn en welke niet. Naast het maken van een open datasysteem, moeten de methodes die gebruikt worden ook toegankelijk zijn. In de gepubliceerde artikelen wordt vaak niet in detail uitgeschreven welke methode precies is gebruikt en dit maakt replicatie lastig.

Zo zouden onderzoekers een filmpje kunnen maken van de experimentele setting, zodat andere onderzoekers precies dit na kunnen maken. Ook zou men een simulatie kunnen maken van hoe het onderzoek precies verliep.

Workflow

Ten slotte zou een open ‘workflow’ een oplossing zijn, wat inhoudt dat de manier waarop laboratoria te werk gaan publiek is. Wetenschappers raken vaak verstrengeld in gemengde belangen, zo krijgen ze vaak geld voor het onderzoek wat ze doen, maar hebben ze ook zelf hun meningen en belangen. Deze belangen kunnen ervoor zorgen dat de ene uitkomst van het onderzoek gunstiger zou zijn dan het andere. Zo kan (onbewust) vertekening van het onderzoek optreden. Onderzoekers en laboratoria zouden daarom hun gegevens toegankelijk moeten maken voor publiek. Ook zou men zo zich kunnen laten inspireren, wanneer men nog een strategie zoekt om iets te onderzoeken. Op deze manier kan ook duidelijk worden of iemand inderdaad zijn hypotheses bevestigd door zijn data, of dat hij de hypotheses heeft aangepast na het verzamelen van data. Zo wordt duidelijk wanneer iets een nieuwe ontdekking is, omdat je dit niet verwacht had, en wanneer er sprake is van een bevestiging van de verwachtingen.

Conclusie

De schrijvers van het artikel voegen hier aan toe dat de oplossingen die ze hebben gegeven wel idealistisch zijn en dat het dus niet al te gemakkelijk is om deze toe te passen in de praktijk. Wetenschap is nog steeds de beste manier om nieuwe kennis op te doen, maar men moet wel openstaan voor veranderingen in de wetenschap. Dit kan beginnen bij het invoeren van nieuwe regels, maar ook bij de wetenschapper zelf, wanneer hij zijn eigen gedrag aanpast. Transparantie van de wetenschap kan ervoor zorgen dat de wetenschapper meer gericht is op accuraatheid dan publiciteit, omdat hij weet dat er iemand zijn onderzoek zou kunnen controleren.