Measuring the prevalence of questionable research practices with incentives for truth telling - John, Loewenstein & Prelec - 2012 - Artikel

Wat zijn questionable research practices?

Wanneer wetenschappers zich misdragen, wordt daar vaak veel aandacht aan besteed. Maar behalve grove misdragingen bestaan er ook twijfelachtige onderzoekspraktijken, uitbuitingen van het grijze gebied binnen de wetenschap. Deze worden ook wel ‘questionable research practices’ (QRP) genoemd. Deze zouden op de lange termijn meer schade kunnen aanrichten binnen de wetenschappelijke wereld dan ronduit grote misdragingen. Twijfelachtige onderzoekspraktijken bedreigen de waarde van het onderzoek, zorgen voor onrealistische resultaten en leiden uiteindelijk tot onjuiste conclusies. Een voorbeeld van een twijfelachtige onderzoekspraktijk is het uitsluiten van datapunten op basis van post hoc criteria. Hiermee wordt de kans op het vinden van bewijs dat de hypothese ondersteund enorm vergroot. QPR creëren ruimte voor rationaliseringen en zelfdeceptie. Tevens brengen ze wetenschappers die zich strikt aan de regels houden op een competitieve achterstand.

Wat voor methoden kunnen gebruikt worden om onetisch gedrag te onderzoeken?

Wanneer men onethisch of sociaal-gestigmatiseerd gedrag onderzoekt, is een onderrepresentatie van zelfgerapporteerde data te verwachten. Buiten de eigen goede wil van de respondenten om hebben zij weinig aanmoediging om eerlijke antwoorden te geven. In dit onderzoek probeert men realistische schattingen te verkrijgen over QRP. Zij doen dit via een nieuwe bevragingsmethode waarbij expliciete respons-afhankelijke prikkels zijn ingebouwd die de respondenten aanmoedigen om de waarheid te vertellen. Daarnaast moesten de respondenten twee onpersoonlijke schattingen geven over elke QRP. De eerste schatting betreft de prevalentieschatting. Dit is de schatting van de respondenten over het percentage van andere psychologen die zich wel eens schuldig hebben gemaakt aan QRP. De tweede schatting is de erkenningschatting. Dit is de schatting van de respondenten over het percentage van andere psychologen dat zal toegeven dat zij wel eens gebruik hebben gemaakt van QRP. Wanneer respondenten aangaven dat zij wel eens gebruik hebben gemaakt van QRP konden zij aangeven of zij hun gedrag kunnen verdedigen, en zo ja, op welke basis.

‘Bayesian truth serum’

Het Bayesian truth serum is een algoritme dat gebruikt maakt van de antwoorden van de groep als input voor een waarheidbelonende scoreformule. Compensaties konden niet direct worden gelinkt aan de individuele antwoorden door de vereiste voor anonimiteit. Daarom werd aan de respondenten verteld dat de onderzoekers een gift zouden doen aan een liefdadigheidsinstelling. De waarde van deze gift was afhankelijk van de waarachtigheid van de antwoorden zoals bepaald door het scoresysteem. Aan de hand van dit systeem probeerden de onderzoekers de morele inzet te versterken.

Wat is de schatting van de werkelijke prevalentie?

Aan de hand van de zelfgerapporteerde data, de prevalentieschatting en de erkenningschatting kon een schatting van de werkelijke prevalentie worden gemaakt. Als de respondenten eerlijk zijn over de zelfgerapporteerde data, dan zal deze data de werkelijke prevalentie weergeven. Als de gemiddelde prevalentieschatting accuraat is, dan zal deze de werkelijke prevalentie weergeven. Als de erkenningschatting accuraat is dan kan de werkelijke prevalentie worden geschat door het berekenen van de verhouding van het aantal toegevingen/erkenningschatting.

Wat voor resultaten kwamen er uit het onderzoek naar valse gegevens?

Uit de resultaten blijkt dat één op de tien onderzoekspsychologen valse gegevens in wetenschappelijke rapporten introduceerde. De meerderheid van hen ondernamen praktijken zoals selectieve rapportering bij onderzoeken, het niet rapporteren van alle metingen, het verzamelen van extra data, het als verwacht rapporteren van onverwachte data en het post hoc uitsluiten van gegevens.

Wat is het grijze gebied van de wetenschap?

Binnen het grijze gebied van de wetenschap bestaan er items die nooit gerechtvaardigd kunnen worden, zoals het vervalsen van gegevens. Maar dit kan niet over alle items gezegd worden. Bijvoorbeeld wanneer een onderzoeker besluit niet alle metingen van een onderzoek te rapporteren, omdat de twee metingen voor eenzelfde construct dezelfde patronen opleveren die niet gemakkelijk kunnen worden gecombineerd tot één. Veel van de onderzoekers die zich schuldig hadden gemaakt aan QRP vonden dat hun acties verdedigbaar zijn, ook al werd in vervolgonderzoek hetzelfde gedrag als onacceptabel beoordeeld.

Wat is het afname-effect?

Het afname-effect is de neiging van effectgroottes om af te nemen bij daaropvolgende pogingen tot replicatie. De auteur Jonah Lehrer concludeerde dat de conventionele verklaringen van het afname-effect, zoals publicatiebias, onvolledig kunnen zijn. Het afname-effect zou ook veroorzaakt kunnen worden door het niet publiceren van bepaalde gegevens. Deze hypothese wordt door de resultaten van het huidige onderzoek ondersteund.