Statistiek II RUG Psychologie samenvatting bij het artikel van dhr. Albers (Inferentie voor Correlaties, 2015)
- 1131 reads
A false positive is likely the most costly error that can be made in science. A false positive is the incorrect rejection of a null hypothesis.
Despite empirical psychologists’ nominal endorsement of a low rate of false-positive findings (≤ .05), flexibility in data collection, analysis, and reporting dramatically increases actual false-positive rates. In many cases, a researcher is more likely to falsely find evidence that an effect exists than to correctly find evidence that it does not.
Many researchers often stop collecting data on the basis of interim data analysis. Many researchers seem to believe that this practice exerts no more than a trivial influence on the false-positive rates.
The authors of this article offer six requiremets for authors as a solution to the problem of false-positive publications:
The authors of this article also offer four guidelines for reviewers:
The solution offered does not go far enough in the sense that it does not lead to the disclosure of all degrees of freedom. It cannot reveal those arising from reporting only experiments that ‘work’ (i.e., the file-drawer problem).
The solution offered goes too far in the sense that it might prevent researchers from conducting exploratory research. This does not have to be the case if researchers are required to report exploratory research as exploratory research. This also does not have to be the case if researchers are required to complement it with confirmatory research consisting of exact replications of the design and analysis that ‘worked’ in the exploratory phase.
The authors considered a number of alternative ways to address the problem of reasearcher degrees of freedom. The following are considered and rejected:
The goals of researchers is to discover the truth, and not to publish as many articles as they can. For different reasons researchers could lose sight of this goal.
Wanneer wetenschappers zich misdragen, wordt daar vaak veel aandacht aan besteed. Maar behalve grove misdragingen bestaan er ook twijfelachtige onderzoekspraktijken, uitbuitingen van het grijze gebied binnen de wetenschap. Deze worden ook wel ‘questionable research practices’ (QRP) genoemd. Deze zouden op de lange termijn meer schade kunnen aanrichten binnen de wetenschappelijke wereld dan ronduit grote misdragingen. Twijfelachtige onderzoekspraktijken bedreigen de waarde van het onderzoek, zorgen voor onrealistische resultaten en leiden uiteindelijk tot onjuiste conclusies. Een voorbeeld van een twijfelachtige onderzoekspraktijk is het uitsluiten van datapunten op basis van post hoc criteria. Hiermee wordt de kans op het vinden van bewijs dat de hypothese ondersteund enorm vergroot. QPR creëren ruimte voor rationaliseringen en zelfdeceptie. Tevens brengen ze wetenschappers die zich strikt aan de regels houden op een competitieve achterstand.
Wanneer men onethisch of sociaal-gestigmatiseerd gedrag onderzoekt, is een onderrepresentatie van zelfgerapporteerde data te verwachten. Buiten de eigen goede wil van de respondenten om hebben zij weinig aanmoediging om eerlijke antwoorden te geven. In dit onderzoek probeert men realistische schattingen te verkrijgen over QRP. Zij doen dit via een nieuwe bevragingsmethode waarbij expliciete respons-afhankelijke prikkels zijn ingebouwd die de respondenten aanmoedigen om de waarheid te vertellen. Daarnaast moesten de respondenten twee onpersoonlijke schattingen geven over elke QRP. De eerste schatting betreft de prevalentieschatting. Dit is de schatting van de respondenten over het percentage van andere psychologen die zich wel eens schuldig hebben gemaakt aan QRP. De tweede schatting is de erkenningschatting. Dit is de schatting van de respondenten over het percentage van andere psychologen dat zal toegeven dat zij wel eens gebruik hebben gemaakt van QRP. Wanneer respondenten aangaven dat zij wel eens gebruik hebben gemaakt van QRP konden zij aangeven of zij hun gedrag kunnen verdedigen, en zo ja, op welke basis.
Het Bayesian truth serum is een algoritme dat gebruikt maakt van de antwoorden van de groep als input voor een waarheidbelonende scoreformule. Compensaties konden niet direct worden gelinkt aan de individuele antwoorden door de vereiste voor anonimiteit. Daarom werd aan de respondenten verteld dat de onderzoekers een gift zouden doen aan een liefdadigheidsinstelling. De waarde van deze gift was afhankelijk van de waarachtigheid van de antwoorden zoals bepaald door het scoresysteem. Aan de hand van dit systeem probeerden de onderzoekers de morele inzet te versterken.
Aan de hand van de zelfgerapporteerde data, de prevalentieschatting en de erkenningschatting kon een schatting van de werkelijke prevalentie worden gemaakt. Als de respondenten eerlijk zijn over de zelfgerapporteerde data, dan zal deze data de werkelijke prevalentie weergeven. Als de gemiddelde prevalentieschatting accuraat is, dan zal deze de werkelijke prevalentie weergeven. Als de erkenningschatting accuraat is dan kan de werkelijke prevalentie worden geschat door het berekenen van de verhouding van het aantal toegevingen/erkenningschatting.
Uit de resultaten blijkt dat één op de tien onderzoekspsychologen valse gegevens in wetenschappelijke rapporten introduceerde. De meerderheid van hen ondernamen praktijken zoals selectieve rapportering bij onderzoeken, het niet rapporteren van alle metingen, het verzamelen van extra data, het als verwacht rapporteren van onverwachte data en het post hoc uitsluiten van gegevens.
Binnen het grijze gebied van de wetenschap bestaan er items die nooit gerechtvaardigd kunnen worden, zoals het vervalsen van gegevens. Maar dit kan niet over alle items gezegd worden. Bijvoorbeeld wanneer een onderzoeker besluit niet alle metingen van een onderzoek te rapporteren, omdat de twee metingen voor eenzelfde construct dezelfde patronen opleveren die niet gemakkelijk kunnen worden gecombineerd tot één. Veel van de onderzoekers die zich schuldig hadden gemaakt aan QRP vonden dat hun acties verdedigbaar zijn, ook al werd in vervolgonderzoek hetzelfde gedrag als onacceptabel beoordeeld.
Het afname-effect is de neiging van effectgroottes om af te nemen bij daaropvolgende pogingen tot replicatie. De auteur Jonah Lehrer concludeerde dat de conventionele verklaringen van het afname-effect, zoals publicatiebias, onvolledig kunnen zijn. Het afname-effect zou ook veroorzaakt kunnen worden door het niet publiceren van bepaalde gegevens. Deze hypothese wordt door de resultaten van het huidige onderzoek ondersteund.
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
Field of study
Add new contribution