Aantekeningen Seminar 1 - Universiteit Utrecht (2023-2024)

ARMS seminar 1

Preregistratie en Registerd Reports

• Preregistratie is een korte versie van registered reports
• Wat buiten controle is voor een onderzoeker: Results
• Maar (paradox) wat is het meest belangrijk voor je carrière: Results again

Questionable research practices

• Publication bias: je ziet geen no results.
• Data peeking: zo lang data pakken tot je een significant resultaat hebt.
• Selective reporting = picking statistical analysis.
• De focus ligt op significante resultaten krijgen.
• Na het zien van de resultaten zien, maak je of verander je de hypothese = HARKING

Planned test: van tevoren hebben we een hypothese. alfa is 0.05, dus dat is de type I fout ook.

• Gebaseerd op de gemiddelden besloot je meerdere testen te doen. Dit zorgt voor een grotere type I fout.
• Meerdere tests die je doet? Of je moet het alfa level corrigeren. Of je moet je resultaten anders interpreteren. Dus met een grotere type I fout.
• Wanneer je peekt naar je data, doe je automatisch meerdere tests. Dan gaat je type I fout error omhoog, terwijl je alfa level hetzelfde blijft. Dit is bad research practice.
• HARKING is bad, want het is lack of replication. Niemand zal hetzelfde resultaat terugvinden.
• Exploratory research kan wel: hey ik heb wat onderzoek gedaan en dit is een goede hypothese voor toekomstig onderzoek.
• Impliciet doe je meerdere tests dus het is een hogere wise error rate.
• Meerdere uitkomsten? Maar ze reporteren er maar 1? Dat kan selective reporting zijn, omdat alleen die een significante uitkomst geeft.

Publication bias: Je ziet in de literatuur alleen de significante resultaten.

• Als je de ruwe data niet deelt, kan je het niet repliceren.
• Solution: dead currency zijn resultaten. Resultaten moeten niet zo veel meer waard zijn.

Oplossingen

Registered reports zijn een goede andere manier:

• Replicatiestudies zijn ook welkom bij registered reports.

Registered Reports:

• Er kunnen extra analyses gedaan worden, maar dit mogen dan alleen exploratieve analyses zijn. Anders had het van tevoren vastgelegd moeten worden in het registered report.
• Je stuurt je onderzoeksplan op voordat je het uitvoert
• Op die manier kan je zelf niks veranderen, en houd je je aan je eigen onderzoeksplan
• Je kan afwijken van je plan, zolang je het maar aangeeft en waarom je dit hebt gedaan.
• Er zijn meer nul bevindingen door RR’s. Dat willen we juist zien. Want soms is er gewoon geen effect in de populatie.