Hoorcollege 1

Frequentist vs bayesian statistics

Frequentist framework:

• p-waarden, BI’s, effect sizes en power analyses

Bayesian framework:

• Wordt populairder
• We testen geen H0, we kunnen ook alternatieve hypotheses testen.
• Het gemiddelde benaderen kunnen we op een frequentist of bayesian manier doen.
• We kunnen ook een hypothese testen: Nederlanders zijn langer dan Belgen.

Likelihood function: wat is de meest likeable gemiddelde waarde.

Je hebt een normaalverdeling:

• Je krijgt een gemiddelde. De likelihood is de waarschijnlijkheid van de data, gegeven het gemiddelde van de populatie.
• Data helemaal links is dus erg unlikely, gegeven het gemiddelde van de populatie.
• Bij de piek is het erg likely (waarschijnlijk).
• Als we nog verder naar rechts gaan, dan daalt de likelihood weer. Likelihood is kans vgm.

Bayesian approach

• Bij bayesian approach kan je tijdens het proces nog informatie toevoegen. Je kan je kennis updaten. Dat geeft de posterior distribution for u.
• Nadeel is: de resultaten zijn afhankelijk van de choice of prior. Dus welke data je prior toevoegt vgm.

Priors in de data

• Je kan van verschillende priors uitgaan
• Bij de prior: we weten helemaal niks.
• De data die we dan toevoegen zorgt voor een verwachting. DIt is bij bayesian statistics. We gebruiken de prior en de data.
• Onze prior was so uninformed. Daarom lijkt de posterior bijna compleet op de data. Dit gebeurt vaak bij frequentic statistics. Daar gebruiken we geen prior.
• De data en de prior zorgen dan voor een andere posterior. De posterior volgt niet gewoon de data. De posterior is een stuk steiler. Dit gebeurt er dus als je al iets weet over de data: de prior. Dit is dus bayesian statistics.
• Als we maar een beetje data hebben, heeft de data niet echt invloed. Als we erg veel data hebben, overruled dat de prior.
• De mode is de hoogste waarschijnlijkheid. Dus de hoogste waarde, maar dit hoeft niet het gemiddelde te zijn

95-betrouwbaarheidsinterval

• Met 95% zekerheid weten we dat de echte populatie in dat interval ligt.

The same data can give different results! Ligt aan je sampling plan

Frequentic statistics:

• we focussen op de H0.
• Hoe waarschijnlijk zijn deze data, als H0 waar is. Dus gegeven H0.
• Deze twee probabilities zijn heel erg verschillend. Ze zijn niet hetzelfde.

Bayesian probability:

• data = person is dead
• H (hypothesis) = shark has bitten person’s head off

Bayesian probability:

• Lage probability. hoofd is eraf gebeten, gegeven het persoon is dood.
• Hele kleine kans dat als iemand dood is, dat dit gebeurd is door een haai

Frequentist probability:

• Person is dead gegeven dat haai je hoofd eraf heeft gebeten. Die kans is groot. Zonder hoofd ben je zegmaar dood.

PMP is the probability of the hypothesis after observing the data. Dit is afhankelijk van de data en the prior.

Bayesian:

• De BF 10 staat voor one zero.
• De waarschijnlijk de probability voor H1 over H0.
• BF10 = 10
• Dan is de support voor

ARMS seminar 1

Preregistratie en Registerd Reports

• Preregistratie is een korte versie van registered reports
• Wat buiten controle is voor een onderzoeker: Results
• Maar (paradox) wat is het meest belangrijk voor je carrière: Results again

Questionable research practices

• Publication bias: je ziet geen no results.
• Data peeking: zo lang data pakken tot je een significant resultaat hebt.
• Selective reporting = picking statistical analysis.
• De focus ligt op significante resultaten krijgen.
• Na het zien van de resultaten zien, maak je of verander je de hypothese = HARKING

Planned test: van tevoren hebben we een hypothese. alfa is 0.05, dus dat is de type I fout ook.

• Gebaseerd op de gemiddelden besloot je meerdere testen te doen. Dit zorgt voor een grotere type I fout.
• Meerdere tests die je doet? Of je moet het alfa level corrigeren. Of je moet je resultaten anders interpreteren. Dus met een grotere type I fout.
• Wanneer je peekt naar je data, doe je automatisch meerdere tests. Dan gaat je type I fout error omhoog, terwijl je alfa level hetzelfde blijft. Dit is bad research practice.
• HARKING is bad, want het is lack of replication. Niemand zal hetzelfde resultaat terugvinden.
• Exploratory research kan wel: hey ik heb wat onderzoek gedaan en dit is een goede hypothese voor toekomstig onderzoek.
• Impliciet doe je meerdere tests dus het is een hogere wise error rate.
• Meerdere uitkomsten? Maar ze reporteren er maar 1? Dat kan selective reporting zijn, omdat alleen die een significante uitkomst geeft.

Publication bias: Je ziet in de literatuur alleen de significante resultaten.

• Als je de ruwe data niet deelt, kan je het niet repliceren.
• Solution: dead currency zijn resultaten. Resultaten moeten niet zo veel meer waard zijn.

Oplossingen

Registered reports zijn een goede andere manier:

• Replicatiestudies zijn ook welkom bij registered reports.

Registered Reports:

• Er kunnen extra analyses gedaan worden, maar dit mogen dan alleen exploratieve analyses zijn. Anders had het van tevoren vastgelegd moeten worden in het registered report.
• Je stuurt je onderzoeksplan op voordat je het uitvoert
• Op die manier kan je zelf niks veranderen, en houd je je aan je eigen onderzoeksplan
• Je kan afwijken van je plan, zolang je het maar aangeeft en waarom je dit hebt gedaan.
• Er zijn meer nul bevindingen door RR’s. Dat willen we juist zien. Want soms is er gewoon geen effect in de populatie.

ARMS Seminar 3

Closed vs open

• Closed software is paid. SPSS en Mplus zijn voorbeelden.
• Open source software: R en JASP, dit kan minder snel zijn, omdat het gratis is. We kunnen naar de code van anderen bekijken. Het is geen black box meer. Je kan peer review doen.

Als we het hebben over een informatieve hypothese, dan is het in populatie parameters. Dus in griekse letters: mu. Na een analyse, dan moet je post hoc testing doen. Kan tot nu toe niet in 1 test. Bij een inconsistent resultaat, kan je geen bonferroni test doen. Bonferroni is explanatory, je gaat alle mogelijkheden af. Je kan ook contrasts toepassen, dan onderzoek je specifieke hypothesen.

Contrasts

• Meer power, want je onderzoekt alleen degenen die je wil checken
• Je krijgt geen inconsistentie in resulaten, want je onderzoekt specifieke hypothesen. Dit is beter dan alle mogelijkheden onderzoeken zoals bij post hoc toetsen.
• Minder inflated alfa level, omdat je minder tests uitvoert.
• Je krijgt nog steeds een p-waarde. Het test nog steeds niet precies onze informatieve hypothese.

Dan krijg je model selection.

• Bij Bayesian model selection heb je BFs en PMPs.
• Je wil het model met zo weinig mogelijk parameters beschrijven.
• Maar je wil ook de data zo goed mogelijk beschrijven. Maximize the fit.
• Complement is alle andere mogelijkheden.

BFc = 59

• Dan is jouw informatieve hypothese 59x meer waarschijnlijk dan het complement. Dus dan elke andere volgorde van de informatieve hypothese.
• Voor alles kan je BAIN gebruiken, niet voor repeated measures.
• Information-theoretical model selection: GORIC(A).
• AIC-type kan ook de informatieve hypothese analyseren.

Hier heb je weer dit:

• Je wil het model met zo weinig mogelijk parameters beschrijven.
• Maar je wil ook de data zo goed mogelijk beschrijven. Maximize the fit.

Het selecteert ook de beste informatieve hypothese uit de set

GORICA weights zijn soort PMPs.

• Ratio van GORICA weights is een soort de Bayes Factor.
• Model with the smallest GORICA value is the best model in your set.
• We’re looking for the smallest distance which is the same as the highest support.
• In de GORICA heb je geen priors.
• GORIC(A), de A staat voor approximation.
• Meer advanced models, dan gebruik je de GORICA. GORIC gebruik je gewoon voor ANOVA’s.

Je gebruikt in de software, de naam van de parameter.

• Output in JASP: GORIC value is het kleinst. Dus dat is het beste model. Maar nu weet je alleen o dit is het beste model.
• Je kan dan beter naar de weights kijken, dan kun je de verschillen interpreteren.

Twee failsafe opties.

• De unconstrained kun je gebruiken. Die gebruik je bij meerdere informatieve hypothesen. Alle opties, Including de hypothese die je nu hebt.
• Als dan een van de informatieve hypothesen het beter doet dan de unconstrained. Dan weet je dat hij niet zwak is, dan kan je ze vergelijken.
• Als ze beide slechter zijn dan je unconstrained. Dan heeft het geen nut deze twee Hi te vergelijken, omdat