ARMS Seminar 3

Closed vs open

• Closed software is paid. SPSS en Mplus zijn voorbeelden.
• Open source software: R en JASP, dit kan minder snel zijn, omdat het gratis is. We kunnen naar de code van anderen bekijken. Het is geen black box meer. Je kan peer review doen.

Als we het hebben over een informatieve hypothese, dan is het in populatie parameters. Dus in griekse letters: mu. Na een analyse, dan moet je post hoc testing doen. Kan tot nu toe niet in 1 test. Bij een inconsistent resultaat, kan je geen bonferroni test doen. Bonferroni is explanatory, je gaat alle mogelijkheden af. Je kan ook contrasts toepassen, dan onderzoek je specifieke hypothesen.

Contrasts

• Meer power, want je onderzoekt alleen degenen die je wil checken
• Je krijgt geen inconsistentie in resulaten, want je onderzoekt specifieke hypothesen. Dit is beter dan alle mogelijkheden onderzoeken zoals bij post hoc toetsen.
• Minder inflated alfa level, omdat je minder tests uitvoert.
• Je krijgt nog steeds een p-waarde. Het test nog steeds niet precies onze informatieve hypothese.

Dan krijg je model selection.

• Bij Bayesian model selection heb je BFs en PMPs.
• Je wil het model met zo weinig mogelijk parameters beschrijven.
• Maar je wil ook de data zo goed mogelijk beschrijven. Maximize the fit.
• Complement is alle andere mogelijkheden.

BFc = 59

• Dan is jouw informatieve hypothese 59x meer waarschijnlijk dan het complement. Dus dan elke andere volgorde van de informatieve hypothese.
• Voor alles kan je BAIN gebruiken, niet voor repeated measures.
• Information-theoretical model selection: GORIC(A).
• AIC-type kan ook de informatieve hypothese analyseren.

Hier heb je weer dit:

• Je wil het model met zo weinig mogelijk parameters beschrijven.
• Maar je wil ook de data zo goed mogelijk beschrijven. Maximize the fit.

Het selecteert ook de beste informatieve hypothese uit de set

GORICA weights zijn soort PMPs.

• Ratio van GORICA weights is een soort de Bayes Factor.
• Model with the smallest GORICA value is the best model in your set.
• We’re looking for the smallest distance which is the same as the highest support.
• In de GORICA heb je geen priors.
• GORIC(A), de A staat voor approximation.
• Meer advanced models, dan gebruik je de GORICA. GORIC gebruik je gewoon voor ANOVA’s.

Je gebruikt in de software, de naam van de parameter.

• Output in JASP: GORIC value is het kleinst. Dus dat is het beste model. Maar nu weet je alleen o dit is het beste model.
• Je kan dan beter naar de weights kijken, dan kun je de verschillen interpreteren.

Twee failsafe opties.

• De unconstrained kun je gebruiken. Die gebruik je bij meerdere informatieve hypothesen. Alle opties, Including de hypothese die je nu hebt.
• Als dan een van de informatieve hypothesen het beter doet dan de unconstrained. Dan weet je dat hij niet zwak is, dan kan je ze vergelijken.
• Als ze beide slechter zijn dan je unconstrained. Dan heeft het geen nut deze twee Hi te vergelijken, omdat het allebei zwakke slechte hypothesen zijn.
• Als je 1 informatieve hypothese hebt, dan kan je de tweede optie doen. Dan doe je het tegen het complement: tegen al het andere.

Nu het stuk over R → interpreteren van output moet je kunnen. Je hoeft niet zelf in R te kunnen werken.

• Bij multiple testing moet je een correctie toepassen, omdat je meerdere tests uitvoert. Een voorbeeld is de Bonferroni correctie.
• De Bonferroni manier is een exploratory approach.
• Aan het eind kan je dan een hypothese opstellen voor vervolgonderzoek.
• Als je een hypothese klaar hebt van te voren, dan moet je deze checken. Vaak hebben we een hypothese over de groepsgemiddelden. We kunnen specificeren waar we de verschillen zien in de groepsgemiddelden vgm.

BF.u vs BF.c

• BF.u is de bayes factor tegenover de unconstrained.
• BF.c is tegen het complement
• Deze moet je kunnen interpreteren.

BF.u is voor de hypothese vs de unconstrained.

• Onze Hi is 16x meer likely dan de unconstrained. Dus het is geen zwakke hypothese
• BF.c is onze hypothese vs het complement
• Onze hypothese is 50x meer likely dan elke andere volgorde, Dan elke andere hypothese.

PMPa is posterior model probability.

• PMPa is inspecting only the set of informative hypothesis. Als je twee competing hypothesen hebt, dan kan je die hier vergelijken. Nu is het 1 dus doet het er niet toe.
• PMPb om te kijken of het een zwakke hypothese is. De unconstrained is concluded hierheen.
• PMPc is jouw set van hypothesen vs het complement

Complement = elke andere volgorde dan jij hebt aangegeven in de hypothese die je had bij voorhand. Als je hypothese 1 en hypothese 2 hebt, dan is het complement elke andere volgorde dan H1 en H2. Unconstraining is elke mogelijke volgorde, inclusief de hypothese waar je naar kijkt. Complement is elke mogelijke volgorde, exclusief de hypothese waar je naar kijkt.

Als je 1 hypothese of interest hebt, dan kijk je naar BF.c

• Maar als je 2 competing hypothesen hebt en die wil je vergelijken, dan gebruik je de unconstrained: BF.u of je kijkt naar de PMPs.
• Dan kun je die twee hypothesen vergelijken met elkaar en kijken of ze niet zwak zijn.

Als je de goric weights deelt door elkaar kom je het relatieve bewijs. Dat Hi 8x meer likely is dan zijn complement. Deze manier gebruikt geen priors, de GORIC.