Hoorcollege 3 Experimenteel

Bijj tweeweg ANOVA zijn er twee factoren.

• Factor kan voorkomen in between en within.
• Between factor is iets waarop we mensen met groepen indelen
• Within is als je twee keer gemeten wordt. Eerst placebo pil en dan de echte pil, etc.
• Met een between en een within is het klassieke experimentele experiment
• AB conditie of BA conditie, in beide conditie voorzien van een hoofdpijnscore, dat is een ABBA design, oftewel het counterbalanced design

Door randomisatie kom je of in de controlegroep of in de experimentele groep. Met gerandomiseerde designs kun je causale uitspraken doen. Maar je hebt ook het quasi experimentele design. Kenmerk: Er wordt niet gerandomiseerd. Niet gerandomiseerd? Dan kunnen we geen causale uitspraken doen. Dan is er een bedreiging van de interne validiteit.

• De kinderen kunnen zelf kiezen of ze wel of niet extra huiswerk maken: E en C.
• Dit is zelfselectie.
• Jan houdt van rekenles geven, Pim niet van rekenles geven.
• E rekent beter dan C. Dus met extra huiswerk kunnen beter rekenen.
• Er is niet gerandomiseerd, betekent dat dat de experimentele manipulatie effectief is geweest?
• Dat weten we niet, want er is niet gerandomiseerd: quasi experimenteel design.
• Altijd het eerste antwoord is: dat weten we niet, er kunnen alternatieve verklaringen voor het gevonden effect zijn.

Designs en factoren

• 2 between factoren in een quasi experimenteel design bij de Tweeweg ANOVA.
• Bij een quasi experimenteel experiment wordt niet gerandomiseerd.
• Tweeweg ANOVA heeft twee between factoren.

Er zijn dan drie hypothesen die we kunnen toetsen.

1. Er is een hoofdeffect van meester
2. Er is geen hoofdeffect tussen controlegroep en experimenteel.
3. Er is geen interactie-effect, want de lijnen lopen parallel. In C is het verschil tussen Janners en de Pimmers gelijk aan het verschil tussen de Janners en Pimmers in E.

• Bij meester: 20% van de variatie in het rekencijfer wordt verklaard door meester. Dit is een groot effect.
• Bij de variantie analyse gebruiken we een generalisatie van de t-toets en die noemen we de F-toets. Is gewoon een feitje.
• F-toets maakt gebruik van vrijheidsgraden van F: df1 en df2. Deze F-toets met vrijheidsgraden wordt vertaald in p-waarde.

Uitkomst analyse

• Hoofdeffect voor meester
• Hoofdeffect voor groep
• Geen interactie-effect: verschil in controlegroep is gelijk aan de experimentele groep
• De proportie verklaarde variantie is de eta kwadraat optellen.
• Hoeveel van de variatie in rekencijfer wordt verklaard door deze drie effecten is de eta kwadraat optellen.

eta kwadraat = 45% van de variatie in het rekencijfer wordt verklaard door groep en sexe.

Ander voorbeeld:

• Gemiddeld genomen doen de Janners en de Pimmers het even goed. Geen hoofdeffect van meester.
• Gemiddeld genomen doen de E en C het even goed, geen hoofdeffect voor C of E.
• Geen hoofdeffecten
• Wel interactie-effect

Designs en informatie

• De alternatieve verklaring is dus meester en niet groep. Dat komt omdat het een quasi experimenteel experiment is.
• t-toets: twee groepen, 1 AV die continu is
• Eenweg ANOVA: twee of meer groepen, AV is continu
• t-toets heeft als effect size Cohen’s d
• Eenweg/tweeweg (hij zei de ene keer 1weg en de andere 2weg) ANOVA: eta kwadraat
• Klassieke experimentele design: between factor, within factor en 1 AV die continu is
• Elk van de drie effecten krijgt een eigen eta kwadraat: 2 hoofdeffecten en een interactie-effect.
• ABBA design: er is een between en within factor. Er is een interactie effect. En elk van die effecten krijgt een eta kwadraat.
• Ook quasi design: er wordt niet gerandomiseerd, bijvoorbeeld door zelfselectie.
• Er is hier een bedreiging voor de interne validiteit.
• Nog 1 design: quasi experiment met Random Factoren

Fixed factoren: bij het opnieuw doen van onderzoek en ik doe het onderzoek weer met sexe, man vrouw non binair en de andere experimentele groep en controlegroep. Van elke therapeut krijgt een deel nieuwe behandeling en een traditionele behandeling. Dan is het weer een quasi experiment, want geen randomisatie. Je moet de alternatieve verklaring therapeut uitsluiten.

Als ik het onderzoek opnieuw doe, heb ik andere therapeuten. Nog steeds een experimentele en controlegroep, maar therapeut is een random factor. Die verandert.

• Ik nodig 20 bedrijven uit. Deel van de werknemers gaan in C en anderen in E.
• Jaar later nodig ik random 30 andere bedrijven uit. Dan heb ik een quasi experiment met random factoren.

Bayesiaanse statistiek in de tweeweg ANOVA. Bij de Bayesiaanse benadering moet je een hoofdeffect in een formule kunnen zetten, in een hypothese, ook een interactie-effect.

Oke dus we gaan nulhypothesen opstellen:

Als ik zeg C = E

• Doen we: Jan C + Pim C = Jan E + Pim E

Als ik zeg meester Jan = meester Pim

• Jan C+ Jan E = Pim C + Pim E

Voor het interactie-effect doen we:

• Jan C - Pim C = Jan E - Pim E

Je gebruikt de BF bij Bayesiaans kijken naar hoofdeffecten, want met de Bayes Factor, kun je een hypothese vergelijken met ‘niet de hypothese’. Je wil niet weten of het eerste hoofdeffect beter is dan het tweede hoofdeffect. Dit geldt specifiek voor de Tweeweg ANOVA waarbij je kijkt naar 2 hoofdeffecten en een interactie-effect. Dan gebruik je de Bayes Factor.

• Hypothese vergelijken met niet de hypothese, dan gebruik je over het algemeen de Bayes Factor.
• Als je van een setje hypothese de beste wil selecteren, gebruik je de PMP.
• Bayes Factor is de relatieve steun voor twee hypotheses. Dus deze is twee keer zo waarschijnlijk als die.
• Nul x zo veel steun voor H1 als voor niet H1. Dat betekent er is heel veel steun voor niet H1.
• 0 steun voor H1 (er is niet een hoofdeffect). Dan moeten we H1 (de nulhypothese) dus verwerpen.
• BF kan niet negatief zijn, maar wel heel klein.

Je gaat deze informatieve hypothese vergelijken met ‘niet de informatieve hypothese’.

• Dus Hc = niet Hi
• BF.c = 2.3
• Er is 2,3 keer zo veel steun voor H1 als voor niet H1.
• Er is dus beetje steun voor onze hypothese, maar niet heel indrukwekkend.

Als ik er nog een informatieve hypothese bij gedaan, dan wil je H1 vergelijken met H2 en Hc, dan kijk je naar de kolom van PMP’s.

• Maar nu zijn er maar 2 hypotheses, dus kijk je naar de BF.
• Van drie hypothesen de beste selecteren? Kijk dan naar de Posterior Model Probabilities.

Niet zo veel steun, dan kunnen we Bayesian Updating doen. Je gaat je steekproef vergroten. De klassieke mensen doen: een power analyse van tevoren. Voor het onderzoek kijk je naar wat je steekproefgrootte zou moeten zijn. Dit is dus de steekproefgrootte die nodig is voor een power van .80

Bij de Eenweg ANOVA kan je hetzelfde doen. je kiest een medium effect: eta kwadraat van 0.06

Hoe doen we dat bij een tweeweg ANOVA.

• Simpele vuistregel:
• Twee bij twee design met 4 groepen, dan kun je de Cohen’s d tabel hebt. Ongeacht hoeveel groepen je hebt, doe maar of je twee groepen hebt.
• Je hebt eigenlijk 4 groepen: JC, JE, PC, PE.
• Dan moet je dus wel 64 mensen bij elk van die 4 groepen doen!

Voorwaarden

• OV is de factor: Dit kan de between en de within factor zijn.
• AV moest minimaal 7 waarden aan kunnen nemen die te ordenen zijn van klein naar groot: continu.
• Cohen’s d is het ene gemiddelde - het andere gemiddelde, delen door de standaarddeviatie. Dus hoeveel standaarddeviaties de twee gemiddelden uit elkaar liggen.

Werken we altijd met een type I fout van 0.05.

• Als bij de eenweg ANOVA de H0 wordt verworpen, gaan we door met bonferroni post hoc toetsen.
• Als ik dan 3 bonferroni Hoc toetsen uitvoer, dan werk ik niet met 0.05, maar met 0.05/3.
• Between-within design is of ABBA of het klassieke experimentele design.