Experimenteel hoorcollege 2

Experiment is de tool om causale relaties te onderzoeken.

Er zijn drie voorwaarden voor causaliteit:

1. De oorzaak hangt samen met het gevolg
2. De oorzaak gaat in de tijd vooraf aan het gevolg
3. Interne validiteit, dwz, alternatieve verklaringen voor de gevonden samenhang zijn uitgesloten

Factoren en effectgroottes

• Eenweg ANOVA is 1 factor. De afhankelijke variabele (hechting) is continu. Zoals bij een Likert schaal.
• De grootte van een effect: Cohen’s D.
• eta kwadraat, is ook grootte van het effect.
• Variatie is hetzelfde als variantie.

Scores liggen tussen 2 en 6, dit is de totale variantie / variatie.

Onverklaarde variatie is kleinere variatie. Dat deel van de variatie die we niet kunnen verklaren. Waarom sommige in de dichtbij groep 7 hebben en anderen 4, weten we niet. Daar hebben we geen proefopstelling voor gemaakt. Alleen voor tussen de groepen. Hoe meer de gemiddelden tussen de groepen verschillen, hoe groter het effect van de manipulatie. Verklaarde variantie is dit, want dit kunnen we verklaren.

• Alfa niveau is hetzelfde als de p-waarde.
• Power is de kans om de nulhypothese terecht te verwerpen.
• Maar hoe kun je berekenen of je genoeg power had? --> door een power analyse

We weten alleen niet waar de verschillen zitten. Maar de H0 moet wel verworpen worden.

• Dan moet je post-hoc toetsen uitvoeren.
• 1x toetsen is de kans dat ik de H0 fout verwerp, 5%.
• Stel je doet niet 3 toetsen, maar 10.
• 1 toets, H0 ten onrechte verwerpen, die kans is 5%.
• Je kunt de Bonferroni correctie toepassen.
• Bij JASP doe je p-waarde x3.

Eenweg ANOVA:

• 1 factor, variabele waaraan je de groepen indeelt. Met 1 of meer groepen.
• We weten nog steeds niet waar het verschil zit.
• Elke losse t-toets geeft een losse p-waarde.
• Dit was de klassieke statistiek.

Nu gaan we over naar de Bayesiaanse variant.

• Normaal hadden we een Ha en een H0.
• Nu krijgen we een informatieve hypothese erbij.
• In een informatieve hypothese kan je echt je verwachting neerzetten.
• Dan heb je nog het complement: Hc.
• PMP is de kans dat de hypothese de beste is van de drie. Hier is de kans dat H1 de beste is, 81%.
• Ha omvat H1.

Soorten toetsen

• t-toets, afhankelijke variabele is continu.
• In een tweeweg design zijn er twee factoren.
• Eenweg design is 1 factor.
• Je hebt of een C of een E. EN je hebt een voor- en nameting.
• Within is voor of nameting. Between is de twee groepen C en E.

Hoofdeffecten en interactie-effecten

• Er zijn twee hoofdeffecten.
• De experimentele groep is beter dan de controlegroep. En de nameting is beter dan de voormeting.
• De lijnen snijden, dus er is een interactie-effect.
• Eenweg ANOVA en t-toets is hetzelfde?
• Within is eerst hoofdpijn en daarna hoofdpijn
• Between is AB - BA = counterbalancing
• Het grote voordeel is dat je tweemaal zoveel informatie krijgt. Elke persoon krijgt de pil en  de neppil, en niet de pil of de neppil.

Soorten toetsen

• Bij de t-toets heb je 2 groepen en 1 AV.
• Je hebt de eenweg ANOVA: 1 factor. Een variabele waarbij mensen in groepen gedeeld worden, maar bij eenweg ANOVA zijn het 2 of meer groepen.
• 3 groepen en 1 AV.
• t-toets Klassiek/bayesiaans: 2 groepen, 1 AV
• Design bij de eenweg ANOVA: 2 of meer groepen en 1 AV.
• Grootte van effect: Cohen’s d, deze gebruik je bij klassieke t-toetsen
• Maar kan ook met eta kwadraat. Dit is de effect size die hoort bij een eenweg ANOVA.

Variatie = variantie

Voorbeeld met stippen en de kat:

• Als ik die drie bij elkaar stop, krijg je de totale groep.
• Totale groep: 2-6 bij scores van hechting. Dit is de totale variatie
• De dichtbij groep: tussen de 4-7. De variatie in de dichtbij groep is kleiner dan in de totale variatie, dit geldt ook voor de medium en verweg groep.
• Dit noemen we de onverklaarde variatie. Dat deel van de variatie dat we niet kunnen verklaren. Waarom sommigen in de dichtbij groep 4 scoren en anderen 6, dat weten we niet.
• Dan hebben we verklaarde variatie. In de dichtbij groep hoog, dan steeds lager gemiddelde.
• De variantie van die drie gemiddelden heet de verklaarde variantie.

Zijn die gemiddelden hetzelfde? Dan wordt er niks verklaard. Dan scoren ze hetzelfde op hechting. Hoe meer ze variëren, hoe groter het effect van de experimentele variatie. Hoe groter de verklaarde variatie.

• Verklaarde variantie is variatie tussen groepen.
• onverklaarde variatie is variatie binnen groepen.
• Hoeveel van de totale variantie wordt verklaard door de groepen. Hoe verhoudt de totale variatie zich tot de variatie in de gemiddelden.
• eta kwadraat = verklaarde variantie / totale variantie
• De proportie verklaarde variantie in de afhankelijke variabele = eta kwadraat.

Type I fout = alfa niveau = .05

• Eenweg ANOVA, AV is continu met die 7 waarden. 2 of meer groepen.
• Door randomisatie wordt interne validiteit gewaarborgd. Alternatieve verklaringen uitgesloten.
• H0 verworpen: dus Ha geldt.
• Ha zegt niet H0.
• Waar zitten de gemiddelden dan?

We doen post hoc toetsen: we zoeken nu uit waar de verschillen zitten.

• We hebben drie groepen. We gaan drie keer een t-toets doen.
• Als ik 1x toets is de kans op een onterechte verwerping van H0: 0.05, dus 5%.
• Dit zijn de consequenties van vaker toetsen. Dit hoort bij de eenweg ANOVA.

Wat kun je hieraan doen?

• De Bonferroni methode kan je gebruiken.
• Als ik 10x toets, vergelijk ik de p-waarde niet met .05, maar .05/10
• Of je kijkt naar de Pbonf, staat in JASP. Dit is de p-waarde x 3

Dit was de klassieke statistiek.

• Eerst hadden we een H0 en een Ha. Ha is er gebeurt iets, maar we weten niet wat.
• Er komt nu een informatieve hypothese bij. H1,2,3,4, etc.
• Die onderste vergelijking is ook een Hc, want het is niet H1.
• In de toets konden de onderzoekers hun verwachting niet meenemen. Alleen maar de H0 meenemen, en dat is jammer.
• Die verwachting kan je in een informatieve hypothese zetten.
• BF.c, dit is de Bayes factor van H0 vs het complement van H0
• Complement van H0 is Ha. Ha is niet H0.
• Dan heb je de BF1.c, BF van H1 vs niet H1
• .c is altijd vs
• BF is 6. 6x zo veel steun in de data voor H1 als voor niet H1. Die ordening krijgt best steun uit de data.
• H0 vergelijken met niet H0
• H1 vergelijken met niet H1

Welke van deze drie hypothesen is de beste hypothese?

• Dit kan met de Posterior Model Probabilities (PMP).
• De kans dat H1 de beste is, is 81%.
• Foute keuze is dan 19%.
• Ook bij de Bayesiaanse ANOVA kan je eta kwadraat en Cohen’s d doen.
• De PMP is de kans dat de hypothese de beste is van de drie.
• Ha omvat H1.

Fit en specificiteit

• De fit van Ha, want Ha omvat alles.
• H1 heeft een kleinere fit. 
• We hebben het ook over specificiteit gehad.
• H1 is veel specifieker.
• Ha is helemaal niet specifiek.
• Daardoor kom je bij H1 op de beste optie uit.
• De fit van Ha is altijd de beste, maar bij de Bayes Factor nemen we ook de specificiteit mee.

BF vs p-waarde

• BF heeft niets te maken met 0.05!!
• Twee groepen en 1 krijgt opdrachten de ander niet.
• Je kan de t-toets niet uitvoeren hier! In de t-toets kun je 2 groepen doen. Nog een kenmerk van de t-toets is dat de AV continu is.
• Dat is hier niet zo. Of je hebt een onvoldoende, of een voldoende.
• Er is dus geen continue variabele. Dit zou minimaal 7 waarden van klein naar grote orde zijn.

Designs

• Bij de ANOVA heb je 2 of meer groepen, maar ook een continue AV.
• In een tweeweg ANOVA design heb je 2 factoren waarmee je mensen in groepen deelt.
• Het klassieke experimentele ontwerp: controlegroep en een experimentele groep. Dat is een factor.
• Dit noemen we een between of tussengroep factor: controlegroep en experimentele groep.
• 1 between factor in klassieke experimentele design.
• Ook een within of binnengroep factor.
• Aan elk van ons kleven twee getallen: de score in de voormeting en in de nameting.
• Dus je bent of C of E. Maar ook een voor- en nameting.

1. is C vs E
2. is voor vs nameting

In een tweeweg design zijn er twee hoofdeffecten en een interactie-effect.

• Het hoofdeffect van E vs C. In de experimentele groep doen de kinderen het beter dan in de controlegroep.
• Ook is er een hoofdeffect van voor vs na. Voor doet het beter.
• Lopen de lijnen parallel of niet? Niet, dus het is een interactie-effect.
• Verschil in rapportcijfer bij voormeting is anders dan verschil in rapportcijfer bij de nameting, dus er is een interactie-effect.

In het klassieke experimentele design, zijn onderzoekers niet geïnteresseerd in de hoofdeffecten, maar in de interactie-effecten.

• De verschilscore kan je gebruiken om het interactie-effect te onderzoeken.
• Met welke modellen kan je de groepsvariabele en de na- minus voormeting scores analyseren.
• 2 groepen. Voor- en nameting zijn continue AV met meer dan 7.
• Het is dus een eenweg ANOVA met 2 groepen.
• t-toets en eenweg ANOVA met 2 groepen zijn dezelfde.

1. Man, vrouw, non-binair
2. En dan in controlegroep en experimenteel: Extra huiswerk en niet extra huiswerk.

We hebben nu twee factoren. Dus niet de t-toets en de eenweg ANOVA want ook daar heb je 1 factor, we hebben nu 2 factoren. Ook niet het klassiek experimentele design, want daar heb je of een between factor en een within factor. Hier hebben we twee between factoren. Geslacht en experimentele groep. Dus dit design hebben we nog niet geleerd, maar krijgen we as dinsdag.

De drie hypothesen zijn dan:

1. Is er een hoofdeffect voor geslachten
2. Is er een hoofdeffecten tussen controlegroep en experimentele groep
3. Is er een interactie-effect tussen de twee hoofdeffecten.

2 groepen met een continue AV: bij t-toets of eenweg ANOVA is het hetzelfde. Mixed design = klassiek experimenteel design. Je hebt 1 between factor en 1 within factor.

Counterbalancing design

• Placebo of paracetamol kan ik je geven bij hoofdpijn.
• Blind design: dan weten de deelnemers niet of ze placebo ondergaan, dus voorkom je het placebo-effect.
• AB-groep krijgt eerst paracetamol en daarna de placebo
• BA-groep krijgt eerst de placebo en daarna de paracetamol.
• Zit er hier een between factor? Ja → de volgorde van medicatie
• Zit er hier een within factor? Ja → voor en na de medicatie gevoel, hoofdpijnscore.
• Lijkt op klassiek experimenteel design, maar is het niet… hoorde niet waarom niet.

Interpretatie voorbeeld college ABBA over placebo

• AB is hoe het zou horen → geen placebo-effect
• In de BA-groep → eerst denk je nice het werkt, terwijl het de neppe pil is, daarna krijg je de echte pil. En die werkt of course.
• Mensen trappen niet in de neppil als ze eerst de echte pil hebben gehad.
• Hoofdeffect voor groep en pil vs neppil. Er is geen interactie-effect.

PMP kan geen 4,2 zijn. Dat is geen kans. Het moet tussen de 0 en 1 liggen vgm. Tweeweg ANOVA: AV die continu is. Toetsen voor hoofdeffect van de eerste factor, tweede factor en toetsen voor interactie-effect.