Aantekeningen hoorcollege 6 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)

H C   6   -   1 1   M E I   2 0 2 3

Eenweg ANOVA via NHST en Post-hoc Toetsen

• Nulhypothese = tussen beide experimentele groepen is geen verschil te vinden, de groepen zijn gelijk
• p-waarde = de kans op het verschil in gemiddelden zoals gevonden in de steekproef of een groter verschil, onder de aanname dat H₀ waar is
• De Eenweg ANOVA (‘one way analysis of variance’) toetst of de groepsgemiddelden van twee of meer groepen significant van elkaar verschillen. Er wordt gebruik gemaakt van één onafhankelijke variabele

3 voorwaarden causaliteit

• De oorzaak hangt samen met het gevolg
• De oorzaak gaat in de tijd vooraf aan het gevolg
• Interne validiteit, d.w.z. alternatieve verklaringen voor de gevonden samenhang zijn uitgesloten

toelichting op data analyse

• η² (eta square) = het percentage van de totale variantie dat verklaard wordt door groep
• Formule:  η²  = verklaarde variantie / totale variantie
• In SPSS output is dit: groep sum of squares / groep sum of squres + residual sum of squares
• η² is een effect size maat, hoe groter η² hoe groter de verschillen tussen de groepen m.b.t. de afhankelijke variabele

Post-hoc Toetsen

• Bij post-hoc toetsen wordt elk paar gemiddeldes vergeleken d.m.v. een t-toets
• Wanneer je 3x toetst heb je 3x de kans op een type 1 fout. Wanneer je alfa bij 1x toetsen .05 is, wordt die groter als je vaker toetst
• Beperking type 1 fout uit meerdere toetsen: methode van Benferroni
• Voorbeeld 3x toetsen
  
  • Variant 1: p-waarde niet vergelijking met .05 maar met .05/3 (aantal testen)
  • Variant 2: vermenigvuldig elke p-waarde met 3 (aantal testen) en vergelijk met .05 (In JASP te vinden als p_bonf)

Eenweg ANOVA via NHST – samenvatting

• Eenweg ANOVA uitvoeren via NHST
• Bepalen met p-waarde of de nulhypothese verworpen kan worden of niet.
• Indien p < α, dan verwerpen we de nulhypothese
• Effect grootte via het percentage verklaarde variantie η2 .
• Vervolgens met post-hoc toetsen kijken welke gemiddelden nu precies van elkaar verschillen.

De Bayesiaanse variant

• Informatieve hypotheses
• Verwachtingen voor dataverzameling
• Groter (>) en kleiner (<) tekens
• Bij H_a : niet H₀, d.w.z. er gebeurt iets maar we weten niet wat de meeste steun vind in de data, dan kijken we naar de PMP (= posterior model probabilities / kansen)
• H₁ oftewel ‘mijn theorie’ kan worden vergeleken met H_c, oftewel ‘niet mijn theorie’ met behulp van de Bayes factor

Twee-weg designs

• Klassikale experimentele ontwerp:
  • Voormeting en nameting
  • Controle en experimentele groepen
• Twee gevaren:
  
  • Testing threat (vb: als bij voor- en nameting dezelfde toets aan leerlingen wordt gegeven, kan het zijn dat leerlingen zich items van de eerste toets herinneren en daardoor beter presteren op de nameting)
  • Instrumentation threat: als bij de voor- en nameting niet hetzelfde instrument wordt ingezet (vb: andere vragen op de toets), zijn de scores uit de voor- en nameting dan wel vergelijkbaar?
• Twee factoren in het twee-weg design:
  
  • De between of tussen-proefpersoonsfactor groep
  • De within of binnen-proefpersoonsfactor meting » dit worden ook wel herhaalde metingen genoemd; metingen van dezelfde variabele voor dezelfde persoon
• In designs met twee factoren worden er drie verschillende effecten met bijbehorende hypothesen onderscheiden:
  
  • H₀: Er is geen hoofdeffect van de eerste factor (in het voorbeeld groep) versus H_a: Er is wel een hoofdeffect van de eerste factor
  • H₀: Er is geen hoofdeffect van de tweede factor (in het voorbeeld meting) versus H_a: Er is wel een hoofdeffect van de eerste factor
  • H₀: Er is geen interactie-effect tussen beide factoren versus H_a: Er is wel een interactie-effect tussen beide factoren
• Bijna altijd zijn onderzoekers in een design met een voormeting en nameting voornamelijk geïnteresseerd in het interactie-effect. In dit design horen daar de volgende hypotheses bij:
  
  • H₀ : δ_E = δ_C
  • H_a : δ_E ≠δ_C
  • Waarbij δ de toename in het cijfer van de voor naar de nameting weergeeft: δ_C = µ_Cn − µ_Cv en δ_E = µ_En − µ_Ev
• Door de verschilscore uit te rekenen en daar de afhankelijke variabele van te maken, kan het interactie-effect eenvoudig geëvalueerd worden met de p-waarde of Bayes-factor voor een t-test
• Counterbalancing: verdelen van proefpersonen over taken op zo’n manier dat negatieve factoren worden geminimaliseerd (2 factoren zijn: between- en within subject design)
  
  • Wordt veel gebruikt als er meerdere behandelingen geëvalueerd moeten worden
  • Staat bekend als AB-BA design