Aantekeningen hoorcollege 8 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)

H C   8   -   2 2   M E I   2 0 2 3

ANOVA aannames en preregistratie

Eerdere colleges

• Eenweg designs:
  • Het gerandomizeerde experiment - experimentele en controle groep
  • De eenweg ANOVA - een generalisatie van het bovenstaande naar twee of meer groepen
• Tweeweg designs:
  
  • Het klassieke experimentele design met een within (voor en nameting) en between (experimentele en controle groep) factor
  • Het counterbalanced design wat gelijk is aan het klassieke experimentele design met een AB en een BA groep in plaats van een experimentele en controle groep
  • Het tweeweg design met een between (controle groep en experimentele groep) en random factor (leraar, therapeut, bedrijf)
  • Het tweeweg design met twee between factoren (voor de analyse van quasi experimenten) waarbij er een factor is met controle groep en experimentele groep, en een factor die een mogelijke alternatieve verklaring bevat
• Er zijn twee belangrijke situaties die bij het experiment onderscheiden moeten worden:
  
  • Er is gerandomiseerd, d.w.z. de samenstelling van de controle en de experimentele groep zijn hetzelfde. Er is geen alternatieve verklaring voor een eventueel gevonden effect, het effect moet zijn veroorzaakt door het feit dat de ene groep "controle" was en de andere "experimenteel"
  • Er is niet gerandomizeerd, d.w.z. het is een quasi experiment. Het doel is nog steeds het effect van "controle"/"experimenteel" op de afhankelijke variabele te bepalen, maar mogelijke alternatieve verklaringen moeten worden uitgesloten
• De p-waarde is de kans op het gevonden verschil (of een groter verschil) tussen twee steekproefgemiddelden als in de populatie H0 : µc = µe waar is.
  
  •  Als de p-waarde kleiner is dan .05 is deze kans zo klein, dat H0 kan worden verworpen.
  • .05 is de zogenaamde Type I fout ook wel het α-niveau genoemd, d.w.z. de kans om H0 ten onrechte te verwerpen.
  • Voor power is de standaard een kans van .80, d.w.z., de kans om H0 terecht te verwerpen is .80. Door middel van een power analyse kan de steekproefgrootte nodig om een power van .80 te krijgen worden bepaald
• De Bayes factor geeft de steun in de data voor twee hypotheses weer. Twee belangrijke vormen: BF0a = 10 betekent dat er 10x steun is voor H0 dan voor Ha; en, BFic = 10 betekent dat er 10x steun is voor de informatieve hypothese Hi(mijn theorie) dan voor het complement Hc (niet mijn theorie)
  
  • Posterior model kansen kunnen worden gebruikt als je twee of meer van H0, Hi, en Ha met elkaar wilt vergelijken (dus niet Hc). De posterior model kans is de steun in de data voor een hypothese.
  • Posterior model kansen zijn Bayesian error probabilities. Stel dat PMP0=.10, PMPi=.85, en PMPa=.05, dan is bij een voorkeur voor Hi de kans dat deze beslissing verkeerd is gelijk aan .10+.05=.15
  • Bij NHST hoort power analyse. Bij de Bayes factor hoort Bayesian updating, d.w.z. als je per groep, bijvoorbeeld 20 personen hebt, en je vindt de Bayes factor te klein, of de Bayesian error probabilities te groot, dan kun je het aantal personen per groep vergroten en opnieuw de Bayes factor en de error probabilities uitrekenen
  • Als je meer data gaat verzamelen heb je meer bewijs voor de ene of andere hypothese, waardoor je Bayes factors groter worden. Je gaat dus net zo lang door met dataverzameling totdat je genoeg bewijs hebt om conclusie te kunnen trekken

Preregistratie

Voordat je NHST of Bayes factor gaat gebruiken moet je controleren of de aannames van het door jouw gebruikte model (de eenweg of de tweeweg ANOVA) passen bij de data die je verzameld hebt. Het is altijd goed om bij het onderzoeksontwerp (dus voordat je data hebt) hier al over na te denken, en je gedachten op te nemen in een zogenaamde preregistratie. Wat zijn mijn hypotheses en hoe wil ik die toetsen?

ANOVA aannames

• Er zijn vier aannames waar rekening mee moet worden gehouden:
  • De scores van de personen op de afhankelijke variabele zijn onderling onafhankelijk » de score op de afhankelijke variabele van elk persoon moeten onafhankelijk zijn van de scores op de afhankelijke variabele van alle andere personen.
  • Er zitten geen uitbijters in de scores van de personen op de afhankelijke variabele » een extreem hoge of lage score t.o.v. de andere scores in de groep waartoe de persoon behoort
    
    • een uitbijter is genoeg om een gemiddelde betekenisloos te maken
    • Leg al voor de uitvoering van je onderzoek vast wat je met de uitbijters gaat doen. Doe dit niet pas op het moment dat je ze daadwerkelijk tegenkomt. Deze stap is een belangrijk onderdeel van de zogenaamde pre-registratie van je onderzoek
    • Bedenk altijd waarom een score een uitbijter is. Het kan een codeer fout zijn, het kan een onverwachte extreem hoge maar correcte score zijn, het kan ook zo zijn dat het een persoon betreft die eigenlijk niet in je steekproef thuishoort
    • Corrigeer codeer fouten. Verwijder scores van mensen in overeenstemming met de regel die je daarvoor in je preregistratie hebt geformuleerd.
  • Binnen elke groep zijn de scores op de afhankelijke variabele normaal verdeeld. Er is een normale verdeling wanneer de curve en bijbehorende histogram er normaal uitzien, de mediaan in het midden van de box ligt en de lengte van de ‘snorren’ gelijk is
  • De varianties van de scores op de afhankelijke variabele zijn gelijk in elke groep » homoscedasticiteit. Als de groepen qua grootte niet meer dan factor 4 van elkaar verschillen, mogen de varianties een factor 10 van elkaar verschillen
• De eerste twee aannames zijn van groot belang. Als ze geschonden zijn kunnen de analyse resultaten niet vertrouwd worden. De laatste twee aannames zijn maar zelden dermate geschonden dat de analyse resultaten niet meer vertrouwd kunnen worden

Preregistratie

In een pre-registratie worden voordat je begint met de dataverzameling alle relevante stappen en kenmerken van het onderzoek dat je gaat uitvoeren vastgelegd. De beste preregistratie zou zijn een complete rapportage van je onderzoek (een wetenschappelijke publicatie) waarin alleen de dataverzameling, de data-analyse, en de conclusies van je onderzoek ontbreken. Met betrekking tot ANOVA dienen minimaal de volgende zaken in een pre-registratie te zijn opgenomen:

• Aantal en welke groepen en aantal personen per groep (gebaseerd op een power analyse of als eerste stap voor Bayesian updating)
• Beschrijving van de afhankelijke variabele
• Wanneer jij vindt dat er sprake is van uitbijters, non-normaliteit, en heteroscedasticiteit
• Wat te doen in het geval van uitbijters, non-normaliteit, en/of heteroscedasticiteit
• Welke hypotheses er onderzocht gaan worden
• Hoeveel factoren er in je design zitten, of het within, between, of random factoren zijn

Rapportage

Het is belangrijk om in de rapportage te vermelden of je je aan je preregistratie hebt gehouden

• Zo ja: je onderzoek is confirmatief » geen questionable research practises en dus geen verhoogde kans op type I fouten
• Zo nee: de empirische cirkel is gebroken en je onderzoek is exploratief van karakter of een pilot study. Daar is niets mee mis als dat eerlijk gerapporteerd wordt