Experimenteel Hoorcollege 1

De contemporaine empirische cirkel

Stappen die je moet doen bij onderzoek
mixed emotions als je bijv. heel blij en heel bedroef bent. Experimentele en controlegroep. Mixed emotions zijn afhankelijke variabele.
mu betekent in populatie is mixed emotions gelijk aan van mensen die niet afstuderen.
alternatieve hypothese is dat die niet gelijk is.
nu evaluren. NHST en BHE.
je moet doen aangeven hoeveel mensen in groep. Gemiddelde laat zien hoger in niet groep. P-waarde: kans om gevonden verschil tussen 2 gemiddeldes of groter aannemen dat in populatie nulhypothese waar is. Hier hele kleine p-waarde, dus nulhypothese verwerpen. Vergelijken met .05. als verworpen, dan willen we ook weten was verschil tussen gemiddeldes groot of niet. Effect size. Gestandiseerden. Gemiddelde effect size, Cohen’s D. Hoe simpeler hoe beter.
Hier staat hoe het er in JASP uitziet. 5 groene cirkels laten hele output zien. Deze p-toets voor onafhankelijek groepen kan je eenvoudig met JASP uitvoeren.

Hoe bepalen we of p-waarde zo klein is dat we nulhypothese verwerpen? Alpah:acceptern dat kans dat onterecht nulhypothese verwerpen 5% is. Power is andere kant: kans terecht verwerpen. We willen graag power van 80. Power kan je beinvloeder door power analyse. Zie 2^e tabel. Bij poweranalhyse bepaal je hoe groot de steekproef moet zijn om de nulhypothese te verwerpen als deze niet waar is. Wat is niet waar? Small, medium and large effect sizes. Poweranalyse moet aangegen welke effet size hij verwacht. Meeste wetneschappers gaan uit van medium effect size. Maar 64 per groep is best veel. Ga dan in teams samenwerken om grotere samples te krijgen.

Je moet onderzoek rapporteren. T en df.

Volg de stappen, hij kan het niet vaak genoeg zeggen!

Replicatiecrisis

Voorbeeld mixed emotions. Gerepliceerd door andere onderzoekers. In 2^e onderzoek veel grotere steekproef, dus grotere power, zelfs meer dan 80%. Gemiddelden die ze vonden verschilden met .01 en p-waarde 94 dus echt niet verwerpen. Effect size .01. De onderzoeksresultaten zijn niet gerepliceerd. Wat moeten we daar mee? heel nadrukkelijk van bewust zijn. OSC heeft veel gerepliceerd, maar slechts 1/3 hetzelfde en 2/3 werden nulhypotheses niet verworpen en effect sized klopten niet. Dat is drama. Dit heeft consequenties in het echte leven. Vraag je collega’s daarom om jouw onderzoek te repliceren.

 Oorzaak van replicatie studies. Heeft u wel eens data zodanig bwerkt dat die wel onder p-waarde zakt? 33% van wetenschappers maakt die stappen. Sloppy science en publicatie bias. Ze waren nog niet bewust dat ze dat deden. Door onderzoek pre-registreren voorkom je dat, doordat je aan stappen moet houden die je hebt gezegd.
sloppy science waaorm aantrekkleijk? Wetenscappers willen resultaat hebben. Kleiner dan .001 is heel sterk bewijs, dus heel blij, dan gemotiveerd. Maar mag niet leiden tot sloppy science. P-waarde groter dan 10 dan komt er niks uit. U presenteert p-waarde, maar niet op zoek naar p-waarde die kleine is dan .05. Gelukkig zijn er nu ook tijdschriften die nulwaarden presenteren of focus op designs enzo ipv waardes.

Publicatie bias. Voorbeeld feeling the future. Weer geen effect in 1990. In 2011 weer en toen kleine p-waarde met significant resultaat. Groot nieuws en gepubliceerd. Wat men niet wist dat daarvoor al 3 onderzoeken dat niet aantoonden. Dus kan typeI fout zijn. Daarna replicatie en weer hoge p-waardes. Dus geen bewijs. Naar weer tijdschrift gestuurd en niet gepubliceerd want geen significant resultaat. Dit noemen we publicatie bias. Er zijn significatne resultaten te vinden die bij replicatie dat niet zijn. Dus we moeten van 0.05 af, je onderzoek moet worden geplublieed op basis van geode onderzoeksmethode en design.

Je moet publicatie bais addresseren en niet negeren. Maak een stappenplan en wijk er niet van af. En werk samen met anderen, grotere steekproef of repliceren.

 

Introductie Bayesiaanse hypothetische evaluatie

In repicatieciris toenemende interesse in Bayesiaanse hypothetische evaluatie.

Weer dat onderzoek maar niet p-waarde maar Bays factor. Wat is dat? De relatieve stuen in de data voor H0 vs Ha. Betkent .64 keer meer steun voor h0 dan ha. Omgekeerd is dat 1:0.64, dus dan 1,5 keer meer steun voor ha dan voor h0.

Als bfh0 gelijk is aan 1, dn gelijk. Als groter dan grotere stuen of kleiner dan kleinere stuen. Hier kleiner dan 1 dus meer steun voor  ha dan voor h0, 1,5 keer zoveel steun voor ha dan voor h0.

BF berekent 2 eigenschappen van nulhypothese. Fit en compleiteit. Als 2 gemiddeldes gelijk zijn, dan vel steun voor h0 dus grote fit. Je ziet ook in tabel dat terug. Oftwel fit van nulhtypose word bepaald doe hoe ver ze uitelkaar liggen/of nulhypothese bij data past.
completeiti. We willen dat hypothese specifiek is. Zeer specifiek is niet complex is parsimonious. Je kan bij 2^e nog steeds voorsppellen. Ha is niet specifiek dus niet parsimoinous. Kan niet mee voorspellen.

Hoe doen we BHE met JASP? Dit onderzoek valt makkelijk te rapportern. Bf .64 dus 1,5 keer zo groot.

Maar er valt meer over Bays factor te zeggen. Afwezigheeid grenswaarde is voordeel. Maar wanneer is ie nou groot genoeg? Hoeft niet. Als 100 baysfactor, dan eigenlijk geen twijfel. Bij 25 ook niet veel twijfel dus voor H0 gaan. Maar bij 5? Dan kan je ha nog niet echt uitsluiten. En bij 1,5 ook niet echt. Belangrijk bij elke factor zelfde interpretatie te geven.

Bfoa is die van nul vs die van alternatieve hypothese. BF0: Kans dat dat HO nul waar is gegeven waarde in data. Bfa gegeven dat ha waar is. Bij 4 20% kans op fout als je voor pmk0 kiest. Dus zijn alternatieven voor type1 en type 2 fout. Pmk0 is type1 fout. Pmka is type 2 fout.

Die conditionele kansen staan gegeven in JASP. Beetje twijfelachtige keuzes allemaal.

20 menen per groep. BF .5 en als voor pmka kiest dan 33% kans fout. Hmm, is nog wel veel. Dus dan meer personen. Poweranalyse gebaseerd op hypothetische effect size. Bij bayseiaanse kan je dit stapsgewijs ondervinden.

Designoverwegingen

Experimentele designs. Op plaatje zie je uitkomsten onderzoek. Maar moeten statistische toets uitvoeren om er wat over te zeggen? T-toets voor onafhankelijke groepen. Gepaarde t-toets voor voor en nameting.

Maar is dit wel effect van behandeling (aangezien we nulhypothese verwerpen)?

Wat zijn gevaren van t-toets?
maturation threat: natuurlijke ontwikkeling, bijv mensen groeien erover heen
history threat: bijv door corona voel je je gedeprimeerd
regression tot he mean: dat je met zn allen zo hoog in depressie zit, dat je alleen nog maark gelijk kan blijven of kan verbeteren. Ligt dan ook niet aan behandeling
observer bias: therapeut scoort mensen voor en na maar omdat hij zelf biased is omdat hij zn behandleing goed vindt, scoort hij ze erna minder omdat hij wil dat behandeling werkt
demand characteristics: niet behandeling heeft effect, maar omdat je als patient dat wil, voel je je beter, maar niet door behandeling
placebo: door warme aandacht van therapeut en niet door bheandeling voel je je beter

hoe voorkomen?
je moet bewust zijn. 2^e wat je kan doen is controlegroep toeveogen.
history threat. Kan dat bij rode mensen door history therea? Nee, want dan zou blauwe groep ook verbeterd moeten zijn. Regression tot he mean. Nee kan ook niet, want zou je ook in controlegroep moeten zien dat effect.
Samenvattend door toevoeging controlegroep heb je maturation threat, regression threat en regression tot he mean onder controle.
BEPERK JE TOT DEZE 6 THREATS, NIET ALLE UIT HET BOEK
demand characteristiscs is blind design à patienten weten niet in welke groep ze zitten. Observer bias à onderzoeker moet niet weten wie in welke groep zit.
dus double blind design krijg je ook demand characteristics and observer bias onder controle.
en dan placebo. Daarvoor controlegroep die placebo krijgt.

Tot nu twijfelde we over echtheid van effect. Nu kijken we naar wanneer geen effect is. Daarvoor kunnen ook meerdere veklaringen zijn.
weak manipulation: therapei werkt niet
power probleem: zou best effect kunnen zijn, maar sample te kline om statistich aan te kunnen komen
daadwerkelijke geen effect

Goed opzetten is moeilijk. Zonder controle groep is questionable research questions

Experimenteel Hoorcollege 2

ANOVA met NHST

We gaan nu 3 of meer groepen vergelijken ahv anova. William en barr hebben onderzocht ahv coordinatenstelsel. Met 3 condities in punten localiseren.
Wat nou effect van priming op emotionele binding was, was onderzoeksvraag. Je wil kijken verschillen die 3 condities die anders geprimet zijn in hun emotionele binding. Nulhypothese zegt 3 gemiddelde zijn aan elkaar gelijk. Mu want nulhypothese en hypothese over populatie. Alternatieve zegt ten minste 1 van gemiddelden verschilt van elkaar.
random ingedeeld over drie groepen, dat is belangrijk voor experiment.
Ze willen causale uitspraak doen. Om uitspraak kunnen doen, moet je voldoen aan 3 voorwaarden. Correlatie. Temporal precedence. Zit hier goed door eerst oorzaak en daarna metingen. Interne validiteit, daarvoor is random belangirjk, want zorgen dat groepen gelijk izjn, behalve de priming. Randomizatie is nodig om causale uitspraken te kunnen doen.

Data analyseren met ANOVA. Nulhypothese f-toets. Daar hoort p-waarde bij. P-waarde=overschrijdingskans=kans op het verschil in gemiddelden zoals gevonden in steekproef  of een nog extremer verschil onder aanname dat nulhypothese waar is. Dus gaan ervan uit dat drie gemiddelde niet van elkaar verschillen. Wat is nu kans dat we zon verschil of groter verschil vinden? Hier is kans dat die verschil vinden of gorter is 1%. Dus hier nulhypothese verwerpen. Formeel gezien vergelijken met alpha, wat vaak 5% is.
blijkbaar zit er nu dus verschil tussen gemiddelden. Dan kijken naar effect grootte. Want significantie zegt niet over effectgrootte. etakwadraat. Die is hier .11.
ANOVA is totale variantie opsplitsen in deel verklaard en dele niet verklaard door groep. Spreiding in scores per groep. Spreiding binnen in zon groep is onverklaarde variantie, want kan je niet verklaren door groeplidmaatschap. Verklaarde variantie is spreiding tussen groepsgemiddelden. Gemiddelden van die groepen varieren van elkaar. Die variatie kan verklaar wroden door groepslidmaatschap. In extreme geval bij gelijke gemiddelden kan geen variantie verklaard worden door groepslidmaatschap.
etakwadraat is proportie dat vekrlaard kan worden door lidmaatschap. Verklaarde variantie gedeeld door totale variantie. Hoe groter etakwadraat, hoe groter ok verschillen tussen groepen op onafhankelijke variabelen.in 100% wordt alles verklaard door de groepen.
zo maat voor effect groepen.
stel nou dat p-waarde niet kleiner dan .05. dan 2 opties. Indd geen verschil in werkelijkheid. Of wel verschil in populatie maar niet voldoende power. Power is kans dat nulhypothese terecht verwerpen. Dus als er werkelijk verschillen zijn tussen groepen. Vaak willen we minimaal power van .80. Idee van poweranalyse: kijken hoe groot steekproef meot zijn om goede power te hbben.
we zien verschillende alpha’s/significantieniveaus en verschillende effectgroottes. Bij klein effect willen vinden, moet je enorm veel data verzamelen, namelijk 322. Effectgrootte zou je ook beetje meoten baseren op literatuur, wat daar bijv medium is. Poweranalyse hele belangirjk dus.

We verwerpen nulhypothese dus. Gemiddelden niet gelijk aan elkaar, verschil in emotionele binding. Maar waar zit nu verschil? Dat weten we niet ahv eenweg ANOVA. Daarvoor posthoc toets uitvoeren. Om te zien waar verschil zit. Dan gaan we waarden van gemiddelde met elkaar vergelijken. Dan elke keer 2 gemiddelden vergelijken, dus gewoon t-toetsen. Is normale t-toets met moeilijkheid dat 3 t-toetsen hebt. Type I fout is kans dat h0 ten onrechte verwerpen. Normaal gesproken bij 1 t-toets gelijk aan .05. maar bij 3 toetsen moet alpha hoger. Als aantal toetsen stijgt, wat gebeurt dan met type I fout. Dan zie je bij 3 toetsen stijgen naar 14% kans ten onrechte h0 verwerpen. Dus we meoten correctie uitvoeren. Een daarvan is methode van bonferroni. Kan op 2 manieren. Bijv. niet vergelijken met .05 maar .05 gedeeld door aantal toetsen dat je doet. Ander amnier is iedere p-waarde met 3 te vermenigvuldigen en dan vergelijken met .05.

williams en baar rapportern maar een van die toetsen. P-waarde kunnen we niet direct interpreteren, moet correctie op. Dan zie je significant. Dus blijkbaar verschillen in dicithbij vs ver weg.

Ofwel emotionele binding in verweg conditie is lager dan in dichtbij conditie.
we kunnen helaas niks zeggen over effect grote.

Nu nog even kijken hoe we dat in jasp kunenn doen. Eerste is anova tabel om verschil tussen gemiddelde te zien. 2^e tabel is post hoc toets tabel. In iedere rij wordt conditie vergeleken. Pbof is al gecorrigeerde p-waarde dus kan je gelijk vergelijken. Alleen vergelijking tussen dichtbij en verweg die heeft gecorrigeerde p-waarde van kleiner dan .05 dus alleen daar verwerpen we de nulhyptoehse. Voor andere condities lijken gemiddelde niet te verschillen. Hier in jasp kan je ook nog kijken naar effect grootte.

ANOVA met Bayesiaanse statistiek

Bij bayesiaanse benadering verandert er iets in de hypothese, das ook een voordeel. We kunnen informatieve hyptoehse toetsen. Hypotheses waaribj verwachtingen al expliciet gespecificeerd zijn = informatieve hypothesen. Specifiek dachten williams en bar dat emlitonele binding groots in dichtbij conditie. Verwachting kan je dus specificieren ein informatieve hypothese. Met onze bayesiaanse benadering kan je zo’n hypothese toetsen. Complement is niet informatieve hypothese. Dat zou zijn als het juist in ver weg emotionele binding groots is. Dat is een van de alternatieven die valt in complement.

Bayes factor zegt 6x meer steun in data voor onze verwachtinbg tegenover alternatief. Is dat nou voldoene steun? Nu niet meer die level waardoor publication bias. Dus we willen ook geen richtlijnen met bayes factor. Moet je zelf bepalen. vind je 6 vovldoende steun voor hypothese? Nee, dan kan je extra data verzamelen tot je Bf waarvan jij voldoende steun vindt.
PMP staat er ook nog. Handig als we 3 of meer hypothesen willen vergelijken. Als we willen kijken welke van 3 meest wss dan pmp. Bij h1 veel hogere pmp. Op basis daarvan is h1 meest wss. Zijn we niet 100% zeker van. Die is gelijk aan .06 plus .13, dus de opgetelden van de andere hypothesen.

Dus bf voor keuze tussen 2 hypothesen en pmp voor keuze tussen 3 of meer hypothesen.
mate van effect grootte geeft jasp niet automatisch, dus daar zou je klassieke nhst anayse voor moeten doen.

Hoe ziet het er in jasp uit? Relevante zit vooral in model constraints, want daar ga je hypothesen typen. Output in rechterkant zie je hypothese of die goed getypt is en bf’s en pmp’s. in onderste tabel bechrijvende statistieken. Credible interval is bayesiaanse vairant van betrouwbaarheidsinterval.

Ga voor jezelf de vragen langs op de laatste slide om de methodes te vegelijken. Als dat lukt, weet je dat je het snapt.


want bf zegt hoeveel groter deze kans is dan hypothese alternatief, als je juist 3 of meer hypothesen wil vergelijken moet je pmp gebruiken.

Experimentele designs

Bij voor en nameting kan je al paar gevaren weghalen door controlegroep toevoegen. Dan spreek je van twee-weg design, namelijk 2 factoren: groep (normaal en controle) en meting (voor en na).

Klassieke experiementele design kan je gevaren ondervangen. Maar nog steeds gevaren. Daarbij voorbeeldje. Vraag is helpt huiswerk maken voor score rekenen? We willen rapportcijfer aan begin en ieind van jaar. Daar kan probleem ontstaan. Als rekentoets 2x dan kan testing threat: bijv leereffect omdat ze toets al hebben gehad. Okee, dan andere toets, dan kan instrumentarium threat, dat toetsen niet hetzelfde meten. Dus 2 gevaren testing en instrumentarium.

Specifiek ook 2 typen factoren: betwen factor. Iedere persoon kan maar in 1 groep zitten. Within factor is meting, want die hebben we van iedere persoon. Dus altijd between en within factor in experiementele design.

Nu hebben we 2 factoren, dus we kunnen kijken is er interactie effect of hoofdeffect van groep of hoofdeffect van meting. Om duidelijker te maken, zie plaatje. Gemiddelde voor verschillende groepen zien we. Controle is paars. Hun cijfer stijgt beetje maar niet veel. Experiementele conditie stijgt cijfer. Op basis van figuur kijken naar hoofdeffect. Hoofdeffect van conditie, daarovor moet je controleconditie kkijken. Dus paarse vierkantjes met rodde vierkantjes bekijken. We zien gemiddelde experiemtnele conditie is groter an van conditione condite. Dus hoofdeffect groep. Dat bekijken bij voor en na meing. Dan gemiddelde van grood en paars op voor vergelijken met die van na. Dus ook hoofdeffect van meting. Dan interactieeffect kan je zien door lijnen parallel lopen. Doen ze niet dus er is interactie effect. Op voormeting scoren hetzelfde, terwijl op nameintg experimentele hoger dan controleconditie, dus lijnen niet parallel.

We kunen hypothesen opstellen over interactie effect. Delta is toename in rekencijfer van voor naar nameting toe. Dus delta zegt toename in rekencijfer. Geen interactieffect als delta’s gelijk zijn. Als we dit willen uitoveren, kijken naar hoe data eruit zien. Dan verschillen voor en nameting uitrekenen. Bij zo structuren kan je ahv t-toets  controleren. Links zie je afhankelijke variaabel is verschil. Groepvariable. En t-toets geeft hele kleine t waarde. Dus blijkbaar interactieffect want nulhypothese verwerpen. Dus klassieke experiementele design is eeste vorm van tweewegdesign

Is er nog een twee-weg design: counterbalancing design. Dat je proefpersonen zowel werkzame als neppil geeft, ofwel beide condities, ofwel conditie wordt een withinfactor. Abba desgin omdat volgorde omdraaien, ene groep krijgt eerst echte en daarna neppe pil en andersom. Nu is between factor de volgorde waarin ze de pil lkrijgen. En within factor is krijgen van pil.

Zowel ab als ba is lager niveau hoofpijn bij pil ipv neppil. Hoofdeffect groep? Dan moeten kijken naar gemiddelden groepen. Gemiddelde rode vierkantjes en paarse, dan zie je gelijk. Dus geen effect van groep. Hoofdeffect pil? Lager van pil, dus hoofdeffect van pil.
Andere situatie. Hoofpijn bij rood blijft hetzelfde. Alleen bij ab groep lager niveau bij pil. Wat je ziet is naast effect van pil is hoofdeffect van groepen. En interactieffect want lijnen niet parallel. Dus eigenlijk wat je ziet placebo trappen er alleen zien als ze die eerst krijgen.

Samenvatting. Overeenkomst is dat ze beiden twee-weg design zijn. Dus 2 factoren, dus hoofdeffect ene en andere factor en interactieeffect.



!!!!!!!!!!!![SJ(1] 

 

E1A: INTRO PRACTICA EXPERIMENTEEL

JASP is een programma dat is ontwikkeld voor statistische analyses en lijkt daarmee erg op SPSS. Het voordeel van JASP is dat het een gratis en open-source programma is. Bovendien is het erg makkelijk in gebruik. Vandaar dat je tijdens dit practicum zult leren om te werken met JASP. 

Kijk voor een eerste kennismaking de eerste minuut van het onderstaande filmpje!

ASP kan je - net als SPSS - openen via MyWorkplace. Open dit programma.

In deze les zullen we werken met het databestand Rekenvaardigheid.sav. De dataset is te vinden op Blackboard. Sla het databestand op een goede plek op je computer op. Je zult dit databestand ook nodig hebben voor de andere onderdelen van Practicum 3. 

Open het bestand in JASP.

Wanneer alles goed is gegaan, ziet het er ongeveer zo uit. In JASP kan je de data bekijken, benoemen en analyseren zonder dat het originele databestand wordt aangepast. Tegelijkertijd is iedere verandering in het originele databestand onmiddellijk zichtbaar in JASP. Wanneer er dus een typfout in je databestand zit, moet je dit aanpassen in het originele databestand: dit kan niet in JASP!

Nu gaan we JASP gebruiken om de dataset te analyseren aan de hand van wat beschrijvende statistieken en grafieken. 

Ga in JASP naar Descriptives > Descriptive Statistics. 

Wanneer je beschrijvende statistieken wilt opvragen van een variabele, sleep je deze naar het vak onder het kopje Variables. 

Descriptives > Descriptive Statistics

Je kunt niet alleen beschrijvende statistieken opvragen, je kunt ook aangeven welke beschrijvende statistieken je precies wilt hebben. Dit doe je onder het kopje Statistics. Als je hierop klikt krijg je verschillende opties die je kunt aan- en uitvinken. Zo kan je naast het gemiddelde ook de mediaan of modus opvragen. Of misschien ben je wel geïnteresseerd in het bereik. 

Wanneer je een nieuwe optie aanvinkt, bijvoorbeeld Variance, zul je zien dat er rechts in de tabel met beschrijvende statistieken een rij wordt toegevoegd. Wanneer je Variance uitvinkt, verdwijnt deze rij weer. Handig!

Descriptives > Descriptive Statistics

JASP geeft ook de optie om grafieken te maken. Deze optie vind je eveneens bij Descriptive Statistics, onder het kopje Plots. Je hebt de keuze uit drie verschillende grafieken:

1. Distribution plots: vergelijkbaar met het histogram dat je in SPSS gebruikt om te kijken hoe de data verdeeld zijn
2. Correlation plots: vergelijkbaar met de scatterplot die je in SPSS gebruikt om te kijken wat voor relatie er is tussen twee variabelen
3. Boxplots: vergelijkbaar met de boxplots die je in SPSS gebruikt 

Samenvatting:

Deze les is alweer afgelopen. Je hebt nu het volgende geleerd:

• Hoe je een databestand opent in JASP
• Hoe je beschrijvende statistieken kunt opvragen in JASP
• Hoe je grafieken kunt maken in JASP

E1b: t-toetsen in JASP

Voor deze les gaan we gebruik maken van het databestand Rekenvaardigheid.sav. De dataset is te vinden op Blackboard. 

Met behulp van deze dataset ga je onderzoeken of jongens en meisjes verschillen in hun score op hoofdrekenen (hoofdrek).

Open het databestand in JASP en volg onderstaande instructies:

1. T-Tests > Independent Samples T-Test
2. Sleep de juiste variabelen naar Dependent Variables en Grouping Variable
3. Rechts in het scherm zie je meteen de output verschijnen

Het kiezen van de juiste toets en het invullen van de goede variabelen is nog niet alles. Zoals je je misschien nog wel kunt herinneren van de cursus KOM, moeten we altijd eerst controleren of er aan bepaalde voorwaarden is voldaan voordat we de t-toets mogen uitvoeren. Een belangrijke assumptie die we voor de t-toets moeten controleren is de assumptie van homogeniteit van varianties. Het betekent dat de spreiding in scores van de twee groepen ongeveer aan elkaar gelijk zijn. Hierbij zijn er twee mogelijkheden:

1. De spreiding in scores van de twee groepen verschillen niet van elkaar
2. De spreiding in scores van de twee groepen verschillen wel van elkaar

Om te controleren of de twee groepen niet verschillen in spreiding van scores (mogelijkheid 1), hoeven we in JASP alleen maar de optie 'Equality of variances' aan te vinken!

Opdracht: vink onder 'Assumptions' de optie 'Equality of variances' aan. 

Als het goed is, vind je in de output nu de volgende tabel:

KORTOM JE WIL P-WAARDE HOGER DAN ALPHA BIJ LEVENE’S TEST OM AAN ASSUMPTIE TE VOLDOEN
We weten nu dus hoe we bij een t-toets kunnen controleren of er is voldaan aan de voorwaarde van homogeniteit van varianties. Nog even een korte samenvatting van de stappen die je doorloopt:

T-Tests > Independent Samples T-Test

• Dependent Variables: afhankelijke variabele
• Grouping Variable: onafhankelijke variabele
• Assumption Checks: Equality of variances. 

Wanneer de p-waarde van Levene's test groter is dan \alpha=.05α=.05, mogen we ervan uitgaan dat de spreiding in scores in beide groepen gelijk is. 
Wanneer de p-waarde van Levene's test kleiner is dan \alpha=.05α=.05, mogen we ervan uitgaan dat de spreiding in scores in beide groepen significant verschillend is.

Blijkbaar is er geen verschil tussen jongens en meisjes in hun scores op hoofdrekenen. Het is dan ook niet zo interessant om de grootte van het effect op te vragen. Immers, er is helemaal geen effect! 

Wanneer uit de t-toets blijkt dat er wel een significant verschil is tussen twee groepen, kan het nuttig zijn om deze informatie op te vragen. Dat kan onder 'Additional Statistics'.  

Daarnaast kan je nog andere statistieken opvragen, zoals beschrijvende statistieken ('Descriptives'). 

Uiteraard kan je de analyses die je hebt gedaan ook in SPSS doen. Mocht je dit graag willen, kijk dan in het hoofdstuk Comparing two means van Field, of volg de volgende stappen:

Analyze > Compare Means > Independent-Samples T Test > Test Variable(s): hoofdrek > Grouping Variable: sekse > Define Groups...: Group 1 = 1; Group 2 = 2.

Met behulp van deze dataset ga je nu ook onderzoeken of de gemiddelde score op hoofdrekenen na de lessen (hoofdn) significant hoger is dan de gemiddelde score voor de lessen (hoofdv).

hier naar kijken, wat betekent dit?[SJ(2] 

Om de toets uit te voeren, volg de onderstaande stappen:

1. T-Tests > Paired Samples T-Test
2. Sleep de juiste variabelen naar het kader aan de rechterkant; ze zullen beide in dezelfde regel komen te staan
3. Vink onder 'Alt. hypothesis' de juiste eenzijdige toets aan
4. Rechts in het scherm zie je meteen de output verschijnen

Bij een significant verschil is het handig ook de effectgrootte op te vragen. Dit kan onder 'Additional Statistics'. Hier kun je eventueel ook een 'Descriptives plot' aanvinken. Dit bestaat uit de twee 95% betrouwbaarheidsintervallen. 

Uiteraard kan je de analyses die je hebt gedaan ook in SPSS doen. Mocht je dit graag willen, kijk dan in Field, of volg de volgende stappen:

• Analyze > Compare Means > Paired-Samples T Test 
• Plaats de juiste variabelen in het kader 'Paired Variables'

Samenvatting:

In deze les heb je geleerd:

• Hoe je in JASP de twee t-toetsen uitvoert 
• Hoe je een test voor de assumptie van homogeniteit van varianties kunt uitvoeren
• Welke opties je nog meer kunt opvragen voor in de output

ERROR[SJ(3] 



wat gaat hier verkeerd, want ik vul toch hetzelfde in?[SJ(4] 

kan dus ook door equality of variances aan te klikken, die assumption check nog krijgen!!

Kortom: voor levene’s test moet je equality of variances aanklikken en daarmee weet je of er gelijke spreiding is en dus aan assumptie voldaan is.

E1c: ANOVA in JASP

Je gaat in deze les leren hoe je een ANOVA kunt uitvoeren. Een ANOVA is een statistische toets die je net als een t-toets kunt gebruiken om te kijken of verschillende groepen van elkaar verschillen op een bepaalde variabele. 

Bij een t-toets kun je dit alleen maar doen wanneer je twee groepen hebt. Een ANOVA kan gebruikt worden wanneer je méér dan twee groepen hebt. [SJ(5] 

In deze les ga je onderzoeken of drie groepen (conditie) van elkaar verschillen in hun score op de voormeting van hoofdrekenen (hoofdv). De variabele conditie bestaat uit drie experimentele condities (drie onderwijsmethoden) waarin de leerlingen waren ingedeeld:

• directe instructie
• eigen inbreng
• controlegroep

Gezien het experiment is het een goede uitkomst dat er geen verschil is in scores op de voormeting van hoofdrekenen. Als het goed is zijn de leerlingen namelijk random ingedeeld in de drie experimentele condities. Het doel hiervan is dat de groepen qua eigenschappen voor aanvang van het experiment nog niet significant van elkaar verschillen. Zo kun je het beste toetsen of vaardigheden die na afloop van het experiment zijn gemeten, verschillen als gevolg van de conditie in het experiment.

Uiteraard zijn we nu geïnteresseerd of de verschillende condities van elkaar verschillen met betrekking tot de toename in scores op het hoofdrekenen. 

Dat gaan we daarom nu onderzoeken. De toename in scores op hoofdrekenen is nog geen bestaande variabele binnen de dataset Rekenvaardigheid.sav, dus deze zullen we eerst zelf moeten maken!

Eerder heb je al gezien dat je in JASP niet zomaar waarden kunt veranderen. Als je dat toch wilt doen - bijvoorbeeld omdat er een typfout in je bestand staat - zal je het originele databestand moeten aanpassen. Wat JASP gelukkig wél kan, is uit bestaande variabelen een nieuwe variabele creëren. We zullen dus eerst een nieuwe variabele moeten maken, voordat we een ANOVA kunnen uitvoeren! Hiervoor gebruiken we de scores op de voormeting en nameting van hoofdrekenen. 

Om de nieuwe variabele te creëren, kun je de volgende stappen volgen:

1. Scroll je databestand helemaal naar rechts, zodat je de laatste kolom te zien krijgt
2. Klik op het plusje
3. Geef je nieuwe variabele een naam, bijvoorbeeld toename_hoofd
4. Vink het handje en Scale aan en klik vervolgens op Create

Als het goed is, krijg je nu het volgende scherm te zien:

Sleep nu de variabele hoofdn naar het grote witte vlak (aan de linkerkant staan de variabelen, hier kun je doorheen scrollen).

Klik vervolgens op het minus-teken (-), die je boven het witte vlak ziet staan.

Tot slot: sleep de variabele hoofdv naar het witte vlak. Als het goed is staat er nu de formule hoofdn - hoofdv. Klik op Compute column en de nieuwe variabele is een feit!

ik had een andere p-waarde, wat gaat er fout?[SJ(6] 

post-hoc toetsen welke gemiddelden nu precies van elkaar verschillen

de meeste steun vindt in de data, dan kijken we naar de posterior model probabilities[SJ(7] 
We weten nu dat er een verschil is in toename in scores tussen de verschillende groepen. Echter, we weten nu nog niet wélke groepen van elkaar verschillen. Scoren de leerlingen in de directe instructie groep beter dan de leerlingen in de eigen inbreng groep? Of scoren deze leerlingen allebei net zo goed, maar doen ze het wel beter dan de controlegroep? Het kan ook nog zo zijn dat de eigen inbreng groep het beter doet dan de controlegroep, maar slechter dan de direct instructie groep.  

Je ziet: er zijn meerdere opties mogelijk, en dit zijn ze nog niet eens allemaal! Om zeker te weten welke groepen nu precies van elkaar verschillen, kunnen we een post-hoc toets uitvoeren. 

Samenvatting:

In deze les heb je geleerd:

• Hoe je een ANOVA uitvoert in JASP
• Hoe je een nieuwe variabele aanmaakt in JASP
• Hoe je een post-hoc analyse kunt uitvoeren in JASP

Zorg dat je het databestand opslaat, zodat je de volgende keer ook de nieuwe variabelen kunt gebruiken!

Uiteraard kan je de analyses die je hebt gedaan ook in SPSS doen. Mocht je dit graag willen, kijk dan in het hoofdstuk Comparing several means: ANOVA van Field, of volg de volgende stappen:

Analyse > Compare Means > One-way ANOVA > Dependent List: toename_hoofd > Factor: conditie

1CD: ANOVA met BF

Om te kijken of twee groepen verschillen in gemiddelden gaan we weer een ANOVA uitvoeren. 

Dit keer gaan we gebruik maken van de Bayes Factor in plaats van een p-waarde. 

We gaan nu een ANOVA uitvoeren -- met Bayes factor -- om te kijken of meisjes en jongens anders scoren op de nameting van hoofdrekenen (variabele hoofdn).

Rechts staat een blauw plusteken:

Klik op de + en selecteer 'Bain'. Bain is kort voor "Bayesian informative hypotheses evaluation"

In oudere versies van JASP zie je  boven de menu-knoppen voor de verschillende analysetechnieken, twee tabjes: 'File' en 'Common'. Hiernaast staat een groot plusteken:

Als het goed is ziet het menu er nu zo uit:

Klik nu op ANOVA en selecteer de optie 'Bain ANOVA'. Voer de variabelen sekse en hoofdn in op de juiste plek. 

Klik onder Tables op de optie 'Descriptives'. 
Klik onder Descriptives op de optie 'Descriptive plots'. 

Nu weet je hoe je met JASP twee groepen kunt vergelijken met een ANOVA en een Bayes factor. In de volgende les gaan we ook kijken naar wat we kunnen wanneer we meer dan twee groepen hebben. 

Maar eerst gaan we in deze les Bayesian Updating simuleren. Dat is het idee dat wanneer je een toets uitvoert met behulp van de data die je verzameld hebt uit een steekproef, je de resultaten kunt updaten nadat je méér data verzameld hebt. 

Hoe gaan we dat doen? In het databestand staan de data van bijna 200 leerlingen. We gaan nu de leerlingen met verschillende mate aan ervaring met vermenigvuldigen (weinig en veel) met elkaar vergelijken a.d.h.v. de data van de eerste 50 leerlingen. Daarna gaan we het updaten met de volgende 50. Dat herhalen we daarna nog 2 keer, totdat we alle data gebruiken. 

Let op: dit is een simulatie. In de praktijk begin je met een steekproef en gaat vervolgens méér data verzamelen... 

Zoek nu meteen ook de leerlingnummers op van leerlingen 101 en 151. Schrijf ze op zodat je dit straks niet meer hoeft te doen. 

813 tot 901

We gaan nu een filter toepassen. Dit filter selecteert de eerste 50 leerlingen. Hiervoor klik je op het filter/trechter-teken links bovenaan het scherm:

Het filterscherm gaat nu open:

• Selecteer aan de linkerkant de variabele llnr
• Selecteer bovenaan het kleiner dan teken (<)
• Tik op de puntjes het getal 711
• Klik onderaan op Apply pass-through filter

Scroll nu in het databestand naar beneden. Als het goed is zijn de eerste 50 leerlingen nog in het zwart te lezen met daaronder alles in het licht-grijs:

Wanneer je nu een analyse uitvoert, worden alleen deze 50 leerlingen gebruikt. 

Voer een ANOVA met Bayes Factor uit (via Bain) om de gemiddelde hoofdrekenscores (variabele hoofdn) tussen de twee groepen met veel en weinig ervaring te vergelijken. 

Klik op OK. 

Bayes factor van ongeveer 1 geeft aan dat er vrijwel evenveel steun is in de data voor de nulhypothese als voor de alternatieve hypothese[SJ(8] 

![SJ(9] 
Pas de filter nu aan zodat je de eerste 100 leerlingen in de analyse gebruikt. Vergeet na het aanpassen van het leerlingnummer niet om op Apply pass-through filter te klikken. 

Als het goed is wordt de Bayes Factor in de ANOVA nu automatisch aangepast (ge-update). 

Herhaal de stappen met 150 leerlingen en alle leerlingen. Om de filter te verwijderen en vervolgens alle leerlingen mee te nemen in de analyse, kun je dubbel op de prullenbak van het filter-menu klikken. 

Schrijf na elke ronde van updating de waarde van de Bayes Factor op.  

Samenvatting

In deze les heb je geleerd hoe je in JASP een ANOVA met Bayes Factor kunt uitvoeren (via het Bain menu). 

Ook hebben we gekeken naar Bayesian Updating. 

In de challenges kun je controleren of je de juiste output hebt gemaakt.

Heel belangrijk![SJ(10] 

E1e: ANOVA met gerichte post-hoc

Om te kijken of meer dan 2 groepen verschillen in gemiddelden moeten we natuurlijk weer  een ANOVA uitvoeren. Ook in deze les gaan we gebruik maken van de Bayes Factor. 

Het voordeel van een ANOVA is dat we meerdere groepen tegelijk met elkaar kunnen vergelijken. Wanneer we verschillen vinden, kunnen we a.d.h.v. een post-hoc toets bepalen welke groepen van elkaar verschillen. Met behulp van "Bayesian informative hypotheses evaluation" (Bain) kunnen we zelfs hele gerichte post-hoc toetsen uitvoeren. 

De leerlingen waarvan de data in het bestand staan, waren ingedeeld in drie experimentele  condities met verschillende onderwijsmethoden: directe instructie, eigen inbreng en een controlegroep. 

Je gaat in deze les m.b.v. een ANOVA toetsen of de gemiddelde hoofdrekenscores van leerlingen in de drie condities van elkaar verschillen. Hiervoor ga je weer de variabele hoofdn gebruiken (de nameting op hoofdrekenen). 

Maar... Stel dat je bij deze vraag een specifieke verwachting hebt: Je denkt dat hoe meer instructie, hoe beter de kinderen het zullen doen. Dus... je verwacht dat de gemiddelde score in de directe instructie-groep het hoogste zal zijn, gevolgd door eigen inbreng en de controlegroep. Dit kunnen we toetsen m.b.v. het Bain menu. 

![SJ(11] 
Om de gerichte verwachting te toetsen, moet je zelf deze verwachting invoeren. Dit kan onder de optie 'Model Constraints'. 

Wanneer je op het driehoekje naast 'Model Constraints' klikt, springt een klein venster open. Hier kun je zelf hypothesen intikken. 

1. Als eerste tik je altijd de standaard nulhypothese in 
2. Als tweede kun je een gerichte hypothese invoeren

Om het in dit geval makkelijker te maken, kun je tekst hieronder kopiëren. Doe dit per regel. Na de eerste regel een enter toevoegen en dan de tweede regel kopiëren.

\verb| conditie.directe_instructie=conditie.eigen_inbreng=conditie.controle|   conditie.directe_instructie=conditie.eigen_inbreng=conditie.controle

\verb| conditie.directe_instructie| \gt \verb|conditie.eigen_inbreng| \gt \verb|conditie.controle|   conditie.directe_instructie>conditie.eigen_inbreng>conditie.controle

Om de hypothesen te toetsen, klik je op Control + Enter.

Zodra je op Ctrl + Enter klikt, wordt de output van de Bain ANOVA die je eerder hebt uitgevoerd aangepast. Je hoeft de analyse dus niet opnieuw uit te voeren. 

Wat gaat er mis nu?[SJ(12] 

het gaat om de BFc waarde

Samenvatting

In deze les heb je geleerd hoe je in JASP een een gerichte hypothese bij ANOVA kunt uitvoeren (via het Bain menu). 

In de challenges kun je controleren of je de juiste output hebt te weten produceren.

dus welke PMP het grootst is, is belangrijker dan de grootte van de BF!![SJ(13] 

PMPb, daarbij geeft H1 de nulhypothese weer!
 

E1f: Bedreigingen voor de Interne Validiteit

Bedreigingen voor de interne validiteit

Bij zorgen over de interne validiteit van een experiment, vragen onderzoekers zich af of de onafhankelijke variabele wel echt de oorzaak was van het geobserveerde verschil. 

In het hoorcollege zijn verschillende bedreigingen voor de interne validiteit van experimenten besproken. Ook staan ze uitgebreid beschreven in het boek. Ze worden hier heel kort  nogmaals herhaald. 

• Design Confounds
  • Wanneer de gemanipuleerde variabele niet het enige verschil tussen de twee groepen is.
• Selection Effects
  
  • Selectie treedt op wanneer de groepen bij aanvang van het experiment niet vergelijkbaar zijn.
• Order Effects
  
  • Bij herhaalde metingen (twee of meer keer bij dezelfde participanten meten) kan het zo zijn dat de volgorde van de interventie/behandeling invloed heeft op de afhankelijke variabele. 

• 
  Maturation Threats
  • Maturation betekent rijping of ontwikkeling in het Nederlands. De verschillen die geobserveerd worden tussen voor- en nametingen kunnen ontstaan door natuurlijke ontwikkeling van de participanten.
• History Threats
  
  • Niet alleen de natuurlijke ontwikkeling van participanten beïnvloedt de uitkomsten, maar ook gebeurtenissen van buitenaf - gebeurtenissen die niet specifiek iets te maken hebben met het experiment. 
• Regression Threats
  
  • We spreken van Regression to the mean wanneer de participanten bij aanvang van de studie (gemiddeld) redelijk extreme waarden laat zien. Bij de vervolgmeting zijn de waarden hoogstwaarschijnlijk minder extreem; dichter bij de 'normale' gemiddelde waarde. 

• 
  Attrition Threats
  • Attrition betekent uitval in het Nederlands. Wanneer participanten tijdens een experiment of studie uitvallen, kan dat de resultaten beïnvloeden. Dit is vooral een probleem als de mensen die uitvallen anders zijn dan de mensen die wel blijven meedoen.
• Testing Threats
  
  • Wanneer participanten beter worden in het invullen van testen/vragenlijsten, speelt volgorde een rol. De tweede keer dat de test wordt gemaakt, is dan automatisch beter. 
• Instrumentation Threats
  
  • Wanneer het meetinstrument wat de afhankelijke variabele beoogt te meten tijdens het experiment verandert, kan dit invloed hebben op de resultaten van de studie.  

Bedreigingen voor de interne validiteit bij alle soorten onderzoek

• Observer bias
  • Wanneer de onderzoeker bepaalde verwachtingen heeft en daardoor beïnvloed wordt in het beoordelen van de participanten.
• Demand characteristics
  
  • Wanneer de participanten doorhebben waar de studie voor is en zich daardoor anders gaan gedragen.
• Placebo effect
  
  • Wanneer participanten vooruitgang boeken doordat ze geloven dat ze een effectieve behandeling krijgen. 

Tot nu toe gaat het over twijfel over de interne validiteit omdat er alternatieve verklaringen voor het gevonden effect zijn. Het kan ook zijn dat er geen behandeleffect wordt gevonden.

Ook daarvoor kunnen meerdere verklaringen zijn:

• Weak manipulations
  • Het kan zijn dat de interventie slecht wordt uitgevoerd
• Power problem
  
  • Het kan zijn dat er wel degelijk een effect is, maar er zijn te weinig participanten gebruikt om het effect te vinden
• No effect
  
  • Het kan zijn dat er daadwerkelijk geen effect is

Afsluiting

We hebben heel kort een heleboel bedreigingen voor de interne validiteit besproken. 

In de volgende oefeningen kun je je kennis van deze bedreigingen testen.

let op dat dit dus geen design confound is!

!!![SJ(14] 





dus placebo speelt rol als er geen significant effect gevonden wordt

Hoorcollege 3: Tweeweg ANOVA via NSHT

Twee weg ANOVA

Niet langer effect van 1 factor op onafhakliejk variabelel, maar 2 factoren.

Conditie is between factor of tussen persoon.
tijd binnenpersoonsfactor.

ABBA: ene eerste chte deel en daarna neppe en andersom. Dus zo hebben we 2 typen designs gezien met 2 factoren

Nu specifiek design met 2 factoren van between typen. Quasi gerandomiseerd experiment. Over causale verbanden, alleen kunnen we niet randomiseren. Nomraal alleen experimentele manipulatie en voor e rest geen verchillen door random toewijzing. Waarom dan quasi-experimenet? Want dan geen lternatieve verklaringen uitsluiten. Maar in praktijk kan je soms niet random toewijzen vna proefpersonen. Bijvoorbeeld niet praktisch of ethisch.

Hoe kan dan toch causaule verbanden? Zie voorbeeld. Wat blijkt bij zelf kiezen, dan kiezen meer meisjes voor extra. Dus kn je afvragen of resultaat verschil door huiswerk of door gender komt.
Probleem dan. Dan kunnen we tweeweg anova gebruiken om alternatieve verklaring uit te sluiten, door sekse mee te nemen. Kijken of effect van maken van huiswerk hetzelfde is voor zowel meisjes als jongens, dan kn je zeggen dat huiswerk effect heeft.
conditie is niet enige factor. We hebbne ook sekse om rekening mee te houden. 3^e hypothese gaat specifiek over hoe conditie en sekse samen effect hebbne, dus interactieeffect.
zo zien hypotheses er dan uit. Dus bij tweeweganova altijd 3 hypothesen.

Ahv platje moet je kunnen kijken is er hoofdeffect en/of interactieeffect. Gemiddelden in controleconditie en experiementele conditie. Dan zie je dat gemiddelde van 2 ocndities gelijk zijn, dus gee hoofdeffect. Dan van sekse, gemiddeld ejongen en msijes bekijken, dan zie j gemiddelde meisjes stuk hoger dan jongens, dus hoofdeffect van sekse.

Zwarte stippen zijn hoofdeffecten conditie. En rode en paarse stip hoofeffect sekse. Voor interactie effect moet je kijken of lijnen parallel lopen, dan is dus geen interactieeffect.

In zo’n plotje zie je dus wat er aan de hand is in de steekproef. Kunnen we generaliseren naar populatie? Daarvoor 2 weg anova. Toetsingstabel met 3 verschillende effecten. Ieder van effecten toetsen ahv f-toets. Daarbij hoort p-waarde, overschridjignskans, om hoofdeffect of interactieeffect te zien. Hier hoger van .05 dus verwerpen nulhypothese niet, dus geen hoofdeffect van groep. Wel van sekse. Gemiddelde meisjes dus blijkbaar hoger adn jongens. Voor interactie effect nulhypothese verwerpen.

Eta kwadraat was proportie verklaarde variantie. In tweeweg anova owrd variantie verklaard door opgedeelde verkalrarde varianties van verschillende effecten. Hier verklaart allene sexe deel van variantie.

Gemiddeldne ongelijk, dus hier wel hoofdeffect van conditie. Ook hoofdeffect van sekse, want mesjes hoger dan jongens. Geen interactieffect, want lijnen lopen parallel.
we zien nu p-waarden indd beide onder .05. we zien proportie verklaarde variantie is totaal 45%.

3^e situatie. Hoofdeffect conditie. Hoofdeffect sekse. Maar hier ook interactie effect want lijnen lopen niet parallel.
dat zien we ook bij p-waarden. En hier totale kverklaarde variantie .35 ofwel 35%

Nog een situatie. Interactie effect want niet paralle.  Jongens scoren namelijk beter in ene conditie dan andere, daar meijses beter. Hoofdeffec tonditie: ongeveer gelijek gemiddelde dus geen hoofdeffec tonditie. Bij sekse is dat ook. Dus ook geen hoofdeffect sekse. Maar wel interactieeffect. En dat zie je in toetsingstabel dus.

Als we sekse niet hadden meegneomen in de analyse, dus eenweg anova, dan hadden we gezien 8 en 2 dus effect in conditie maar dan hadden we niet meegenomen dat er meer vrouwen in experimentele conditie zaten, dus significant effect gevonden van huiswerk maken, terwijl dat niet zo is, omdat het quasi-experiment is. Bij tweeweg anova zien we namelijk dat hoofdeffect groep .70 is dus niet verwerpen van nulhypothese dus geen hoofdeffect van groep, maar wel van sekse, want die wel kleiner dan .05. Dus met tweeweg anova kan je mogelijke alternatieve verkalringe meenemen

Random factoren in experimentele designs

ABBA: volgorde waarin treatments krijgen verschilt. Daar is tussenpersoons de volgorde en treatment is voor allen

Random factor is belangrijk als proefpersonen op bepaalde manier geclusterd zijn. Bij clustering moet je die meenemen in analyse, door random factor.

De random factor is hier de leraar. Belagnrijk onderscheid tussen fixed en radnom factor. Als je nog een keer onderzoek doet, dan is fixed factor groep en cijfer. Maar je gaat klassen van andere leraren doen, dus dat is random factor.

Om uit te sluiten dat die random factor alternatieve verklaring is, moet je die meenemen. Als dan geen effect van extra huiswerk maar wel van leraar is, dan dus geen effect van fixed factor maar van random factor leraar.

in an analysis of variance, an independent variable with multiple levels, each of which is assigned to or experienced by a distinct group of participants.

A within-subjects factor is an independent variable in which participants are exposed to more than one level. ... A paired-samples test is used if you have only one independent variable and that variable only has two levels.

Tweeweg ANOVA met Bayesiaanse statistiek

Groot voordeel van Bayesiaanse hypothese is dat je informatieve hypothese kan gebruiken, zodat je expliciet verwachtingen van onderzoeker kan gebruiken.

Weer zelfde voorbeeld. Hoofdeffec tonditie, want lager in eperimetnel conditie. En hoofdeffect sekse, want meisjes hoger. En geen interacite want parallele lijnen.
eerst hypothese opstellen. 1^e gaat over hoofdeffect ocnditie/groep. Geen hoofdeffect. Weergegeven mu (gemiddelde populiate) mieden in controle PLUS gemiddelde jongens controle IS GELJK aan gemiddelde meiden experiemente en gemiddeld ejongen experimentele. In H1 stat dus gemiddelde controle conditie is gelijk gemiddelde xperiemntele conditie. Dus geen hoofdeffect conditie.
Zlefde kan je doen voor sekse. In h2 staat er is geen hoofdeffect van sekse.
3^e. geen interactie betekent dat vershicl jongen en meijses zelfde is in controle als experimentele conditie. Dus rode vierkantje min paarse vierkantje van meijse min jongen bij controle en vervolgens bij experimenteeel. Kortom geen interactie effect.

In JASP ziet het er zo uit. Om tweeweg anova uit te voeren hebben we extra variabele nodig, de combinatie van onze 2 factoren. Die combi geeft aan meijse uit experimentele conditie bijv. Daarmee vatten we 4 groepen samen.
om BAyesiaanse controle uit te voeren, afhankelijke variable = cijfer en fixed factor is die combi variabele. Vervolgen hypothese invoeren onder model constraints.
nu geen gebruik van posterior model kansen, want alleen als 3 of meer hypothesen vergelijken. Nu willen we 3 hypothesen op zichzelf vergelijken, dus h1 met alternatief bijv. Dat doen we ahv bayes factor. [SJ(15] Dus Bf voor h1 tegenover h0 is heel klein getal, dus bijna geen support voor h1 tegenover het alternatief. H1 zei er is geen hoofdeffect van groep. Dus Bf geeft aan amper support ovor geen hoofdeffect tov wel, dus steun voor wel hoofdeffect tov geen hoofdeffect.
Voor h2 geldt hetzelfde.
ofwel kleine BF wss wel hoofdeffect.
tenslotte h3. H3 zei geen interactieeffect, daarvoor 5x meer suport dan voor wel.
dus wel hoofdeffect grope en sekse, maar geen interactieeffect.

Dat waren gewone hypothesen, maar een van voordelen van Bayesiaanse is juist informatieve hypothese gebruiken.
stel onderzoek verwacht het volgende: meisjes beter scoren als ze hw maken en scoren sws hoger.
dan volgende informatieve hypothese:
hi: verschil tussen jongen en meisjes ocntroleconditie is kleiner dan verschil jongens en meidjes in experiementele conditie.
volgende verwachting is gemiddelde controle meisjes hoger dan gemiddelde jongens controle. En nog meer: vwrachten dat gemiddelde controle meisjes lager dan gemiddelde ocntorl experiementel meijses. Zo figuur helemaal gevangen in hypothesen. Complement is niet mijn hypothese. Dat kan ook weer met JASP. In het veld zetten we informatieve hypothesen zoals net. Dan krijgen we Bf van informatieve hypotehse tegeonver complement. Hier 2,437 keer meer support voor informatieve hypo tov complement. Dus meer voor mijn ttheorie dan voor niet die theorie. Nu is wel die 2,437 niet hele grote Bayes factor. Nog goed om te noemen dat ook nog table met descriptives statistics. Daar zie je gemiddelde per groep. En credible intervals, zijn Bayesiaanse tegenhangers van betrouwbaarheidsinterval.

Conclusie: 2,44 keer meer stuen voor alternative dan complement. Maar is niet heel veel? Is hypothese/thoerie wel juist? Dan meer bwijs verzamelen. Dan ga je nog meer proefpersonen verzamelen en tweeweg anova opnieuw uitoveren en Bf uitrekenen. Zo doorgaan tot j evind dat er wel voldoende bewijs is. Je ziet Bf ook stijgen met aantal personne. Voordele van Bf is dus dat je personen kan toevoegne. Bij NHST-benadering mag dat niet! Daar kan je power-analyse doen. Dan kan je van tevoren kijken hoeveel proefpersonen je nodig hebt. Dan tweeweganova met vuistregel die je kan gebruiken. Je kan uitgaan van tabel voor cohens d maar dan voor 2 gropeen, ongeacht aantal groepen dat je daadwerkelijk hebt. Dus als je medium effect verwacht, dan moet je 64 mensen per groep. Maar in ons geval met 4 groepen dan moet je al 4x64 proefpersonen hebben.

Maar dus goed in de gaten: als Bf niet overtuigend genoeg, dan mee rproefperosnen benaderen, maar met NHST moet je van tevorne weten hoeveel proefpersonen je moet benaderen.

Voor je zelf kijken naar voor- en nadelen en overeenkomstne n everschillen van eenweg & tweeweg ANOVA voor zowel Bf als NSHT.

In deze les heb je kennisgemaakt met tweeweg ANOVA met NHST en Bayesiaans, en random factoren in experimentele designs.

Je kunt meer oefenen met de leerstof door het maken van de volgende exercises.

Experimenteel Hoorcollege 4

Experimenten en de empirische cirkel: designs en analyse

Het is een soort lijstje, heel belangrijk!! Belangrijk vanwege replicatie crisis. Scepsis tov psychologie. Dus moeten we goed onderzoek doen volgens empirische cirkel.
bij onderzoeksontwerp zou gerandomiseerd experiment bijvoorbeeld goed zijn. Maar ook eenweg en tweeweg anova zijn opties.
gemiddelden zijn gelijk vs zijn niet gelijk als hypotheses bijvoorbeeld.
preregistratie: alles schrijf je al, maar je verzamelt nog geen data en analyseert deze nog niet en dus geen conclusie.
stap 4 vervolgens.
stap 5 toetsen van hypothesen, dan rapportage.
dan nieuw stap: replicatie onderzoek. Als iemand anders het onderzoek over doet.

Eenweg designs: grandomiseerde expriment & eenweg ANOVA.
tweeweg designs: klassiek experimenteel, coutnerbalance (geen voor en na meting maar A en B meting), tweeweg met between en random factor (random factor is bijv leraar; radom factoren bij leraren, therapeuten, bedrijven), tweeweg design met 2 between factoren (soms kan je niet randomiseren als bijv mensen kunnen kiezen in welke groep ze willen zitten, als dan verschil is afhankelijke variabele, daarvoor is mogelijk alternatieve verklaring)
!je moet kunnen kiezen welk design beste is

H0 toetsen we met p-waarde. Kans op vershcil tussen twee steekgproefgemiddelden of groter.als p-waarde kleiner dan .05 dan verwerpen nulhypothese. 5% kans fout dus. P
power is standaard .80. we willen minimaal 80% kans om nulhypothese te verwerpen als deze niet. Power heeft invloed.

Bayesisaans evaluatie met Bayesfactor. Bij Bf=10 dan 10 zo veel meer steun voor H0 dan voor Ha.  Je ka zegen Hc is mijn theorie, dan is H0 er is geen verband. PMP is kans dat nul waar is , bijv.  Gi of Ga, gegeben de data.
Dus 3 kansen die zamen opotellen tot nul. Bij HA kiezen is 85% kans goed maar nog steeds 1% kans fout. Als je meer zekerheid wil, kan je meer peroeperosnen benaderen. Ayesisaans updaten is alternatiev voor poweranalyse. Van NSHT.

Er moet wel voldaan zijn aan de voorwaarden voor ANOVA. Bij ontwerp studie moet je al opnemen wat je gaat als een van de aannames is geschonden.

Modelaannames bij ANOVA: onafhankelijkheid

4 aannames:

• Scores van personen op afhankelijke variabelen zijn Onderling onafhankelijk
• Geen uitbuiters in scores van personen op afhankelijek variabele
• Binenn elke groep scoren afhaneklijek variablee normaal verdeeld
• Variantie scores afhankelijke gelijk in elke groep

De eerste 2: onafhankelijk en afwezigheid uitbuiters, zijn heel belangrijk. De laatste 2, normale verdeling en homostaciditeit, zijn beduidend minder belangrijk.

1^e: als ik score krijg op afhankelijke variable, dan is die score onafhankelijk verkregen van scores die u krijgt op afhankelijke variabele.
Dat is niet zo bij bijv kinderen binnen schooklassen. Rekenscores zijn niet onafhankelijk, want je hebt allemaal dezelfde goede leraar. Dan is aanname van onafhankelijkheid geschonden.
tevredenheid van werknemers. In vleesverwwerkende industire lager dan bij google, want google heeft groot personeelsbeleid. Dus in vleesverwerkende industie is hun tevredenheid niet onafhankelijk, want doro bedrijf. Dus tevredenheid van werknemers hangen van elkaar af omdat ze bij zelfde bedrijf werken. Dna moet je doen: tweeweg design, met exprimentele factor en random factor, wie was de leraar of wat was het bedrijf waar de persoon werkte. Dus als aanname van onafhnakelijkheid niet opgaat, dan moet je werken met betweenfactor en randomfactor (leraar, therapeut, of bedrijf).

Modelaannames ANOVA: uitbijters

Eerst uileg wat een boxplot is. Groene is doos. Zwarte strepen zijn snorren. Zwarte cirkels zijn uitbijters. Weergaven van lichaamsgewicht van alle studenten in de zaal. Met boxplot kan je snel indruk krijgen van hoe gewicht verdeeld is in de zaal.
de doos: links is 1^e kwartiel. Linkerkant van doos is 25% van waarnemingen van gewicht. Dus 25% gewicht kleiner dan 60 kg. Rechterzijde doos is 3^e kwartiekl 25% gewicht groter dan 100 kg. Dus tussen linker en rechtkerant van doos ligt 50%. Rode streepje in doos is mediaan, dat is het middelste gewicht. Beneden mediaan ligt 50% van gewichtsscores en erboven ook.
lengte van de doos (horizontaal) is interkwartielafstand, daar ligt 50% van scores. Uiteinde van snor geeft laatste waarneming van data aan die nog binnen 1,5 interkwartielafstand van doos ligt. Rode streepjes geven 1,5 keer interkwartielafstand aan. Uitbijter ligt verder dan 1,5 kwartielafstand af van box. Alles binnen snorren zijn normale waarnemingen. Uitbijters zijn dus lastige waarnemeningen. Omdat: bij anova gaat om vergelijken van gemiddeldes. Maar uitbinters kunen grote invloed op gemiddeldes hebben.
we zien hier 3 groepen. Aanname is dat in elke groep geen uitbijters zijn. Moet per groep. In boxplot groep 2 ziet het er aardig uit. Mediaan midden in doos en gemiddelde (ster) is prima, want geen uitbijters. Maar bij groep 1 zijn 3 uitbijters. 3 waarden zo groot dat ze niet normaal zijn. Gevolg is dat gemiddelde ver van mediaan ligt. Want uitbijters trekken aan gemiddelde.
het liefst hebben we dat gemiddelde en mediaan overeenkomen.
een uitbijter kan maken dat een gemiddelde betekenisloos is. Als je uitspraken wil doen over studenten, dan wil je uitspraken doen over mensen die mensen die al gepensioneerd zijn.  Dus die oude mensen wil je misschien verwijderen uit je data.
al bij onderwerp van je onderzoek moet je rekening houden met uitbijters. Eerst schrijf je dat dat waarneming is die meer dan 1,5 interkwartielafstand van de groep ligt en daarna zeg je als ik dat vind, verwijder ik ze en beargumenteren waarom. Dus alstijd wat is het, wat doe je als je ze tegenkomt en wat de uitbijters voorstellen. Je ziet gemiddelde met en zonder uitbijters in shiny app. Dan zie je weer dat aan gemiddelde getrokken wordt door uitbijters. Als je naar boxplot gaat, zie juitbijter bij groep 1. Oefenen met shiny app

Modelaannames ANOVA: normaliteit

Onafhankelijkheid was heel belangrijk. Gebbruik 2weg design met random and between.
uitbijters verwijderen en interpreteren waarom uitbijters zijn (gepensioneerden zijn geen doorsnee studenten).
beiden hele belangrijke aannames.

Komende aannames van midner belang
normaliteit betekent dat in elke groep verdeling er ongeveer zo moet uitzien. Moet voor elke groep. In onderstaande plaatje is het echt niet normaal. Geen top, geen daling richting extremen. Dit komt veel vaker voor dan je zou denken. Anova is robusst, kan tegen schending normaliteit.

Vinden we deze historgrammen normaal? Ja vrij normaal: top en naar zijkanten toe neemt het af. Boxplot zie je hetzelfde: mediaan ruwweg in het midden van de doos, snorren ongeveer even lang. Nog wel paar uitbijters, daar moet je wat mee doen, maar verder heel mooi.
maar groep 1 en 2 echt niet normaal. Kan je ook zien aan boxplot. Mediaan niet ni midden doos, snorren niet even lang en veel uitbijters. Maar uitbijters verwijderen gaat niet helpen.

Samenvattend: je hoeft je eigenlijk allen te wapenen tegen hoge score die afneemt. Je moet boot strap schattingen en p-waarden gebruiken. Het enige dat je moet weten is dat bij dramatische schending normaliteit, dan moet je niet normale statistiek gebruiken, je hoeft nog niet te weten hoe dit werkt. Dit moet je ook opschrivjen in preregistratie dat als je dit tegenkomt, dat je bootstrap met p-waarde gaat gebruiken.
shiny: p-waarde voor anova en p-waarde voor bootstrap. Dat bevestigt dat schending van normaliteit niet zo erg is.

 

Modelaannames ANOVA: homoscedasticiteit

4^e aanname van homoscedasticiteit: variantie in scores is van elke groep hetzelfde. Die drie varianties zijn gelijk zegt de aanname. Deze aanname is bijna nooit relevant geschonden. Er is een regel: als groepen in grootte niet meer dan factor 4 van elkaar verschillen, mogen varianties in factor 10 van lekaar verschillen. Pas als dat meer is, heb je ene probleem.

Voorbeeld 1: groepen even groot. Standaarddeviaties moet je kwadrateren voor varianties. Hier geen enkle probleem als je 36 door 10 deelt.

Bij voorbeeld 2 wel probleem, ondanks groepen even groot, 49 delen door 10 is meer dan 4.

Voorbeeld 3: verschillen meer dan factor 4 van elkaar in groepsgrootte. Vairanties verschillen factor 9, is wel minder dan 10, maar toch probleem, want groepsgrootte verschillen meer dan factor 4 van elkaar en varianties verschillne ook veel.

Bij schending van homoscedasticiteit: vervang gewonen p-waarde door bootstrap p-waarde. Maar belang is in preregistratie opschrijven dat je bij anova doen gaat kijken naar aanname homostecdiatiet en dat je geen schending vind als grootse groepsgrootte gedeeld door kleinste minder dan factor 4 oplevert én als grootse gedeeld door kleinste variantie factor 10 oplevert. Als dat geval is, is er geen probleem. Als wel gevalt is, dan shcrijf je op in pre-regsotratie dat je gwoene p-waarde vervangt door bootstrap p-waarde.

je zal in sinhy appe zien  dat bijna geen verschil tussen p-waarde en bootstrap p-waarde zal zijn.

Preregistratie

Je hebt je te houden aan empirische cirkel. Open en eerlijk en transparant zijn om crisis tegen te gaan. 2 belangrijke stappen uit de cirkel wil hij nogmaals benadrukken. Pre-reigstratie oppert u uw onderzoek voor de wereld. U vertelt voor elke stap van de empirische cirkel wat u gaat doen. Minimaal de volgende zaken moeten er in (zie slide).
als je houdt aan preregistratie stappenplan is geen sprake van questinable prectices. Maar als dat niet lukt, is dat niet raar, wat je dan moet doen is eerlijk zijn in rapportage. Dan ben je eerlijk, open, transparant. Dan draag je nog steeds bij aan wetenschap.
laatste stap onderzoekscirkel is replicatie. Als 2 mensen onafhankleijk iets onderzoeken en zelfde vinden, dan kan je vertrouwen gaan krijgen in uitkomsten.

Kijk naar transparanten van college 5. Allemaal woorden staan daar, die termen moet je kennen voor tentamen. 

In deze les heb je kennisgemaakt met verschillende experimentele designs en modelaannames die bij het uitvoeren van een ANOVA een rol spelen. 

Je kunt meer oefenen met de leerstof door het maken van de volgende exercises.

E2A: ANOVA - ASSUMPTIES CHECKEN

In practicum 3 hebben we gekeken hoe we met behulp van een ANOVA kunnen onderzoeken of groepen van elkaar verschillen op een uitkomstvariabele. Zo heb je bijvoorbeeld onderzocht welke condities van elkaar verschillen in hun toename in scores op hoofdrekenen. Hierbij hebben we echter één ding achterwege gelaten: checken of aan de voorwaarden is voldaan. Bij het uitvoeren van een t-toets heb je al wel kennis gemaakt met het checken van assumpties, door te kijken naar side-by-side boxplots.  

In dit practicum zullen we kijken hoe je de assumpties voor een ANOVA kunt checken. Spoiler alert: dit gebeurt grotendeels met behulp van grafische weergaven, zoals boxplots en histogrammen. Omdat SPSS zich beter leent voor het maken van dit soort grafieken, zullen we dit practicum in SPSS uitvoeren.

Zoals je ziet, zijn er dus vier aannames die van toepassing zijn op een ANOVA. Voor drie daarvan kunnen we in SPSS controleren of aan de voorwaarden is voldaan. Dat zijn:

1. Er zijn geen uitbijters (outliers) in scores van personen op de afhankelijke variabele
2. Binnen elke groep zijn de scores op de afhankelijke variabele normaal verdeeld
3. De varianties van de scores op de afhankelijke variabele zijn gelijk in elke groep

We zullen nu stapsgewijs gaan controleren of aan deze voorwaarden is voldaan. Hierbij zal je eerst leren hoe je dit kunt doen. Later krijg je de opdracht om al deze aannames zelf te controleren voor een van de onderzoeksvragen van practicum 3.

Aanname: afwezigheid van outliers

Om te controleren of er zeer extreme scores voorkomen op de afhankelijke variabele, maken we gebruik van een boxplot. Als het goed is, heb je in practicum 1 al geleerd hoe je een boxplot kunt maken. Wanneer je een boxplot maakt, labelt SPSS gelijk alle outliers. In de output krijg je dan de boxplot te zien met voor de outlier een bolletje met een cijfer erbij. Een voorbeeld hiervan zie je hieronder:

Zoals je tijdens college geleerd hebt, is het belangrijk dat je altijd controleert waar een outlier vandaan komt. Het cijfer dat bij het bolletje staat is de participant met de extreme score, zodat je in je dataset makkelijk kunt terugzoeken wat de waarde is. Misschien is er namelijk wel een typfout (typo) gemaakt, of hoort de persoon helemaal niet in je steekproef. Natuurlijk kan het ook zo zijn dat iemand gewoon extreem hoog of laag scoort. 

Aanname: normaliteit

De tweede aanname die je in SPSS gaat controleren is die van normaliteit: de scores op de afhankelijke variabele binnen alle groepen moeten normaal verdeeld zijn. 

Zoals je hebt gezien kunnen we een histogram gebruiken om de aanname van normaliteit te controleren. Net als de boxplot vraag je deze op via Graphs > Chart Builder. Rechts zie je een optie 'Display normal curve' staan, welke je kunt aanvinken om de normaalcurve beter te kunnen zien. Hieronder zie je een voorbeeld. 

Zoals je ziet krijg je een mooie curve en zien we een prachtige normaal verdeling!

Aanname: homoscedasticiteit

Homoscedasticiteit is een moeilijk woord voor gelijke varianties. Een aanname van ANOVA is dat de varianties van de scores op de afhankelijke variabele gelijk zijn in elke groep. 

Net als de aanname van een normale verdeling, kunnen we ook de aanname van homogeniteit van varianties op een visuele manier inspecteren. We gebruiken hiervoor de boxplot, waarbij we kijken naar de interkwartielafstanden (IQRs). 

Wanneer de interkwartielafstanden van de verschillende groepen ongeveer even groot zijn, weten we dat de aanname niet is geschonden. 

Zo, dat waren de assumpties! We hebben verschillende boxplots en histogrammen gemaakt, maar soms zouden we willen dat deze er net iets mooier uitzien. Denk bijvoorbeeld aan een ander kleurtje, een ander lettertype of een andere schaal van de verschillende assen. 

We besteden daarom nu nog even aandacht aan hoe je een aantal basisaanpassingen kunt doen aan je grafieken. Als uitgangspunt nemen we daarvoor de boxplot die je bij de vorige vraag gemaakt hebt. 

Dubbelklik op de boxplot in de output. Als het goed is, opent nu het scherm 'Chart Editor'.

In de Chart Editor kan je van alles aanpassen. We beginnen met de kleur van de boxplots. Dubbelklik op het blauwe gedeelte van één van de boxplots. Ga naar 'Fill & Border', kies een kleur die je leuk vindt en klik op 'Apply'. 

Extra opties:

• Als je uit meer kleuren wilt kiezen, klik dan op 'Edit' 
• Als je een patroon wilt in je boxplot, klik dan op het dropdownmenu onder 'Pattern' 

Op zo'n zelfde manier kun je ook tekst of lijnen aanpassen. Probeer maar eens de titel aan te passen! 

Tot slot gaan we nog twee dingen aanpassen: 

1. De schaal van de Y-as
2. De afmetingen van de hele grafiek

De schaal van de Y-as

Dubbelklik op de getalletjes langs de Y-as en selecteer het tabje 'Scale'.  Je kunt nu het minimum, het maximum, de stapgrootte en de plek van de oorsprong aanpassen. Stel het maximum bijvoorbeeld in op 100 en klik op 'Apply'. Maakt dit voor een mooie grafiek?   

De afmetingen van de grafiek

Klik nu op het tabje 'Chart Size'. Stel Height en Width in op dezelfde waarde (je moet het vinkje weghalen bij 'Maintain aspect ratio'). Maak ze bijvoorbeeld beide 300 en klik op 'Apply'. 

Probeer zelf ook nog eens wat aan te passen. Tekst, kleur, patroon, wat je wilt. 

Samenvatting:

Dat waren de aannames alweer! In deze les heb je geleerd:

• Hoe je verschillende assumpties van ANOVA kunt checken in SPSS
• Hoe je de grafische aspecten van een grafiek kunt veranderen 

Belangrijk!

Voor de challenges ga je zelf controleren of aan de voorwaarden is voldaan voor de onderzoeksvraag van het vorige practicum (verschil in toename hoofdrekenen tussen condities). Omdat er in het SPSS nog geen variabele is voor de toename in scores op hoofdrekenen tussen de voormeting en nameting, moet je deze eerst nog maken. In practicum 1 heb je al geleerd hoe je dit doet, maar hier volgt nog een beetje hulp:

Transform > Compute Variable > Target Variable: toename_hoofd > Numeric Expression: hoofdn - hoofdv > OK

Als het goed is, is nu de variabele toename_hoofd aangemaakt en kan je beginnen met de challenges!

dom foutje haha

dit is wel belangrijk, als er vooral veel rechts ligt, is de verdeling dus linksscheef

ik had het per groep gedaan, maakt dat nog uit?[SJ(16] 
 

E2b: Tweeweg ANOVA in JASP

In het vorige practicum hebben we gezien dat conditie een effect had op de toename in scores van hoofdrekenen (toename_hoofd). De post-hoc toets liet zien dat leerlingen in de groep 'directe instructie' significant hoger scoorden dan kinderen in de groep 'eigen inbreng' en 'controle'.  

Nu gaan we kijken of dit effect anders is voor jongens en meisjes. Oftewel: is er een interactie tussen conditie en sekse. 

Volg de onderstaande stappen. Let op! Als je de vorige keer het bestand niet hebt opgeslagen, moet je eerst een nieuwe variabele aanmaken voor de toename in scores op hoofdrekenen.
 

1. Klik op ANOVA > ANOVA
2. Voer bij Dependent Variable de variabele toename_hoofd in
3. Voer bij Fixed Factors de twee variabelen conditie en sekse in
4. Klik op Model. Onder Components zie je de onafhankelijke variabelen die in de tweeweg ANOVA worden meegenomen. Onder Model terms zie je de termen die in de output verschijnen. Dit zijn er drie:
   1. Het hoofdeffect van conditie
   2. Het hoofdeffect van sekse
   3. Het interactie-effect conditie × sekse

Als het goed is, heb je de volgende output gevonden:

Zoals je ziet, is het hoofdeffect van conditie nog steeds significant, F(2) = 9.26, p < .001.

We kunnen dus concluderen dat het effect van conditie op de toename in scores van hoofdrekenen waarschijnlijk hetzelfde is voor jongens en meisjes. 

Natuurlijk zijn er nog veel meer dingen die we kunnen onderzoeken! We zijn bijvoorbeeld geïnteresseerd in het effect van ervaring op de follow-up scores van automatiseren 2 (aut2f), en of dit effect anders is voor leerlingen uit het basisonderwijs of speciaal onderwijs (typeow).  

Opdracht: Voer een (tweeweg) ANOVA uit om dit te onderzoeken. Vraag ook om beschrijvende statistieken.

Op basis van de output van een tweeweg ANOVA kunnen we concluderen of er sprake is van een significant effect of niet. Hierbij kijken we altijd naar de p-waarde. Wat deze p-waarde ons niet vertelt, is de grootte van dit effect. Hiervoor gebruiken we een maat van effectgrootte. Voor ANOVA en tweeweg ANOVA is dat \eta^2η2. 

Om \eta^2η2 in de output toe te voegen, gebruiken we de volgende stappen:

1. Klik onder de ANOVA op "Additional Options"
2. Vink onder Display, 'Estimates of effect size' aan
3. Bij een tweeweg ANOVA gebruiken we 'partial \eta^2η2', dus plaats een vinkje voor partial \eta^2η2en haal het vinkje bij \eta^2η2 weg
4. In de output verschijnen nu de effectgroottes. 

NB: Onder dit balkje kun je ook de beschrijvende statistieken vinden, mocht je die nog niet gevonden hebben. 

Op basis van de output van een tweeweg ANOVA kunnen we concluderen of er sprake is van een interactie-effect of niet. Hierbij kijken we altijd naar de p-waarde. Wat deze p-waarde ons niet vertelt, is wat de interactie precies betekent. Oftewel: hoe is het effect van ervaring op de follow-up meting van automatiseren 2 nu anders voor de verschillende typen onderwijs. 

Een voorbeeld ter illustratie: is het hoofdeffect van ervaring groter voor leerlingen in het basisonderwijs? Of is het effect juist groter voor leerlingen in het speciaal onderwijs? 

Daarom is het handig om de verschillende effecten visueel te maken met behulp van een grafiek.

Om dit te kunnen doen, gaan we een gemiddeldendiagram maken. Hiermee maak je visueel hoe het interactie-effect eruit ziet. 

1. Klik onder de ANOVA op "Descriptive Plots"
2. Horizontal axis: ervaring
3. Separate lines: typeow
4. In de output verschijnt nu het gemiddeldendiagram. 

Zoals we net hebben gezien, weten we nu hoe het interactie-effect eruit ziet en kunnen we de onderzoeksvraag beantwoorden. Er is echter één ding dat je normaal gesproken altijd eerst moet doen, maar welke wij hebben overgeslagen: voorwaarden controleren.

Inmiddels weet je dat je de volgende voorwaarden altijd eerst moet controleren, voordat je de analyse gaat uitvoeren:

• uitbijters
• normaal verdeeld
• homogeniteit van varianties

Om deze voorwaarden te controleren, maken we gebruik van SPSS. We houden hierbij dezelfde onderzoeksvraag in gedachten, dus of ervaring een effect heeft op de follow-up meting van automatiseren 2 en of dit effect anders is voor de verschillende typen onderwijs.

Als het goed is, heb je het bestand al geopend in SPSS, dus kan je meteen aan de slag!

Aanname: afwezigheid van outliers

Om te controleren of er zeer extreme scores voorkomen op de afhankelijke variabele in de verschillende groepen, maken we gebruik van een boxplot. Dit lijkt heel erg op hoe je het geleerd hebt voor een éénweg ANOVA, maar voor een tweeweg ANOVA is het toch nét iets anders.

Stel dat we alleen geïnteresseerd zijn in het effect van ervaring op aut2f. In dat geval maken we twee boxplots: één voor de groep met weinig ervaring en één voor de groep met veel ervaring.
Wanneer we typeow als tweede onafhankelijke variabele toevoegen, hebben we ineens vier condities:

1. weinig ervaring - basisonderwijs
2. weinig ervaring - speciaal onderwijs
3. veel ervaring - basisonderwijs
4. veel ervaring - speciaal onderwijs

Voor al deze vier condities moeten we een aparte boxplot maken. Dit kan door het maken van een geclusterde boxplot:

1. Graphs > Chart Builder
2. Gallery: Boxplot > Clustered Boxplot (tweede plaatje)
3. X-as: ervaring; Y-as: aut2f; Cluster on X: typeow
4. Klik op OK 

Aanname: homoscedasticiteit

Om te controleren of er sprake is van homogeniteit van varianties, gebruiken we ook de net gemaakte boxplots. Hierin kijken we of de IQRs ongeveer even groot zijn.

Aanname: normaliteit

Om te controleren of de scores op de afhankelijke variabele binnen elke groep normaal verdeeld zijn, maken we wederom gebruik van een histogram. Hierbij geldt hetzelfde voor de boxplots: we hebben nu niet twee groepen, maar vier! Dat betekent dat we ook vier histogrammen moeten maken. Een voorbeeld daarvan zie je hiernaast. 

let op dat aut2f hier dus op de x-as moet, je wil bij histogram je afhankelijke variabele op x-as!

Samenvatting:

In deze les heb je geleerd:

• Hoe je een tweeweg ANOVA uitvoert in JASP
• Hoe je de voorwaarden van een (tweeweg) ANOVA kunt controleren in SPSS

In de opdrachten die volgen kun je controleren of je de juiste output hebt gemaakt én of je de stof begrepen hebt. 

Let op: voor spreiding moet je dus kijken naar de box en niet naar de snorren!!!

belangrijk!

let op dat het niet standaard 4 is!

let op dat conditie op x-as logischer is dan sekse, ook al zijn het beiden onafhankelijke variabelen!

E2c: tweeweg ANOVA met gerichte post-hoc

Voer een tweeweg ANOVA uit (een normale, met p-waarde) om de effecten van zowel conditie als typeow op de toename van hoofdrekenen te toetsen (toename_hoofd). 

Vraag ook een interactie-diagram op, met conditie op de horizontale as en typeow als de aparte lijnen. 

In JASP kun je grafieken helaas niet zo mooi aanpassen als in SPSS. We kunnen de grafiek gelukkig wel iets breder maken, waardoor de namen op de X-as beter zichtbaar worden. 

Hiervoor gebruiken we twee "trucjes": 

1. Klik eerst op OK, als je dat nog niet gedaan had. Dit sluit de analyse af. Nu heb je als het goed is de data links in een venster en de output rechts. Als je nu op de balk tussen de twee vensters klikt, kun je deze naar links of naar rechts schuiven om óf de data óf de output groter te maken. Schuif de balk naar links, waardoor het outputvenster groter wordt.
    
2. Wanneer je de muis boven de grafiek beweegt, verschijnen er rechts onderin drie streepjes, die samen een driehoekje of een pijltje vormen. Deze kun je naar rechts slepen, waardoor de grafiek breder wordt en de namen op de X-as beter leesbaar worden. 

Laten we eens goed naar de grafiek kijken. Bij een "klassieke" tweeweg ANOVA kunnen we drie vragen beantwoorden:

1. Zijn de verschillen tussen de twee types onderwijs significant?
   Hiervoor kijk je naar het gemiddelde van de drie witte bolletjes en het gemiddelde van de drie zwarte bolletjes. 
2. Zijn de verschillen tussen de drie condities (onderwijsmethoden) significant?
   Hiervoor kijk je per conditie naar het gemiddelde van het witte en zwarte bolletje. Hoe vergelijken deze drie gemiddelden zich met elkaar?
3. Is het effect van conditie verschillend voor de twee types onderwijs?
   Hiervoor kijk je naar het verloop van de lijn met de witte bolletje en het verloop van de lijn met de zwarte bolletjes. Wanneer deze patronen heel verschillend zijn, spreken we van interactie. 

Bij een Bain ANOVA kunnen we veel gerichtere vragen beantwoorden.

Wat zouden interessante vragen zijn? 

1. Is het verschil tussen de conditie 'eigen inbreng' en de controlegroep even groot voor het basisonderwijs en voor speciaal onderwijs? 
2. Is het verschil tussen de conditie 'directe instructie' en de controlegroep groter voor het speciaal onderwijs dan voor het basisonderwijs?
3. Het verschil tussen basisonderwijs en speciaal onderwijs voor zowel de conditie 'eigen inbreng' als de conditie 'controle' lijken even groot (zie evt. het interactie-diagram). We kunnen met Bain ANOVA toetsen of dit klopt. 

Dit soort gerichte vragen kunnen we met een standaard ANOVA of tweeweg ANOVA niet zomaar beantwoorden, maar met Bain ANOVA wel!

Om in Bain ANOVA groepen van twee factoren te kunnen vergelijken, moet er een nieuwe variabele aangemaakt worden waarin alle groepen apart aangegeven worden: 

• Voor de variabele typeow hebben we de groepen 'basisonderwijs' en 'speciaal onderwijs'.
• Voor de variabele conditie hebben we de groepen 'directe instructie', 'eigen inbreng' en 'controle'. 

Er moet nu een nieuwe variabele gemaakt worden die uit 6 groepen bestaat:

1. Basisonderwijs directe instructie
2. Basisonderwijs eigen inbreng
3. Basisonderwijs controlegroep
4. Speciaal onderwijs directe instructie
5. Speciaal onderwijs eigen inbreng
6. Speciaal onderwijs controlegroep

Helaas is het maken van deze nieuwe variabele binnen JASP (nog) niet mogelijk. Hiervoor hebben we het extra databestand op Blackboard geplaatst, waar deze variabele al in zit (variabele groep). 

In een extra les zullen we laten zien hoe je dit zelf in SPSS kunt doen, mocht je willen weten hoe dat moet. 

Om de notatie wat te versimpelen, hebben we de volgende afkortingen gebruikt:

• DI = Directe Instructie
• EI = Eigen Inbreng
• C = Controle

Belangrijk![SJ(17] 

Om een tweeweg ANOVA uit te voeren via Bain, moet je zelf (net als je geleerd hebt in les E1e) de hypothesen invoeren. 

Voor een reguliere tweeweg ANOVA is de hypothese voor het eerste hoofdeffect (type onderwijs):

H_0:\ \mu_{\text{basis}}=\mu_{\text{speciaal}}H0​: μbasis​=μspeciaal​   

Wanneer we te maken hebben met de 6 groepen die we nu hebben, wordt de eerste hypothese:

H_0:\ \frac{\mu_{\text{basis\_DI}}+\mu_{\text{basis\_EI}}+\mu_{\text{basis\_C}}}{3}=\frac{\mu_{\text{speciaal\_DI}}+\mu_{\text{speciaal\_EI}}+\mu_{\text{speciaal\_C}}}{3}H0​: 3μbasis_DI​+μbasis_EI​+μbasis_C​​=3μspeciaal_DI​+μspeciaal_EI​+μspeciaal_C​​

Het delen door 3 aan beide kanten maakt het zodat we kijken naar de gemiddelden die we willen vergelijken, maar voor de vergelijking maakt het natuurlijk helemaal niks uit. De hypothese die we zullen gaan toetsen wordt dan:

H_0:\ \mu_{\text{basis\_DI}}+\mu_{\text{basis\_EI}}+\mu_{\text{basis\_C}}=\mu_{\text{speciaal\_DI}}+\mu_{\text{speciaal\_EI}}+\mu_{\text{speciaal\_C}}H0​: μbasis_DI​+μbasis_EI​+μbasis_C​=μspeciaal_DI​+μspeciaal_EI​+μspeciaal_C​

In les E1e heb je geleerd dat je een hypothese in JASP kunt invoeren. De manier waarop je dat doet is door gebruik te maken van de volgende notatie om de verschillende gemiddelden aan te geven:

\verb|variabelelevel|variabelelevel 

Een voorbeeld zou zijn:

\verb|typeowspeciaal|typeowspeciaal

Op deze manier geef je het gemiddelde aan van de groep speciaal onderwijs binnen de variabele type onderwijs. 

Voer nu de hypothese voor het hoofdeffect van typeow in, in in het vak 'Model Constraints'.

Na de hypothese geef je een 'enter'. 

Om de hypothese te toetsen, geef je 'ctrl + enter'. 

m de tweeweg ANOVA af te maken, moet je ook de hypothese voor het hoofdeffect van 'conditie' invoeren én de hypothese voor het interactie-effect. 

Voor het hoofdeffect van 'conditie' kun je dezelfde strategie gebruiken als voor het hoofdeffect van 'typeow'. 

Voor het interactie-effect gebruik je de volgende hypothese:

H_0:\ \mu_{\text{basis\_DI}}-\mu_{\text{speciaal\_DI}}=\mu_{\text{basis\_EI}}-\mu_{\text{speciaal\_EI}}=\mu_{\text{basis\_C}}-\mu_{\text{speciaal\_C}}H0​: μbasis_DI​−μspeciaal_DI​=μbasis_EI​−μspeciaal_EI​=μbasis_C​−μspeciaal_C​

Onder deze hypothese zijn de verschillen tussen het basisonderwijs en het speciaal onderwijs binnen iedere onderwijsmethode hetzelfde. Dat is dus precies "geen interactie". 

Belangrijk: lage Bayes Factor wil zeggen weinig steun voor die hypothese![SJ(18] 

Voer nu de Bain ANOVA opnieuw uit. Begin weer met toename_hoofd als afhankelijke variabele en groep als 'Fixed Factor'.  

Probeer nu de gerichte post-hoc vragen in te voeren, op dezelfde manier als je hiervoor hebt gedaan. De hypothesen die we wilden toetsen, staan hieronder nogmaals herhaald:

1. Het verschil tussen de conditie 'eigen inbreng' en de controlegroep is even groot voor het basisonderwijs als voor speciaal onderwijs. 
2. Het verschil tussen de conditie 'directe instructie' en de controlegroep is groter voor het speciaal onderwijs dan voor het basisonderwijs.
3. Het verschil tussen basisonderwijs en speciaal onderwijs is voor zowel de conditie 'eigen inbreng' als de conditie 'controle' even groot.

Wanneer je gerichte hypothesen toetst is het belangrijk het volgende onderscheid te maken:

• Voor de hypotheses waarin minimaal één keer een =-teken gebruikt wordt, vind je in de kolom 'BF.c' de Bayes Factor van de betreffende hypothese versus de "unconstrained" hypothese (Hu). 
• Voor de hypotheses waarin alleen > of < (en dus geen =) worden gebruikt, vind je in de kolom 'BF.c' de Bayes Factor van de betreffende hypothese versus het complement (het tegenovergestelde).

Samenvatting

In deze les heb je geleerd hoe je in JASP een tweeweg ANOVA met gerichte post hoc hypotheses kunt uitvoeren (via het Bain menu). 

In de challenges kun je controleren of je de juiste output hebt te weten produceren en of je nog weet hoe je een gerichte hypothese in moet voeren.

Werkgroep 6 TOE

Informatie kun je vinden in de hoorcolleges en in Field! 

De uitwerking is vanaf 2 juni 9 uur beschikbaar op Blackboard. 

belangrijk!![SJ(19]  toetsen

Hier vast een schematische weergave van het toetskeuze proces. Kijk ook eens in Field, want uiteraard is de keuze in TOE nog beperkt, we breiden het aantal toetsen dat je kunt uitvoeren nog verder uit in VOS in het tweede bachelor jaar.

Het analyseplan is vooral ter ondersteuning van de data analyse, hierover wordt niet (zo uitgebreid) gerapporteerd in het onderzoeksartikel

Dus om een analyseplan te maken is het heel belangrijk dat je op een rijtje zet

- wat je (afhankelijke en onafhankelijke) variabelen zijn

- wat het meetniveau is van die variabelen

- wat de vraag is die je wilt beantwoorden

- welke toets het best aansluit bij je variabelen en de vraag die je wilt beantwoorden

Je kunt nu bijna aan de slag met het maken van je eigen analyseplan. We sluiten deze les af met enkele challenges waarin de toetskeuze centraal staat.

belangrijk, ik snap dit nog niet goed![SJ(20] 

LET OP bij 2 categorische variabelen![SJ(21] 
 

E2d: ANOVA in SPSS met SYNTAX

Rekenvaardigheid.sav

In deze les ga je onderzoeken of drie groepen (conditie) van elkaar verschillen in hun score op de voormeting van hoofdrekenen (hoofdv) en automatiseren (aut1v). De variabele conditie bestaat uit drie experimentele condities (drie onderwijsmethoden) waarin de leerlingen waren ingedeeld:

• directe instructie
• eigen inbreng
• controlegroep

Vergelijk nu eerst de drie groepen op hoofdrekenen. Om een ANOVA uit te voeren in SPSS, gebruik je de volgende stappen:

• Analyze > Compare Means > One-Way ANOVA
• Selecteer de afhankelijke variabele (hoofdv) en plaats die in het kader 'Dependent List'
• Selecteer de onafhankelijke variabele (conditie) en plaats die in het kader 'Factor'
• OK  
• In de output van SPSS vind je nu de ANOVA tabel:
• 

Vergelijk nu de drie groepen op automatiseren (aut1v). 

Volg dezelfde stappen als voorheen, maar gebruik PASTE in plaats van op OK. Vanuit het SYNTAX-venster kun je nu de opdracht weer uit laten voeren door het juiste stuk code te selecteren en onder het menu RUN de optie SELECTION te kiezen (of gewoon op de groene pijl (►) te drukken).  

let op: in ieder geval 1 gemiddelde is anders dan de andere gemiddelden![SJ(22] 

je mag een post hoc toets dus alleen doen als de nulhypothese verworpen wordt!!!!![SJ(23] 

Bepaal welke groepen significant van elkaar verschillen, door een post hoc toets uit te voeren:

• Volg dezelfde stappen als voorheen
• Klik op 'Post Hoc'
• Selecteer 'Bonferroni' en klik op 'Continue'
• Gebruik weer de PASTE, RUN methode

Verander de 5 in een 1 in “ALPHA(0.05)” en run de SYNTAX nogmaals. 

Samenvatting

Je hebt nu het volgende geleerd:

• hoe je een ANOVA in SPSS kunt uitvoeren 
• hoe je een opdracht vanuit SYNTAX kunt runnen
• hoe je de SYNTAX kunt aanpassen

 In de volgende oefeningen kun je je kennis controleren.

Dat had ik, sukkel

E2e: Variabele berekenen

In les P4c hebben we via Bain een tweeweg ANOVA uitgevoerd in JASP. Hiervoor had je een nieuwe variabele nodig. Deze variabele bestond uit de 6 groepen die ontstaan wanneer we de variabelen typeow en conditie samenvoegen:

• Basisonderwijs directe instructie
• Basisonderwijs eigen inbreng
• Basisonderwijs controlegroep
• Speciaal onderwijs directe instructie
• Speciaal onderwijs eigen inbreng
• Speciaal onderwijs controlegroep

In deze les ga je leren hoe je deze variabele zelf kunt maken in SPSS. 

Je gaat een nieuwe variabele maken. In practicum 1 heb je geleerd hoe dit kan via: Transform > Compute variable.

Voordat je de nieuwe variabele kunt maken, moet je 2 dingen duidelijk op papier zetten. Ten eerste moet je voor jezelf een codering bepalen: welke waarde hoort er bij welke groep. 

Wij zullen in deze les de volgende codering gebruiken:

1. Basisonderwijs directe instructie
2. Basisonderwijs eigen inbreng
3. Basisonderwijs controlegroep
4. Speciaal onderwijs directe instructie
5. Speciaal onderwijs eigen inbreng
6. Speciaal onderwijs controlegroep

Ten tweede moet je goed kijken wat de codering is van de variabelen die je gaat samenvoegen. De waarden van de nieuwe variabele zijn afhankelijk van de waarden van deze andere twee variabelen. 

Als we alles in een overzicht plaatsen hebben we nu het volgende: 

Deze codes heb je nodig bij het creëren van de nieuwe variabele.

Om de nieuwe variabele te maken, ga naar:

Transform > Compute variable

• Tik een goede naam voor de nieuwe variabele die je gaat maken in het kader 'Target Variable' links-bovenaan, bijvoorbeeld groep.
• In het kader 'Numeric Expression' tik je de eerste code (in dit geval 1).
• Klik nu onderaan het scherm op 'if'. Er gaat een nieuw venster open.
• Bovenaan, klik op de optie 'Include if case satisfies condition'.

In het kader 'Include if case satisfied condition' moet je nu aangeven welke leerlingen in groep = 1 horen. Dit zijn de leerlingen die voldoen aan 2 voorwaarden:

1. typeow = 0
2. conditie = 1

Deze twee voorwaarden kun je nu in het kader tikken. Het handigste is om de twee voorwaarden tussen haakjes te plaatsen. Om aan te geven dat er aan beide voorwaarden voldaan moet zijn, plaats je een '&' tussen de twee voorwaarden. Als het goed is, ziet er dan zo uit:

In het syntax venster staat de SPSS-code voor alle berekeningen. Soms is het handig om met dit venster te werken zodat je bepaalde berekeningen kunt toevoegen of meerdere keren achter elkaar kunt uitvoeren. Bij onderzoek is het ook handig de syntax op te slaan, zodat je een soort logboek hebt van alles wat je gedaan hebt. 

Bij het berekenen van de nieuwe variabele groep zien we in de syntax de 'IF' staan die je eerder via het menu hebt ingevoerd:

Kopieer deze regel in z'n geheel en plak de regel nog 5 keer onder de regel zelf. Verander de voorwaarden (de waarden van typeow en conditie) en de codering van de variabele groep in de nieuwe regels zodat deze overeen komen met het overzicht dat we eerder gemaakt hebben. 

Als het goed is ziet het syntax venster er nu zo uit:

Selecteer nu alle syntax in het venster en druk op de groene pijl bovenaan het scherm (je "runt" nu de code):

Ga naar de Variable View:

• Pas het aantal decimalen aan voor de nieuw gemaakte variabele groep
• Kies het juiste meetniveau bij Measure 
• Geef in de kolom 'Values' aan wat de waarden beteken. Hiervoor kun je de eerder gemaakte tabel gebruiken. Indien je de data ook in JASP wilt kunnen gebruiken, mogen de 'value labels' geen spaties bevatten. In het bestand rekenvaardigheid voor Bain.sav hadden we daarom labels als basis_DI, basis_EI en basis_C gebruikt. 

Maak nu een frequentietabel van de variabele groep.

Samenvatting

In deze les heb je geleerd hoe je een nieuwe groepsvariabele kunt berekenen. Hiervoor heb je geleerd hoe je het syntax venster kunt gebruiken. 

In de challenges kun je controleren of alles goed gegaan is. 

E2f: ANOVA - Oefenen met output

ANOVA (ook wel eenweg-ANOVA genoemd) kan je gebruiken om de gemiddelde scores op een interval/ratio afhankelijke variabele te vergelijken tussen twee of méér groepen. Voor 2 groepen kun je ook een t-toets gebruiken. Zodra er 3 of meer groepen zijn, kan dat niet meer. 

In het voorbeeld kijken we naar de gemiddelde zelf-beeldscores van drie groepen. De deelnemers aan het experiment werden random toegewezen aan 1 van de 3 groepen:

• therapie B
• therapie C
• controlegroep

Aan het eind van de behandelperiode hebben alle deelnemers verschillende vragenlijsten ingevuld over angst, zelf-beeld en depressieve klachten. Zelf-beeld wordt in dit voorbeeld gebruikt als afhankelijke variabele. 

Voordat we de de resultaten kunnen interpreteren moeten we eerst kijken of er voldaan is aan de aannames. Je hebt in de les 'ANOVA - assumpties checken' geleerd welke dat zijn en hoe dat moet. We gaan er bij dit voorbeeld van uit dat er aan alle voorwaarden voldaan is. 

In de output van SPSS ziet de ANOVA tabel er als volgt uit:

In de tabel kun je informatie vinden over de spreiding binnen de groepen, de spreiding tussen de groepen, de totale spreiding, de toetsingsgrootheid F en de p-waarde. 

In de output van JASP ziet de ANOVA tabel er als volgt uit:

In de tabel kun je informatie vinden over de spreiding binnen de groepen, de spreiding tussen de groepen, de toetsingsgrootheid F en de p-waarde. 

Wanneer het effect significant is, willen we ook graag weten hoe groot het effect is van de onafhankelijke variabele. Dit kan met behulp van de effectgrootte eta-kwadraat. In \text{JASP}^{\text{***}}\JASP***  kun je om de effectgrootte vragen. Deze wordt dan aan de output toegevoegd.

*** In SPSS kun je alleen de effectgrootte aan de output toevoegen wanneer een andere methode wordt gebruikt om de ANOVA tabel te produceren: (1) via Means; of (2) via GLM. 

Bij significante verschillen, weten we alleen nog maar dat de gemiddelde scores niet allemaal gelijk zijn. Waar de verschillen zitten weten we nog niet. Hier is een post-hoc toets voor nodig. 

De JASP output ziet er als volgt uit:

In de tabel staan aangepaste p-waarden (p_{\text{bonf}\ }pbonf ​) voor het uitvoeren van meerdere toetsen voor het vergelijken van 2 gemiddelden. 

De SPSS output voor een post-hoc toets ziet er iets anders uit:

In deze tabel staan dezelfde aangepaste p-waarden, maar er staan ook betrouwbaarheidsintervallen in voor elke vergelijking van 2 gemiddelden. De aanpassing van Bonferroni wordt zo uitgevoerd, dat het totale betrouwbaarheidsniveau van de betrouwbaarheidsintervallen minstens 95% is (en dus niet minder dan 95%). 

Behalve via de klassieke NHST methode, kan een ANOVA ook met een Bayes Factor uitgevoerd worden. De JASP output ziet er dan zo uit:

het gaat om de grootte van de boxen en niet om de lengten van de snorren!!
[SJ(24] 

Oefenen