Aantekeningen Experimentele statistiek; Toepassing Onderzoeksmethoden en Statistiek - UU (2022-2023) - Psychologie
Aantekeningen Experimenteel hoorcollege 1 Toepassing Onderzoeksmethoden en Statistiek - UU (2022-2023) - Psychologie
Experimenteel hoorcollege 1
De empirische cirkel
- Theorie en Onderzoeksvraag
- Onderzoeksontwerp
- Hypothese Formulering en Preregistratie
- Steekproeftrekking, Randomizeren en Causaliteit, Data Verzameling en Data Controle
- Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
- Rapportage
- Replicatie-onderzoek
- Bij het experiment is de OV (onafhankelijke variabele) een indeling van mensen in groepen en dat noemen we de factor.
- De AV (afhankelijke variabele) is een continue variabele, een variabele die minimaal 7 verschillende waarden aan kunnen nemen die van klein naar grote ordenen zijn.
- Dan de hypothese, een nulhypothese. Die zegt er gebeurt niks. Elke groep heeft evenveel mixed emotions. De manipulatie was niet effectief.
- De alternatieve hypothese zegt er is wel een effect.
- Dan de hypothese evalueren.
- Hypothese wordt getoetst met de p-waarde.
- We willen ook effectsize: Cohen’s d. Grootte van het effect.
p-waarde is de kans dat het gevonden verschil van gemiddelden als in de populatie de nulhypothese waar is. p=0,02. De kans op het gevonden verschil in gemiddelden, is maar 2% als de nulhypothese waar is.
Cohen’s d is het verschil in gemiddelden gedeeld door de standaarddeviatie.
- .2 is klein
- .5 is gemiddeld
- .8 is groot
- .45 is dus een gemiddeld effect.
Type I fout en poweranalyse
- Type I fout is de kans dat H0 ten onrechte wordt verworpen. We accepteren een kans van 5% om H0 ten onrechte te verwerpen.
- Power is de kans om de H0 terecht te verwerpen. Daarvoor nemen we meestal .80
- Je moet dus een poweranalyse doen.
- 64 participanten per groep hebben.
- Niet voldoen aan de power? Dan geldt het effect niet.
Soppy science.
- Ze gebruiken Questionable research practices. Dit doen de onderzoekers.
- Publication bias. Dit doen de tijdschriften.
- We wisten niet van een effect dat er niet was, omdat het niet gepubliceerd werd.
- Het zijn tijden van replicatie crisis.
- Pre-registratie is een oplossing, voordat je je data verzameld, leg je je plan al vast. Je plaatst al op internet wat je al wil doen. Dan leg je je plannen vast.
- Replicatie onderzoek. Als je je experiment hebt gedaan, moet een ander het nog even over doen.
- Oorzaken replicatie crisis: p = 0,05
- De bayesiaanse statistiek gebruikt geen grenswaarde zoals de 0.05.
- BF = bayes factor
- Subscripten 0 en a = is de bayes factor van H0 versus Ha.
- BF altijd 2 subscripten
BF geeft de relatieve steun aan in de data voor H0 versus Ha. Als BF = 5, dan betekent dat dat de steun in de dasta 5x groter is voor H0 dan voor Ha. Van H0 vs Ha is 0,2. Dan is Ha vs H0 = 5. Dus meer steun voor Ha.
fit en de specificiteit helpen de Bayes factor berekenen.
- Hoe goed past H0 bij de data = de fit
- Hoe specifiek is H0 = specificiteit
Ha zegt: eigenlijk kan alles gebeuren. Dat is niet heel specifiek.
- BF = fit (hoe past H0 bij de data) / specificiteit (hoe specifiek is de hypothese).
Aantekeningen Experimenteel hoorcollege 2 Toepassing Onderzoeksmethoden en Statistiek - UU (2022-2023) - Psychologie
Experimenteel hoorcollege 2
Experiment is de tool om causale relaties te onderzoeken.
Er zijn drie voorwaarden voor causaliteit:
- De oorzaak hangt samen met het gevolg
- De oorzaak gaat in de tijd vooraf aan het gevolg
- Interne validiteit, dwz, alternatieve verklaringen voor de gevonden samenhang zijn uitgesloten
Factoren en effectgroottes
- Eenweg ANOVA is 1 factor. De afhankelijke variabele (hechting) is continu. Zoals bij een Likert schaal.
- De grootte van een effect: Cohen’s D.
- eta kwadraat, is ook grootte van het effect.
- Variatie is hetzelfde als variantie.
Scores liggen tussen 2 en 6, dit is de totale variantie / variatie.
Onverklaarde variatie is kleinere variatie. Dat deel van de variatie die we niet kunnen verklaren. Waarom sommige in de dichtbij groep 7 hebben en anderen 4, weten we niet. Daar hebben we geen proefopstelling voor gemaakt. Alleen voor tussen de groepen. Hoe meer de gemiddelden tussen de groepen verschillen, hoe groter het effect van de manipulatie. Verklaarde variantie is dit, want dit kunnen we verklaren.
- Alfa niveau is hetzelfde als de p-waarde.
- Power is de kans om de nulhypothese terecht te verwerpen.
- Maar hoe kun je berekenen of je genoeg power had? --> door een power analyse
We weten alleen niet waar de verschillen zitten. Maar de H0 moet wel verworpen worden.
- Dan moet je post-hoc toetsen uitvoeren.
- 1x toetsen is de kans dat ik de H0 fout verwerp, 5%.
- Stel je doet niet 3 toetsen, maar 10.
- 1 toets, H0 ten onrechte verwerpen, die kans is 5%.
- Je kunt de Bonferroni correctie toepassen.
- Bij JASP doe je p-waarde x3.
Eenweg ANOVA:
- 1 factor, variabele waaraan je de groepen indeelt. Met 1 of meer groepen.
- We weten nog steeds niet waar het verschil zit.
- Elke losse t-toets geeft een losse p-waarde.
- Dit was de klassieke statistiek.
Nu gaan we over naar de Bayesiaanse variant.
- Normaal hadden we een Ha en een H0.
- Nu krijgen we een informatieve hypothese erbij.
- In een informatieve hypothese kan je echt je verwachting neerzetten.
- Dan heb je nog het complement: Hc.
- PMP is de kans dat de hypothese de beste is van de drie. Hier is de kans dat H1 de beste is, 81%.
- Ha omvat H1.
Soorten toetsen
- t-toets, afhankelijke variabele is continu.
- In een tweeweg design zijn er twee factoren.
- Eenweg design is 1 factor.
- Je hebt of een C of een E. EN je hebt een voor- en nameting.
- Within is voor of nameting. Between is de twee groepen C en E.
Hoofdeffecten en interactie-effecten
- Er zijn twee hoofdeffecten.
- De experimentele groep is beter dan de controlegroep. En de nameting is beter dan de voormeting.
- De lijnen snijden, dus er is een interactie-effect.
- Eenweg ANOVA en t-toets is hetzelfde?
- Within is eerst hoofdpijn en daarna hoofdpijn
- Between is AB - BA = counterbalancing
- Het grote voordeel is dat je tweemaal zoveel informatie krijgt. Elke persoon krijgt de pil en de neppil, en niet de pil of de neppil.
Aantekeningen Experimenteel hoorcollege 3 Toepassing Onderzoeksmethoden en Statistiek - UU (2022-2023) - Psychologie
Hoorcollege 3 Experimenteel
Bijj tweeweg ANOVA zijn er twee factoren.
- Factor kan voorkomen in between en within.
- Between factor is iets waarop we mensen met groepen indelen
- Within is als je twee keer gemeten wordt. Eerst placebo pil en dan de echte pil, etc.
- Met een between en een within is het klassieke experimentele experiment
- AB conditie of BA conditie, in beide conditie voorzien van een hoofdpijnscore, dat is een ABBA design, oftewel het counterbalanced design
Door randomisatie kom je of in de controlegroep of in de experimentele groep. Met gerandomiseerde designs kun je causale uitspraken doen. Maar je hebt ook het quasi experimentele design. Kenmerk: Er wordt niet gerandomiseerd. Niet gerandomiseerd? Dan kunnen we geen causale uitspraken doen. Dan is er een bedreiging van de interne validiteit.
- De kinderen kunnen zelf kiezen of ze wel of niet extra huiswerk maken: E en C.
- Dit is zelfselectie.
- Jan houdt van rekenles geven, Pim niet van rekenles geven.
- E rekent beter dan C. Dus met extra huiswerk kunnen beter rekenen.
- Er is niet gerandomiseerd, betekent dat dat de experimentele manipulatie effectief is geweest?
- Dat weten we niet, want er is niet gerandomiseerd: quasi experimenteel design.
- Altijd het eerste antwoord is: dat weten we niet, er kunnen alternatieve verklaringen voor het gevonden effect zijn.
Designs en factoren
- 2 between factoren in een quasi experimenteel design bij de Tweeweg ANOVA.
- Bij een quasi experimenteel experiment wordt niet gerandomiseerd.
- Tweeweg ANOVA heeft twee between factoren.
Er zijn dan drie hypothesen die we kunnen toetsen.
- Er is een hoofdeffect van meester
- Er is geen hoofdeffect tussen controlegroep en experimenteel.
- Er is geen interactie-effect, want de lijnen lopen parallel. In C is het verschil tussen Janners en de Pimmers gelijk aan het verschil tussen de Janners en Pimmers in E.
- Bij meester: 20% van de variatie in het rekencijfer wordt verklaard door meester. Dit is een groot effect.
- Bij de variantie analyse gebruiken we een generalisatie van de t-toets en die noemen we de F-toets. Is gewoon een feitje.
- F-toets maakt gebruik van vrijheidsgraden van F: df1 en df2. Deze F-toets met vrijheidsgraden wordt vertaald in p-waarde.
Uitkomst analyse
- Hoofdeffect voor meester
- Hoofdeffect voor groep
- Geen interactie-effect: verschil in controlegroep is gelijk aan de experimentele groep
- De proportie verklaarde variantie is de eta kwadraat optellen.
- Hoeveel van de variatie in rekencijfer wordt verklaard door deze drie effecten is de eta kwadraat optellen.
eta kwadraat = 45% van de variatie in het rekencijfer wordt verklaard door groep en sexe.
Ander voorbeeld:
- Gemiddeld genomen doen de Janners en de Pimmers het even goed. Geen hoofdeffect van meester.
- Gemiddeld genomen doen de E en C het even goed, geen hoofdeffect voor C of E.
- Geen hoofdeffecten
- Wel interactie-effect
Designs en informatie
- De alternatieve verklaring is dus meester en niet groep. Dat komt omdat het een quasi experimenteel experiment is.
- t-toets: twee groepen, 1 AV die continu is
- Eenweg ANOVA: twee of meer groepen, AV
Aantekeningen Experimenteel hoorcollege 4 Toepassing Onderzoeksmethoden en Statistiek - UU (2022-2023) - Psychologie
Experimenteel hoorcollege 4
Goed onderzoek moet je van tevoren vastleggen = preregistratie. Deze publiceer je.
- In preregistratie:
- Theorie en onderzoeksvraag, onderzoeksontwerp, hypothesen.
- Geef aan of er gerandomiseerd wordt of niet.
Bij een eenweg ANOVA heb je 3 groepen.
- Dus dan doen we post hoc toetsen om te zien waar de verschillen zitten.
- Elk van de p-waardes die hieruit komen dan doe je 0.05/3
- Of we vermenigvuldigen elke p-waarde met 3
- Bij een groot verschil heb je een grotere power. Zelfs bij een kleine steekproef kan je dat al zeggen.
- Bij een kleine effect size kan je nog wel zo’n grote steekproef hebben, maar je weet het niet zeker, dus niet hele grote power.
ANOVA voorwaarden:
- De scores van de personen op de AV zijn onderling afhankelijk
- Er zitten geen uitbijters in de scores van de personen op de AV
- Binnen elke groep zijn de scores op de AV normaal verdeeld
- De varianties van de scores op de AV zijn gelijk in elke groep
In de doos van een boxplot vallen 50% van de mensen
- De breedte van de doos is de interkwartielafstand.
- De snor is de zwaarste persoon die nog wel in 1,5 QRS zitten.
- Die stippen rechts zijn de uitbijters. Dat is lastig als je ANOVA gaat doen.
- De rode lijn is 1,5x de groene lijn.
Waarom zijn uitbijters zo erg?
- De kern van de ANOVA is gemiddelden vergelijken.
- Gemiddelde wordt door de uitbijters weggetrokken van de mediaan.
Designs
- ANOVA met twee groepen en 1 AV is echt precies hetzelfde als een t-toets met een continue AV.
- Bij tweeweg ANOVA heb je 3 eta kwadraat. 2 voor de hoofdeffecten en 1 voor het interactie-effect.
- Bij een eenweg ANOVA heb je vgm 1 eta kwadraat.
3. De aanname van normaliteit. Binnen elke groep zijn de scores op de afhankelijke variabele normaal verdeeld.
- Deze aanname is niet van belang. De normaalverdeling, zie boven.
- Dus binnen de controles en binnen de experimentele groep moet er ongeveer een normaalverdeling zijn.
- Je kan het ook aan de boxplots zien.
Bij twijfel van de aanname van normaliteit gebruik je niet de p-waarde, maar de bootstrapped p-waarde.
- Dit is het enige dat je moet weten.
- Bij aanname van homoscedasticiteit. De spreiding van variantie in alle groepen is hetzelfde.
- Deze is niet van belang, wordt bijna nooit geschonden.
Variantie = standaarddeviatie in het kwadraat.
De groepen zijn gelijk aan elkaar, dus geen factor 4. De varianties mogen een factor 10 van elkaar verschillen, maar ze verschillen maar een factor 9. 4 x 9 = 36. Dus voorwaarde voor homoscedasticiteit wordt niet overschreden. Wederom, als je het niet vertrouwt, dan vervang je de p-waarde voor de bootstrapped p-waarde. Je hoeft niet te weten waarom niet.
In een rapportage moet je vermelden of je je aan de pre-registratie hebt gehouden. Zo ja, dan is je onderzoek confirmatief. Je hebt dan geen QRP's = Questionable Research Practices, geen verhoogde kans op Type I
.....read moreAantekeningen Kennismaking met Onderzoeksmethoden en Statistiek (Psychologie). Hoorcolleges Experimenteel en Integriteit.
Experimenteel
Voorwaarden van causaliteit:
- Covariance
- Temporal precendence
- Internal validity
Uitleg:
- Er moet een relatie zijn tussen oorzaak en gevolg
- Deze oorzaak moet in de tijd voorafgaan aan het gevolg
- Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten
Deze drie voorwaarden moeten nagestreefd worden. Dit kan het best via een gerandomiseerd experiment.
Dit is een oknderzoeksopzet waarbij:
- De groepen hetzelfde worden verondersteld door randomisatie.
- De onderzoeker één variabele manipuleert (de onafhankelijke variabele)
- De onderzoek meet het effect daarvan op een andere variabele (de afhankelijke variabele)
Bij een experiment wordt er een aselecte steekproef getrokken. De ene groep krijgt een bloeddrukverlagend middel, de andere groep krijgt een placebo. Wat kan misgaan: bij randomisatie wil je wel gelijke verdeling leeftijd en man/vrouw-verdeling in de groepen, dat is niet altijd het geval.
De vraag is: Wanneer is er sprake van samenhang tussen type aantekeningen en leerprestatie?
- Hier kun je geen puntenwolk bij maken. Dit is omdat het nominale groepen zijn (de onafhankelijke variabele). Daarom kan je een boxplot gebruiken:
- Als de gemiddelden tussen de twee groepen verschillen, dan zeggen we dat er een samenhang is tussen de twee variabelen. De uitkomsten verschillen namelijk.
Bedreigingen bij experimenteel onderzoek:
- Design confounds: ligt bij de onderzoeker.
- Was de gemanipuleerde variabele wel het enige verschil in de behandeling van de twee groepen.
- Alles hetzelfde, behalve hetgeen wat we willen manipuleren: de onafhankelijke variabele.
- De ene groep kreeg een TED talk van klimaatverandering en de andere over social media.
Selectie effect:
- Waren de twee groepen wel vergelijkbaar bij aanvang van het experiment. De ene groep studenten studeerde scheikunde en de andere psychologie.
- Verdeling man en vrouw, hoogst afgeronde studie, gemiddelde leeftijd, SES, opleidingsniveau ouders, de moedertaal. Hier wordt vaak naar gekeken of de twee groepen vergelijkbaar zijn.
- Contaminatie = deelnemers in experimentele groep vertellen deelnemers in controlegroep over de deelname.
Soms is willekeurige toewijzing niet mogelijk: niet ethisch of praktisch onhaalbaar. Double blind = ook de onderzoeker weet niet in welke groep de deelnemer zit.
Een onderzoeksvraag van een experimenteel onderzoek kun je herkennen aan de volgende elementen:
PICO:
- Population
- De populatie die onderzocht wordt.
- Intervention
- Wat manipuleer jij, welke interventie voer je uit.
- Comparison
- De controlegroep, met wie vergelijk jij de experimentele conditie
- Outcome
- De afhankelijke variabele
De interventie (de experimentele conditie) en de comparison (de controlegroep) maken samen de gemanipuleerde variabele.
PICO:
Met behulp van simulatiespel (waarin men wel of niet wordt buitengesloten) wordt er gekeken of er een verschil in stemming is na afloop tussen degenen die wel en niet buitengesloten worden.
- P: Participanten
- I: wel buitengesloten worden
- C: niet buitengesloten worden (de controlegroep)
- O: verschil in stemming
Gerandomiseerd experiment:
- Uit de aselecte steekproef haal je de experimentele groep en de controlegroep.
Inferentiële statistiek = mogen we het steekproefresultaat generaliseren naar de populatie?
NHST = nulhypothese significantietoetsing
De stappen van NHST (nulhypothese
.....read moreStudiehulp Toepassing en Onderzoeksmethoden en Statistiek - UU (2022-2023) - Psychologie
In deze bundel vind je de aantekeningen en begrippenlijsten van alle werkgroepen en hoorcolleges van het vak Toepassing en Onderzoeksmethoden en Statistiek, Psychologie, Universiteit Utrecht.
Add new contribution