Experimenteel hoorcollege 1

De empirische cirkel

1. Theorie en Onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese Formulering en Preregistratie
4. Steekproeftrekking, Randomizeren en Causaliteit, Data Verzameling en Data Controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie-onderzoek

• Bij het experiment is de OV (onafhankelijke variabele) een indeling van mensen in groepen en dat noemen we de factor.
• De AV (afhankelijke variabele) is een continue variabele, een variabele die minimaal 7 verschillende waarden aan kunnen nemen die van klein naar grote ordenen zijn.
• Dan de hypothese, een nulhypothese. Die zegt er gebeurt niks. Elke groep heeft evenveel mixed emotions. De manipulatie was niet effectief.
• De alternatieve hypothese zegt er is wel een effect.
• Dan de hypothese evalueren.
• Hypothese wordt getoetst met de p-waarde.
• We willen ook effectsize: Cohen’s d. Grootte van het effect.

p-waarde is de kans dat het gevonden verschil van gemiddelden als in de populatie de nulhypothese waar is. p=0,02. De kans op het gevonden verschil in gemiddelden, is maar 2% als de nulhypothese waar is.

Cohen’s d is het verschil in gemiddelden gedeeld door de standaarddeviatie.

• .2 is klein
• .5 is gemiddeld
• .8 is groot
• .45 is dus een gemiddeld effect.

Type I fout en poweranalyse

• Type I fout is de kans dat H0 ten onrechte wordt verworpen. We accepteren een kans van 5% om H0 ten onrechte te verwerpen.
• Power is de kans om de H0 terecht te verwerpen. Daarvoor nemen we meestal .80
• Je moet dus een poweranalyse doen.
• 64 participanten per groep hebben.
• Niet voldoen aan de power? Dan geldt het effect niet.

Soppy science.

• Ze gebruiken Questionable research practices. Dit doen de onderzoekers.
• Publication bias. Dit doen de tijdschriften.
• We wisten niet van een effect dat er niet was, omdat het niet gepubliceerd werd.
• Het zijn tijden van replicatie crisis.
• Pre-registratie is een oplossing, voordat je je data verzameld, leg je je plan al vast. Je plaatst al op internet wat je al wil doen. Dan leg je je plannen vast.
• Replicatie onderzoek. Als je je experiment hebt gedaan, moet een ander het nog even over doen.
• Oorzaken replicatie crisis: p = 0,05
• De bayesiaanse statistiek gebruikt geen grenswaarde zoals de 0.05.
• BF = bayes factor
• Subscripten 0 en a = is de bayes factor van H0 versus Ha.
• BF altijd 2 subscripten

BF geeft de relatieve steun aan in de data voor H0 versus Ha. Als BF = 5, dan betekent dat dat de steun in de dasta 5x groter is voor H0 dan voor Ha. Van H0 vs Ha is 0,2. Dan is Ha vs H0 = 5. Dus meer steun voor Ha.

fit en de specificiteit helpen de Bayes factor berekenen.

• Hoe goed past H0 bij de data = de fit
• Hoe specifiek is H0 = specificiteit

Ha zegt: eigenlijk kan alles gebeuren. Dat is niet heel specifiek.

• BF = fit (hoe past H0 bij de data) / specificiteit (hoe specifiek is de hypothese).

Hoorcollege 3 Experimenteel

Bijj tweeweg ANOVA zijn er twee factoren.

• Factor kan voorkomen in between en within.
• Between factor is iets waarop we mensen met groepen indelen
• Within is als je twee keer gemeten wordt. Eerst placebo pil en dan de echte pil, etc.
• Met een between en een within is het klassieke experimentele experiment
• AB conditie of BA conditie, in beide conditie voorzien van een hoofdpijnscore, dat is een ABBA design, oftewel het counterbalanced design

Door randomisatie kom je of in de controlegroep of in de experimentele groep. Met gerandomiseerde designs kun je causale uitspraken doen. Maar je hebt ook het quasi experimentele design. Kenmerk: Er wordt niet gerandomiseerd. Niet gerandomiseerd? Dan kunnen we geen causale uitspraken doen. Dan is er een bedreiging van de interne validiteit.

• De kinderen kunnen zelf kiezen of ze wel of niet extra huiswerk maken: E en C.
• Dit is zelfselectie.
• Jan houdt van rekenles geven, Pim niet van rekenles geven.
• E rekent beter dan C. Dus met extra huiswerk kunnen beter rekenen.
• Er is niet gerandomiseerd, betekent dat dat de experimentele manipulatie effectief is geweest?
• Dat weten we niet, want er is niet gerandomiseerd: quasi experimenteel design.
• Altijd het eerste antwoord is: dat weten we niet, er kunnen alternatieve verklaringen voor het gevonden effect zijn.

Designs en factoren

• 2 between factoren in een quasi experimenteel design bij de Tweeweg ANOVA.
• Bij een quasi experimenteel experiment wordt niet gerandomiseerd.
• Tweeweg ANOVA heeft twee between factoren.

Er zijn dan drie hypothesen die we kunnen toetsen.

1. Er is een hoofdeffect van meester
2. Er is geen hoofdeffect tussen controlegroep en experimenteel.
3. Er is geen interactie-effect, want de lijnen lopen parallel. In C is het verschil tussen Janners en de Pimmers gelijk aan het verschil tussen de Janners en Pimmers in E.

• Bij meester: 20% van de variatie in het rekencijfer wordt verklaard door meester. Dit is een groot effect.
• Bij de variantie analyse gebruiken we een generalisatie van de t-toets en die noemen we de F-toets. Is gewoon een feitje.
• F-toets maakt gebruik van vrijheidsgraden van F: df1 en df2. Deze F-toets met vrijheidsgraden wordt vertaald in p-waarde.

Uitkomst analyse

• Hoofdeffect voor meester
• Hoofdeffect voor groep
• Geen interactie-effect: verschil in controlegroep is gelijk aan de experimentele groep
• De proportie verklaarde variantie is de eta kwadraat optellen.
• Hoeveel van de variatie in rekencijfer wordt verklaard door deze drie effecten is de eta kwadraat optellen.

eta kwadraat = 45% van de variatie in het rekencijfer wordt verklaard door groep en sexe.

Ander voorbeeld:

• Gemiddeld genomen doen de Janners en de Pimmers het even goed. Geen hoofdeffect van meester.
• Gemiddeld genomen doen de E en C het even goed, geen hoofdeffect voor C of E.
• Geen hoofdeffecten
• Wel interactie-effect

Designs en informatie

• De alternatieve verklaring is dus meester en niet groep. Dat komt omdat het een quasi experimenteel experiment is.
• t-toets: twee groepen, 1 AV die continu is
• Eenweg ANOVA: twee of meer groepen, AV

Experimenteel

Voorwaarden van causaliteit:

1. Covariance
2. Temporal precendence
3. Internal validity

Uitleg:

1. Er moet een relatie zijn tussen oorzaak en gevolg
2. Deze oorzaak moet in de tijd voorafgaan aan het gevolg
3. Alternatieve verklaringen voor de gevonden relatie moeten zijn uitgesloten

Deze drie voorwaarden moeten nagestreefd worden. Dit kan het best via een gerandomiseerd experiment.

Dit is een oknderzoeksopzet waarbij:

• De groepen hetzelfde worden verondersteld door randomisatie.
• De onderzoeker één variabele manipuleert (de onafhankelijke variabele)
• De onderzoek meet het effect daarvan op een andere variabele (de afhankelijke variabele)

Bij een experiment wordt er een aselecte steekproef getrokken. De ene groep krijgt een bloeddrukverlagend middel, de andere groep krijgt een placebo. Wat kan misgaan: bij randomisatie wil je wel gelijke verdeling leeftijd en man/vrouw-verdeling in de groepen, dat is niet altijd het geval.

De vraag is: Wanneer is er sprake van samenhang tussen type aantekeningen en leerprestatie?

• Hier kun je geen puntenwolk bij maken. Dit is omdat het nominale groepen zijn (de onafhankelijke variabele). Daarom kan je een boxplot gebruiken:
• Als de gemiddelden tussen de twee groepen verschillen, dan zeggen we dat er een samenhang is tussen de twee variabelen. De uitkomsten verschillen namelijk.

Bedreigingen bij experimenteel onderzoek:

• Design confounds: ligt bij de onderzoeker.
• Was de gemanipuleerde variabele wel het enige verschil in de behandeling van de twee groepen.
• Alles hetzelfde, behalve hetgeen wat we willen manipuleren: de onafhankelijke variabele.
• De ene groep kreeg een TED talk van klimaatverandering en de andere over social media.

Selectie effect:

• Waren de twee groepen wel vergelijkbaar bij aanvang van het experiment. De ene groep studenten studeerde scheikunde en de andere psychologie.
• Verdeling man en vrouw, hoogst afgeronde studie, gemiddelde leeftijd, SES, opleidingsniveau ouders, de moedertaal. Hier wordt vaak naar gekeken of de twee groepen vergelijkbaar zijn.
• Contaminatie = deelnemers in experimentele groep vertellen deelnemers in controlegroep over de deelname.

Soms is willekeurige toewijzing niet mogelijk: niet ethisch of praktisch onhaalbaar. Double blind = ook de onderzoeker weet niet in welke groep de deelnemer zit.

Een onderzoeksvraag van een experimenteel onderzoek kun je herkennen aan de volgende elementen:
PICO:

• Population
  • De populatie die onderzocht wordt.
• Intervention
  • Wat manipuleer jij, welke interventie voer je uit.
• Comparison
  • De controlegroep, met wie vergelijk jij de experimentele conditie
• Outcome
  • De afhankelijke variabele

De interventie (de experimentele conditie) en de comparison (de controlegroep) maken samen de gemanipuleerde variabele.

PICO:

Met behulp van simulatiespel (waarin men wel of niet wordt buitengesloten) wordt er gekeken of er een verschil in stemming is na afloop tussen degenen die wel en niet buitengesloten worden.

• P: Participanten
• I: wel buitengesloten worden
• C: niet buitengesloten worden (de controlegroep)
• O: verschil in stemming

Gerandomiseerd experiment:

• Uit de aselecte steekproef haal je de experimentele groep en de controlegroep.

Inferentiële statistiek = mogen we het steekproefresultaat generaliseren naar de populatie?

NHST = nulhypothese significantietoetsing

De stappen van NHST (nulhypothese