Experimenteel hoorcollege 1

De empirische cirkel

1. Theorie en Onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese Formulering en Preregistratie
4. Steekproeftrekking, Randomizeren en Causaliteit, Data Verzameling en Data Controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
6. Rapportage
7. Replicatie-onderzoek

• Bij het experiment is de OV (onafhankelijke variabele) een indeling van mensen in groepen en dat noemen we de factor.
• De AV (afhankelijke variabele) is een continue variabele, een variabele die minimaal 7 verschillende waarden aan kunnen nemen die van klein naar grote ordenen zijn.
• Dan de hypothese, een nulhypothese. Die zegt er gebeurt niks. Elke groep heeft evenveel mixed emotions. De manipulatie was niet effectief.
• De alternatieve hypothese zegt er is wel een effect.
• Dan de hypothese evalueren.
• Hypothese wordt getoetst met de p-waarde.
• We willen ook effectsize: Cohen’s d. Grootte van het effect.

p-waarde is de kans dat het gevonden verschil van gemiddelden als in de populatie de nulhypothese waar is. p=0,02. De kans op het gevonden verschil in gemiddelden, is maar 2% als de nulhypothese waar is.

Cohen’s d is het verschil in gemiddelden gedeeld door de standaarddeviatie.

• .2 is klein
• .5 is gemiddeld
• .8 is groot
• .45 is dus een gemiddeld effect.

Type I fout en poweranalyse

• Type I fout is de kans dat H0 ten onrechte wordt verworpen. We accepteren een kans van 5% om H0 ten onrechte te verwerpen.
• Power is de kans om de H0 terecht te verwerpen. Daarvoor nemen we meestal .80
• Je moet dus een poweranalyse doen.
• 64 participanten per groep hebben.
• Niet voldoen aan de power? Dan geldt het effect niet.

Soppy science.

• Ze gebruiken Questionable research practices. Dit doen de onderzoekers.
• Publication bias. Dit doen de tijdschriften.
• We wisten niet van een effect dat er niet was, omdat het niet gepubliceerd werd.
• Het zijn tijden van replicatie crisis.
• Pre-registratie is een oplossing, voordat je je data verzameld, leg je je plan al vast. Je plaatst al op internet wat je al wil doen. Dan leg je je plannen vast.
• Replicatie onderzoek. Als je je experiment hebt gedaan, moet een ander het nog even over doen.
• Oorzaken replicatie crisis: p = 0,05
• De bayesiaanse statistiek gebruikt geen grenswaarde zoals de 0.05.
• BF = bayes factor
• Subscripten 0 en a = is de bayes factor van H0 versus Ha.
• BF altijd 2 subscripten

BF geeft de relatieve steun aan in de data voor H0 versus Ha. Als BF = 5, dan betekent dat dat de steun in de dasta 5x groter is voor H0 dan voor Ha. Van H0 vs Ha is 0,2. Dan is Ha vs H0 = 5. Dus meer steun voor Ha.

fit en de specificiteit helpen de Bayes factor berekenen.

• Hoe goed past H0 bij de data = de fit
• Hoe specifiek is H0 = specificiteit

Ha zegt: eigenlijk kan alles gebeuren. Dat is niet heel specifiek.

• BF = fit (hoe past H0 bij de data) / specificiteit (hoe specifiek is de hypothese).
• De fit is een getal, hoe groter het geval, hoe groter de fit en hoe groter BF wordt.
• c, hoe kleiner het getal hoe specifieker de hypothese is. Dan wordt de BF ook groter.
• Wat moeten we nu zonder grenswaarde?
• Hier kan je je eigen interpretatie aan geven.

Posterior Model Kansen (PMKs) = De bayesiaanse kansen

• Een vertaling van de Bayes factor in kansen.
• BF van 0 vs a is 4. 4x meer steun voor H0 dan voor Ha.
• Bijbehorende PMKs zijn 80% en 20%
• 80/20 = 4
• BF = 2
• 66% en 33%
• BF kunnen vertaald worden in PMKs. Kansen zijn getallen op een schaal van 0 tot 1.

Bij de klassieke statistiek doen we een power analyse.

• We willen een power van 80% Kans van 80% om H0 te verwerpen als deze niet waar is.
• Poweranalyse voer je van tevoren uit: dan weet je hoeveel mensen je nodig hebt.
• Binnen de Bayesiaanse analyse is er geen poweranalyse. Er is wel Bayesian Updating.
• Je mag na 1 meting bij Bayesiaans er weer 10 per groep bij doen. Dan bereken je de BF en de PMKs weer opnieuw uit.
• Bayesian updating heeft een voordeel: je hoeft je niet vast te leggen op een niet haalbare steekproefgrootte, je hoeft geen power analyse te doen.
• Bayesian Updating is een valide procedure.
• Binnen de NHST kan dit NIET.

Wat kunnen we hiervan leren? Dit is voor en na een depressiebehandeling.

• Is dit het effect van de behandeling? De voormeting was 1 januari, het sneeuwde, etc.
• De nameting was in begin april: iedereen was blij. Dit noemen we de history threat.
• Bedreiging interne validiteit: alternatieve verklaring.

Nog een threat: Dit hoeft geen behandelingthreat te zijn.

• Maturation threat.
• De deelnemers van het onderzoek groeien in hun leven. Tussen de twee metingen zijn de mensen gegroeid en ouder geworden.
• Threats staan goed in het boek.
• Regression to the mean threat: In de voormeting scoren de patiënten erg hoog. Ze kunnen dus maar 1 kant op, ze kunnen niet nog slechter worden. Kunnen alleen maar beter worden.

Soorten bias:

• Observer bias: wij hebben de therapie, hebben het bedacht en we denken dat iedereen wel depressief is op het begin en daarna denk je zie je iedereen heeft minder depressie nu.
• Demand characteristics = patiënt bias.
• Als patiënt heb je last van de depressie. Je hoopt dat de therapie effectief is. Je bent blij dat je met de therapie geholpen wordt. De patiënten willen verbeteren en voelen zich dan ook beter.
• Placebo effect, de patiënten krijgen allemaal warme aandacht van de therapeut waardoor ze beter worden. Komt dus niet door de therapie die leidt tot verbetering.
• Deze threats kunnen met dit design niet ondervangen.
• Goede nieuws: hier is iets aan te doen. Door een controlegroep toe te voegen. Behandeleffect onderscheiden van drie van de threats.

Oplossing:

• Geen history threat: in de controlegroep is er geen sprake van een lente effect.
• Maturation effect? Nee in de controlegroep zijn ze niet gematureerd. Dus weer een therapie effect.
• Regressie to the mean? Dan had die ook in de controlegroep moeten plaatsvinden.
• We hebben 3 threats onder controle.

Hoe kunnen we omgaan met het feit dat die therapeuten hun eigen werk beoordelen. Dat kan je voorkomen door blind onderzoek doen of dubbel blind. De therapeut weet niet wie er in de controlegroep of in de testgroep zitten. Onafhankelijke therapeut beoordeelt alle deelnemers op het hebben van depressie. Dubbel blind is als ook de patiënt niet weet in welke groep hij zit. Stel het gaat over een pil en een niet werkzame pil. Dan vinden er geen demand characteristics plaats. Verwachtingen dat de therapie effect zal hebben. Voeg een controlegroep toe en probeer te werken met een blind of een dubbelblind design.

• Blind voor de therapeuten die niet weten wie in welke groep zit: observer bias weg
• En dubbelblind zodat ook de patiënten dat niet weten.: demand characteristics weg

Dan blijft alleen nog het placebo-effect over. Die kun je er ook uithalen.

• Met een neptherapie heb je evenveel effect als met de echte therapie = placebo-effect.
• Met een extra groep toevoegen kan je dus het placebo-effect eruit vissen.
• Anders komt het door de therapie.

Stel je ziet geen effect? Wat kan er dan gebeurd zijn?

• Dan had je van tevoren een power analyse moeten doen bij stap 2.
• Power probleem speelt niet heel erg bij de Bayesiaanse techniek.