
Aantekeningen hoorcollege 5 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
H C 5 - 8 M E I 2 0 2 3
Bayesiaanse statistiek en design overwegingen
Waarom houden wetenschappers van experimenten?
- Er is een hoge mate van controle » je kan veel zelf beïnvloeden
- Mensen nemen vaak deel aan experimenten
De empirische cirkel
- Theorie en onderzoeksvraag
- Onderzoeksontwerp
- Hypothese formulering en preregistratie
- Nulhypothese zegt altijd ‘er is geen effect’
- Preregistratie: onderzoeksresultaten publiceren, ongeacht de resultaten
- Steekproeftrekking, randomiseren en causaliteit, data verzameling en data controle
- Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
- Cohen’s D = effectgrootte (stel ik vind een effect, is het dan relevant?) » .20 is een klein effect, .50 is een gemiddeld effect, .80 is een groot effect
- P-waarde: als ik aanneem dat de nulhypothese waar is, hoe bijzonder is het dat ik deze data vind?
- Alfa: de kans op een type 1 fout (= ten onrechte verwerpen van de nulhypothese) » als je een kleinere kans wil op een type 1 fout, moet je een grotere steekproef nemen.
- Power: de kans op een type 2 fout (= ten onrechte de nulhypothese niet verwerpen)
- Rapportage
- Replicatie onderzoek
De replicatie crisis
- Studies die niet genoeg power hebben, publiceren toch hun stuk. De replicatiestudie heeft een grotere groep respondenten met een grotere power om dezelfde effect size te vinden. Dit zorgt voor heel andere onderzoeksresultaten.
- De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van wetenschappelijk onderzoek vaak niet repliceerbaar blijken.
- Sloppy science:
- Op de uitdrukkelijke vraag of zij ooit onderzoekgegevens hebben vervalst of vervalst. onderzoeksgegevens, of dat zij resultaten hebben gewijzigd of aangepast om het resultaat te verbeteren, antwoordde tussen 0,3% en 4,9% van de wetenschappers bevestigend
- Andere twijfelachtige praktijken werden toegegeven door tot 33,7% van de respondenten. Consistent in alle studies, gaven wetenschappers vaker toe "onderzoeksresultaten te hebben gewijzigd onderzoeksresultaten" om het resultaat te verbeteren dan dat zij resultaten te hebben gerapporteerd waarvan zij "wisten dat ze niet waar waren".
- Op de vraag of zij persoonlijk kennis hadden van een collega die onderzoeksgegevens verzon of vervalste, of die onderzoeksgegevens veranderde of onderzoeksgegevens wijzigde tussen 5,2% en 33,3% van de respondenten bevestigend.
- Publicatie bias: het publiceren van onderzoek gebaseerd op type 1 fouten (vb: 9 onderzoeken vinden geen resultaat, 1 studie wel en die wordt wel gepubliceerd)
Bayesiaanse hypothese evaluatie
- Bayes factor: probeert aan te geven hoeveel ondersteuning er in de data is voor een bepaalde hypothese (vervanging van p-waarde)
- De Bayes factor BF0a geeft de relatieve steun in de data voor H0: µniet = µwel vs. Ha: µniet ≠ µwel
- Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot.
- Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha.
- Als BF0a kleiner is dan 1), dan is de steun in de data voor H0 kleiner dan voor Ha.
- De Bayes factor wordt berekend met behulp van de fit (f0) en de specialiteit (c0) van de nulhypothese
- De fit wordt letterlijk en figuurlijk kleiner als de afstand tussen de gemiddelden toeneemt
- Een goede hypothese is specifiek, want hoe precieser de hypothese, hoe duidelijker de voorspelling die een hypothese doet
- H0: µniet = µwel is zeer specifiek: ‘de twee gemiddelden zijn in de populatie exact gelijk aan elkaar’
- De hypothese H0: µniet > µwel is minder specifiek, deze zegt ‘slechts’ dat in de populatie het gemiddelde in de wel groep groter is dan in de niet groep
- Ha is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is behalve dat in de populatie de twee gemiddelden exact aan elkaar gelijk zijn
- De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05 voor de p-waarde), dit als remedie tegen:
- Questionable research practises » om de ‘stimulus’ om de analyes zo te manipuleren dat de Bayes factor boven een bepaalde grenswaarde uitkomt zo weg te nemen
- Publication bias » omdat tijdschriften niet langer een grenswaarde tot hun beschikking hebben die ze kunnen gebruiken om artikelen mee te beoordelen
- Posterior model kansen (PMK’s)
- De kans dat H0 waar is gegeven de informatie in de data noemen we PMK0
- De kans dat Ha waar is gegeven de informatie in de data noemen we PMKa
- Beide kansen tellen op tot 1.0
- Conditionele Type I en Type II fouten:
- PMK0 is de conditionele Type I fout, want als we voor Ha kiezen is de kans dat we dat ten onrechte doen gelijk aan .8
- PMKa = .2 is de conditionele Type II fout, want als we voor H0 kiezen is de kans dat we dat ten onrecht doen gelijk aan .2
Experimentele designs
- Overwegingen bij het ontwerpen van een experimenteel design (vb: behandeling depressie)
- Maturation threat (we zien een natuurlijke ontwikkeling)
- History threat (een externe gebeurtenis beïnvloedt alle deelnemers)
- Regression to the mean (alle patiënten waren behoorlijk ziek, ze konden niet verslechteren maar wel verbeteren)
- Observer bias (therapeuten vinden de patienten aan het begin van de behandeling erg ziek maar na "hun" behandeling natuurlijk veel beter)
- Demand characteristics (patienten "willen" dat de behandeling effectief is en voelen zich dus beter na de behandeling)
- Placebo effect (het is niet de behandeling die effect heeft maar puur dat er een therapeut is die warme aandacht voor de patient heeft)
- Controlegroepen kunnen een deel van deze bezwaren verminderen, namelijk:
- Maturation threat - de controle groep heeft niet dezelfde natuurlijke ontwikkeling
- History threat - de controle groep is niet door de externe gebeurtenis beinvloed
- Regression to the mean - de controle groep is niet verbeterd
- Wat na het toevoegen van een controlegroep nog niet onder controle is:
- Observer bias - therapeuten weten wie wel en niet behandeld is en passen hun scoring daarop aan
- Demand characteristics - patienten weten of ze al dan niet behandeld zijn en passen hun scoring daarop aan
- Placebo effect » dit valt te controleren door: een groep echte therapie geven, een groep (warme) aandacht geven en een controlegroep inzetten zonder therapie of aandacht. Als er geen sprake is van verschil tussen de groepen is er een placebo effect
- Het kan zijn dat er geen behandeleffect wordt gevonden, dit kan door:
- Weak manipulations, bijvoorbeeld, de therapie wordt slecht uitgevoerd, hier kun je alleen goed mee omgaan door de therapeuten adequaat te trainen
- Power problem, er is wel degelijk een effect, maar er zijn te weinig patiënten in de controle en experimentele groep om het effect statistisch significant te krijgen (p-waarde benadering) of om een Bayes factor te krijgen die het effect steunt (Bayesiaanse benadering). Dit probleem kan door het uitvoeren van een power analyse dan wel Bayesian updating worden ondervangen.
- Er is daadwerkelijk geen effect.
Access:
Public
Check more of topic:
This content is used in:
Hoorcollege aantekeningen - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 1 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 2 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 3 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 4 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 5 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 6 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 7 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 8 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 10 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 11 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 12 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 13 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
Going abroad?

Study with summaries
Contributions: posts
Help other WorldSupporters with additions, improvements and tips
Spotlight: topics
Check the related and most recent topics and summaries:
Activities abroad, study fields and working areas:
Institutions, jobs and organizations:
This content is also used in .....
Hoorcollege aantekeningen - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
In deze bundel zijn alle hoorcolleges te vinden van het vak 'Toepassing van Onderzoeksmethoden en Statistiek'. De colleges worden in het Nederlands gegeven, maar de slides zijn in het Engels. Zodoende zullen er in de aantekeningen ook regelmatig Engelse termen te vinden zijn
... Check how to use summaries on WorldSupporter.org
Submenu: Summaries & Activities
Follow the author: Jannieke Beijeman
Work for WorldSupporter
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
Statistics
Add new contribution