H C 5 - 8 M E I 2 0 2 3
Bayesiaanse statistiek en design overwegingen
Waarom houden wetenschappers van experimenten?
- Er is een hoge mate van controle » je kan veel zelf beïnvloeden
- Mensen nemen vaak deel aan experimenten
De empirische cirkel
- Theorie en onderzoeksvraag
- Onderzoeksontwerp
- Hypothese formulering en preregistratie
- Nulhypothese zegt altijd ‘er is geen effect’
- Preregistratie: onderzoeksresultaten publiceren, ongeacht de resultaten
- Steekproeftrekking, randomiseren en causaliteit, data verzameling en data controle
- Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
- Cohen’s D = effectgrootte (stel ik vind een effect, is het dan relevant?) » .20 is een klein effect, .50 is een gemiddeld effect, .80 is een groot effect
- P-waarde: als ik aanneem dat de nulhypothese waar is, hoe bijzonder is het dat ik deze data vind?
- Alfa: de kans op een type 1 fout (= ten onrechte verwerpen van de nulhypothese) » als je een kleinere kans wil op een type 1 fout, moet je een grotere steekproef nemen.
- Power: de kans op een type 2 fout (= ten onrechte de nulhypothese niet verwerpen)
- Rapportage
- Replicatie onderzoek
De replicatie crisis
- Studies die niet genoeg power hebben, publiceren toch hun stuk. De replicatiestudie heeft een grotere groep respondenten met een grotere power om dezelfde effect size te vinden. Dit zorgt voor heel andere onderzoeksresultaten.
- De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van wetenschappelijk onderzoek vaak niet repliceerbaar blijken.
- Sloppy science:
- Op de uitdrukkelijke vraag of zij ooit onderzoekgegevens hebben vervalst of vervalst. onderzoeksgegevens, of dat zij resultaten hebben gewijzigd of aangepast om het resultaat te verbeteren, antwoordde tussen 0,3% en 4,9% van de wetenschappers bevestigend
- Andere twijfelachtige praktijken werden toegegeven door tot 33,7% van de respondenten. Consistent in alle studies, gaven wetenschappers vaker toe "onderzoeksresultaten te hebben gewijzigd onderzoeksresultaten" om het resultaat te verbeteren dan dat zij resultaten te hebben gerapporteerd waarvan zij "wisten dat ze niet waar waren".
- Op de vraag of zij persoonlijk kennis hadden van een collega die onderzoeksgegevens verzon of vervalste, of die onderzoeksgegevens veranderde of onderzoeksgegevens wijzigde tussen 5,2% en 33,3% van de respondenten bevestigend.
- Publicatie bias: het publiceren van onderzoek gebaseerd op type 1 fouten (vb: 9 onderzoeken vinden geen resultaat, 1 studie wel en die wordt wel gepubliceerd)
Bayesiaanse hypothese evaluatie
- Bayes factor: probeert aan te geven hoeveel ondersteuning er in de data is voor een bepaalde hypothese (vervanging van p-waarde)
- De Bayes factor BF0a geeft de relatieve steun in de data voor H0: µniet = µwel vs. Ha: µniet ≠ µwel
- Als BF0a gelijk is aan 1, dan is de steun in de data voor H0 en Ha even groot.
- Als BF0a groter is dan 1, dan is de steun in de data voor H0 groter dan voor Ha.
- Als BF0a kleiner is dan 1), dan is de steun in de data voor H0 kleiner dan voor Ha.
- De Bayes factor wordt berekend met behulp van de fit (f0) en de specialiteit (c0) van de nulhypothese
- De fit wordt letterlijk en figuurlijk kleiner als de afstand tussen de gemiddelden toeneemt
- Een goede hypothese is specifiek, want hoe precieser de hypothese, hoe duidelijker de voorspelling die een hypothese doet
- H0: µniet = µwel is zeer specifiek: ‘de twee gemiddelden zijn in de populatie exact gelijk aan elkaar’
- De hypothese H0: µniet > µwel is minder specifiek, deze zegt ‘slechts’ dat in de populatie het gemiddelde in de wel groep groter is dan in de niet groep
- Ha is in het geheel niet specifiek. Deze hypothese zegt dat alles mogelijk is behalve dat in de populatie de twee gemiddelden exact aan elkaar gelijk zijn
- De Bayes factor wordt niet vergeleken met een grenswaarde (zoals .05 voor de p-waarde), dit als remedie tegen:
- Questionable research practises » om de ‘stimulus’ om de analyes zo te manipuleren dat de Bayes factor boven een bepaalde grenswaarde uitkomt zo weg te nemen
- Publication bias » omdat tijdschriften niet langer een grenswaarde tot hun beschikking hebben die ze kunnen gebruiken om artikelen mee te beoordelen
- Posterior model kansen (PMK’s)
- De kans dat H0 waar is gegeven de informatie in de data noemen we PMK0
- De kans dat Ha waar is gegeven de informatie in de data noemen we PMKa
- Beide kansen tellen op tot 1.0
- Conditionele Type I en Type II fouten:
- PMK0 is de conditionele Type I fout, want als we voor Ha kiezen is de kans dat we dat ten onrechte doen gelijk aan .8
- PMKa = .2 is de conditionele Type II fout, want als we voor H0 kiezen is de kans dat we dat ten onrecht doen gelijk aan .2
Experimentele designs
- Overwegingen bij het ontwerpen van een experimenteel design (vb: behandeling depressie)
- Maturation threat (we zien een natuurlijke ontwikkeling)
- History threat (een externe gebeurtenis beïnvloedt alle deelnemers)
- Regression to the mean (alle patiënten waren behoorlijk ziek, ze konden niet verslechteren maar wel verbeteren)
- Observer bias (therapeuten vinden de patienten aan het begin van de behandeling erg ziek maar na "hun" behandeling natuurlijk veel beter)
- Demand characteristics (patienten "willen" dat de behandeling effectief is en voelen zich dus beter na de behandeling)
- Placebo effect (het is niet de behandeling die effect heeft maar puur dat er een therapeut is die warme aandacht voor de patient heeft)
- Controlegroepen kunnen een deel van deze bezwaren verminderen, namelijk:
- Maturation threat - de controle groep heeft niet dezelfde natuurlijke ontwikkeling
- History threat - de controle groep is niet door de externe gebeurtenis beinvloed
- Regression to the mean - de controle groep is niet verbeterd
- Wat na het toevoegen van een controlegroep nog niet onder controle is:
- Observer bias - therapeuten weten wie wel en niet behandeld is en passen hun scoring daarop aan
- Demand characteristics - patienten weten of ze al dan niet behandeld zijn en passen hun scoring daarop aan
- Placebo effect » dit valt te controleren door: een groep echte therapie geven, een groep (warme) aandacht geven en een controlegroep inzetten zonder therapie of aandacht. Als er geen sprake is van verschil tussen de groepen is er een placebo effect
- Het kan zijn dat er geen behandeleffect wordt gevonden, dit kan door:
- Weak manipulations, bijvoorbeeld, de therapie wordt slecht uitgevoerd, hier kun je alleen goed mee omgaan door de therapeuten adequaat te trainen
- Power problem, er is wel degelijk een effect, maar er zijn te weinig patiënten in de controle en experimentele groep om het effect statistisch significant te krijgen (p-waarde benadering) of om een Bayes factor te krijgen die het effect steunt (Bayesiaanse benadering). Dit probleem kan door het uitvoeren van een power analyse dan wel Bayesian updating worden ondervangen.
- Er is daadwerkelijk geen effect.
Hoorcollege aantekeningen - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 1 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 2 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 3 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 4 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 5 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 6 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 7 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 8 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 10 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 11 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 12 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
- Aantekeningen hoorcollege 13 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
Hoorcollege aantekeningen - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)
In deze bundel zijn alle hoorcolleges te vinden van het vak 'Toepassing van Onderzoeksmethoden en Statistiek'. De colleges worden in het Nederlands gegeven, maar de slides zijn in het Engels. Zodoende zullen er in de aantekeningen ook regelmatig Engelse termen te vinden zijn
...- 1 of 14
- next ›
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
Online access to all summaries, study notes en practice exams
- Check out: Register with JoHo WorldSupporter: starting page (EN)
- Check out: Aanmelden bij JoHo WorldSupporter - startpagina (NL)
How and why would you use WorldSupporter.org for your summaries and study assistance?
- For free use of many of the summaries and study aids provided or collected by your fellow students.
- For free use of many of the lecture and study group notes, exam questions and practice questions.
- For use of all exclusive summaries and study assistance for those who are member with JoHo WorldSupporter with online access
- For compiling your own materials and contributions with relevant study help
- For sharing and finding relevant and interesting summaries, documents, notes, blogs, tips, videos, discussions, activities, recipes, side jobs and more.
Using and finding summaries, study notes en practice exams on JoHo WorldSupporter
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
- Use the menu above every page to go to one of the main starting pages
- Starting pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
- Use the topics and taxonomy terms
- The topics and taxonomy of the study and working fields gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up
- Check or follow your (study) organizations:
- by checking or using your study organizations you are likely to discover all relevant study materials.
- this option is only available trough partner organizations
- Check or follow authors or other WorldSupporters
- by following individual users, authors you are likely to discover more relevant study materials.
- Use the Search tools
- 'Quick & Easy'- not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject.
- The search tool is also available at the bottom of most pages
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
- Check out: Why and how to add a WorldSupporter contributions
- JoHo members: JoHo WorldSupporter members can share content directly and have access to all content: Join JoHo and become a JoHo member
- Non-members: When you are not a member you do not have full access, but if you want to share your own content with others you can fill out the contact form
Quicklinks to fields of study for summaries and study assistance
Field of study
- All studies for summaries, study assistance and working fields
- Communication & Media sciences
- Corporate & Organizational Sciences
- Cultural Studies & Humanities
- Economy & Economical sciences
- Education & Pedagogic Sciences
- Health & Medical Sciences
- IT & Exact sciences
- Law & Justice
- Nature & Environmental Sciences
- Psychology & Behavioral Sciences
- Public Administration & Social Sciences
- Science & Research
- Technical Sciences
Add new contribution