Join with a free account for more service, or become a member for full access to exclusives and extra support of WorldSupporter >>
Causal Inference in Field Experiments - College 5
College 5: Gerandomiseerde experimenten
Theorie achter randomisatie
- Klassiek experiment:
- Regel van de enkele variabele
- Experiment: waarvan je het effect wilt weten moet je variëren. Kan vanalles zijn
- Meten: meet de afhankelijke variabele (het effect) in alle condities
- Ceteris paribus: houd de rest constant
- Maar ‘de rest’ is heel veel…
- Regel van de enkele variabele
- Gerandomiseerd experiment:
- Theorie van random assignment (RA)
- Random toewijzing maakt behandelgroepen gelijk op verwachte (!) waarden van alle (!) mogelijke pretests (= ‘de rest’)
- De behandeling is dus het enige systematische verschil tussen condities
- Daarom geeft random toewijzing een unbiased schatting van het gemiddelde behandeleffect
- Random toewijzing vermindert geloofwaardigheid van alternatieve verklaringen voor een behandeleffect
- Theorie van random assignment (RA)
Randomisatie methodes
- Toewijzing aan condities is compleet probabilistisch. Iedereen heeft dezelfde kansen van toewijzing aan de groepen (die hoeven niet per se even groot te zijn).
- Random toewijzing van units aan condities ≠ random sampling (RS) van units van een populatie:
- Random toewijzing = subsamples die gelijk zijn aan elkaar
- Random sampling = sample gelijk aan populatie
- Random toewijzing gaat selectie bias tegen, niet maturatie of history etc.:
- Het beschermt tegen de voornaamste effecten van deze dreigingen (door ze constant te houden over behandelingen), maar
- Het beschermt niet tegen dreiging x behandeling interacties (bijv. selectieve attrition)
- Gelijke sample sizes? à gebalanceerd design geeft de beste algemene power voor het design, maar ongebalanceerd design kan meer power geven voor specifieke vergelijkingen
- Sample sizes forceren: random methodes kunnen leiden tot ongeplande sample sizes. Dat kan gehanteerd worden.
- Vergelijkbare subsamples?
- Verschillende pretest gemiddelden: random toewijzing zorgt ervoor dat verwachte waarden voor alle mogelijke verstorende variabelen gelijk zijn, niet dat geobserveerde variabelen gelijk zijn. Groepsverschillen zijn nog steeds mogelijk. Strategieën daartegen:
- Preventie: matching of stratifying (k = aantal groepen)
- Matching: paren/groepen maken (n=k) van vergelijkbare proefpersonen. Dan random toewijzing binnen elk paar/groep
- Stratifying: de onderzoeksgroep in strata verdelen (n > k). Dan random toewijzing binnen elk stratum
- Limitaties:
- Geldt alleen voor de gekozen variabelen. ‘De rest’ is nog steeds te veel
- Onbruikbaar als de gekozen variabelen ongerelateerd zijn aan de uitkomst
- Complexer in quasi-experimenten
- Meest bruikbaar vóór de randomisatie
- Correctie achteraf: randomisatie overdoen of ANCOVA (k = aantal groepen)
- Randomisatie overdoen: random samples doen van overgerepresenteerde groep(en). à lagere N à minder power
- Statistische controle (ANCOVA): corrigeer voor mogelijke invloedvariabelen met verschillende pretest gemiddelden
- Limitaties:
- Preventie is beter
- Elke variabele waarvoor gecontroleerd wordt kost 1 of meer error df
- Hangt sterk af van hoe sterk de ANCOVA-assumpties zijn (lineairiteit, parallelliteit)
- Preventie: matching of stratifying (k = aantal groepen)
- Verschillende pretest gemiddelden: random toewijzing zorgt ervoor dat verwachte waarden voor alle mogelijke verstorende variabelen gelijk zijn, niet dat geobserveerde variabelen gelijk zijn. Groepsverschillen zijn nog steeds mogelijk. Strategieën daartegen:
- Units en hogere orde units
- Individuen komen vaak in ‘aggregaten’ (schoolklassen, districten, organisaties, patiënten van dezelfde clinicus).
- Individuele units binnen een aggregaat zijn mogelijk niet onafhankelijk door gedeelde invloeden van het aggregaat naast de behandeling
- à ANOVA negeert dit à doe MultiLevel Analysis (MLA)
- Randomisatie van aggregaten: vaak een probleem met power. Oplossingen:
- Meer aggregaten à geven meer extra power dan extra units binnen aggregaten
- Randomiseer aggregaten binnen homogene blokken of strata
- Designs met random toewijzing:
- Basic design: behandel v.s. controle groep R X O
R O
Twee behandelingen: A en B (met of zonder controlegroep)
Met of zonder pretest: handig voor attrition na randomisatie of tijdens behandeling
Randomisatie voor of na pretest: na = matching
Factorieel design: factor A (A1 vs. A2) gekruist met factor B (B1 vs. B2) geeft een 2x2 design
Voordelen:
- Meer power
- Effecten van behandelcombinaties (voornaamste effecten A & B)
- Interactie-effecten (A modereert effect van B)
- Nested designs: behandeling geven binnen bestaande groepen
- P. 269 tabel 8.2: condities geleidend met random toewijzing
- P. 276: niet prettige condities voor random toewijzing
Praktische problemen
- Ethische en legale aspecten:
- Codes, informed consent, commissies (CEP)
- Redenen om niet een behandeling aan een persoon te geven:
- Als schadelijke of lange termijneffecten nog onbekend zijn
- Bij schaarse bronnen
- Alternatieve oplossingen: varieer de dosis van de behandeling zodat iedereen iets krijgt
- Het experiment afbreken voor ethische redenen, zoals negatieve bijwerkingen of grote verschillen in effectiviteit, is vaak in medisch onderzoek
- Behandel implementatie:
- Problemen:
- Menselijke redenen waarom random toewijzing niet lukt
- Niet de hele interventie krijgen
- Iets anders krijgen dan de behandeling
- Behandeling ook in de controlegroep
- Aspecten van behandel implementatie:
- Bezorging (handleidingen, protocollen, training)
- Recept (communicatie)
- Behandelovereenkomst
- Mensen in de controlegroep zoeken soms zelf behandeling: check wat ze tussen pretest en posttest doen
- Problemen:
- Efficacy vs. effectiveness: in welke mate behandeling werkt bij:
- Optimale condities: efficacy
- Realistische condities: effectiveness
- Data analyse dat implementatie data bevat
- Intent-to-treat analysis: alsof iedereen de toegewezen behandeling kreeg
- Niet iedereen kreeg de hele behandeling
- QED (= geen random toewijzing aan verschillende categorieën): analyse van het effect van de behandeling afmaken, moet gemeten worden
- Instrumentele variabele analyse (later)?
- Attrition na random assignment
- Definitie van attritie:
- Het verlies van response data van participanten door het skippen van items of het stoppen van participeren in de studie
- Consequenties: minder power, systematische bias als de attrition correleert met de behandeling
- Voorkomen van attritie: veel werk, zie p. 327 tabel 10.1
- Data-analyse met attritie: zie p. 335, tabel 10.2
Gerandomiseerde experimenten
- Theorie achter randomisatie
- Klassiek experiment:
- Regel van de enkele variabele
- Experiment: waarvan je het effect wilt weten moet je variëren. Kan vanalles zijn
- Meten: meet de afhankelijke variabele (het effect) in alle condities
- Ceteris paribus: houd de rest constant
- Maar ‘de rest’ is heel veel…
- Regel van de enkele variabele
- Gerandomiseerd experiment:
- Theorie van random assignment (RA)
- Random toewijzing maakt behandelgroepen gelijk op verwachte (!) waarden van alle (!) mogelijke pretests (= ‘de rest’)
- De behandeling is dus het enige systematische verschil tussen condities
- Daarom geeft random toewijzing een unbiased schatting van het gemiddelde behandeleffect
- Random toewijzing vermindert geloofwaardigheid van alternatieve verklaringen voor een behandeleffect
- Theorie van random assignment (RA)
- Definitie van attritie:
Randomisatie methodes
- Toewijzing aan condities is compleet probabilistisch. Iedereen heeft dezelfde kansen van toewijzing aan de groepen (die hoeven niet per se even groot te zijn).
- Random toewijzing van units aan condities ≠ random sampling (RS) van units van een populatie:
- Random toewijzing = subsamples die gelijk zijn aan elkaar
- Random sampling = sample gelijk aan populatie
- Random toewijzing gaat selectie bias tegen, niet maturatie of history etc.:
- Het beschermt tegen de voornaamste effecten van deze dreigingen (door ze constant te houden over behandelingen), maar
- Het beschermt niet tegen dreiging x behandeling interacties (bijv. selectieve attrition)
- Gelijke sample sizes? à gebalanceerd design geeft de beste algemene power voor het design, maar ongebalanceerd design kan meer power geven voor specifieke vergelijkingen
- Sample sizes forceren: random methodes kunnen leiden tot ongeplande sample sizes. Dat kan gehanteerd worden.
- Vergelijkbare subsamples?
- Verschillende pretest gemiddelden: random toewijzing zorgt ervoor dat verwachte waarden voor alle mogelijke verstorende variabelen gelijk zijn, niet dat geobserveerde variabelen gelijk zijn. Groepsverschillen zijn nog steeds mogelijk. Strategieën daartegen:
- Preventie: matching of stratifying (k = aantal groepen)
- Matching: paren/groepen maken (n=k) van vergelijkbare proefpersonen. Dan random toewijzing binnen elk paar/groep
- Stratifying: de onderzoeksgroep in strata verdelen (n > k). Dan random toewijzing binnen elk stratum
- Limitaties:
- Geldt alleen voor de gekozen variabelen. ‘De rest’ is nog steeds te veel
- Onbruikbaar als de gekozen variabelen ongerelateerd zijn aan de uitkomst
- Complexer in quasi-experimenten
- Meest bruikbaar vóór de randomisatie
- Correctie achteraf: randomisatie overdoen of ANCOVA (k = aantal groepen)
- Randomisatie overdoen: random samples doen van overgerepresenteerde groep(en). à lagere N à minder power
- Statistische controle (ANCOVA): corrigeer voor mogelijke invloedvariabelen met verschillende pretest gemiddelden
- Limitaties:
- Preventie is beter
- Elke variabele waarvoor gecontroleerd wordt kost 1 of meer error df
- Hangt sterk af van hoe sterk de ANCOVA-assumpties zijn (lineairiteit, parallelliteit)
- Preventie: matching of stratifying (k = aantal groepen)
- Verschillende pretest gemiddelden: random toewijzing zorgt ervoor dat verwachte waarden voor alle mogelijke verstorende variabelen gelijk zijn, niet dat geobserveerde variabelen gelijk zijn. Groepsverschillen zijn nog steeds mogelijk. Strategieën daartegen:
- Units en hogere orde units
- Individuen komen vaak in ‘aggregaten’ (schoolklassen, districten, organisaties, patiënten van dezelfde clinicus).
- Individuele units binnen een aggregaat zijn mogelijk niet onafhankelijk door gedeelde invloeden van het aggregaat naast de behandeling
- à ANOVA negeert dit à doe MultiLevel Analysis (MLA)
- Randomisatie van aggregaten: vaak een probleem met power. Oplossingen:
- Meer aggregaten à geven meer extra power dan extra units binnen aggregaten
- Randomiseer aggregaten binnen homogene blokken of strata
- Designs met random toewijzing:
- Basic design: behandel v.s. controle groep R X O
R O
o Twee behandelingen: A en B (met of zonder controlegroep)
o Met of zonder pretest: handig voor attrition na randomisatie of tijdens behandeling
o Randomisatie voor of na pretest: na = matching
o Factorieel design: factor A (A1 vs. A2) gekruist met factor B (B1 vs. B2) geeft een 2x2 design
§ Voordelen:
- Meer power
- Effecten van behandelcombinaties (voornaamste effecten A & B)
- Interactie-effecten (A modereert effect van B)
- Nested designs: behandeling geven binnen bestaande groepen
- P. 269 tabel 8.2: condities geleidend met random toewijzing
- P. 276: niet prettige condities voor random toewijzing
Praktische problemen
- Ethische en legale aspecten:
- Codes, informed consent, commissies (CEP)
- Redenen om niet een behandeling aan een persoon te geven:
- Als schadelijke of lange termijneffecten nog onbekend zijn
- Bij schaarse bronnen
- Alternatieve oplossingen: varieer de dosis van de behandeling zodat iedereen iets krijgt
- Het experiment afbreken voor ethische redenen, zoals negatieve bijwerkingen of grote verschillen in effectiviteit, is vaak in medisch onderzoek
- Behandel implementatie:
- Problemen:
- Menselijke redenen waarom random toewijzing niet lukt
- Niet de hele interventie krijgen
- Iets anders krijgen dan de behandeling
- Behandeling ook in de controlegroep
- Aspecten van behandel implementatie:
- Bezorging (handleidingen, protocollen, training)
- Recept (communicatie)
- Behandelovereenkomst
- Mensen in de controlegroep zoeken soms zelf behandeling: check wat ze tussen pretest en posttest doen
- Problemen:
- Efficacy vs. effectiveness: in welke mate behandeling werkt bij:
- Optimale condities: efficacy
- Realistische condities: effectiveness
- Data analyse dat implementatie data bevat
- Intent-to-treat analysis: alsof iedereen de toegewezen behandeling kreeg
- Niet iedereen kreeg de hele behandeling
- QED (= geen random toewijzing aan verschillende categorieën): analyse van het effect van de behandeling afmaken, moet gemeten worden
- Instrumentele variabele analyse (later)?
- Attrition na random assignment
- Definitie van attritie:
- Het verlies van response data van participanten door het skippen van items of het stoppen van participeren in de studie
- Consequenties: minder power, systematische bias als de attrition correleert met de behandeling
- Voorkomen van attritie: veel werk, zie p. 327 tabel 10.1
- Data-analyse met attritie: zie p. 335, tabel 10.2
- Definitie van attritie:
Access:
Public
Work for WorldSupporter
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
Check how to use summaries on WorldSupporter.org
Online access to all summaries, study notes en practice exams
- Check out: Register with JoHo WorldSupporter: starting page (EN)
- Check out: Aanmelden bij JoHo WorldSupporter - startpagina (NL)
How and why would you use WorldSupporter.org for your summaries and study assistance?
- For free use of many of the summaries and study aids provided or collected by your fellow students.
- For free use of many of the lecture and study group notes, exam questions and practice questions.
- For use of all exclusive summaries and study assistance for those who are member with JoHo WorldSupporter with online access
- For compiling your own materials and contributions with relevant study help
- For sharing and finding relevant and interesting summaries, documents, notes, blogs, tips, videos, discussions, activities, recipes, side jobs and more.
Using and finding summaries, study notes en practice exams on JoHo WorldSupporter
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
- Use the menu above every page to go to one of the main starting pages
- Starting pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
- Use the topics and taxonomy terms
- The topics and taxonomy of the study and working fields gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up
- Check or follow your (study) organizations:
- by checking or using your study organizations you are likely to discover all relevant study materials.
- this option is only available trough partner organizations
- Check or follow authors or other WorldSupporters
- by following individual users, authors you are likely to discover more relevant study materials.
- Use the Search tools
- 'Quick & Easy'- not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject.
- The search tool is also available at the bottom of most pages
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
- Check out: Why and how to add a WorldSupporter contributions
- JoHo members: JoHo WorldSupporter members can share content directly and have access to all content: Join JoHo and become a JoHo member
- Non-members: When you are not a member you do not have full access, but if you want to share your own content with others you can fill out the contact form
Quicklinks to fields of study for summaries and study assistance
Field of study
- All studies for summaries, study assistance and working fields
- Communication & Media sciences
- Corporate & Organizational Sciences
- Cultural Studies & Humanities
- Economy & Economical sciences
- Education & Pedagogic Sciences
- Health & Medical Sciences
- IT & Exact sciences
- Law & Justice
- Nature & Environmental Sciences
- Psychology & Behavioral Sciences
- Public Administration & Social Sciences
- Science & Research
- Technical Sciences
Check the related and most recent topics and summaries:
Activity abroad, study field of working area:
Institutions, jobs and organizations:
Add new contribution