Causal Inference in Field Experiments - College 5

     Theorie achter randomisatie

• Klassiek experiment:
  • •    Regel van de enkele variabele
      •   Experiment: waarvan je het effect wilt weten moet je variëren. Kan vanalles zijn
      •   Meten: meet de afhankelijke variabele (het effect) in alle condities
      •   Ceteris paribus: houd de rest constant
    •    Maar ‘de rest’ is heel veel…
• Gerandomiseerd experiment:
  • •    Theorie van random assignment (RA)
      
      •   Random toewijzing maakt behandelgroepen gelijk op verwachte (!) waarden van alle (!) mogelijke pretests (= ‘de rest’)
      •   De behandeling is dus het enige systematische verschil tussen condities
      •   Daarom geeft random toewijzing een unbiased schatting van het gemiddelde behandeleffect
      •   Random toewijzing vermindert geloofwaardigheid van alternatieve verklaringen voor een behandeleffect

     Randomisatie methodes

• Toewijzing aan condities is compleet probabilistisch. Iedereen heeft dezelfde kansen van toewijzing aan de groepen (die hoeven niet per se even groot te zijn).
• Random toewijzing van units aan condities ≠ random sampling (RS) van units van een populatie:
  • •    Random toewijzing = subsamples die gelijk zijn aan elkaar
    •    Random sampling = sample gelijk aan populatie
• Random toewijzing gaat selectie bias tegen, niet maturatie of history etc.:
  • •    Het beschermt tegen de voornaamste effecten van deze dreigingen (door ze constant te houden over behandelingen), maar
    •    Het beschermt niet tegen dreiging x behandeling interacties (bijv. selectieve attrition)
• Gelijke sample sizes? à gebalanceerd design geeft de beste algemene power voor het design, maar ongebalanceerd design kan meer power geven voor specifieke vergelijkingen
• Sample sizes forceren: random methodes kunnen leiden tot ongeplande sample sizes. Dat kan gehanteerd worden.
• Vergelijkbare subsamples?
  • •    Verschillende pretest gemiddelden: random toewijzing zorgt ervoor dat verwachte waarden voor alle mogelijke verstorende variabelen gelijk zijn, niet dat geobserveerde variabelen gelijk zijn. Groepsverschillen zijn nog steeds mogelijk. Strategieën daartegen:
      
      •   Preventie: matching of stratifying (k = aantal groepen)
        
        • Matching: paren/groepen maken (n=k) van vergelijkbare proefpersonen. Dan random toewijzing binnen elk paar/groep
        • Stratifying: de onderzoeksgroep in strata verdelen (n > k). Dan random toewijzing binnen elk stratum
        • Limitaties:
          
          •    Geldt alleen voor de gekozen variabelen. ‘De rest’ is nog steeds te veel
          •    Onbruikbaar als de gekozen variabelen ongerelateerd zijn aan de uitkomst
          •    Complexer in quasi-experimenten
          •    Meest bruikbaar vóór de randomisatie
      •   Correctie achteraf: randomisatie overdoen of ANCOVA (k = aantal groepen)
        
        • Randomisatie overdoen: random samples doen van overgerepresenteerde groep(en). à lagere N à minder power
        • Statistische controle (ANCOVA): corrigeer voor mogelijke invloedvariabelen met verschillende pretest gemiddelden
        • Limitaties:
          
          •    Preventie is beter
          •    Elke variabele waarvoor gecontroleerd wordt kost 1 of meer error df
          •    Hangt sterk af van hoe sterk de ANCOVA-assumpties zijn (lineairiteit, parallelliteit)
• Units en hogere orde units
  • •    Individuen komen vaak in ‘aggregaten’ (schoolklassen, districten, organisaties, patiënten van dezelfde clinicus).
    •    Individuele units binnen een aggregaat zijn mogelijk niet onafhankelijk door gedeelde invloeden van het aggregaat naast de behandeling
      
      •   à ANOVA negeert dit à doe MultiLevel Analysis (MLA)
    •    Randomisatie van aggregaten: vaak een probleem met power. Oplossingen:
      
      •   Meer aggregaten à geven meer extra power dan extra units binnen aggregaten
      •   Randomiseer aggregaten binnen homogene blokken of strata
• Designs met random toewijzing:
  • •    Basic design: behandel v.s. controle groep          R    X     O

                                                                                               R            O

                      Twee behandelingen: A en B (met of zonder controlegroep)

                       Met of zonder pretest: handig voor attrition na randomisatie of tijdens behandeling

                      Randomisatie voor of na pretest: na = matching

                      Factorieel design: factor A (A1 vs. A2) gekruist met factor B (B1 vs. B2) geeft een 2x2 design

                      Voordelen:

2. • • • • Meer power
         • Effecten van behandelcombinaties (voornaamste effecten A & B)
         • Interactie-effecten (A modereert effect van B)
     •    Nested designs: behandeling geven binnen bestaande groepen
     •    P. 269 tabel 8.2: condities geleidend met random toewijzing
     •    P. 276: niet prettige condities voor random toewijzing

     Praktische problemen

• Ethische en legale aspecten:
  • •    Codes, informed consent, commissies (CEP)
    •    Redenen om niet een behandeling aan een persoon te geven:
      
      •   Als schadelijke of lange termijneffecten nog onbekend zijn
      •   Bij schaarse bronnen
    •    Alternatieve oplossingen: varieer de dosis van de behandeling zodat iedereen iets krijgt
    •    Het experiment afbreken voor ethische redenen, zoals negatieve bijwerkingen of grote verschillen in effectiviteit, is vaak in medisch onderzoek
• Behandel implementatie:
  • •    Problemen:
      
      •   Menselijke redenen waarom random toewijzing niet lukt
      •   Niet de hele interventie krijgen
      •   Iets anders krijgen dan de behandeling
      •   Behandeling ook in de controlegroep
    •    Aspecten van behandel implementatie:
      
      •   Bezorging (handleidingen, protocollen, training)
      •   Recept (communicatie)
      •   Behandelovereenkomst
    •    Mensen in de controlegroep zoeken soms zelf behandeling: check wat ze tussen pretest en posttest doen
• Efficacy vs. effectiveness: in welke mate behandeling werkt bij:
  • •    Optimale condities: efficacy
    •    Realistische condities: effectiveness
• Data analyse dat implementatie data bevat
  • •    Intent-to-treat analysis: alsof iedereen de toegewezen behandeling kreeg
    •    Niet iedereen kreeg de hele behandeling
    •    QED (= geen random toewijzing aan verschillende categorieën): analyse van het effect van de behandeling afmaken, moet gemeten worden
    •    Instrumentele variabele analyse (later)?
• Attrition na random assignment
  • •    Definitie van attritie:
      
      •   Het verlies van response data van participanten door het skippen van items of het stoppen van participeren in de studie
      •   Consequenties: minder power, systematische bias als de attrition correleert met de behandeling
    •    Voorkomen van attritie: veel werk, zie p. 327 tabel 10.1
    •    Data-analyse met attritie: zie p. 335, tabel 10.2

            Gerandomiseerde experimenten

    •      Theorie achter randomisatie
    • Klassiek experiment:
      • •    Regel van de enkele variabele
          
          •   Experiment: waarvan je het effect wilt weten moet je variëren. Kan vanalles zijn
          •   Meten: meet de afhankelijke variabele (het effect) in alle condities
          •   Ceteris paribus: houd de rest constant
        •    Maar ‘de rest’ is heel veel…
    • Gerandomiseerd experiment:
      • •    Theorie van random assignment (RA)
          
          •   Random toewijzing maakt behandelgroepen gelijk op verwachte (!) waarden van alle (!) mogelijke pretests (= ‘de rest’)
          •   De behandeling is dus het enige systematische verschil tussen condities
          •   Daarom geeft random toewijzing een unbiased schatting van het gemiddelde behandeleffect
          •   Random toewijzing vermindert geloofwaardigheid van alternatieve verklaringen voor een behandeleffect

     Randomisatie methodes

• Toewijzing aan condities is compleet probabilistisch. Iedereen heeft dezelfde kansen van toewijzing aan de groepen (die hoeven niet per se even groot te zijn).
• Random toewijzing van units aan condities ≠ random sampling (RS) van units van een populatie:
  • •    Random toewijzing = subsamples die gelijk zijn aan elkaar
    •    Random sampling = sample gelijk aan populatie
• Random toewijzing gaat selectie bias tegen, niet maturatie of history etc.:
  • •    Het beschermt tegen de voornaamste effecten van deze dreigingen (door ze constant te houden over behandelingen), maar
    •    Het beschermt niet tegen dreiging x behandeling interacties (bijv. selectieve attrition)
• Gelijke sample sizes? à gebalanceerd design geeft de beste algemene power voor het design, maar ongebalanceerd design kan meer power geven voor specifieke vergelijkingen
• Sample sizes forceren: random methodes kunnen leiden tot ongeplande sample sizes. Dat kan gehanteerd worden.
• Vergelijkbare subsamples?
  • •    Verschillende pretest gemiddelden: random toewijzing zorgt ervoor dat verwachte waarden voor alle mogelijke verstorende variabelen gelijk zijn, niet dat geobserveerde variabelen gelijk zijn. Groepsverschillen zijn nog steeds mogelijk. Strategieën daartegen:
      
      •   Preventie: matching of stratifying (k = aantal groepen)
        
        • Matching: paren/groepen maken (n=k) van vergelijkbare proefpersonen. Dan random toewijzing binnen elk paar/groep
        • Stratifying: de onderzoeksgroep in strata verdelen (n > k). Dan random toewijzing binnen elk stratum
        • Limitaties:
          
          •    Geldt alleen voor de gekozen variabelen. ‘De rest’ is nog steeds te veel
          •    Onbruikbaar als de gekozen variabelen ongerelateerd zijn aan de uitkomst
          •    Complexer in quasi-experimenten
          •    Meest bruikbaar vóór de randomisatie
      •   Correctie achteraf: randomisatie overdoen of ANCOVA (k = aantal groepen)
        
        • Randomisatie overdoen: random samples doen van overgerepresenteerde groep(en). à lagere N à minder power
        • Statistische controle (ANCOVA): corrigeer voor mogelijke invloedvariabelen met verschillende pretest gemiddelden
        • Limitaties:
          
          •    Preventie is beter
          •    Elke variabele waarvoor gecontroleerd wordt kost 1 of meer error df
          •    Hangt sterk af van hoe sterk de ANCOVA-assumpties zijn (lineairiteit, parallelliteit)
• Units en hogere orde units
  • •    Individuen komen vaak in ‘aggregaten’ (schoolklassen, districten, organisaties, patiënten van dezelfde clinicus).
    •    Individuele units binnen een aggregaat zijn mogelijk niet onafhankelijk door gedeelde invloeden van het aggregaat naast de behandeling
      
      •   à ANOVA negeert dit à doe MultiLevel Analysis (MLA)
    •    Randomisatie van aggregaten: vaak een probleem met power. Oplossingen:
      
      •   Meer aggregaten à geven meer extra power dan extra units binnen aggregaten
      •   Randomiseer aggregaten binnen homogene blokken of strata
• Designs met random toewijzing:
  • •    Basic design: behandel v.s. controle groep          R    X     O

• R            O

  o   Twee behandelingen: A en B (met of zonder controlegroep)

  o   Met of zonder pretest: handig voor attrition na randomisatie of tijdens behandeling

  o   Randomisatie voor of na pretest: na = matching

  o   Factorieel design: factor A (A1 vs. A2) gekruist met factor B (B1 vs. B2) geeft een 2x2 design

  §  Voordelen:

• • • • • Meer power
        • Effecten van behandelcombinaties (voornaamste effecten A & B)
        • Interactie-effecten (A modereert effect van B)
    •    Nested designs: behandeling geven binnen bestaande groepen
    •    P. 269 tabel 8.2: condities geleidend met random toewijzing
    •    P. 276: niet prettige condities voor random toewijzing

     Praktische problemen

• Ethische en legale aspecten:
  • •    Codes, informed consent, commissies (CEP)
    •    Redenen om niet een behandeling aan een persoon te geven:
      
      •   Als schadelijke of lange termijneffecten nog onbekend zijn
      •   Bij schaarse bronnen
    •    Alternatieve oplossingen: varieer de dosis van de behandeling zodat iedereen iets krijgt
    •    Het experiment afbreken voor ethische redenen, zoals negatieve bijwerkingen of grote verschillen in effectiviteit, is vaak in medisch onderzoek
• Behandel implementatie:
  • •    Problemen:
      
      •   Menselijke redenen waarom random toewijzing niet lukt
      •   Niet de hele interventie krijgen
      •   Iets anders krijgen dan de behandeling
      •   Behandeling ook in de controlegroep
    •    Aspecten van behandel implementatie:
      
      •   Bezorging (handleidingen, protocollen, training)
      •   Recept (communicatie)
      •   Behandelovereenkomst
    •    Mensen in de controlegroep zoeken soms zelf behandeling: check wat ze tussen pretest en posttest doen
• Efficacy vs. effectiveness: in welke mate behandeling werkt bij:
  • •    Optimale condities: efficacy
    •    Realistische condities: effectiveness
• Data analyse dat implementatie data bevat
  • •    Intent-to-treat analysis: alsof iedereen de toegewezen behandeling kreeg
    •    Niet iedereen kreeg de hele behandeling
    •    QED (= geen random toewijzing aan verschillende categorieën): analyse van het effect van de behandeling afmaken, moet gemeten worden
    •    Instrumentele variabele analyse (later)?
• Attrition na random assignment
  • •    Definitie van attritie:
      
      •   Het verlies van response data van participanten door het skippen van items of het stoppen van participeren in de studie
      •   Consequenties: minder power, systematische bias als de attrition correleert met de behandeling
    •    Voorkomen van attritie: veel werk, zie p. 327 tabel 10.1
    •    Data-analyse met attritie: zie p. 335, tabel 10.2