Causal Inference in Field Experiments - College 4

      College 4: Making a better design (in ITS and RDD)

• ITS = Interrupted Time Series
• RDD = Regression Discontinuity Designs

     Wat zijn Time Series?

• = een onderzoek waarbij je veel series van observaties hebt over tijd
• Het data verzamelen wordt gedaan door organisaties
• Op elk tijdspunt worden vaak dezelfde respondenten/units gemeten, maar dat hoeft niet. De units moeten wel vergelijkbaar zijn
• Een onderbroken time series design:
  • •    Onderbroken = als op een specifiek moment een behandeling is gebeurd
    •    Om te kijken of de behandeling effectief is kijk je of er een verschil is voor en na de onderbreking
    •   Verschillende effecten die een behandeling kan hebben:
      
       

Verandering in level of intercept

§ 

Verandering in de slope: de (gemiddelde) stijging of daling

§  Verandering in variatie: eerst bijv. minimale variatie en daarna grote variatie/schommelingen

§  Verandering in cyclisch patroon: dat (de basis van) het cyclisch patroon verandert

o   Het effect kan continu v.s. uitdovend zijn en direct v.s. vertraagd

     Simple interrupted Time Series

• O1  O2  O3  O4  O5  X   O6  O7  O8  O9  O10
• Houdt rekening met maturatie
• Bedreigingen voor interne validiteit:
  • •    History: naast de behandeling kan er een andere gebeurtenis ook plaatsvinden
    •    Instrumentatie: de manier waarop de uitkomst variabele wordt opgemeten kan veranderen over tijd: verandering in administratie
    •    Selectie: over tijd kan de steekproef veranderen
    •    Soms lastig om het exacte moment van de introductie van de interventie vast te stellen
    •    Grootste bedreiging is History
      
      •   (Deels) oplossen door een controlegroep toe te voegen

O1  O2  O3  X  O4  O5  O6

O1  O2  O3      O4  O5  O6

• Verbeteringen in het design:
  •    Controlegroep toevoegen om history mee te nemen
  •    Non-equivalent afhankelijke variabelen gebruiken: bijv. aantal ongelukken op weekdagen v.s. aantal ongelukken op weekenddagen à interventie à ongelukken in weekend ging achteruit, op weekdagen bleef hetzelfde
  •    Verwijder behandeling: à als er dan een effect wordt gevonden, sterker bewijs

O1  O2  O3  O4  X  O5  O6  O7  O8  O9  -X  O10  O11  O12  O13

o   Meerdere replicaties: patronen van behandeling verwijderen: à sterker bewijs

O1  O2  X  O3  O4  -X  O5  O6  X  O7  O8  -X  O9  O10  X  O11  O12  -X  O13  O14

o   Replicaties switchen: à sterker bewijs

O1  O2  O3  X  O4  O5  O6  O7  O8      O9  O10  O11

O1  O2  O3      O4  O5  O6  O7  O8  X  O9  O10  O11

• Problemen:
  • •    De behandeleffecten zijn vaak langzaam en diffuse verspreiding in een populatie: niet alle units worden aan de behandeling blootgesteld op precies hetzelfde moment
    •    Vertraging van het behandeleffect. Kan onvoorspelbaar zijn hoeveel vertraging er is
    •    Statistisch probleem: Vaak zijn er meer dan 100 tijdspunten nodig voor een goede analyse
• Data die gebruikt wordt komt vaak van archieven. Limitaties:
  • •    De archieven zijn soms niet makkelijk toegankelijk
    •    Sommige archieven verzamelen informatie soms met een te lang interval ertussen en missende data
    •    Veranderingen in definities kunnen voorkomen: wat wordt bijv. gevonden onder een misdrijf?
• Korte data series: als je minder dan 100 tijdspunten hebt:
  • •    Kunnen ook nuttig zijn, maar statistische analyse is niet adviseerbaar
    •    Je hebt nog steeds extra pretests die nuttig zijn tegen bedreigingen
    •    Je hebt nog steeds extra posttests die nuttig zijn om naar vertraagd effect en de persistentie van het effect te kijken
    •    Het is mogelijk om een soort van controlegroep toe te voegen

     Regression Discontinuity Design

• Heeft kenmerken van een experiment en kenmerken van een quasi-experiment
• Je wijst mensen toe aan de controlegroep of behandelgroep op basis van een cutoff score op de assignment variabele, bijv. leeftijd.
• O_A      C    X    O₂

O_A      C           O₂

o   Oa = Assignment Outcome

o   C = Cutoff score

• Assignment variabele:
  •    De assignment variabele moet de enige factor zijn die toewijzing bepaalt
  •    Hoeft niet te correleren met uitkomst
  •    Pretest is mogelijk: vaak voordelig of nodig (nodig als pretest bepaalt in welke groep je komt)
  •    Assignment variabele moet minstens ordinaal zijn, het liefst continu. Niet dichotoom
• + Toegankelijker dan random toewijzing, maar het kost power
• Variaties:
  
  •    In plaats van een behandel (T) en controle groep (C) à ene groep ene behandeling (T1), andere groep andere behandeling (T2)
  •    Meerdere cutoffs: meerdere condities
    
    •   2 cutoffs à 3 groepen à laagste groep behandeling, middengroep geen behandeling, hoogste groep behandeling. De middengroep kan met beide extremen worden vergeleken. Laat een curvilineaire relatie zien met de toewijzing van een behandeling dummy. Meer power door de reductie van collineariteit
    •   Behandelingen in verschillende dosis
• + Het selectieproces is bekend en gemeten à unbiased schatting van het effect
• Problemen met de cutoff:
  
  •    Het kan zijn dat andere professionals interfereren, bijv. bij kinderen met leerachterstand meten dat de schoolkinderen buiten de behandeling ook gaat helpen.
  •    Crossovers: iemand van de ene groep gaat naar de andere groep
  •    Attrition: mensen die stoppen. Je weet niet of er een verschil is tussen de mensen die stoppen
  •    Statistische conclusie: Je kan een ANCOVA doen
    
    •   Dummy voor de behandeling
    •   b1 = behandeleffect
    •   Xc = cutoff waarde
    •   Extra variabele: Xi-Xc à daarmee corrigeer je voor de assignment variabele
    •         
• Problemen:
  
  •    Nonlineariteit: past een polynomiale functie (=functie met meerdere componenten)
  •    Interactie-effect: je kan denken dat er een non-lineaire relatie is, maar eigenlijk profiteren mensen van de behandeling meer/minder dan de controlegroep à interactie: verschillende slopes (hellingen) voor en na de cutoff
  •    Een polynomiale functie passen: begin met heel veel termen en laat de niet significante vallen, dan eindig je met een kleiner model
• Bedreigingen voor interne validiteit:
  
  •    Net zoals interrupted time series
  •    Er kan history plaatsvinden: bij ITS bij een tijdspunt, bij RDD rond de cutoff score
  •    Combineer RDD met een random experiment:
    
    •   2 cutoff scores
    •   Laagste groep: controle, middelste groep: random toewijzing, hoogste groep: behandeling
    •   Waarom? Ethisch: bijv. bij medicatie heeft de laagste groep geen medicatie nodig, de hoogste groep wel, de middelste groep is onzeker dus random toewijzen
    •   Zelfde combinaties met Quasi-Experimenten
• Is Regression Discontinuity Design Experimenteel of Quasi Experimenteel?
  
  •    Quasi, want:
    
    •   Geen random toewijzing
    •   Nieuw soort design, moet nog goed getest en ontdekt worden
    •   Modelleren is moeilijker: achtergrondvariabelen meenemen etc.
    •   Minder power, want je hebt extra assignment variabele nodig in analyse
  •    Experimenteel, want:
    
    •   Onderzoeker doet toewijzing
    •   Unbiased schatting
• Power vergroten:
  
  •    Cutoff op het gemiddelde van de assignment scores
  •    Continue assignment variabele, of een met veel categorieën
  •    Een assignment variabele die niet te sterk met de behandeling correleert
  •    Niet non-lineaire en interactie termen overfitten (kost vrijheidsgraden)
  •    Wijs units van de extremen toe aan de ene conditie en in het midden aan de andere conditie, om collineariteit te vergroten
  •    Combineer Regression Discontinuity Design met een gerandomiseerd experiment