Causal Inference in Field Experiments - College 3

College 3

     Het inschatten van behandelingseffecten in Quasi-Experimenteel Design: interne validiteit vergrote

1.        Bij categorische variabelen: Maak blokken om te corrigeren voor bias (in ANOVA)
   • •    Maak blokken voor Geslacht, Leeftijd, etc.: vergelijk Behandeling en Controlegroepen binnen blokken en kijk naar EMM: (Estimated Marginal Means): de gemiddelden per blok geslacht-leeftijd in plaats van het totale gemiddelde. Er is gecorrigeerd voor covariaten
     •    Vooral nodig voor ongebalanceerde designs (MVDA, week 2)
     •    Ook de reductie van error van Type II error
2.        Bij continue uitkomst variabelen: voeg predictoren toe aan de behandeling dummy
   • •    Regressieanalyse maken
     •    b_behandeling geeft behandeleffect terwijl andere predictoren constant worden gehouden
     •    Ook reductie van error
3.        Gebruik pretest om voor de bias te corrigeren
   • •    Gain scores: posttest min pretest à als uitkomst variabele gebruiken
     •    OF repeated measures: 2 of meer metingen
       
       •   Kijk naar de interactie van een contrast (within-subject) met een conditie (between-subject)
     •    OF gebruik 2 of meer uitkomsten:
       
       •   Onafhankelijke variabele: behandeling of niet
4.        Covariate aanpassingen gebruiken
   • •    Covariate = achtergrondvariabelen die effect van interventie kunnen beïnvloeden
     •    Pretest gebruiken als covariate
     •    Check of de slopes (hellingen) homogeen zijn of dat er interactie is
     •    Je kan meer covariates toevoegen, maar hoe meer je er toevoegt hoe minder degrees of freedom je over hebt voor de error, dus een grotere kans op error.
     • DFE = n-p-1 à hoe meer p (predictors=covariates) hoe minder DF

Propensity scores

1.        Bereken propensity score
   • •    Voor elke unit/respondent de kans om in de treatmentgroep te komen
     •    Vastgesteld door logische regressie
     •    Je gebruikt alle achtergrondvariabelen als predictoren in regressie en de kans om in een behandeling groep te zitten is je propensity score
     •    Propensity scores vervangen de set van covariates: maakt het mogelijk om op meerdere variabelen tegelijk te matchen (dus het nadeel van minder DFE omzeilen)
     •    Technieken:
       
       •   Logistische regressie: covariates als predictoren en of je in de behandelgroep zit als uitkomst variabelen
2.        Je gebruikt de propensity score om bias te verminderen
   • •    Je verwijdert uitschieters
     •    De anderen match je op propensity score
       
       •   Pairwise matching: voor elke respondent in de behandeling match je op basis van de propensity score met iemand van de controlegroep
         
         • De verschillen tussen propensity scores van een stratum/koppel kunnen best veel verschillen (in tegenstelling tot stratifying)
       •   (Full) Optimal matching
       •   Stratifying: je maakt 5 lagen van respondenten met gelijke propensity score: van een groep/laag met lage propensity scores tot de hoogste, allemaal even groot ongeveer. Binnen een groep zijn de propensity scores gelijk maar tussen groepen verschillend.

• Problemen voor propensities:
  • •    Groot sample
    •    Niet genoeg overlap: sommige strata bevatten alleen units van dezelfde groep (behandeling of controle)
    •    Missende covariates komen ook vaak voor
    •    Geobserveerde vs. verborgen bias: het corrigeert alleen voor geobserveerde/gemeten
    •    Niet alle covariaten kunnen gemeten worden
• In gerandomiseerde experimenten: kans om aan behandeling toe te worden gewezen: 0.50. Niet altijd in niet-gerandomiseerde experimenten
• Sensitiviteit analyse: om te kijken hoe de kans wordt beïnvloed waardoor het geen 0.50 meer is:
  • •    Je gaat uit van verschillende afwijkingen van 0.50
    •    Om te kijken of je resultaten sensitief zijn voor de afwijkingen van 0.50
      
      •   Om erachter te komen hoe sensitief het experiment is, gegeven de achtergrondinformatie, hoe erg de effecten beïnvloed worden door factoren die niet door het experiment bedoeld worden
    •    Kies hoeveel de kans kan afwijken van 0.50
    •    Laat niet zien of er bias is, maar wel als er een bias is hoeveel die de resultaten beïnvloed worden
• Selection bias modeling:
  • •    Propensity scores corrigeren niet voor verborgen bias
    •    Sensitiviteit analyse laat niet zien of er een verborgen bias is
    •    Oplossing: selectie bias model: is 1 model
      
      •   Equatie over het selectieproces (of je in behandelgroep of controlegroep komt)
      •   Equatie over de uitkomstvariabele
    •    Verschil met propensity score:
    •    Voordeel: het is 1 model
    •    Correlatie voor selectie equatie en uitkomst equatie
    •    De assumptie voor normaliteit is nodig. Dat hoeft niet bij de propensity score
    •    Als de selectie equatie veel van 0 afwijkt kunnen de resultaten gebiased zijn
• Latent Variable Structural Equation Modeling: SEM (in andere statistiek cursus)