Causal Inference in Field Experiments

College 1

1.      Onderzoeksvaliditeit

• In experimenten 1 gouden regel: randomisatie
  • •    Maar is vaak niet het geval/niet mogelijk/niet ethisch
• Field research:
  • •    Breed spectrum:
      
      •   Meest gecontroleerd: field experiment (ook wel quasi-experiment): experiment in het veld
      •   Minst gecontroleerd: non-experimenteel
      •   Ander: laboratorium
    •    Experimentele factoren zijn minder of niet aanwezig
• Causaliteit:
  • •    Boek: Cause as INUS-condition: = Insufficient but Nonredundant part of a Unnecessary but Sufficient condition
      
      •   Insufficient: there is a causal chain, but the focal cause is only a part of the chain. Needs other parts for causal chain
      •   Nonredundant: voegt iets nieuws toe.
      •   Sufficient: chain waar de oorzaak bij hoort is genoeg voor het effect
      •   Unnecessary: andere kettingen zijn mogelijk voor hetzelfde effect
      •   Part = oorzaak
      •   Condition = andere delen van dezelfde causale ketting
    •    Effect = Het verschil wat er is gebeurd door X wat niet gebeurd zou zijn als X er niet was geweest (counterfactual)
    •    2 soorten causale problemen:
      1.        Het vinden van de oorzaak (X) van een bepaald effect (Y): van Y à X
         
         • Lastig om het antwoord op de vraag te vinden
      2.        Bewijzen dat X zorgt voor Y: van X à Y
         
         • Makkelijker om het antwoord op de vraag te vinden
    •    Condities voor het vaststellen van causaliteit:
      
      •   Relatie: het effect varieert met de oorzaak (roken veroorzaakt longkanker: variatie in hoeveelheid roken zorgt voor variatie in mate van kanker)
      •   Timing: de oorzaak moet voorafgaan aan het effect
      •   Alternatieven uitsluiten: er is geen andere mogelijke alternatieve verklaring
    •    Gouden standaard voor het vaststellen van causaliteit:
      
      •   Gerandomiseerd experiment:
        
        • Experiment, want dan kan je vergelijken
        • Gerandomiseerd, want het verbreekt de connectie tussen X en mogelijke confounders
• Correlatie ≠ Causatie

2.      Vier soorten validiteit (validiteit van onderzoeksdesigns)

• Binnen een studie
  • •    Statistical conclusion validity: er moet een relatie zijn tussen X en Y. Is de covariantie tussen X en Y overtuigend te zien? Hoe sterk is die relatie?
    •    Interne validiteit: is de causale interpretatie van X à Y verdedigbaar in de studie? (de causale richting en alternatieve interpretaties uitsluiten)
• Generalisatie:
  • •    Construct validiteit: Welke hogere-orde constructen zijn gereflecteerd in metingen en uitwerkingen in de studie? (meer conceptueel)
    •    Externe validiteit: is het generaliseerbaar voor alle mensen? (meer empirisch)

3.      UTOS. De dingen in experimenten

• Afkorting voor de ingrediënten voor experimenten:
  • •    Units: individuen, families, organisaties, etc. (die de behandeling krijgen en waar de uitkomsten worden gemeten)
    •    Treatments: onafhankelijke variabele(n)
    •    Outcomes: afhankelijke variabele(n)
    •    Settings: context (tijd, type van variatie in setting)
• Heeft treatment effect op outcome?
  • •    Units en Settings zijn derde variabelen
    •    Alle UTOS zijn generaliseerbaar

4.      Validiteit bedreigingen

• Algemeen:
  • •    Validiteit bedreiging: een specifieke reden waardoor we een (deels) verkeerde conclusie kunnen trekken over covariatie, causatie, constructen en generalisatie.
    •    Preventieve benadering: probeer een bedreiging te controleren in het design van de studie
    •    Als preventie niet mogelijk is, vraag jezelf:
      1.        Hoe kan de bedreiging onze studie hebben beïnvloed?
      2.        Is er bewijs dat een bedreiging plausibel vs. mogelijk is?
      3.        Werken de bedreigingen in dezelfde richting als het causale effect?
    •    Het boek geeft een soort checklist voor de keuze en analyse van onderzoeksdesigns
• Statistische conclusie validiteit:
  • •    Basisvraag: covarieert X met Y en zo ja, hoe sterk?
    •    Bedreigingen:
      1.        Lage statistische kracht. Vooral door kleine steekproef
      2.        Schending van assumpties van statistische toetsen. Niet alle schendingen zijn erg, sommige wel.
      3.        Fishing en error rate probleem: als je veel afhankelijke variabelen hebt is er vaak wel één afhankelijke variabele die een verbetering laat zien waardoor de hypothese aangenomen wordt à meer type I fouten
      4.        Onbetrouwbaarheid van metingen. Zorgt vooral voor lagere correlaties
      5.        Restrictie van range. Idem
      6.        Onbetrouwbaarheid van de behandeling implementatie. Vaak geen probleem in het lab, maar wel een groot probleem bij veldexperimenten.
      7.        Vreemde variantie in experimentele settings. Lastig om alles constant te houden
      8.        Heterogeniteit van units. Is goed voor generalisatie, maar slecht voor bronnen van error
      9.        Inaccurate effect size schatting. Sommige metingen zijn gebiased (onder of overschatten effect size)
• Interne validiteit:
  • •    Basisvraag: is covariantie een indicatie van een causale relatie?
    •    Bedreigingen:
      
      •   Ambigue timing: in welke volgorde dingen gemeten zijn, bijv. in correlationele studies (longitudinal): probleem van bi-directionele relaties
      •   Selectie: eerder bestaande verschillen tussen groepen
      •   Geschiedenis: externe gebeurtenissen zorgen voor verschillen (tussen voormeting en nameting)
      •   Maturatie: interne gebeurtenissen tussen voormeting en nameting
      •   Regressie: als mensen worden geselecteerd omdat zij extreem zijn (bijv. depressief) zullen minder extreem bij posttest zijn dan pretest zijn.
      •   Attrition (drop-out). Is vaak selectief. Drop-out kan zijn doordat het goed met mensen gaat en ze geen therapie meer nodig hebben of doordat het juist heel slecht gaat.
      •   Testing: mensen veranderen door herhaald testen. Vooral als testen in tijd dicht op elkaar zitten
      •   Instrumentatie: instrument verandert over tijd. Gebeurt niet echt bij psychologie
      •   Additieve of interactieve effecten. Effecten van combinaties van bedreigingen (bijv. selectie en drop-out)
• Construct validiteit:
  • •    Basisvraag: in welke mate corresponderen eigenschappen van de steekproef met de hogere-orde constructen? De match tussen het studiedoel en de constructen die dat doel beschrijven.
      
      •   Gaat over alle UTOS
      •   Prototypische en perifere eigenschappen
    •    Bedreigingen: (eerste 5)
      1.        Inadequate construct explicatie: te algemeen, te smal, gewoon verkeerd, twee operationele constructen als één.
      2.        Construct confounding. Het kan zijn dat je ook iets anders meet
      3.        Mono-operatie bias: slechts één operationalisatie gebruiken. 1 operationalisatie van een construct onderrepresenteert het construct en meet irrelevante constructen (operatie = van construct naar iets meetbaars)
      4.        Mono-methode bias: alle metingen met dezelfde methode
      5.        Confounding constructen met construct levels: om goede conclusie te trekken over de studie is het belangrijk om verschillende dosissen te gebruiken. bijv. alle behandelingen met lage dosis
      6.        Treatment Sensitive Factorial Structure: een meting kan veranderen door de behandeling, bijv. als iemand anders naar een test kijkt door de behandeling.
      7.        Reactive Self-Report Changes: veranderingen door zelf-rapportage invloeden
      8.        Reactivity tot the Experimental Situation: percepties van de experimentele situatie beïnvloeden reacties
      9.        Experimenter Expectancies: participanten beïnvloeden door verwachte responses van de onderzoeker
      10.    Novelty and Disruption Effects: beter of slechter reageren op een nieuwe of verstorende situatie
      11.    Compensatory Equalization: bepaalde spullen of service die aan mensen in de behandeling worden gegeven worden soms ook aan mensen die niet in de behandelgroep zitten gegeven
      12.    Compensatory Rivalry: mensen niet in de behandelgroep willen laten zien dat ze het net zo goed doen als de behandelgroep
      13.    Resentful Demoralization: mensen in de niet-behandelgroep kunnen daar boos over zijn en slechter reageren
      14.    Treatment Diffusion: gebruik maken van services van een conditie waar ze niet aan toegewezen zijn
    •    Acties voor het experiment:
      1.        Bedenk hoe constructen gedefinieerd moeten worden
      2.        Differentieer constructen van gerelateerde constructen
      3.        Beslis hoe elk construct gemeten kan worden
      4.        Meerdere operaties om elk construct te meten wanneer mogelijk (UTOS)
      5.        Zorg dat meerdere operaties meerdere metingen reflecteren
    •    Acties na experiment: beoordeel of elk bedoeld construct ook gemeten is (psychometrische analyse)
• Externe validiteit:
  • •    Basisvraag: in welke mate blijven causale relaties valide over variaties van de UTOS?
    •    Generalisatie doelen:
      
      •   Narrow to broad: naar grotere populaties van UTOS
      •   Broad to narrow: van steeproef naar subgroep of individu
      •   Op hetzelfde niveau: bijv. van de ene staat naar de ander
      •   Naar hetzelfde of naar ander type: bijv. van mannen naar mannen of van mannen naar vrouwen
      •   Van random steekproef naar populatie leden: alleen met echt random steekproef (is bijzonder)
    •    Bedreigingen: (zijn bij deze altijd interacties, moderator variabelen)
      
      •   Interactie causale relatie met units: Het kan dat een effect dat in een bepaalde unit heeft opgetreden niet in een andere unit optreedt, bijv. dat psychotherapie helpt, maar minder bij ouderen.
      •   Interactie causale relatie met behandelcondities: het kan dat een effect dat bij een bepaalde behandeling heeft opgetreden niet bij een andere variatie van die behandeling optreedt, bijv. dat gedragstherapie werkt, maar alleen in combinatie met cognitieve therapie
      •   Interactie causale relatie met uitkomsten: verschillende effecten bij verschillende uitkomsten, bijv. verschil in effectiviteit van kankerbehandeling als levenskwaliteit, 5-jaar overleving of algemene overleving wordt gebruikt als uitkomst.
      •   Interactie van causale relatie met settings: een effect kan wel optreden in de ene setting, maar niet in de andere
      •   Contex-dependent mediation: een mediator kan werken in de ene context (UTOS), maar niet in de ander.
• Relatie tussen constructvaliditeit en externe validiteit:
  • •    Beide gaan over generaliseerbaarheid, maar construct validiteit is meer conceptueel en externe validiteit meer empirisch
    •    Valide constructen maken valide empirische generalisatie naar andere gevallen mogelijk
• Prioriteiten en afwegingen:
  • •    Interne v.s. externe validiteit (ook bij niet-causale studies)
    •    Kunnen non-experimentele methodes (bijv. case studies) een voldoende antwoord geven? à Soms is er geen alternatief.