Causal Inference in Field Experiments - College 6

      College 6: Gegeneraliseerde causaliteit

     Generalisatie

• = externe validiteit
• Problemen met generalisatie:
  • •    Experimenten moeten zijn en zijn heel specifiek
    •    Maar als je deze wilt toepassen zijn die situaties vaak anders
• Mogelijk om te generaliseren:
  • •    Specifieke operaties (van UTOS): constructen daarachter: construct validiteit
    •    Causale relatie die gevonden is in de studie: causale relatie met andere UTOS: externe validiteit
• Voorbeeld:
  • •    Het effect van mindfulness in depressie. Niet om mensen te genezen, maar om terugval te voorkomen
    •    Standaard mindfulness training, niet speciaal voor depressie of in een kliniek
    •    38 patiënten doen de training, 32 niet
    •    Afhankelijke variabelen hadden minstens 1 terugval binnen 1 of 3 jaar na het einde
    •    Op beide momenten, minder terugval bij training groep dan de controlegroep
    •    à erg weinig informatie. Er mist: informatie over participanten (leeftijd, geslacht), waarom de 32 patiënten de training weigerden, er staat niks over systematische verschillen tussen de behandelgroep en controlegroep.
    •    à alternatieven voor UTOS?
      
      •   Units: meer klinieken
      •   Treatments: andere mindfulness trainingen, bijv. gefocust op depressie
      •   Outcomes: algemeen welzijn, en andere variabelen
      •   Settings: in de buitenlucht? Of juist op een kliniek?

     Formele v.s. purposive sampling

• Het ideale is random sampling van personen, behandelingen, uitkomsten of settings (= standard solution)
• Andere manieren: Purposive sampling: niet random de UTOS bepalen:
  • •    Units/persons: soms random gesampled, maar:
      
      •   Vaak onmogelijk of ongelegen (geen lijst)
      •   Sommige mensen zijn onbereikbaar of willen niet
    •    Behandelingen. Vaak wordt dat niet random gekozen, maar de meest typische behandeling wordt gekozen (standaard) of de meest effectieve
    •    Uitkomsten. We hebben het liefst een globale meting, of de meest typische uitkomsten, of makkelijk meetbare uitkomsten
    •    Settings. Vaak geen random sampling van alle mogelijke settings. Vaak de meest typische, of makkelijkst bereikbare, of grootste kans om een effect te produceren
• Twee soorten van purposive sampling:
  • •    PSI-Typ: purposive sampling van de meest typische situaties.
      
      •   Het samplen van modale situaties, of situaties dichtbij de mediaan of het gemiddelde
      •   Goed voor statistische power, gaat voor de meest relevante situaties
      •   Maar gelimiteerd in generalisatie
    •    PSI-Het: purposive sampling van heterogene situaties
      
      •   Zodat je nog meer verschillende soorten patiënten krijgt dan met random sampling
      •   Extra variatie
      •   Zorgt ook voor meer error variantie à minder statistische power
      •   Soms is dat niet zo slecht:
        
        • Fisher: voordeel van minder power is dat áls je dan een effect vindt, het overtuigender is
        • SCC:
    •    Goede redenen voor beide redenen van purposive sampling, geen enkel is ondersteund door statistische theorieën

     Grounded theory of generalized causal inference

• Grounded theory: niet van eerste principes, maar vanuit kijken naar wat onderzoekers echt doen (à grounded in onderzoekspraktijk)
• 5 principes: (gerelateerd aan elkaar)
  1.        Surface similarity: de blijkende similariteit tussen de dingen die bestudeerd worden en de targets van generalisatie

2.    Ruling out irrelevancies: welke variabelen veranderen NIET de generalisatie? (van de surface similarity)
3.     Making discriminations: welke variabelen veranderen WEL de generalisatie? (van de surface similarity) à bedreigingen
4.       Interpolatie en extrapolatie: bij extrapolatie ga je speculeren/generaliseren over dingen die buiten het bereik van de  metingen liggen. Bij interpolatie ga je speculeren/generaliseren over dingen die binnen het bereik van de metingen liggen maar niet direct gemeten zijn.
5.     Causale verklaring: een verklarende theorie over hoe (en waarom) een bepaald effect heeft opgetreden

• Grounded theorie toepassen:
  1. 1.        Surface similarity: de mate van similariteit tussen de eigenschappen van een studie (UTOS) en prototypische/bedoelde eigenschappen van de targets van de generalisatie.
        •   Construct: face validity, content validiteit
          • Face validiteit: de items moeten gaan over waar jij wilt dat de items over gaan, meer ad hoc
          • content validiteit: een expliciete theorie over welke inhoud relevant is voor het ding wat je wilt meten, systematische achtergrond
        •   Extern: het idee dat causale relaties gegeneraliseerd kunnen worden naar situaties die gelijk zijn op belangrijke vlakken.
     2.        Ruling out irrelevancies: als irrelevante dingen veranderen blijven constructen en causale effecten hetzelfde.
        
        •   Construct: convergente validiteit van verschillende meetmethoden: constructen die op elkaar lijken komen veel overeen
        •   Extern: checken of het effect echt niet verandert als irrelevante variabelen als moderator worden gebruikt
     3.        Making discriminations: kenmerken van de studie identificeren die de generalisatie limiteren.
        
        •   Construct: discriminante validiteit: dingen die op dezelfde manier gemeten zijn correleren hoger.
        •   Extern: checken of het effect echt niet verandert als we relevante variabelen als moderator gebruiken.
     4.        Interpolatie en extrapolatie: generalisatie van niet-bestudeerde waarden van een kwantitatieve moderator variabele
        
        •   Construct: ? à is er niet echt
        •   Extern: geïnformeerde gokken doen over de causale effecten
     5.        Causale verklaring: Het onderliggende causale mechanisme van verandering beschrijven.
        
        •   Construct: kijk naar diepe in plaats van surface similarity. Soms laten mensen aan het oppervlak dezelfde symptomen zien, maar zijn er onderliggend verschillende oorzaken
        •   Extern: check welke delen van een behandeling welke delen van uitkomsten beïnvloeden, via welke mediatoren en met welke moderatoren
• Toepassing van de 5 principes:
  • •    Afhankelijk van geld, gemak van toepassing en belang van generalisatie
    •    Prospectief gebruik (vóór de studie): vooral construct validiteit
    •    Retrospectief gebruik (na de studie): vooral voor het beoordelen van construct validiteit en/of externe validiteit.

     Statistische methodes voor generalisatie van purposive samples

• Sample her-wegen: her-wegen op basis van gemeten eigenschappen waarvoor de populatie verdeling bekend staat
  • •    Het helpt, als eigenschappen die gebruikt worden voor het wegen relevant zijn
    •    Slechter dan random sample
    •    Mogelijke problemen met hypothese toetsen
• Response surface modelling: maak een voorspellingsmodel gebaseerd op de variabelen die de respons voorspellen.
  • •    Maakt geïnformeerde speculatie mogelijk van optimale combinatie van predictoren, zelfs als die combinatie niet in de studie was.

     Methodes voor causale verklaring

• Kwalitatieve methoden:
  • • •   Het is belangrijk om te weten wat je studie inhoudt en niet alleen naar de cijfers te kijken, bijv.:
        • Is het programma geïmplementeerd zoals bedoeld was?
        • Zijn er onverwachte complicaties of bijeffecten bij de studie?
    •    Voorbeelden van methoden:
      
      •   Etnografie (participant observatie)
      •   Open-ended interviews
      •   Ongestructureerde observatie
    •    Belangrijk, omdat je niet alles kan weten en controleren dat relevant kan zijn. Je kan niet alles kwantificeren en in nummers zetten.
• Statistische methodes voor causale verklaring:
  • •    Bij een causale relatie hoort vaak een mediatie: X à M1 à M2 à Y
    •    Empirische checks: = mediatie analyse
      
      •   Check of beide mediatoren allebei beïnvloed worden door X
      •   Check of de relatie van de delen van de causale ketting bestaan (X met M1, M1 met M2, M2 en Y)
      •   Check of, na correctie voor M1 en M2, er nog steeds een direct effect is tussen X en Y
    •    Voordelen:
      
      •   Verplicht ons en helpt ons expliciet te zijn over onze causale ideeën
      •   Maakt een schatting mogelijk van de causale paden en test het causale model
    •    Nadelen:
      
      •   Sterke assumpties
      •   Vraagt om grote steekproeven
      •   Pad analyse/ SEM kan het causale model afwijzen, maar niet bewijzen
    •    Speciale situatie 1: cross-lagged panel design:
      
      •   Logica: Als X veroorzaakt Y, dan b (van X1 naar Y2) zou sterker moeten zijn dan pad a (van Y1 naar X2).
      •   Longitudinale designs
      •   Kernel of truth: longitudinale modellen geven meer mogelijkheden voor het verwerpen van causale modellen dan cross-sectionele modellen
      •   Maar:
        
        • Logica werkt alleen met strenge extra assumpties
        • Alle andere nadelen/limitaties van SEM zijn ook van toepassing
    •    Specifieke situatie 2: instrumentale variabele modellen:
      
      •   Hoopvolle benadering voor sommige situaties
• Experimenten die verklaringen manipuleren
  • •    Algemeen idee: als een causale verklaring een mediator bevat, doe een nieuw experiment waarin de mediator gemanipuleerd wordt