Causal Inference in Field Experiments - College 7

• Meta-analyse

     Meerdere studies

2 soorten meerdere studies:

• Researchprogramma: meerdere studies van tevoren beslissen: zelfde onderzoeker(s), gerelateerde onderzoeksvraag, met diverse UTOS en methodes
  • •    Fase model:
      •   Een heel groot programma dat heel lang duurt (10-20 jaar), duur, met veel soorten studies
      •   Bijv. kankeronderzoek
      •   Fases: basisonderzoek, review van literatuur en beperkingen, methodes ontwikkelen (therapie ontwikkelen), gecontroleerde trials, effectiviteit onderzoek in veldonderzoek.
    •    Directed programs:
      
      •   Een serie experimenten om een effect te beschrijven, met mediators en moderators
      •   Minder studies, minder tijd (ongeveer 4 jaar), minder duur
• Research literatuur review: achteraf meerdere studies: verschillende onderzoekers, gerelateerde onderzoeksvraag, met nog diversere UTOS en methodes.
  • •    Narrative reviews
      
      •   Overview van bestaand onderzoek in de literatuur:
        
        • Tabel van resultaten: soort stemmen tellen over resultaten
        • Gebaseerd op significantie (p-waardes) in plaats van effect size
        • Kijk naar potentiele moderatoren van een effect
        • Veel vrijheid, geen strikt format, ook vrijheid voor speculaties
      •   Algemeen: + flexibel en inzichtvol, - niet goed in het integreren van kwantitatieve informatie
    •    Meta-analyse
      
      •   Kwantitatieve reviews:
        
        • Naar een effect kijken over heel veel studies
        • Methode voor het optellen van effect sizes over studies à 1 effect size schatting voor alle studies
        • = Een common metric (= algemene meting) voor het meten van een effect in studies die heel verschillend zijn
      •   Kan in experimentele en niet-experimentele studies

     Stappen in meta-analyse

1.        Identificeren van het probleem & literatuur reviewen
   • •    Dit is mijn plan en deze studies ga ik gebruiken
     •    Onderscheid in onderzoeksvraag:
       
       • brede v.s. smalle problemen
       • voornaamste effecten v.s. moderatoren van effecten (bijv. mannen v.s. vrouwen)
       • Duidelijke onderzoeksvraag & hypothese
     •    Literatuur:
       
       • Expliciete criteria voor het gebruiken van studies
       • Zoek relevante studies, en beschrijf zoekprocedure
       • File drawer problem: sommige papers worden niet gepubliceerd. Vaak studies die niet significant waren. Probeer dus ook niet-gepubliceerde studies te vinden.
       • Check of de studies aan de criteria voldoen
2.        Studies coderen
   • •    Zodat de studies vergeleken kunnen worden: de soort studies en de uitkomsten
     •    Veelgebruikt coderingsschema:
       
       • Studie eigenschappen (publicatiedatum, publicatie vorm)
       • UTOS kenmerken
       • Methodologische kenmerken
     •    Ambiguïteiten
3.        Effect sizes voor elke studie berekenen
   • •    Beslissen welke meting voor de effect size gebruikt wordt en berekenen voor de studies
     •    Diverse inputs. Verschillende uitkomst metingen voor dezelfde/verschillende constructen; verschillende informatie verkregen in verschillende studies
       
       • Hoe krijg je een common outcome metric?
     •    Effect size metingen. Het liefst een simpele statistiek over de richting en sterkte van het effect dat berekend kan worden aan de hand van de informatie uit de artikelen
       
       • Moet dimensieloos zijn
       • Bijv. gestandaardiseerd gemiddelde verschil (d of g)
         
         • Hedges g: voor 2 groepen en interval uitkomsten. = verschil tussen 2 groepsgemiddelden, gedeeld door de pooled within-groups standaarddeviatie.
         • Als de variabelen niet beschikbaar zijn kan g ook op een andere manier berekend worden:
         • Gerelateerde metingen:
           
           1.        Cohen’s d: ouder, bekender, bijna identiek aan g
           2.        Glass delta: soms beter om SD van controlegroep te nemen:
         • Correcties voor kleine sample bias
       • Odds ratio (OR):
         
         • Voor twee groepen en als de afhankelijke variabele binair is (bijv. genezen of niet)
         • 2x2 kruistabel
         • Odds ratio: (=kans) OR = AD/BC
4.        Het analyseren van meta-analytische data
   • •    De analyse en tests zijn grotendeels hetzelfde als in een enkele studie, behalve:
       
       • Weging. Het wegen van effect sizes in verhouding met de sample size
       • Homogeniteit tests. Om te kijken of er een algemeen effect is met sampling error die zorgen voor verschillende effecten v.s. systematische verschillen die zorgen voor verschillende effecten.
       • Hiërarchische datastructuur. Individuen zijn genest binnen studies à multi level data.
       • Dependent effect sizes: als 2 of meer effect sizes zijn gebaseerd op dezelfde subjects, dan kan er niet een gemiddelde van worden geworden alsof ze onafhankelijk waren.
       • Publicatie bias: mogelijk effect size te overschatten, omdat studies met niet significante resultaten minder snel gepubliceerd worden
     •    Plots van meta-analyse:
       
       • Forest plot (blobbogram):
         
         • Goede overview van resultaten
         • Op X-as: gehele effect size + 95% Confidence Interval van effect size
         • Y-as: verschillende studies: referenties links en Effect Size + Confidince Interval rechts
         • Verticale lijnen: voor geen effect en gemiddeld effect
         •  

De grootte van een stip/vierkant betekent grotere steekproef

§ Funnel plot (trechter)

• X-as: effect size
• Y-as: precisie van Effect Size schatting. Vaak bepaald door standaarderror of aantal personen (SE of N). Wijdte van confidence interval staat in directe relatie met SE.
• Geen publicatie bias: minder precisie studies (lager), hetzelfde algemene gemiddelde maar meer verspreid over het gemiddelde
•  

Publicatie bias: linksonder relatief leeg, omdat niet-significante/lage power studies niet gepubliceerd worden

5.        Het interpreteren en presenteren van de resultaten.