Causal Inference in Field Experiments - College 7

      Gegeneraliseerde inferentie met meerdere studies

  • Meta-analyse

     Meerdere studies

2 soorten meerdere studies:

  • Researchprogramma: meerdere studies van tevoren beslissen: zelfde onderzoeker(s), gerelateerde onderzoeksvraag, met diverse UTOS en methodes

      •    Fase model:

        •   Een heel groot programma dat heel lang duurt (10-20 jaar), duur, met veel soorten studies
        •   Bijv. kankeronderzoek
        •   Fases: basisonderzoek, review van literatuur en beperkingen, methodes ontwikkelen (therapie ontwikkelen), gecontroleerde trials, effectiviteit onderzoek in veldonderzoek.
      •    Directed programs:
        •   Een serie experimenten om een effect te beschrijven, met mediators en moderators
        •   Minder studies, minder tijd (ongeveer 4 jaar), minder duur
  • Research literatuur review: achteraf meerdere studies: verschillende onderzoekers, gerelateerde onderzoeksvraag, met nog diversere UTOS en methodes.
      •    Narrative reviews
        •   Overview van bestaand onderzoek in de literatuur:
          • Tabel van resultaten: soort stemmen tellen over resultaten
          • Gebaseerd op significantie (p-waardes) in plaats van effect size
          • Kijk naar potentiele moderatoren van een effect
          • Veel vrijheid, geen strikt format, ook vrijheid voor speculaties
        •   Algemeen: + flexibel en inzichtvol, - niet goed in het integreren van kwantitatieve informatie
      •    Meta-analyse
        •   Kwantitatieve reviews:
          • Naar een effect kijken over heel veel studies
          • Methode voor het optellen van effect sizes over studies à 1 effect size schatting voor alle studies
          • = Een common metric (= algemene meting) voor het meten van een effect in studies die heel verschillend zijn
        •   Kan in experimentele en niet-experimentele studies

     Stappen in meta-analyse

  1.        Identificeren van het probleem & literatuur reviewen

      •    Dit is mijn plan en deze studies ga ik gebruiken
      •    Onderscheid in onderzoeksvraag:
        • brede v.s. smalle problemen
        • voornaamste effecten v.s. moderatoren van effecten (bijv. mannen v.s. vrouwen)
        • Duidelijke onderzoeksvraag & hypothese
      •    Literatuur:
        • Expliciete criteria voor het gebruiken van studies
        • Zoek relevante studies, en beschrijf zoekprocedure
        • File drawer problem: sommige papers worden niet gepubliceerd. Vaak studies die niet significant waren. Probeer dus ook niet-gepubliceerde studies te vinden.
        • Check of de studies aan de criteria voldoen
  2.        Studies coderen
      •    Zodat de studies vergeleken kunnen worden: de soort studies en de uitkomsten
      •    Veelgebruikt coderingsschema:
        • Studie eigenschappen (publicatiedatum, publicatie vorm)
        • UTOS kenmerken
        • Methodologische kenmerken
      •    Ambiguïteiten
  3.        Effect sizes voor elke studie berekenen
      •    Beslissen welke meting voor de effect size gebruikt wordt en berekenen voor de studies
      •    Diverse inputs. Verschillende uitkomst metingen voor dezelfde/verschillende constructen; verschillende informatie verkregen in verschillende studies
        • Hoe krijg je een common outcome metric?
      •    Effect size metingen. Het liefst een simpele statistiek over de richting en sterkte van het effect dat berekend kan worden aan de hand van de informatie uit de artikelen
        • Moet dimensieloos zijn
        • Bijv. gestandaardiseerd gemiddelde verschil (d of g)
          • Hedges g: voor 2 groepen en interval uitkomsten. = verschil tussen 2 groepsgemiddelden, gedeeld door de pooled within-groups standaarddeviatie.
          • Als de variabelen niet beschikbaar zijn kan g ook op een andere manier berekend worden:
          • Gerelateerde metingen:
            1.        Cohen’s d: ouder, bekender, bijna identiek aan g
            2.        Glass delta: soms beter om SD van controlegroep te nemen:
          • Correcties voor kleine sample bias
        • Odds ratio (OR):
          • Voor twee groepen en als de afhankelijke variabele binair is (bijv. genezen of niet)
          • 2x2 kruistabel
          • Odds ratio: (=kans) OR = AD/BC
  4.        Het analyseren van meta-analytische data
      •    De analyse en tests zijn grotendeels hetzelfde als in een enkele studie, behalve:
        • Weging. Het wegen van effect sizes in verhouding met de sample size
        • Homogeniteit tests. Om te kijken of er een algemeen effect is met sampling error die zorgen voor verschillende effecten v.s. systematische verschillen die zorgen voor verschillende effecten.
        • Hiërarchische datastructuur. Individuen zijn genest binnen studies à multi level data.
        • Dependent effect sizes: als 2 of meer effect sizes zijn gebaseerd op dezelfde subjects, dan kan er niet een gemiddelde van worden geworden alsof ze onafhankelijk waren.
        • Publicatie bias: mogelijk effect size te overschatten, omdat studies met niet significante resultaten minder snel gepubliceerd worden
      •    Plots van meta-analyse:
        • Forest plot (blobbogram):
          • Goede overview van resultaten
          • Op X-as: gehele effect size + 95% Confidence Interval van effect size
          • Y-as: verschillende studies: referenties links en Effect Size + Confidince Interval rechts
          • Verticale lijnen: voor geen effect en gemiddeld effect
          •  

 

 
 Generic forest plot diagram

 

De grootte van een stip/vierkant betekent grotere steekproef

§ Funnel plot (trechter)

  • X-as: effect size
  • Y-as: precisie van Effect Size schatting. Vaak bepaald door standaarderror of aantal personen (SE of N). Wijdte van confidence interval staat in directe relatie met SE.
  • Geen publicatie bias: minder precisie studies (lager), hetzelfde algemene gemiddelde maar meer verspreid over het gemiddelde
  •  

 

 
 https://upload.wikimedia.org/wikipedia/commons/thumb/2/2c/Funnelplot.png/220px-Funnelplot.png

 

Publicatie bias: linksonder relatief leeg, omdat niet-significante/lage power studies niet gepubliceerd worden

  1.        Het interpreteren en presenteren van de resultaten.

Image

Access: 
Public

Image

Image

 

 

Contributions: posts

Help other WorldSupporters with additions, improvements and tips

Image

Spotlight: topics

Check the related and most recent topics and summaries:
Institutions, jobs and organizations:

Image

Check how to use summaries on WorldSupporter.org
Submenu: Summaries & Activities
Follow the author: VivianDeGraaff
Work for WorldSupporter

Image

JoHo can really use your help!  Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world

Working for JoHo as a student in Leyden

Parttime werken voor JoHo

Statistics
Search a summary, study help or student organization