College 2 - onderzoekspracticum design

Interne validiteit (H9)

• Constructvaliditeit: Hoe goed beschrijft het gemeten construct (hoofdbegrip bv. Aandacht / agressie) verschillen tussen personen?
• Interne validiteit: Is gevolg Y het resultaat van oorzaak X? Of zijn er alternatieve verklaringen voor de gevonden relaties? à validiteitsbedreigers
  • Bij pedagogiek kan je mensen niet in een laboratorium zetten, dat is niet ethisch. Dat bedreigd wel de validiteit van je studie maar is niet altijd een probleem.

Interne validiteit.

Aantal uren studeren verklaart je cijfer op een vak? Er is een verband maar dit is zeker niet het enige wat invloed heeft. Ook de voorkennis die je had, de motivatie die je hebt en je intelligentie spelen een rol.

IC patiënten met corona zijn vooral van niet-westerse achtergrond.

Wat zijn alternatieve verklaringen voor de gevonden relatie?

• Vaker beroep waarbij 1,5m afstand moeilijk is (schoonmaken)
• Dichtbevolkte gebieden
• Meer mensen in 1 huis
• Meer reizen met ov dan eigen auto
• Kortom: lagere SES

Bedreigers van de interne validiteit

• Kenmerken van de onderzoek deelnemers
  • Experimentele en controle groep zijn niet gelijk aan elkaar
• Experimentele sterfte (moraliteit)
  
  • Uitval van proefpersonen
• Locatie / omstandigheden
  
  • Als er net een trein langs rijdt word je afgeleid
• Instumentatie (scoring-regel verandert)
  
  • Observer drift: je niet meer houden aan de criteria die je had opgesteld.
  • Je vergelijkt participanten met wat je daarvoor hebt gezien (als je eerst een druk kind observeert en daarna een normaal kind zal je dat kind als rustig ervaren)
• Kenmerken van de dataverzamelaar
  
  • Vooroordelen hebben invloed op de resultaten, dit kan je voorkomen door duidelijk voorgeschreven instructies
  • Blind observeren helpt ook: hypothese en diagnose niet weten van te voren
• Testing effect: pre-test kan mensen gevoelig maken
  
  • Participant weet al wat er naar wordt gekeken en gaat zich gedragen naar de gewenste resultaten.
• Geschiedenis of speciale gebeurtenis
  
  • Wat is er gebeurd voordat je iemand test? (savonds is iemand meer moe dan sochtens)
• Rijping (van belang bij pedagogisch onderzoek)
  
  • Kinderen ontwikkelen ook uit zichzelf en niet alleen door een interventie
• Houding van de proefpersonen
  
  • Hawthorne: wanneer je extra aandacht geeft aan iets geeft dat al een effect.
  • John Henry: de controle groep gaat extra hard werken om te laten zien dat zij zich ook kunnen verbeteren.  
• Regressie naar het gemiddelde
  
  • Meeste mensen zitten in het gemiddelde; als je een uitschieter vindt en deze persoon ga je nog een keer meten, is het logisch dat hij/zij dichterbij het midden scoort dan eerst.
  • Laag -> hoog
  • Hoog -> laag
• Implementatie-issues
  
  • Mensen zijn geen machines, de interventie wordt bijna nooit zo uitgevoerd zoals bedoeld was. Twee verschillende leerkrachten zullen ook zorgen voor verschillende uitkomsten (bv door enthousiaste van de leerkracht)

Verkleinen van de invloed van bedreigers

1. Standaardiseer condities
   1. De procedures zo goed mogelijk uitleggen
   2. Twee groepen zo hetzelfde mogelijk houden
   3. Tijdstippen gelijk houden
2. Verzamel achtergrondinformatie
   
   1. Leeftijd van de participanten
   2. Transparant over je bevindingen
3. Administreer goed wat er gebeurt
4. Kies een geschikt onderzoeksdesign

Doel van correlationeel onderzoek

• Onderzoek naar relaties tussen variabelen zonder manipulatie
• Verklaren van gedrag en/of het voorspellen van mogelijke uitkomsten
• Predictor variabele en criterium variabele
• Schatten van de samenhang (ergens tussen -1 en 1)
• Hulpmiddel: scatterplot (en regressielijn)

Over correlatiecoëfficiënten

• Correlaties > 0.85 zijn heel sterk
• Correlaties < 0.35 worden vaak niet echt informatief geacht, maar…
• Correlaties tussen macro-variabelen en micro-variabelen hebben een maximale grootte
  
  • Bijv.: Leerkrachtstijl en leerlingprestaties

              Maximum in de praktijk: 0.50

• • Bijv.: Instellingsgrootte en welbevinden

              Maximum in de praktijk: 0.25

Complexere correlationele technieken

• Discriminantanalyse
  • Nominaal, categorisch meetniveau. Voorspellende variabele. Door score wil je kunnen voorspellen bij welke groep iemand hoort (bv. Door cito-score kijken welk schoolniveau iemand past)
• Factoranalyse
  
  • Agressie wil je bepalen door het afnemen van een vragenlijst
  • Andere variabele of door correlatie tussen items op een vragenlijst
• Padanalyse
  
  • Hoe waarschijnlijk is het dat er een correlationeel verband is? Je kan het nog niet met zekerheid vaststellen.

Causaal-vergelijkend onderzoek (H16)

• Lijkt veel op correlationeel onderzoek
• Op zoek naar de oorzaak van verschillen

tussen groepen (post hoc of ex post facto (after the fact)) bestaande groepen, je manipuleert geen variabele

• Onafhankelijke variabele: nominaal
• Afhankelijke variabele: nominaal, ordinaal

of interval

• Doel is zoeken naar oorzakelijke verbanden,

hoewel deze moeilijk aan te tonen zijn

drie soorten causaal-vergelijkend onderzoek

• Zoeken naar effecten
• Zoeken naar oorzaken
• Zoeken naar consequenties

Mogelijke oplossingen voor de bedreiger van de interne validiteit

• Mechanisch matchen; handmatig personen matchen (bv in tweetallen)
• Homogene subgroepen; aparte analyse voor verschillende groepen (hoge/lage)
• Statisch matchen; achteraf. Scores op voortests gebruiken om meer gewicht te geven (in een groep met minder meisjes kan je de score van hen zwaarder laten wegen zodat het weer in evenwicht komt)  

Voorbeeld causaal-vergelijkend onderzoek

3 variabele

• Profielkeuze
• Sekse
• Persoonlijkheid

Aanleiding:

• • Sekseverschillen in profielkeuze vwo
    • Jongens: vaker NT en EM; meisjes: vaker NG en CM
  • Sekseverschillen in persoonlijkheid
    
    • Jongens: meer emotionele stabiliteit; meisjes: meer mildheid en extraversie
  • Onderzoeksonderwerpen:
  • Relatie persoonlijkheidsfactoren – profielkeuze?
  • Mediëren persoonlijkheidsfactoren de sekse – profielkeuze relatie?
  • Relatie persoonlijkheidsfactoren – profielkeuze verschillend voor jongens / meisjes?

Correlationeel en causaal-vergelijkend onderzoek

Overeenkomsten

• • kwantitatieve onderzoeksmethoden
  • onderzoeken van verbanden
  • geen manipulatie van variabelen, uitspraken over causaliteit beperkt mogelijk

Verschil

• • Correlationeel onderzoek: verband tussen twee of meer continue variabelen
  • Causaal-vergelijkend onderzoek: verband tussen twee of meer variabelen, waarvan minstens één categorisch (vergelijken groepen)