Study Notes bij Onderzoekspracticum 2 - Pedagogiek B2 - UL (2014/2015)

College 1

Experiment

In een experiment wordt gebruik gemaakt van experimentele units. Dit zijn de individuen waarop de onderzoeker het experiment uitvoert. Een experimentele unit kan bestaan uit één individu, maar bijvoorbeeld ook uit een gezin. Als de individuen mensen zijn, wordt er gesproken over proefpersonen of subjecten.

Experimentele eenheden worden blootgesteld aan experimentele condities. De experimentele conditie is een treatment/behandeling. In elk experiment is er sprake van een onafhankelijke variabele die wordt gemanipuleerd door de onderzoeker. Deze variabele wordt een factor genoemd en kan uit verschillende levels (niveaus) bestaan. Een onderzoeker kan bijvoorbeeld 0, 2 of 4 koppen koffie toedienen aan zijn proefpersonen om te kijken wat het effect is op reactievermogen. De factor heeft dan drie levels.

Het voordeel van een experiment ten opzichte van een observationele studie is dat er een oorzaak-gevolgrelatie kan worden vastgesteld. Je sluit alle andere mogelijke variabelen uit. Proefpersonen worden bij een experiment aselect worden toegewezen aan een experimentele groep of controlegroep.

Twee-factor experiment

In een twee-factor experiment wordt gebruik gemaakt van twee onafhankelijke variabelen. Een voordeel hiervan is dat de onderzoeker de invloed van meerdere onafhankelijke variabelen kan onderzoeken. Bovendien kan ook het interactie-effect onderzocht worden, oftewel de combinatie van de twee onafhankelijke variabelen samen.

Experimentele controle

Experimentele controle wil zeggen dat de onderzoeker zichzelf ervan verzekert dat een effect daadwerkelijk komt door de onafhankelijke variabele. Deze controle wordt bereikt door het gebruik van een experimenteel design, waarbij er sprake is van een experimentele groep en een controlegroep. De experimentele groep wordt blootgesteld aan de experimentele manipulatie, de controlegroep juist niet.

In een onderzoek kan er sprake zijn van een placebo-effect. Dit komt vaak ter sprake bij medicijnonderzoek. Het kan dan zijn dat een medicijn zonder werking tóch effect heeft op een patiënt. Enkel de suggestie van een werkzaam medicijn zorgt dan dat de patiënt al positief reageert. In onderzoek wordt voor dit effect gecontroleerd door de controlegroep een medicijn zonder werking toe te dienen. Bij een gebrek aan experimentele controle ontstaat er bias (een systematische vertekening van de resultaten).

Randomisatie

Om de invloed van achtergrondvariabelen uit te sluiten, moeten groepen op alle achtergrondvariabelen vergelijkbaar zijn. Dit wordt gedaan door randomisatie, ook wel aselecte toewijzing, wat inhoudt dat elke proefpersoon een even grote kans heeft om in een bepaalde experimentele conditie terecht te komen. Let op: randomisatie wil niet zeggen dat de steekproef ook random is!

Aandachtspunten

Om een goed experiment uit te voeren is het belangrijk dat alle groepen, op de experimentele manipulatie na, exact hetzelfde behandeld worden.

In medisch onderzoek is een dubbelblind procedure belangrijk. Dit betekent dat zowel de proefpersoon als de onderzoeker niet weten welke behandeling iemand krijgt. De dubbelblind procedure voorkomt dat resultaten vertekend raken door verwachtingen van de proefpersoon of de onderzoeker.

Waar ook rekening mee gehouden moet worden is dat er meerdere experimenten in verschillende omgevingen nodig zijn met dezelfde uitkomst om het bewijs voor een hypothese sterker te maken. Ook moet men rekening houden met het feit dat proefpersonen zich in een experimentele omgeving vaak anders gedragen dan in het echt. Dit wordt gebrek aan realisme genoemd.

Gematchte-parendesigns

Randomisatie in een experiment vergroot de ruis, doordat individuen sterk van elkaar kunnen verschillen. Een oplossing hiervoor is het gebruik van een gematchte-parendesign. Proefpersonen met vergelijkbare kenmerken worden in paren aan elkaar gekoppeld. Er ontstaan dan bijvoorbeeld paren van proefpersonen met hetzelfde geslacht, dezelfde lengte en hetzelfde gewicht. Voor elk individu in de controle conditie is er een persoon in de experimentele conditie, zij zijn een paar. Vervolgens worden de responsen van de proefpersonen per paar vergeleken. Dit is efficiënter dan bij ongematchte proefpersonen, omdat de gematchte proefpersonen op elkaar lijken.

Bij een speciaal geval van een gematchte-parendesign wordt een proefpersoon als het ware aan zichzelf gematcht. De proefpersoon krijgt zowel de experimentele behandeling(en) als de controlebehandeling en wordt bij elke behandeling geobserveerd.

Voordelen:

• Effecten van een behandeling worden sneller ontdekt, oftewel de power is groter. Hoe groter de power hoe groter de kans is dat je een bepaalt effect vindt als dat effect ook bestaat.

• Als een proefpersoon zowel de experimentele behandeling als de controlebehandeling krijgt, zijn er minder proefpersonen nodig.

Nadeel:

• Een effect van een vorige behandeling kan nog invloed hebben op een latere meting. Dit wordt een volgorde-effect genoemd. De oplossing hiervoor is om bij elke proefpersoon de volgorde van de behandelingen te variëren (op basis van toeval).

Block designs

In een block design worden gematchte-pairdesigns gegeneraliseerd naar grotere groepen. Er wordt bijvoorbeeld van tevoren onderscheid gemaakt tussen jongens en meisjes. Vervolgens vindt binnen elke groep apart een aselecte toewijzing plaats aan de mogelijke behandelingen. Binnen de groep (jongens, meisjes) worden de uitkomsten dan vergeleken.

Statistische toetsen

Een populatie heeft een gemiddelde µ en een standaarddeviatie σ. Uit deze populatie trek je een steekproef n met gemiddelde . Het gemiddelde van deze steekproef heeft een normaalverdeling met gemiddelde µ en standaarddeviatie σ/√n.

De steekproevenverdeling is de verdeling van de gemiddelden van alle mogelijke steekproeven uit een populatie. Als de populatie een normale verdeling heeft, dan vormen de gemiddelden van alle steekproeven ook een normale verdeling.

Als σ bekend is

Het steekproefgemiddelde wordt getransformeerd tot een z-score.

De z-score heeft een standaardnormaalverdeling. Dat betekent dat µ = 0 en σ = 1.

Bij deze z-score kan een bijbehorende p-waarde worden opgezocht (Tabel A uit het boek Introduction to the Practice of Statistics van Moore, McCabe en Craig).

Als σ niet bekend is

Als σ niet bekend is, wordt er een schatter gebruikt voor de standaarddeviatie van de steekproevenverdeling, namelijk s/√n. Dit wordt ook wel de Standard Error van genoemd (SE_ẋ ). Deze statistische maat heeft een t-verdeling met n-1 vrijheidsgraden.

De t-verdeling is voor elke steekproefgrootte weer anders. Bij deze t-score kan een bijbehorende p-waarde worden opgezocht (Tabel D uit het boek Introduction to the Practice of Statistics van Moore, McCabe en Craig)

Betrouwbaarheidsinterval t-toets voor een gemiddelde

De oppervlakte tussen –t* en t* noemen we C%. Een C%-betrouwbaarheidsinterval van µ wordt op de volgende manier berekend:

Tweezijdig toetsen

Om te bepalen of een effect significant is, stel je de alpha α vast (vaak is dit 0.05). Wanneer geldt p < α, dan kan de nulhypothese (H₀ ; ‘er is geen verschil’) verworpen worden. Er is dan dus een (significant) verschil tussen twee groepen. Vaak weet een onderzoeker niet in welke richting een effect plaats zal vinden. In dat geval wordt er tweezijdig getest. Hierbij wordt p vermenigvuldigd met 2. De alpha α blijft hetzelfde. Let op: ook als je tweezijdig toetst moet je in je conclusie nog wel de richting van het effect aangeven.

Stappenplan voor het vaststellen van een effect

1. Stel een onderzoeksvraag op.
2. Stel een nulhypothese H₀ en alternatieve hypothese H_a op.
3. Kies je toets: z-toets of t-toets
4. Bereken de z-waarde of de t-waarde
5. Zoek de bijbehorende p-waarde op in Tabel A (voor z-toets) of Tabel D (voor t-toets).
6. Bepaal alpha α en bepaal of je p-waarde groter of kleiner is dan α.
7. Trek je conclusie.

SPSS

In het computerprogramma SPSS gebruik je Analyze > Compare Means > One Sample T Test om de t-toets uit te voeren. Let op: SPSS toetst hierbij altijd tweezijdig!

College 2

Afhankelijke en onafhankelijke steekproeven

In een experiment worden vaak twee groepen vergeleken. De steekproefgemiddelden van deze groepen kunnen met elkaar worden vergeleken aan de hand van statistisch toetsen. Steekproeven kunnen afhankelijk of onafhankelijk zijn.

De volgende kenmerken horen bij een afhankelijke steekproef:

• Er zijn gematchte paren. Elke proefpersoon is gekoppeld aan een partner in de andere groep. Bijvoorbeeld broer en zus of mensen met dezelfde eigenschap(pen).

• Ook een herhaalde meting valt onder een afhankelijke steekproef. De proefpersoon wordt aan zichzelf gematcht. Dit is bijvoorbeeld het geval bij een voor- en nameting.

• De aantallen in beide groepen zijn altijd gelijk.

• De onderzoeker verkrijgt N (aantal paren) stukjes onafhankelijke informatie.

De volgende kenmerken horen bij een onafhankelijke steekproef:

• Er wordt gebruik gemaakt van twee aselecte steekproeven waartussen geen verband bestaat. Bijvoorbeeld een controlegroep en een experimentele groep.

• De aantallen in de groepen kunnen ongelijk zijn.

• De onderzoeker verkrijgt n₁ + n₂ (n is steekproefgrootte) stukjes onafhankelijke informatie.

Afhankelijke steekproeven: toetsen van verschil in gemiddelden

µ_d is het verschil tussen het gemiddelde van steekproef 1 en het gemiddelde van steekproef 2. Dit wordt ook wel het gemiddelde verschil genoemd en kun je noteren als µ_{d =} µ₂ - µ₁. De nulhypothese en de alternatieve hypothese noteren we als volgt:

H₀: µ_d = 0 (want in dat geval geldt dat µ₁ = µ₂)

H_a: µ_d ≠ 0 (dit is alleen bij tweezijdig toetsen. Bij enkelzijdig toetsen geldt µ_d > 0 of µ_d < 0)

De t-toets voor afhankelijke steekproeven wordt ook wel de gepaarde t-toets genoemd (zie figuur 1 in de bijlage).

Hierin staat voor het gemiddelde verschil tussen de steekproeven. Voor µ_d kun je altijd 0 invullen, omdat we bij experimenten altijd uitgaan van de nulhypothese. S_d is de standaarddeviatie van het verschil en N is de steekproefgrootte. Let op: N is het aantal paren. De gevonden t-waarde kan worden opgezocht in Tabel D (Introduction to the Practice of Statistics van Moore, McCabe en Craig) bij het juiste aantal vrijheidsgraden N-1. Bij tweezijdig toetsen verdubbel je de bijbehorende p-waarde. Als p < α, dan kun je de nulhypothese verwerpen.

Het kan ook zijn dat je eenzijdig toetst, maar dat het gemiddelde verschil de andere kant uitvalt dan je had verwacht. Je vindt dan bijvoorbeeld geen gemiddeld verschil van -3, maar van 3. Dit wordt een contra-intuïtief resultaat genoemd. De oplossing: gebruik niet p, maar 1-p. In plaats van bijvoorbeeld 0,005 < p < 0,01, wordt je p-waarde dan 0,99 < 0 < 0,995.

Afhankelijke steekproeven: betrouwbaarheidsinterval t-toets

Het C%-betrouwbaarheidsinterval van µ_d kan als volgt worden bepaald: zie figuur 2 in de bijlage.

Zoek in Tabel D (Introduction to the Practice of Statistics van Moore, McCabe en Craig) de t-waarde op bij het juiste betrouwbaarheidsinterval en het juiste aantal vrijheidsgraden (N-1).

De conclusie die bij een 95%-betrouwbaarheidsinterval hoort, luidt: in de populatie ligt het gemiddelde verschil tussen de …(getal) en …(getal) met 95% zekerheid.

Aannamen gepaarde t-toets

Een aanname van de t-toets is dat er een normaalverdeling van de populatie is. De robuustheid van de t-toets houdt in hoe goed de t-toets bestand is tegen schending van deze aanname. Er zijn een aantal vuistregels voor het gebruik van de t-toets:

• N< 15: geen t-toets gebruiken bij uitbijters of duidelijke niet-normaliteit.

• N: 15 – 39: geen t-toets gebruiken bij uitbijters of duidelijke scheefheid.

• N ≥ 40: (bijna) altijd gebruik maken van de t-toets het maakt niet uit of het normaal verdeeld is of niet.

Of data normaal verdeeld zijn, kan worden bepaald door middel van een normaalkwantielplot, waarbij de verwachte waarden worden uitgezet tegen de geobserveerde waarden. De data worden als normaal beschouwd wanneer alle punten bij benadering op een rechte lijn liggen.

Overige aannamen zijn dat de proefpersonen gematcht zijn (zo niet dan gebruik je een andere toets) en dat ze aselect getrokken zijn. Aselect trekken is echter doorgaans niet haalbaar, waardoor resultaten vaak beperkt generaliseerbaar zijn.

Afhankelijke steekproeven: effectgrootte

Significante resultaten geven wel de waarschijnlijkheid, maar niet de grootte aan van een effect. Bovendien geldt: hoe groter de steekproef, hoe eerder een significant effect. Effectgroottes daarentegen zijn niet afhankelijk van de steekproefgrootte en geven juist wel aan hoe groot een effect is. De effectgrootte bij een gepaarde t-toets kun je berekenen door middel van een gestandaardiseerde maat, namelijk Cohen’s d (zie figuur 3 in de bijlage).

In deze formule is r de correlatie tussen paren of herhaalde metingen. Cohen’s d geeft aan hoe groot het gemiddelde verschil tussen de groepen is in relatie tot de standaarddeviatie van het verschil. Er zijn enkele vuistregels voor de Cohen’s d effectgrootte:

• Kleiner dan 0.2: het effect is verwaarloosbaar

• 0.2 tot 0.4: er is een klein effect

• 0.5 tot 0.7: er is een gemiddeld effect

• 0.8 en groter: er is een groot effect

Let op: 0.77 valt bijvoorbeeld onder gemiddeld effect. Vanaf 0.8 is een groot effect. Of je tevreden bent met de een bepaalde effectgrootte is afhankelijk van de context.

Toetsingsschema gepaarde t-toets

1. Formuleer je onderzoeksvraag.

2. Ga de aannamen af en ga na of eraan is voldaan. Zo niet, ga dan na wat de gevolgen zijn.

3. Stel je hypothesen op.

4. Kies de juiste toets, in dit geval t-toets, en bepaal alpha α (vaak 0.05)

5. Voer je berekening uit.

6. Zoek de bijbehorende p-waarde op.

7. Neem een beslissing: vergelijk p met α. Als p < α dan verwerp je de nulhypothese.

8. Bereken de effectgrootte door middel van Cohen’s d.

9. Trek je conclusie en beschrijf deze inhoudelijk. Geef de richting aan van het effect dat je gevonden hebt en plaats kanttekeningen als je (één van) de aannamen geschonden hebt (bv. :er is niet bekend in hoeverre de proefpersonen aselect zijn toegewezen).

Onafhankelijke steekproeven: toetsen van verschil in gemiddelden

Het verschil in gemiddelden tussen twee steekproeven kan berekend worden door de z-toets. De gemiddelden van steekproef 1 en steekproef 2 zijn dan en , en we gaan ervan uit dat de standaarddeviaties van de populaties (σ₁ en σ₂) ook bekend zijn. Wat we dan onderzoeken is of beide populatiegemiddelden van elkaar verschillen. De nulhypothese die hierbij hoort is H₀: µ₁ = µ₂ of µ₁ - µ₂ = 0. De z-toets voor twee gemiddelden is te zien in figuur 4 in de bijlage.

In de praktijk zijn de standaarddeviaties van de populaties echter vrijwel nooit bekend, maar de standaarddeviaties van de steekproeven (s₁ en s₂) wel. Daarom wordt vaak de t-toets gebruikt (zie figuur 5 in de bijlage).

In dit geval heeft t echter geen t-verdeling. Het exacte aantal vrijheidsgraden kun je namelijk niet bepalen. Wel kun je deze op twee manieren benaderen, met behulp van een t(k) verdeling, waarin k een benadering is van het aantal vrijheidsgraden:

1. Neem de kleinste waarde van n₁-1 en n₂-1. Dit is veel minder nauwkeurig dan de tweede manier, maar deze methode mogen we gebruiken.

2. Gebruik software, bijvoorbeeld SPSS, om het aantal vrijheidsgraden te benaderen. Deze software gebruikt hiervoor een uitgebreide formule.

Onafhankelijke steekproeven: betrouwbaarheidsinterval t-toets

Het C%-betrouwbaarheidsinterval van µ₁-µ₂ wordt op de volgende manier berekend: zie figuur 6 in de bijlage.

Onafhankelijke steekproeven: effectgrootte

Bij onafhankelijke steekproeven, wordt Cohen’s d op de volgende manier berekend: zie figuur 7 en 8 in de bijlage.

S_p is in dit geval de samengestelde standaarddeviatie.

Toetsingsschema t-toets bij onafhankelijke steekproeven

Het toetsingsschema is hetzelfde als bij de gepaarde t-toets. Wel is er een verschil in aannamen. Evenals bij de gepaarde t-toets moet de afhankelijke variabele normaal verdeeld zijn en moeten de proefpersonen aselect getrokken worden, maar in dit geval moet dit onafhankelijk van elkaar gebeuren. Proefpersonen worden niet gematcht. 

College 3

Onafhankelijke steekproeven: samengestelde t-toets

In college 2 is de t-toets voor twee onafhankelijke steekproeven aan de orde gekomen. De bijbehorende t-verdeling is echter slechts een benadering van de werkelijke steekproevenverdeling, omdat het precieze aantal vrijheidsgraden niet bekend is. Om dit probleem op te lossen, kun je een andere t-toets gebruiken: de samengestelde t-toets. Deze toets heeft exact een t-verdeling, maar ook een extra aanname. De samengestelde t-toets is namelijk alleen te gebruiken wanneer de varianties van twee normaal verdeelde populaties gelijk zijn aan elkaar.

Bij gelijke populatievarianties is de som van de twee aparte varianties gelijk aan de variantie van het gemiddelde verschil. Dit kan als volgt worden weergegeven: zie figuur 9 in de bijlage.

Deze formule kan worden ingevuld in de z-toets voor twee gemiddelden. De resulterende z-toets zie je in figuur 10 in de bijlage.

Voor de samengestelde t-toets wordt er gebruik gemaakt van een schatter voor de gezamenlijke populatievariantie σ2. Deze schatter wordt gegeven door de volgende formule: zie figuur 11 in de bijlage.

Door σ in de z-toets te vervangen door s_p ontstaat de samengestelde t-toets. Deze t-toets heeft een t-verdeling met n₁+ n₂ – 2 vrijheidsgraden. De samengestelde t-toets is te zien in figuur 12 in de bijlage.

Onafhankelijke steekproeven: effectgrootte samengestelde t-toets

Het berekenen van de effectgrootte door middel van Cohen’s d werkt bij de samengestelde t-toets op dezelfde manier als bij de niet-samengestelde t-toets voor onafhankelijke steekproeven (zie college 2). Zie figuur 13 in de bijlage.

Het is niet van belang om effecgrote te berekenen als iets niet significant is.

Onafhankelijke steekproeven: betrouwbaarheidsinterval samengestelde t-toets

Als twee (onafhankelijke) populaties dezelfde variantie hebben, dan wordt het C%-betrouwbaarheidsinterval van µ₁-µ₂ op de volgende manier berekend: zie figuur 14 in de bijlage.

De conclusie die hierbij hoort, is: in de populatie ligt het gemiddelde verschil tussen … (ondergrens) en … (bovengrens) met …(C%) zekerheid.

SPSS

In SPSS kan de samengestelde t-toets worden berekend door middel van Analyze  Compare Means  Independent Samples T-Test. De uitvoer geeft verschillende toetsen: één t-toets waarbij de varianties van de populaties niet gelijk zijn en één t-toets waarbij de varianties wel gelijk zijn.

Toetsingsschema samengestelde t-toets

1. Formuleer je onderzoeksvraag.

2. Ga de aannamen af en ga na of eraan is voldaan.

• De afhankelijke variabele moet normaal verdeeld zijn. Bij schending zijn de resultaten nog wel betrouwbaar zolang de totale steekproef groot genoeg is (≥ 40).

• Proefpersonen moeten aselect getrokken zijn. Als dit niet het geval is, dan zijn de resultaten beperkt generaliseerbaar.

• Proefpersonen moeten onafhankelijk van elkaar zijn getrokken. Als dit niet het geval is, dan gebruik je de gepaarde t-toets (zie college 2).

• Er moeten gelijke populatievarianties zijn. Als hier niet aan voldaan is, zijn de resultaten nog wel betrouwbaar bij (vrijwel) gelijke steekproefgroottes. Bij (sterk) ongelijke steekproefgroottes moet je de niet-samengestelde t-toets gebruiken.

3. Stel je hypothesen op.

4. Kies de juiste toets, in dit geval de samengestelde t-toets, en bepaal alpha α (vaak 0.05)

5. Voer je berekening uit.

6. Zoek de bijbehorende p-waarde op.

7. Neem een beslissing: vergelijk p met α. Als p < α, dan verwerp je de nulhypothese.

8. Bereken de effectgrootte door middel van Cohen’s d.

9. Trek je conclusie en beschrijf deze inhoudelijk. Geef de richting aan van het effect dat je gevonden hebt en plaats kanttekeningen als je (één van) de aannamen geschonden hebt.

Een nadeel van de samengestelde t-toets voor twee steekproeven is dat de toets alleen geldig is bij gelijke varianties.

Een nadeel van de niet-samengestelde t-toets is dat het slechts een benadering van de werkelijke steekproevenverdeling bij ongelijke varianties is.

Om te bepalen of populatievarianties gelijk zijn, kun je gebruik maken van een vuistregel. Als de grootste standaarddeviatie niet meer dan twee keer de kleinste standaarddeviatie is, dan kun je de varianties als gelijk beschouwen.

ANOVA (Analysis of variance)

Als je in een onderzoek gebruik maakt van meer dan twee steekproeven, kun je gebruik maken van variantieanalyse (ANOVA). In het geval van één onafhankelijke variabele spreek je van enkelvoudige variantieanalyse. Bij twee onafhankelijke variabelen heet het een tweewegvariantieanalyse. De F-toets wordt hierbij gebruikt om de t-toets te generaliseren naar meerdere gemiddelden.

Kenmerken van de F-verdeling zijn :

Ratio van twee varianties, dit toetst of de variantie in de teller groter is dan de variantie in de noemer. Ook bestaan er twee parameters : het aantal vrijheidsgraden in de teller en het aantal vrijheidsgraden in de noemer.

De F-toets kan enkel positieve waarden aannemen en is daarom niet symmetrisch, maar scheef naar rechts verdeeld. Door de formule voor de samengestelde t-toets te herleiden tot t2, kan er ook een andere formule voor F worden afgeleid. Bij ANOVA geldt dan dat t2 gelijk is aan F. Zie figuur 15 in de bijlage.

De teller (boven) is een maat voor de spreiding tussen twee groepen. De noemer (onder) is een maat voor de spreiding tussen individuen. Wat de F-toets doet, is toetsen of de spreiding tussen twee groepen significant groter is dan de spreiding binnen deze groepen.

Hypothesen en aannamen ANOVA

Bij ANOVA is er sprake van drie of meerdere groepen. Dit betekent dat de nulhypothese en de alternatieve hypothese anders moeten worden weergeven dan bij twee groepen. Stel dat er een experiment wordt uitgevoerd met drie verschillende groepen. De nulhypothese en alternatieve hypothese geef je dan als volgt weer:

H₀: µ₁ = µ₂ = µ₃

H_a: niet alle µ_i’s zijn gelijk (je geeft geen richting van het effect aan).

Kiezen of je eenzijdig of tweezijdig toetst is bij de F-toets niet van toepassing. Bij het toetsen van twee gemiddelden zal de uitkomst van de F-toets namelijk gelijk zijn aan die van de tweezijdige samengestelde t-toets. In dat geval kan de F-toets dus als tweezijdig worden gezien, of als ‘veelzijdig’ bij meer dan twee gemiddelden. Bij het toetsen van spreiding kun je de F-toets echter als eenzijdig zien. De F-toets wordt namelijk gebruikt om te bepalen of de spreiding tussen groepen groter is dan de spreiding binnen groepen. Daarom gebruik je de F-toets bij variantieanalyse altijd eenzijdig en vermenigvuldig je p nooit met 2.

Bij ANOVA horen twee aannamen:

• De populaties moeten normaal verdeeld zijn.

• De populaties moeten dezelfde varianties hebben. Om te bepalen of hieraan voldaan is, gebruik je de eerder besproken vuistregel.

Statistische modellen voor steekproeven

Observaties in een onderzoek kunnen we aangeven met X_j. Hierbij staat j voor de j’de persoon in de steekproef. Als persoon 6 bijvoorbeeld een cijfer 7 heeft gescoord op een test, kunnen we dit weergeven als X₆ = 7. Als alle proefpersonen uit de steekproef precies hetzelfde cijfer halen, dan geldt: X_j = µ. Dit is echter nooit het geval, want er zijn altijd individuele afwijkingen van het populatiegemiddelde. Dit noemen we de error (van persoon j) en dit wordt weergegeven met ε_j. Het statistische model dat hieruit volgt, is: X_j = μ + ε_j. Wanneer X_j een normaalverdeling heeft met gemiddelde μ en standaarddeviatie σ, dan heeft ε_j een normaalverdeling met gemiddelde 0 en standaarddeviatie σ.

Als er meerdere onderzoeksgroepen zijn, dan wordt het aantal groepen aangegeven met I en het totaal aantal personen met J. Een observatie van een persoon j in groep i wordt dan aangegeven met X_ij. Als alle personen per groep hetzelfde cijfer hebben, geldt: X_ij = μ_i. Dit is echter nooit het geval, omdat er altijd variantie is tussen personen. De error van een persoon j in groep i wordt weergegeven met ε_ij. Hieruit volgt het volgende model: X_ij = μ_i + ε_ij. Dit wordt het enkelvoudig ANOVA-model genoemd. ε_ij heeft een normaalverdeling met gemiddelde 0 en standaarddeviatie σ.

College 4

Het enkelvoudig ANOVA-model

Het enkelvoudig ANOVA (Analysis Of Variance) model kan worden weergegeven als X_ij = μ_i + ε_ij. Daarbij is X_ij de score van een persoon j in groep i, μ_i is het populatiegemiddelde van groep i en ε_ij is de error van een persoon j in groep i (zie ook college 3). Aangenomen wordt dat ε_ij normaal verdeeld is met gemiddelde 0 en standaarddeviatie σ. μ_i en σ zijn in de praktijk echter onbekend. Om het ANOVA-model te kunnen toetsen, wordt er daarom een schatter gebruikt voor deze parameters. De schatter voor μ_i is het steekproefgemiddelde van de i’de groep (zie figuur 16 in de bijlage).

De schatter voor σ wordt gegeven door de samengestelde schatter van de standaarddeviatie (zie figuur 17 in de bijlage).

De wortel hiervan is de samengestelde standaarddeviatie. Hierbij geldt dat er I aantal groepen zijn met varianties s₁2, s₂2,…,s_I2 en grootte n₁, n₂,…,n_I. Deze steekproeven zijn simple random samples die onafhankelijk van elkaar getrokken zijn uit populaties. De samengestelde schatter s_p mag alleen gebruikt worden als de standaarddeviaties van de populaties gelijk aan elkaar zijn. Om te bepalen of dit zo is kan een vuistregel gebruikt worden. Als de grootste standaarddeviatie minder dan twee keer de kleinste standaarddeviatie is, dan mag ANOVA gebruikt worden.

Toetsingsprocedure voor gelijkheid van meer dan twee populatiegemiddelden

In het algemeen kan een statistisch model worden weergegeven als DATA = FIT + RESIDUAL. Elk van deze drie termen kan worden gezien als bron van variatie. In SPSS kan enkelvoudige ANOVA worden uitgevoerd door Analyze  Compare Means  One-way ANOVA. De data bestaan uit één onafhankelijke variabele (de conditie, bijvoorbeeld conditie 1, 2 of 3) en scores op één afhankelijke variabele. De output in SPSS komt er als volgt uit te zien (getallen zijn fictief):

Er zijn twee bronnen van variatie:

• Verschillen tussen groepen, bijvoorbeeld als gevolg van de experimentele manipulatie. Dit wordt ook wel de fit genoemd.

• Verschillen binnen groepen, bijvoorbeeld als gevolg van verschil in vermoeidheid tussen proefpersonen. Dit wordt ook wel het residu of de error genoemd. De totale spreiding is de som van de spreiding tussen groepen en de spreiding binnen groepen.

De kwadratensom (sum of squares) is een maat voor spreiding.

• SSG is de kwadratensom tussen de groepen.

• SSE is de kwadratensom binnen de groepen

• SST is de totale kwadratensom (SSG + SSE).

De formules voor het berekenen van SSG, SSE en SST staan hieronder. In deze formules xgemiddeld is het gemiddelde van de proefpersonen uit alle steekproeven bij elkaar.

Zie figuur 18, 19 en 20 in de bijlage.

Bij elke kwadratensom hoort een bepaald aantal vrijheidsgraden (degrees of freedom). Daarbij is I het aantal groepen en N het totaal aantal proefpersonen.

• DFG is het aantal vrijheidsgraden van de groepen (I – 1).

• DFE is het aantal vrijheidsgraden van de error (N – I).

• DFT is het totaal aantal vrijheidsgraden (DFG + DFE of N-1).

De gemiddelde kwadratensom (mean square) is de kwadratensom gedeeld door het bijbehorend aantal vrijheidsgraden.

• MSG is de gemiddelde kwadratensom van de groepen (SSG/DFG).

• MSE is de gemiddelde kwadratensom van de error (SSE/DFE).

• MSE is gelijk aan de samengestelde schatter van de variantie. De wortel uit MSE kan daarom gebruikt worden als schatter voor de gezamenlijke standaarddeviatie van de populatie.

De F-toets

Bij de F-toets voor gelijkheid van meer dan twee populatiegemiddelden geldt: F = MSG/MSE. De F-toets toetst of er tussen groepen een grotere spreiding is dan binnen groepen. F heeft onder de nulhypothese H₀ een F-verdeling met DFG en DFE vrijheidsgraden. Als populatiegemiddelden gelijk zijn, dan zal F ongeveer een waarde van 1 hebben. Dit is het geval bij H₀. Als F veel groter is dan 1 verwerp je H₀. Let op: je toetst hierbij altijd eenzijdig. De waarde van F is terug te vinden in de tabel van SPSS. In het voorbeeld heeft F een waarde van 10.792. In de kolom daarnaast is te zien dat de kans dat je bij geen populatieverschillen in gemiddelden een F-waarde vindt van 10.792 of hoger, kleiner dan 5% is. De nulhypothese wordt in dat geval verworpen: er zijn wel populatieverschillen in gemiddelden.

De effectgrootte kan berekend worden door R2. R2 geeft aan hoeveel procent van de totale variantie verklaard kan worden door de onafhankelijke variabele. R2 = SSG / SST. Vanaf 0.010 spreken we van een klein effect. Vanaf 0.059 is er een gemiddeld effect en vanaf 0.138 is er sprake van een groot effect.

Toetsingsprocedure voor gelijkheid van twee varianties

De F-toets voor gelijkheid van twee varianties toetst of varianties van twee steekproeven gelijk zijn aan elkaar. Er moet namelijk sprake zijn gelijke varianties om de samengestelde t-toets te kunnen gebruiken. De hypothesen die horen bij de F-toets voor gelijkheid van varianties zijn:

• H₀: σ₁ = σ₂ (de populaties hebben gelijke standaarddeviaties)

• H_a: σ₁ ≠ σ₂ (de populaties hebben geen gelijke standaarddeviaties)

Onder H₀ heeft de statistische maat F = s₁2/s₂2 een F-verdeling met n₁-1 en n₂-1 vrijheidsgraden. s₁ en s₂ zijn de standaarddeviaties van de steekproeven, n₁ en n₂ zijn de steekproefgroottes. Omdat de F-verdeling niet symmetrisch is maar scheef naar rechts, is de linker kritieke grens niet gelijk aan de rechter kritieke grens. In Tabel E (Introduction to the Practice of Statistics van Moore, McCabe en Craig, 2011) staan alleen de rechter kritieke grenzen van de F-verdeling. Daarom bereken je F altijd door de grootste variantie te delen door de kleinste variantie. De teller moet groter zijn dan de noemer. De p-waarde vind je door de F-waarde op te zoeken in tabel E. Om dit te doen kijk je in de tabel horizontaal naar het aantal vrijheidsgraden dat hoort bij de standaarddeviatie uit de teller. Verticaal kijk je naar het aantal vrijheidsgraden dat hoort bij de standaarddeviatie uit de noemer. Let op: je toetst hierbij altijd tweezijdig, dus je moet de gevonden p-waarde nog vermenigvuldigen met twee.

Belangrijke punten

Het is belangrijk om er goed op te letten of je een- of tweezijdig toetst. Bij de F-toets bij ANOVA (voor gelijkheid van meer dan twee populatiegemiddelden) toets je altijd eenzijdig en vermenigvuldig je p nooit met 2. Onder de alternatieve hypothese is de spreiding tussen groepsgemiddelden namelijk altijd groter dan de spreiding binnen groepen. Bij de F-toets voor gelijkheid van twee varianties toets je juist altijd tweezijdig en vermenigvuldig je p standaard met twee. Onder de alternatieve hypothese kan namelijk de variantie van zowel de ene als de andere populatie groter zijn.

Als de rechter kritieke grens van de F-toets voor gelijkheid van varianties bijvoorbeeld 1.5 is, dan is de linker kritieke grens 1 / 1.5.

De F-toets voor gelijkheid van varianties kun je niet in SPSS uitrekenen, maar SPSS maakt wel gebruik van Levene’s test voor gelijkheid van varianties. Deze toetst hetzelfde als de F-toets.

De F-toets voor gelijkheid van varianties heeft een nadeel. De toets is namelijk extreem gevoelig voor schending van normaliteit en kan daarom alleen gebruikt worden als de data normaal verdeeld zijn. Wanneer er geen normaalverdeling is of als er niets bekend is wat betreft de verdeling van data, dan gebruik je de vuistregel. Als de grootste standaarddeviatie minder dan twee keer de kleinste standaarddeviatie is, dan mag de F-toets gebruikt worden.

Bij t-toetsen voor gemiddelden ben je vaak geïnteresseerd in de alternatieve hypothese: gemiddelden zijn dan ongelijk. Bij de F-toets voor gelijkheid van varianties ben je juist geïnteresseerd in de nulhypothese. Om de samengestelde t-toets te kunnen gebruiken, die exact een t-verdeling heeft, moeten de varianties namelijk gelijk zijn. Je wilt bij de F-toets dus juist géén significant effect vinden, zodat je de nulhypothese niet hoeft te verwerpen.

College 5

Toetsingsschema enkelvoudige ANOVA (variantieanalyse)

1. Formuleer je onderzoeksvraag.

2. Ga de aannamen af en ga na of eraan is voldaan.

• De afhankelijke variabele moet normaal verdeeld zijn. Of dit het geval is, kan worden bepaald met een normaalkwantielplot. Bij schending zijn de resultaten nog wel betrouwbaar zolang de totale steekproef groot genoeg is. In het boek Introduction to the Practice of Statistics van Moore, McCabe en Craig wordt echter niet aangegeven hoeveel proefpersonen de groepen bij enkelvoudige variantieanalyse in totaal moeten bevatten.

• Proefpersonen moeten aselect getrokken zijn. Als dit niet het geval is, dan zijn de resultaten beperkt generaliseerbaar.

• Proefpersonen moeten onafhankelijk van elkaar zijn getrokken. Als dit niet het geval is, dan gebruik je een ander soort variantieanalyse.

• Er moeten gelijke populatievarianties zijn. Dit kan worden gecontroleerd met de vuistregel: er zijn gelijke varianties als de grootste standaarddeviatie minder dan twee keer de kleinste standaarddeviatie is. Als hier niet aan voldaan is, zijn de resultaten nog wel betrouwbaar bij (vrijwel) gelijke steekproefgroottes.

3. Stel je hypothesen op.

• H₀: µ₁ = µ₂ = µ₃ = … = µ_i

• H_a: niet alle µ_i’s zijn gelijk

4. Kies de juiste toets, in dit geval de F-toets, en bepaal alpha α (vaak 0.05)

5. Voer je berekening uit. F = MSG / MSE (zie college 4).

6. Zoek de bijbehorende p-waarde op in Tabel E (Introduction to the Practice of Statistics van Moore, McCabe en Craig).

7. Neem een beslissing: vergelijk p met α. Als p < α, dan verwerp je de nulhypothese.

8. Bereken de effectgrootte door middel van R2. R2 = SSG / SST (zie college 4).

9. Trek je conclusie en beschrijf deze inhoudelijk. Plaats kanttekeningen over de aannamen.

Met behulp van dit toetsingsschema kan worden bepaald of gemiddelden van elkaar verschillen, maar het wordt niet duidelijk welke gemiddelden dat zijn. Om te bepalen welke gemiddelden verschillen, gebruiken we multipele vergelijkingen. Op deze manier kunnen gemiddelden in paren vergeleken worden.

Multipele vergelijkingen

Als we een experiment uitvoeren met drie groepen, dan moeten er drie toetsen uitgevoerd worden om de gemiddelden paarsgewijs met elkaar te vergelijken: een toets voor groep 1 en 2, een toets voor groep 2 en 3 en een toets voor groep 1 en 3. Een toets voor een vergelijking tussen bijvoorbeeld groep 1 en 2 ziet er als volgt uit: zie figuur 21 in de bijlage.

Let op: s_p is hierin niet de samengestelde standaarddeviatie van groep 1 en 2, maar de samengestelde standaarddeviatie van groep 1, 2 en 3 (zie college 4 voor het berekenen van de samengestelde standaarddeviatie). Hierdoor wordt de standaarddeviatie van de populatie stabieler geschat en dit vergroot de power, de kans dat verschillen worden ontdekt. De algemene formule voor het uitvoeren van multipele vergelijkingen is: zie figuur 22 in de bijlage.

Hierin geven de letters i en j de groepen aan. We concluderen dat gemiddelden van elkaar verschillen als │t_ij│> t**. Als dit namelijk het geval is, dan is p < α en verwerpen we de nulhypothese. De waarde van t** is afhankelijk van de methode die we voor multipele vergelijkingen gebruiken. Er zijn twee methoden: de LSD-methode en de Bonferroni-methode.

LSD-methode

De LSD-methode (Least Significant Difference) is de standaardmethode.

• De kritieke waarde t** is hierbij de waarde die hoort bij α/2 van een t(DFE)-verdeling. Dat je de alpha deelt door twee heeft te maken met het feit dat je tweezijdig toetst.

• Het aantal vrijheidsgraden is DFE: het totaal aantal proefpersonen min het aantal groepen (N – I).

• In tabel D (Introduction to the Practice of Statistics van Moore, McCabe en Craig) kan de bijbehorende waarde van t** worden gevonden.

Bijvoorbeeld: we hebben drie groepen met in elke groep tien proefpersonen en we toetsen bij een alpha van 0.05. Om de kritieke waarde te bepalen, delen we eerst alpha door twee. De juiste waarde wordt dan 0.025. Het aantal vrijheidsgraden is N – I, dus in dit geval 30 – 3 = 27. In tabel D zoeken we de t-waarde op bij df = 27 en p = 0.025. De waarde die we dan vinden is 2.052 en dit is de kritieke waarde t**.

Een nadeel van de LSD-methode is dat het de kans vergroot op significante effecten die enkel door toeval worden veroorzaakt. Dit wordt kanskapitalisatie genoemd. Als er drie groepen paarsgewijs met elkaar vergeleken worden, dan is de kans op een type-1 fout (onterecht de nulhypothese verwerpen) 5% bij een alpha van 0.05. De kans op minstens één type-1 fout is over de drie toetsen heen drie keer die 5%. Dit is drie keer zo groot als gewenst. Om dit te voorkomen, kan de Bonferroni-methode gebruikt worden.

Bonferroni-methode

De Bonferroni-methode zorgt ervoor dat de totale kans op een onterechte verwerping van de nulhypothese onder alle vergelijkingen gelijk blijft aan een alpha van 0.05.

• Als je drie keer paarsgewijs toetst, zorg je ervoor dat je ook drie keer zo streng toetst.

• Deel α door het aantal toetsen dat je uitvoert.

• Verder werkt de procedure hetzelfde als bij de LSD-methode.

Bijvoorbeeld: we hebben weer drie groepen met in elke groep tien proefpersonen en we toetsen bij een alpha van 0.05. Om de kritieke waarde t** te vinden, delen we α/2 door het aantal toetsen dat we uitvoeren. Bij drie groepen kunnen we drie toetsen uitvoeren, dus we delen 0.025 door 3. 0.025/3= 0.0083, oftewel 0.83%. Deze waarde is echter niet in Tabel D te vinden. Wel kan SPSS de bijbehorende t-waarde uitrekenen. Bij een waarde van 0.0083 hoort een t**-waarde van 2.552.

SPSS

In SPSS kunnen de LSD-methode en de Bonferroni-methode worden uitgevoerd. Via Analyze  Compare Means  One-way ANOVA wordt de variantieanalyse uitgevoerd. In het One-Way ANOVA scherm kan worden gekozen voor de optie ‘post hoc’, waarbij vervolgens de opties ‘LSD’ en ‘Bonferroni’ kunnen worden aangevinkt. Bij de knop ‘options’ kan verder nog worden gekozen voor ‘means plot’. In de uitvoer wordt dan een grafiek weergegeven met daarin de gemiddelde waarden van alle groepen.

Als SPSS aangeeft dat er een p-waarde is van 0.000 (onder Sig. in de tabel), dan schrijven we dit op als p < 0.001. Als we dit zouden noteren als p = 0.000, dan zou dit namelijk suggereren dat de kans dat iets op toeval berust gelijk is aan nul en dit is niet het geval. Dat SPSS wel een waarde van 0.000 geeft, heeft te maken het afronden op drie decimalen.

Wat betreft de p-waarden in SPSS is er bij Bonferroni iets raars aan de hand. SPSS vermenigvuldigt de kansen namelijk met het aantal toetsen dat is uitgevoerd. Hierdoor zijn de p-waarden bij Bonferroni (onder Sig. in de tabel) anders dan de p-waarden bij LSD. Gebruik in SPSS altijd de p-waarden die bij LSD staan. Let op: de waarden van de betrouwbaarheidsintervallen zijn bij Bonferroni wel juist en kun je gebruiken.

Het kan wel eens voorkomen dat er volgens SPSS geen significant verschil is tussen de gemiddelden van groep 1 en 2 en ook niet tussen de gemiddelden van groep 2 en 3, maar wel tussen de gemiddelden van groep 1 en 3. Logisch gezien lijkt dit paradoxaal. Het kan echter zo zijn dat de steekproeven te klein waren, waardoor een effect te klein was om gedetecteerd te worden. Dat een effect te klein is om gevonden te worden, betekent niet dat het effect niet bestaat.

Simultane betrouwbaarheidsintervallen

De betrouwbaarheidsintervallen van µ_i - µ_j (het verschil) tussen populatiegemiddelden hebben de volgende vorm: zie figuur 23 in de bijlage.

De kritieke waarde t** hangt af van de methode die gebruikt is om deze waarde te bepalen. S_p is weer de samengestelde standaarddeviatie van alle groepen, niet alleen van de twee groepen waarvan het betrouwbaarheidsinterval wordt bepaald. Bij drie groepen en een 95%-betrouwbaarheidsinterval geven de drie intervallen van µ₁ - µ₂, µ₂ - µ₃ en µ₁ - µ₃ samen 95% zekerheid dat ze alle drie tegelijkertijd de waarden bevatten van µ₁ - µ₂, µ₂ - µ₃ en µ₁ - µ₃. Simultaan betekent gelijktijdig en daarom spreken we van simultane betrouwbaarheidsintervallen.    

College 6

Eenwegdesigns

Er zijn verschillende soorten experimentele designs. Een design waarbij er onderzoek gedaan wordt naar slechts één onafhankelijke variabele wordt een eenwegdesign genoemd. De meest simpele vorm hiervan is een experiment met twee groepen (two-group experimental design). Meestal gaat het dan om een experimentele groep en een controlegroep. Onafhankelijke variabele (de factor) heeft dan twee niveaus. Vaak bestaat de onafhankelijke variabele echter uit meer dan twee niveaus.

Er zijn verschillende manieren om proefpersonen toe te wijzen aan een groep.

• Gerandomiseerd design: proefpersonen worden aselect, dus op basis van toeval, toegewezen aan de twee of meerdere condities.

• Gematchte paren (matched-subjects) design: proefpersonen worden in blokken gematcht op basis van een relevante variabele.

• Herhaalde metingen (repeated measures) design: per proefpersoon worden er meerdere metingen uitgevoerd. Elk proefpersoon wordt in elke conditie gemeten.

Welke metingen er gedaan worden, kan ook verschillen.

• Posttest-only design: er wordt alleen een nameting gedaan, nadat de proefpersoon is blootgesteld aan de experimentele manipulatie.

• Pretest-posttest design: er wordt eerst een voormeting gedaan, vervolgens wordt de proefpersoon blootgesteld aan de experimentele manipulatie en daarna wordt de nameting gedaan.

Een pretest-posttest design maakt het mogelijk om te bepalen of er tussen de groepen al een verschil was op de afhankelijke variabele voordat de manipulatie plaatsvond. Ook kan hiermee worden bepaald hoeveel effect de onafhankelijke variabele heeft gehad op het gedrag van de proefpersonen. Dit zijn de voordelen van een pretest-posttest design ten opzichte van een post-only design. Een nadeel is echter pre-test sensitisatie: het afnemen van de voormeting kan het gedrag van een proefpersoon al beïnvloeden. Dit kan leiden tot een andere score op de afhankelijke variabele. Een oplossing kan zijn om bij de ene helft van de proefpersonen geen voormeting te doen en bij de andere helft wel. Er kan dan namelijk worden gekeken of er verschillen tussen de ene en de andere helft zijn.

Factoriële designs

Een factorieel design is een design waarbij meerdere onafhankelijke variabelen (factoren) worden onderzocht. Dit design maakt bestudering van het effect van een combinatie van factoren mogelijk. Bij onderzoek naar drie onafhankelijke variabelen spreken we van een driewegdesign, bij onderzoek naar vier onafhankelijke variabelen spreken we van een vierwegdesign enzovoorts. De structuur van een design wordt zo weergegeven dat meteen duidelijk is hoeveel onafhankelijke variabelen bij het experiment betrokken zijn en hoeveel niveaus de variabelen hebben. Een 2 x 3 design is bijvoorbeeld een design met twee onafhankelijke variabelen. De ene onafhankelijke variabele heeft twee condities, de andere onafhankelijke variabele heeft drie condities. In totaal zijn er zes condities (2 x 3). 

Bij factoriële designs zijn er de volgende manieren om proefpersonen toe te wijzen aan een groep.

• Gerandomiseerde groepen factorieel (randomized groups factorial) design: proefpersonen worden aselect aan één van de condities toegewezen.

• Gematcht factorieel (matched factorial) design: proefpersonen worden gematcht in blokken. Dit gebeurt op basis van een variabele die samenhangt met de afhankelijke variabele. Als de afhankelijke variabele bijvoorbeeld reactiesnelheid is, dan kan er een blok gevormd worden met de meest snelle mensen, een blok met mensen die iets minder snel zijn, een blok met mensen die nog minder snel zijn enzovoorts. In elk blok moeten net zoveel mensen zitten als het aantal condities dat er is. Vervolgens wordt elk van de proefpersonen uit een blok aan een andere conditie toegewezen. Dit gebeurt aselect.

• Herhaalde metingen factorieel (repeated measures factorial) design: elke proefpersoon wordt blootgesteld aan elke experimentele conditie. Dit kan echter alleen als je niet teveel condities hebt, want anders is de kans groot dat vermoeidheid en volgorde-effecten optreden.

• Gemixt factorieel (mixed factorial) design: kenmerken van zowel het gerandomiseerde groepen factorieel design als het herhaalde metingen factorieel design worden met elkaar gecombineerd. Men wijst proefpersonen bijvoorbeeld eerst  aselect toe aan twee groepen en voert vervolgens bij alle proefpersonen herhaalde metingen uit. Gemixt factorieel design wordt ook wel between-within design of split- plot factorieel design genoemd.

Hoofd- en interactie-effecten

Een hoofdeffect is het effect van een onafhankelijke variabele op de afhankelijke variabele. In een experiment is het aantal hoofdeffecten gelijk aan het aantal onafhankelijke variabelen. Bij het onderzoeken van een bepaald hoofdeffect worden de overige onafhankelijke variabelen genegeerd. Er wordt enkel gekeken naar het algehele effect van een onafhankelijke variabele.

Er is sprake van een interactie-effect wanneer het effect van een onafhankelijke variabele niet op elk niveau van de andere onafhankelijke variabelen hetzelfde is. Het kan bijvoorbeeld zo zijn dat het effect van alcohol op concentratievermogen sterker is bij mensen die vermoeid zijn dan bij mensen die niet vermoeid zijn. Wanneer dit in een grafiek weergegeven wordt, dan blijkt dat de twee lijnen die horen bij de groepen (groep 1: vermoeid en groep 2: niet vermoeid) niet evenwijdig aan elkaar lopen. Hieraan is te zien dat er sprake is van een interactie-effect. Als de lijnen in de grafiek wel evenwijdig aan elkaar lopen, dan is er geen sprake van een interactie-effect.

Hogere-orde designs

Bij een driewegdesign wordt onderzoek gedaan naar drie onafhankelijke variabelen. De effecten die worden onderzocht zijn als volgt:

• De drie hoofdeffecten van de onafhankelijke variabelen (variabelen A, B en C).

• Drie paren van onafhankelijke variabelen, dus drie interactie-effecten (AB, AC en BC). Hierbij wordt de derde onafhankelijke variabele steeds buiten beschouwing gelaten.

• Het interactie-effect van de drie onafhankelijke variabelen samen (ABC).

In een experiment maakt men vaak gebruik van niet meer dan twee onafhankelijke variabelen. Hier zijn twee redenen voor. Ten eerste betekent meer variabelen dat er ook meer condities zijn. Hoe meer condities er zijn, hoe meer proefpersonen een onderzoeker nodig heeft. Ten tweede zijn interacties van meer dan twee onafhankelijke variabelen moeilijk te interpreteren. Een drieweginteractie bijvoorbeeld kan niet worden weergegeven in één grafiek.

Experimenteel-correlationeel design

Proefpersoonvariabelen zijn variabelen die samenhangen met de proefpersoon zelf, zoals haarkleur en geslacht. Een onderzoeker kan deze variabelen niet manipuleren. Proefpersoonvariabelen kunnen worden gecombineerd met een experimenteel design. Onafhankelijke variabelen worden dan gemanipuleerd en bestaande proefpersoonvariabelen worden gemeten. Dit wordt ook wel een experimenteel-correlationeel design genoemd.

Er zijn verschillende redenen om een experimenteel-correlationeel design te gebruiken.

1. Er kan onderzocht worden of een effect van de onafhankelijke variabele algemeen  geldig is, of dat het alleen geldt voor mensen met een bepaald kenmerk.

2. Er kan bepaald worden hoe een persoonlijke eigenschap in verschillende condities samenhangt met gedrag.

3. De groepen proefpersonen binnen de condities worden homogener. De proefpersonen binnen een bepaalde experimentele conditie hebben namelijk in elk geval één proefpersoonvariabele met elkaar gemeen. Meer homogeniteit zorgt ervoor dat de errorvariantie kleiner wordt.

Proefpersoonvariabelen bestaan niet altijd uit categorieën, zoals het geval is bij haarkleur en geslacht, maar kunnen ook continu zijn, zoals het geval is bij lengte, gewicht en leeftijd. Er zijn twee manieren om dan een indeling te maken van de groepen.

• Mediaan-split procedure: de onderzoeker berekent de mediaan en vormt twee groepen. De ene groep bevat proefpersonen met waarden boven de mediaan, de andere groep bevat proefpersonen met waarden onder de mediaan.

• Extreme groepen (extreme groups) procedure: de onderzoeker doet een voormeting bij een groep potentiële proefpersonen. Uit deze groep selecteert hij enkel de mensen met een extreem hoge of een extreem lage score. Als de onderzoeker bijvoorbeeld onderzoek wil doen naar de proefpersoonvariabele  ‘gewicht’, dan kan hij de tien meest zware mensen en de tien minst zware mensen selecteren voor zijn experiment.

Een nadeel van de mediaan-split en de extreme groepen procedure is dat zinvolle informatie verdwijnt. Doordat de proefpersonen zijn ingedeeld in twee groepen wordt er geen gebruik meer gemaakt van de precieze gegevens van elke proefpersoon. Een ander nadeel van beide procedures is dat ze kunnen leiden tot vertekende resultaten. Sommige effecten zullen niet worden ontdekt en het kan ook zijn dat er onterecht effecten worden gevonden. De oplossing hiervoor is multipele regressie.

Aandachtspunt

Het is belangrijk om voorzichtig te zijn met het trekken van conclusies met betrekking tot proefpersoonvariabelen. Bij het vinden van een effect van proefpersoonvariabelen kun je nooit spreken van een causaal effect, omdat de variabele niet gemanipuleerd is. Ook kun je niet stellen dat een proefpersoonvariabele het effect van een onafhankelijke variabele heeft beïnvloed. Het enige dat je kunt zeggen, is dat verschillende groepen mensen (bijvoorbeeld jongens en meisjes) anders reageren op de onafhankelijke variabele. Een proefpersoonvariabele is een modererende variabele (moderator variabele).

College 7

Zie de bijlage: college_7_onderzoekspracticum_2.pdf

College 8

Experimenteel design

Een experimenteel design heeft de volgende kenmerken:

• Er is een onafhankelijke variabele die wordt gemanipuleerd. Door verschillende niveaus van de onafhankelijke variabele ontstaan verschillende experimentele condities. De onderzoeker heeft dus invloed op de condities die er ontstaan.

• Proefpersonen worden random (aselect) toegewezen aan één van de condities.

• Een experimenteel design maakt het mogelijk om oorzaak-gevolgrelaties vast te stellen. 

Een vraagstelling uit de praktijk kan vaak echter niet worden onderzocht met een experiment. De kans is groot dat de onderzoeker geen mogelijkheid heeft tot het manipuleren van de onafhankelijke variabele en/of het aselect toewijzen van proefpersonen. In zo’n geval wordt geprobeerd om toch onderzoek te doen naar oorzaak en gevolg, door middel van een quasi-experimenteel design. Bij een quasi-experimenteel design wordt de onafhankelijke variabele dus niet gemanipuleerd door de onderzoeker en/of worden proefpersonen niet aselect toegewezen aan condities. Er zullen nu verschillende quasi-experimentele designs besproken worden.

One group pretest-posttest design : pre-experimental design

Bij een one group pretest-posttest design is er slechts één groep proefpersonen die onderzocht wordt. Bij deze proefpersonen wordt eerst een voormeting gedaan. Vervolgens worden alle proefpersonen blootgesteld aan de onafhankelijke variabele(n) en daarna volgt er bij elke proefpersoon een nameting. Het one group pretest-posttest design wordt ook wel een pre-experimenteel design genoemd, omdat het veel nadelen heeft. De volgende effecten kunnen optreden bij een one group pretest-posttest design.

• Rijping: doordat leerlingen ouder worden kunnen er al natuurlijke veranderingen in hun gedrag plaatsvinden die niets te maken hebben met de onafhankelijke variabele.

• Historie-effecten: gebeurtenissen van buitenaf die tegelijkertijd plaatsvinden met blootstelling aan de onafhankelijke variabele kunnen invloed hebben op de uitkomsten.

• Regressie naar het gemiddelde: wanneer een proefpersoon op een eerste meting een extreme score haalde, dan zal zijn of haar score op de tweede meting minder extreem zijn. Dit komt simpelweg doordat de persoon niet veel extremer kan scoren. Meetfouten die gemaakt worden zullen dus eerder richting het gemiddelde gaan dan richting een nog extremere score.

Deze methode nooit gebruiken want je kan er niks mee zeggen, heeft heel weinig van een experiment weg.

Non-equivalent control group design

Bij een non-equivalent control group design wordt er gebruik gemaakt van non-equivalente groepen. Dat wil zeggen dat het gaat om bestaande groepen, bijvoorbeeld een groep mensen die drugs gebruikt en een groep mensen die geen drugs gebruikt. De onderzoeker kan de proefpersonen niet aselect toewijzen aan een conditie. Een non-equivalent control group design houdt in dat er één groep is die is blootgesteld aan de onafhankelijke variabele en dat er een controlegroep is die niet is blootgesteld aan de onafhankelijke variabele. Bij dit design worden geen voormetingen gedaan, alleen nametingen. Het nadeel hiervan is dat het onbekend is in hoeverre beide groepen van tevoren al vergelijkbaar zijn. Dit wordt ook wel selectiebias genoemd.

Non-equivalent groups pretest-posttest design

Bij een non-equivalent groups pretest-posttest design wordt er bij de experimentele groep eerst een voormeting gedaan, vervolgens worden de proefpersonen blootgesteld aan de onafhankelijke variabele en daarna wordt er een nameting gedaan. Ook bij de controlegroep wordt er zowel een voor- als nameting gedaan, maar deze proefpersonen worden niet blootgesteld aan de onafhankelijke variabele. Een effect dat kan optreden bij dit design is een lokaal historie-effect (ook wel selectie door historie interactie). Dit houdt in dat er bij één van de groepen een lokale gebeurtenis plaatsvindt die invloed heeft op de uitkomsten. Hierdoor kan het lijken alsof de ene groep verschilt van de andere groep als gevolg van de onafhankelijke variabele, terwijl dit verschil in werkelijkheid te wijten is aan een externe gebeurtenis.

Simple interrupted time series design

Tijdseries designs zijn designs waarin er gedurende het onderzoek meerdere metingen plaatsvinden. Bij een simple interrupted time series design vinden er eerst meerdere voormetingen plaats voordat de proefpersonen aan de onafhankelijke variabele worden blootgesteld. Daarna vinden er meerdere nametingen plaats. Door meerdere metingen uit te voeren kan bepaald worden of een effect daadwerkelijk is opgetreden als gevolg van de onafhankelijke variabele en niet alleen als gevolg van rijping. Een effect dat echter wel bij dit design kan optreden is eigentijdse (‘contemporary’) historie. Tegelijkertijd met blootstelling aan de onafhankelijke variabele kan er een invloedrijke gebeurtenis hebben plaatsgevonden die invloed had op de uitkomsten.

Interrupted time series with a reversal (met omkering)

Bij een interrupted time series design met omkering worden de proefpersonen na enkele voormetingen blootgesteld aan de onafhankelijke variabele. Daarna volgen weer enkele metingen en vervolgens wordt de onafhankelijke variabele verwijderd, waarna er nog enkele nametingen gedaan worden. Wanneer de resultaten van de metingen na verwijdering van de onafhankelijke variabele weer gelijk zijn aan de resultaten van de voormetingen, dan is dit bewijs voor een effect van de onafhankelijke variabele. De kans dat effecten zijn opgetreden door rijping of historie is dan minder waarschijnlijk.

Er zijn ook interrupted time series designs waarbij een onafhankelijke variabele eerst wordt geïntroduceerd, vervolgens wordt verwijderd en daarna nogmaals wordt geïntroduceerd en verwijderd. Tussendoor worden weer meerdere metingen gedaan. Dit design kan nog meer zekerheid geven over het feit dat een effect daadwerkelijk komt door de onafhankelijke variabele en niet door externe gebeurtenissen. Er zijn echter ook wat nadelen van dit design:

• Onderzoekers zijn vaak niet in staat om de onafhankelijke variabele weg te halen, bijvoorbeeld als er onderzoek gedaan wordt naar het effect van een nieuwe wet. Een wet kan niet worden ingetrokken voor het onderzoek.

• Effecten van de onafhankelijke variabele kunnen ook na verwijdering van de onafhankelijke variabele nog invloed hebben.

• Het verwijderen van de onafhankelijke variabele kan voor ongewenste veranderingen zorgen. Een voorbeeld hiervan is onderzoek naar loonsverhoging. Als de loonsverhoging voor het onderzoek wordt ingetrokken dan kan dit boosheid opleveren bij de werknemers, met als gevolg dat werkprestaties verminderen.

Control group interrupted time series design

Het control group interrupted time series design heeft dezelfde opzet als een interrupted time series design, met als verschil dat er sprake is van een non-equivalente controlegroep. De experimentele groep krijgt dus enkele voormetingen, dan blootstelling aan de onafhankelijke variabele en dan enkele nametingen, terwijl er bij de controlegroep alleen voor- en nametingen gedaan worden. Met dit design kunnen bepaalde historie-effecten worden uitgesloten. Een voorwaarde voor het uitsluiten van historie-effecten is echter wel dat beide groepen te maken krijgen met dezelfde gebeurtenissen van buitenaf. Lokale historie-effecten blijven wel altijd mogelijk.

Comparative time series design

Een design waarin twee of meer aan elkaar gerelateerde variabelen (bijvoorbeeld roken en longkanker) met elkaar worden vergeleken door de tijd heen, is een comparative time series design. Als veranderingen in de ene variabele steeds samenhangen met veranderingen in de andere variabele, dan is dit indirect bewijs voor een oorzaak-gevolgrelatie. Vaak is het echter moeilijk vast te stellen welke variabele oorzaak is en welke gevolg. Ook kan het zo zijn dat er een derde variabele in het spel is die invloed heeft op beide variabelen.

Longitudinaal design

In een longitudinaal onderzoek worden proefpersonen gedurende langere tijd gevolgd en gemeten. Het longitudinaal design is geen quasi-experimenteel design, want er wordt niet geprobeerd om een oorzaak-gevolgrelatie vast te stellen. Bij een longitudinaal design vindt er geen interventie plaats. De quasi-onafhankelijke variabele is de tijd zelf. Met dit design kunnen aan leeftijd gerelateerde veranderingen in gedrag, gedachten en emotie worden onderzocht en dit wordt vooral gebruikt door ontwikkelingspsychologen en pedagogen. Een belangrijk aandachtspunt is echter dat niet alle veranderingen door leeftijd komen. Een voorbeeld hiervan is de motoriek van kinderen. Motoriek kan ook verbeteren doordat een kind op een sport gaat. De verandering in motoriek is dan niet alleen afhankelijk van de leeftijd. Bovendien zijn er enkele nadelen wat betreft het gebruikmaken van een longitudinaal design:

• Vaak is het moeilijk om proefpersonen te vinden die voor een langere periode mee willen werken.

• Het kan zijn dat proefpersonen wel mee willen doen, maar tijdens het onderzoek verhuizen of overlijden. Er is dan sprake van uitval van proefpersonen (attrition).

• Het uitvoeren van een longitudinaal onderzoek kost veel tijd, geld en moeite.

Cross-sectioneel design

In een cross-sectioneel onderzoek worden verschillende leeftijdsgroepen op één tijdstip met elkaar vergeleken. Een nadeel hiervan is dat generatie-effecten kunnen optreden: mensen verschillen naast leeftijd ook qua omstandigheden waarin ze zijn opgegroeid, waardoor uitkomsten bij voorbaat al verschillend zijn. Bij een cross-sectioneel design kunnen veranderingen met de leeftijd van individuele proefpersonen niet worden onderzocht. Ook dit is een nadeel.

Programma-evaluatie

Voor het evalueren van programma’s, bijvoorbeeld een nieuwe onderwijsmethode, worden vaak quasi-experimentele designs gebruikt. Soms is het ook mogelijk om echte experimentele designs te gebruiken, maar met experimenten kunnen minder vraagstellingen worden onderzocht dan met quasi-experimenten. Vaak is het doel om oorzaak-gevolgrelaties vast te stellen. Er zijn enkele voorwaarden voor het vaststellen van oorzaak-gevolgrelaties:

1. De onafhankelijke variabele gaat vooraf aan de afhankelijke variabele.

2. Oorzaak en gevolg hangen met elkaar samen (co-variëren).

3. Alternatieve verklaringen kunnen worden uitgesloten door middel van aselecte toewijzing en experimentele controle.

Quasi-experimentele designs voldoen alleen aan de eerste twee voorwaarden. Om de zekerheid van quasi-experimentele resultaten te vergroten kan het volgende gedaan worden:

• Gebruik alle mogelijke designs om de hypothesen te testen.

• Meet andere variabelen waarvan wordt verwacht dat die, naast de onafhankelijke variabele, samenhangen met veranderingen in de afhankelijke variabele.

• Voer meerdere studies uit. Dit wordt kritisch multiplisme genoemd.

Bedreigingen interne validiteit bij quasi-experimenteel onderzoek

Interne validiteit betreft de mate waarin effecten daadwerkelijk aan blootstelling aan de onafhankelijke variabele kunnen worden toegeschreven. Bij designs waarin er slechts één groep wordt bestudeerd, pre-test en post-test, zijn historie-effecten, rijping, regressie naar het gemiddelde en pretest-sensitisatie bedreigingen voor de interne validiteit. Bij designs waarin twee groepen worden bestudeerd, pre-test en post-test, zijn selectiebias en lokale historie-effecten bedreigingen van de interne validiteit.  

College 9

Zie de bijlage: college_9_onderzoekspracticum_2.pdf

College 10

Zie de bijlage: college_10_onderzoekspracticum_2.pdf

College 11

Zie de bijlage: college_11_onderzoekspracticum_2.pdf

College 12: artikelcollege

Algemene informatie over artikelen

Elke artikel heeft een bepaalde structuur. Bij wetenschappelijke artikelen bestaat de inhoud uit vier delen: inleiding, methode, resultaten en discussie.

In de inleiding komen de volgende onderdelen aan bod:

• Er wordt een theoretisch kader geschetst aan de hand van relevante literatuur. In de tekst worden daarbij correcte literatuurverwijzingen gegeven.

• Het onderzoeksdoel of de onderzoeksvragen worden vermeld. Daarbij wordt aan de hand van het theoretisch kader uitgelegd wat het belang is van het onderzoek.

• De opzet van de rest van het artikel wordt besproken.

Bij het onderdeel ‘methoden’ komen de volgende onderdelen aan bod:

• De steekproef wordt volledig besproken aan de hand van steekproefgrootte, representativiteit en methode van steekproeftrekking.

• De procedure van het onderzoek, dus de opzet en dataverzameling, wordt uitgelegd.

• Meetinstrumenten worden besproken.

• Er wordt uitleg gegeven over analysemethoden.

Onder het kopje ‘resultaten’ worden de resultaten besproken die uit de analyses zijn gebleken. Hierbij kunnen enkele kritische vragen worden gesteld:

• Geven de resultaten antwoord op de onderzoeksvraag?

• Zijn de analyses juist uitgevoerd?

• Zijn de resultaten helder en duidelijk geformuleerd?

• Zijn er verrassende resultaten?

• Wat zijn de significantieniveaus en effectgroottes en wat zijn de inhoudelijke conclusies die hieruit getrokken kunnen worden?

Bij het onderdeel ‘discussie’ komen de volgende onderdelen aan bod:

• Er wordt een samenvatting gegeven van alle conclusies.

• Er wordt een terugkoppeling gemaakt naar de literatuur.

• Beperkingen van het onderzoek worden besproken en suggesties voor vervolgonderzoek worden gedaan.

Bespreking van ‘oorlogsspeelgoed en agressie bij kleuters’

Het onderzoek ‘oorlogsspeelgoed en agressie bij kleuters’ werd uitgevoerd door Hellendoorn en Harinck (1995)*. Dit artikel wordt nu besproken aan de hand van alle onderdelen die hierboven genoemd zijn.

Inleiding

De onderzoeksvraag luidt: Is er samenhang tussen spelen met oorlogsspeelgoed en agressie bij 4- tot 7-jarige kinderen? Later in de inleiding volgt er nog een specificatie: ook de relatie tussen ouderattitude, gezinsachtergrond en spelgedrag wordt onderzocht.

Er wordt een theoretisch kader gegeven en aan de hand daarvan wordt besproken wat de relevantie van het onderzoek is. Er is nog weinig onderzoek naar het onderwerp gedaan, in de literatuur zijn tegenstrijdige bevindingen gevonden en de effecten die er zijn gevonden, zijn klein. Verder worden er kanttekeningen geplaatst bij de definitie van ‘agressie’: niet in elk onderzoek wordt dezelfde definitie gehanteerd. Ook de mogelijke invloeden van eventuele derde variabelen, zoals persoonlijkheid en sociale situatie, worden besproken.

Enkele voorbeeldvragen en –antwoorden:

• Om wat voor type onderzoek gaat het hier?

Antwoord: het gaat hier om een relationeel onderzoek. De relatie tussen verschillende factoren wordt onderzocht en hierbij wordt geen onafhankelijke variabele gemanipuleerd, dus we mogen niet spreken van een experiment.

• Wat is de consequentie van dit type onderzoek?

Antwoord: omdat het geen experiment is, mag er geen causaal verband worden vastgesteld.

• Houdt de onderzoeker volgens jou rekening met de consequentie?

Antwoord: nee, want in het artikel wordt er soms een conclusie getrokken waarin een oorzaak-gevolgrelatie wordt gesuggereerd.

Methode

Er is aan 168 kinderen gevraagd om mee te doen met het onderzoek. Van deze kinderen deden er uiteindelijk 57 mee. De kinderen waren afkomstig van drie middelgrote, niet-confessionele basisscholen in de Randstad met een gemiddelde populatie. De scholen en deelnemers waren geïnteresseerd in het onderwerp.

Enkele voorbeeldvragen en – antwoorden:

• Om wat voor type steekproef gaat het?

Antwoord: uit het artikel blijkt dat de scholen meededen op basis van vrijwillige participatie. We spreken dan van een voluntary respons sample (een steekproef op basis van vrijwillige respons).

• Wat zijn de consequenties van dit type steekproef?

Antwoord: de resultaten zullen beperkt generaliseerbaar zijn, omdat de steekproef niet representatief is voor de gehele populatie. Alleen personen die geïnteresseerd waren in het onderwerp werkten mee.

Voor het onderzoek zijn meerdere meetinstrumenten gebruikt. Ouders vulden vragenlijsten in en bij de leerkrachten werd een semigestructureerd interview afgenomen. Verder vulden zowel ouders als leerkrachten een vragenlijst in over agressie van het kind in het dagelijks leven. Kinderen werden geobserveerd in een spelsituatie. Daarbij werd gekeken naar het gebruikte spelmateriaal, de betrokkenheid in het spel, het fantasieniveau en agressie-gerelateerd gedrag. Ook werd er een interview gehouden met de kinderen.

De procedure bij de observatie van de kinderen was als volgt: er werd een spelsituatie gecreëerd in school. De kinderen mochten vrij spelen en konden daarbij kiezen uit dertig soorten speelgoed. Ongeveer de helft van het speelgoed was oorlogsspeelgoed, de andere helft was neutraal speelgoed. Kinderen speelden in groepjes van drie en bij elk groepje waren er twee observatoren die het gedrag van de kinderen scoorden.

Resultaten

Bij de ouders werden voor- en tegenstanders van oorlogsspeelgoed met elkaar vergeleken door middel van t-toetsen. Bij de kinderen werden verschillen tussen jongens en meisjes gemeten in percentages. Meningen van leerkrachten en directeuren werden beschrijvend weergegeven. Spelgedragingen van de kinderen werden zowel beschrijvend als met percentages en frequenties weergegeven. Om het verband tussen spelgedrag en andere variabelen te bepalen, werden correlaties berekend.

Enkele voorbeeldvragen en – antwoorden:

• Voer een geschikte parametrische toets uit om erachter te komen of ouders van jongens significant verschillen van de ouders van meisjes wat betreft hun mening over een bepaalde stelling.

Antwoord: er zijn twee groepen die vergeleken worden, dus de t-toets wordt gebruikt. Of er gelijkheid van varianties is kan bepaald woorden door de F-toets of door de vuistregel voor gelijkheid van varianties. Als er gelijkheid van varianties is, wordt de samengestelde t-toets gebruikt. Ga na of er aan de voorwaarden voor de t-toets is voldaan, bereken de t-waarde en bepaal het aantal vrijheidsgraden en de p-waarde. Toets in dit geval tweezijdig en trek je conclusie. In de conclusie wordt altijd een richting van het effect aangegeven.

• Voor meisjes en jongens zijn de gemiddelde rangen gegeven. Voer een niet-parametrische toets uit en evalueer het resultaat.

Antwoord: de juiste toets is de Wilcoxon rangsomtoets. Gegeven zijn de gemiddelde rangen. Om de rangsommen te berekenen moeten de gemiddelde rangen worden vermenigvuldigd met de steekproefgroottes. Vervolgens moeten µ_W en σ_W worden berekend, zodat de z-waarde berekend kan worden. Daarna kan de p-waarde worden bepaald en kan er een conclusie getrokken worden. De evaluatie bestaat uit een vergelijking tussen de parametrische toets en de Wilcoxon rangsomtoets. Doorgaans worden dan dezelfde resultaten gevonden.

Bovenstaande antwoorden zijn zeer beknopt, maar laten wel de procedure zien die gevolgd moet worden om de toetsen uit te voeren. Naast berekeningen kunnen er ook inhoudelijke vragen aan bod komen:

• De onderzoekers voeren t-toetsen uit op de meningen van ouders. Vind je die aanpak geschikt? Waarom (niet)?

Antwoord: de mening van ouders wordt gemeten met een 5-puntsschaal (1 = helemaal niet mee eens, 5 = helemaal mee eens). ‘Mening’ is een categorische variabele. Het gebruik van de t-toets is daarom geen geschikte aanpak.

• De onderzoekers berekenen correlaties tussen agressief gedrag en allerlei andere variabelen (bijvoorbeeld sekse en leeftijd). Is dit gerechtvaardigd?

Antwoord: nee, want niet alle variabelen zijn numeriek. Correlaties bereken je altijd tussen twee numerieke variabelen.

• De onderzoekers voeren heel veel toetsen uit op dezelfde dataset. Welke consequenties heeft dit voor typ1- of type 2-fouten?

Antwoord: hoe meer toetsen er uitgevoerd worden, hoe groter de kans is dat er een significant effect wordt gevonden op basis van toeval. De kans op een type 1-fout neemt toe (de nulhypothese wordt onterecht verworpen).

Conclusie en discussie

Uit het onderzoek van Hellendoorn en Harinck (1995) bleek dat de (positieve) houding van ouders ten opzichte van oorlogsspeelgoed samenhing met de hoeveelheid oorlogsspeelgoed in huis en het geven van toestemming voor het onderzoek. De leerkrachten hadden vooral een negatieve houding ten opzichte van oorlogsspeelgoed. Bij kinderen was het oorlogsspeelgoed populair. De ‘agressie’ die de kinderen tijdens het spel toonden bestond vooral uit stoeien en fantasie-agressie. Echte agressie kwam nauwelijks voor. Agressie hing niet samen met agressie van het kind in het dagelijks leven. Wel was er een sekse-effect en had de sociale context een belangrijke invloed. Agressie-gerelateerd gedrag hing ook samen met de aard van het (oorlogs)speelgoed. In dit onderzoek werden de reacties van kinderen op het speelgoed op korte termijn bepaald. Effecten op de lange termijn zijn echter nog onduidelijk. Een andere beperking van het onderzoek is dat ouders mogelijk sociaal wenselijk geantwoord hebben op de vragen van de vragenlijst. Verder is de procedure niet blind uitgevoerd: de observatoren kenden het doel van het onderzoek.

De hoofdconclusie van het onderzoek luidt: oorlogsspeelgoed lokt geen agressie uit. Een voorbeeldvraag zou kunnen zijn:

• Is de hoofdconclusie correct?

Antwoord: nee, want er wordt een causaal verband gesuggereerd terwijl het om een relationeel onderzoek ging.

* Referentie: Hellendoorn, J. & Harinck, F. J. H. (1995). Oorlogsspeelgoed en agressie bij kleuters. Kind en Adolescent, 16(4), 228 – 243. 

College 13

Zie de bijlage: college_13_onderzoekspracticum_2.pdf

Bijlage bij college 1 t/m 5

Bijlage bij College 1-5 OP2