Data verzamelen

De manieren die gedragswetenschappers gebruiken om data te verzamelen worden onderverdeeld in drie groepen:

1. Observationele meetsoorten: in dit geval wordt gedrag op een directe manier geobserveerd. Dit kan gedaan worden bij elk onderzoek waarbij het gedrag dat onderzocht wordt direct waargenomen kan worden. Onderzoekers kunnen het gedrag direct observeren, of kunnen audio- of video-opnames maken, waaruit informatie over de proefpersonen kan worden afgeleid. De afhankelijke en onafhankelijke variabelen waarin de onderzoeker geïnteresseerd is, worden in dit geval niet gemanipuleerd. Bij dit soort onderzoek kunnen dan ook geen causale verbanden worden vastgesteld.
2. Lichamelijke meetsoorten: hier maken de wetenschappers gebruik van wanneer ze benieuwd zijn naar de relatie tussen gedrag en niet-direct observeerbare lichaamsprocessen. Het gaat in dit geval om processen die zich in het lichaam afspelen. Ze kunnen meestal niet met het blote oog waargenomen worden. Denk hierbij bijvoorbeeld aan hartslag, zweten, hersenactiviteit en hormonale veranderingen.
3. Zelfrapportagemetingen: in dit geval geven de participanten zelf antwoord op vragenlijsten en interviews. Er zijn drie soorten zelfrapportages: (1) cognitieve: deze meten wat mensen denken, (2) affectieve: deze meten wat mensen voelen en (3) gedragsmatige zelfrapportages: deze meten wat mensen doen.

Kwantitatieve versus kwalitatieve data

In de statistiek wordt een onderscheid gemaakt tussen kwantitatieve en kwalitatieve data. Kwantitatieve data (ook wel meet-data) is het resultaat van een bepaalde meting, zoals een cijfer voor een toets, gewicht of scores op een eigenwaarde schaal. Er is gebruik gemaakt van een meetinstrument om te kijken hoeveel van een bepaalde eigenschap een object bezit.
Kwalitatieve data wordt ook wel frequentie data of categorische data genoemd. Hierbij worden dingen gecategoriseerd (ingedeeld), zoals ‘vijftien mensen werden geclassificeerd als ‘zeer angstig’, 33 als ‘neutraal’ en 12 als ‘weinig angstig’’. De data bestaat uit frequenties voor elke categorie.

Verbanden

Het meeste onderzoek wordt gedaan om verbanden tussen variabelen te ontdekken, bijvoorbeeld het verband tussen slaapgewoontes en prestaties op school. De eerste onderzoekstechniek om verbanden te ontdekken is de correlationele methode. Bij deze onderzoeksmethode observeert de onderzoeker twee variabelen om te ontdekken of hier een verband tussen bestaat. De experimentele methode wordt gebruikt wanneer een onderzoeker geïnteresseerd is in een oorzaak-gevolg relatie tussen variabelen. Een verandering in de ene variabele zal dan een verandering in de andere variabele tot gevolg hebben. Deze methode heeft twee essentiële kenmerken. Ten eerste is er sprake van manipulatie. Dit houdt in dat de onderzoeker de waarden van een variabele (X) verandert. Waarden van de tweede variabele (Y) worden vervolgens gemeten om te zien of de verandering van X invloed heeft op de waarde van Y. Het tweede kenmerk is controle, dit houdt in dat de onderzoeker de onderzoekssituatie constant moet houden. Als gevolg van deze controle kan gezegd worden dat Y is veroorzaakt door X en niet door een andere variabele. Het is belangrijk om je ervan bewust te zijn dat correlatie niet hetzelfde is als causatie. Een correlatie houdt in dat er een verband is tussen variabelen, maar dit zegt niks over in welke richting dit verband is. Je kunt dan dus niet zeggen dat de ene variabele veroorzaakt wordt door de andere variabele. Om te spreken van causaliteit moet aan drie voorwaarden worden voldaan:

1. Covariantie: variabelen moeten samen variëren. Een hoge score op de x-variabele moet samengaan met een hoge score op de y-variabele.
2. Richting: de oorzaak moet vooraf gaan aan het gevolg.
3. Uitsluiting van de invloed van andere variabelen: het kan bijvoorbeeld zo zijn dat een derde variabele (z) zowel variabele x als variabele y beïnvloedt.

Ruwe data interpreteren en weergeven

Frequentiedistributies, proporties en intervallen

Wanneer metingen bij proefpersonen zijn gedaan, worden de gegevens die verkregen zijn ruwe data genoemd. Deze gegevens zijn lastig te interpreteren, dus moeten er stappen ondernomen worden om deze data te verwerken. Ruwe data is slechts een verzameling getallen. Er kan structuur worden aangebracht door de data bijvoorbeeld in een grafiek weer te geven. Wanneer reactietijden worden gemeten kan je hier bijvoorbeeld een frequentiedistributie van maken. Hierin wordt aangegeven hoe vaak een bepaalde reactietijd voorkwam. Zo wordt zichtbaar welke reactietijd het meest voorkwam. Het beschrijven van proporties en percentages is ook handig in een frequentieverdeling. Een proportie bereken je door de frequentie die bij een X-waarde hoort te delen door het totale aantal mensen. Als er bijvoorbeeld binnen een klas van twintig mensen twee mensen een zes (X=6) hebben gehaald, dan is de bijbehorende proportie (bij X=6) 2/20= 0.10. De formule is: proportie = p=f/N (f staat voor frequentie en N voor het totale aantal mensen). Omdat proporties altijd in relatie tot het totale aantal mensen (N) worden berekend, noemen we ze relatieve frequenties. Percentages kunnen verkregen worden door proporties met honderd te vermenigvuldigen. Daarom: percentage =p(100)=f/N(100). Soms zijn er heel veel verschillende scores mogelijk, waardoor het handiger is om een gegroepeerde frequentieverdeling te maken. We maken dan groepen van scores, in plaats van dat we enkel naar individuele waarden kijken. De groepen (of intervallen) worden klasse-intervallen genoemd. In plaats van dat je bijvoorbeeld elke mogelijke lengte noteert, kun je groepen met verschillende lengte-intervallen maken. Zo kan de ene groep een interval hebben van 100 cm tot 120 cm en de volgende van 121 tot 140 cm. Achter elke groep kan de frequentie genoteerd worden.

Grafieken

Een frequentiedistributie is goed uit te beelden in een figuur, dit wordt een grafiek genoemd. Een voorbeeld hiervan is een histogram. De horizontale as wordt de X-as genoemd, en de verticale as de Y-as. De categorieën staan op de horizontale as, en de frequenties op de verticale as. Om een histogram te maken moeten staven worden getekend. De hoogte van elke staaf correspondeert met de frequentie van die categorie. Een staafdiagram is in principe hetzelfde als een histogram, alleen staan de staven niet helemaal tegen elkaar aan. In een grafiek worden ook waardes die sterk afwijken van de andere waardes zichtbaar. Deze waardes worden outliers genoemd en zijn vaak niet bruikbaar. Naast grafieken kunnen ook lijnen toegepast worden op de verkregen data. De meest gebruikte lijn is de normaalcurve. Deze lijn is het hoogst in het midden van de distributie, en loopt symmetrisch af naar beneden aan beide kanten van het midden. De normaalverdeling is symmetrisch, maar niet elke verdeling ziet er zo uit. Een bimodale verdeling heeft bijvoorbeeld twee pieken. Als een distributie maar één piek heeft, wordt het een unimodale verdeling genoemd. Een distributie kan ook assymetrisch zijn omdat de verdeling aan één van beide zijden van de piek langer uitloopt. Een distributie met een ‘staart’ naar de linkerkant heeft een negatieve scheefheid (‘skew’), en een distributie met een ‘staart’ naar de rechterkant heeft een positieve scheefheid.
Naast histogrammen en staafdiagrammen wordt er ook gebruik gemaakt van stem-and-leaf-plots. Hierbij wordt elke score opgedeeld in twee delen. Het eerste cijfer (bijvoorbeeld de 1 van 12) wordt de stam genoemd, terwijl het laatste getal (bijvoorbeeld de 2 van de 12) het blad wordt genoemd. Als je een plot maakt moeten eerst alle stammen van de getallen genoteerd worden (het eerste cijfer van een tiental of honderdtal bijvoorbeeld).Vervolgens moet elk blad van elke score naast de stam genoteerd worden. Een stam-en-blad plot biedt de mogelijkheid iedere individuele score snel terug te vinden, wat soms nodig is voor het uitvoeren van berekeningen. Dit is niet mogelijk bij een frequentiedistributie.

Percentielen

Individuele scores worden ruwe scores genoemd. Deze geven echter niet veel informatie. Als je iemand vertelt dat je 43 punten hebt gescoord voor een tentamen, is het niet duidelijk of dit veel of weinig punten zijn. Om zo’n score te kunnen interpreteren, moet duidelijk zijn wat de gemiddelde score is. De rank of percentielrang is een getal dat aangeeft hoeveel procent van alle individuen in de distributie onder een bepaalde waarde vallen. Wanneer een score zo wordt weergegeven, wordt deze score een percentiel genoemd. De percentielrang staat voor een percentage terwijl een percentiel voor een score staat. Om percentielen of percentielrangen vast te stellen, moet eerst uitgezocht worden hoeveel individuen op of onder een bepaald punt in een distributie liggen. Dit kan gedaan worden door het aantal individuen op te tellen dat onder een score valt. Het resultaat wordt een cumulatieve frequentie genoemd. Achter elke X kan naast de frequentie de cumulatieve frequentie genoteerd worden. Om van de cumulatieve frequenties percentielen te maken, moeten deze frequenties omgezet worden in percentages. De resulterende waarden worden cumulatieve percentages genoemd. Deze percentages laten zien hoeveel procent van de individuen onder een bepaalde X-waarde vallen. Een makkelijke manier om percentielen te gebruiken zijn kwartielen. Het eerste kwartiel (Q1) is 25%, het tweede kwartiel (Q2) is 50% (de mediaan dus) en het derde kwartiel (Q3) is 75%. De afstand tussen het eerste en het derde kwartiel wordt het interkwartiele bereik genoemd. 1,5 maal de IQR boven Q3 of onder Q1 is een maatstaf om mogelijke uitschieters te vinden. Al deze gegevens kunnen worden weergegeven in een boxplot. De zogenaamde ‘box’ loopt van het eerste kwartiel tot het derde kwartiel. Vervolgens loopt er een horizontale lijn in de box die de mediaan aangeeft. Een verticale lijn loopt van de laagste observatie tot de hoogste observatie; deze lijn gaat dus ook door de box heen. Uitschieters worden echter aangegeven met een sterretje boven of onder de lijn.

Centrale tendens

Metingen van de centrale tendens zijn metingen die aantonen waar op de schaal de distributie zich centreert. Er zijn drie manieren om dit te doen: de modus, de mediaan en het gemiddelde. De manieren verschillen in de hoeveelheid data die ze gebruiken.

1. Modus: wordt het minst gebruikt en is vaak het minst bruikbaar. Dit is simpelweg de meest voorkomende score. In het geval dat twee aangrenzende scores even vaak voorkomen, wordt hieruit het gemiddelde genomen.
2. Mediaan: de score die correspondeert met het punt waarop of onder 50% van de scores vallen als de data geordend is op numerieke volgorde. Daarom wordt het ook wel het 50^e percentiel genoemd. Stel dat we de scores 4, 6, 8, 9 en 16 hebben, dan is 8 de mediaan. Bij een even aantal scores, dus 4, 6, 8, 12, 15 en 16, valt de mediaan tussen de 8 en de 12. In dat geval wordt het gemiddelde van de twee middelste scores als mediaan genomen (10). Een handige formule om het scorenummer te vinden waar de mediaan valt, is die van de mediaan locatie: (N+1)/2.
3. Gemiddelde: deze meting van de centrale tendens wordt het meest gebruikt, omdat alle scores van een verdeling hierin meetellen. Het gemiddelde is de som van de scores, gedeeld door het aantal scores, oftewel: = (ΣX)/N. Een nadeel van het gemiddelde is dat het beïnvloed wordt door extreme scores. Daarom wordt soms het ‘bijgeknipt’ gemiddelde gebruikt. Dan worden aan elk uiteinde van de distributie de laatste tien scores weggelaten en wordt het gemiddelde van de overige scores berekend. Hierdoor vallen extreme waardes weg en wordt de schatting van het gemiddelde stabieler.

Metingen van variabiliteit

De variabiliteit van een distributie gaat over de mate waarin de scores verspreid liggen of geclusterd zijn. Variabiliteit geeft met een kwantitatieve waarde aan hoeveel verschil er is tussen scores. Een grote waarde staat voor veel spreiding. Het meten van variabiliteit dient twee doelen:

1. Het beschrijven van de afstand die verwacht kan worden tussen scores;
2. Het meten van de representativiteit van een score voor de gehele verdeling.

De range is een meting van de afstand tussen de hoogste en de laagste score. De laagste score moet dan van de hoogste score worden afgetrokken. De range kan echter een verkeerd beeld geven door extreme waardes. Het nadeel is dat er bij de range geen rekening wordt gehouden met alle waardes, maar slechts met de extreme waardes.

Variantie en standaarddeviatie

De standaarddeviatie of standaardafwijking (SD) is de meest gebruikte en meest belangrijke maat voor spreiding. Deze maat gebruikt het gemiddelde van de verdeling als vergelijkingspunt. De standaarddeviatie maakt daarnaast gebruik van de afstand tussen individuele scores en het gemiddelde van een dataset. Met de standaarddeviatie kan nagegaan worden of de individuele scores in het algemeen dicht of ver van het gemiddelde afliggen. De standaarddeviatie kan aan de hand van vier stappen berekend worden.

1. Allereerst moet de deviatie (afstand of afwijking) van elke individuele score tot het gemiddelde uitgerekend worden. De deviatie is dan ook het verschil tussen elke individuele score en het gemiddelde van de dataset. De bijbehorende formule is: deviatiescore= X- µ. De X staat voor een individuele score, terwijl µ staat voor het gemiddelde van dataset.
2. In de volgende stap moet het gemiddelde van de deviatiescores berekend worden. Dit wordt gedaan door alle deviatiescores op te tellen en te delen door het aantal deviatiescores (N). De deviatiescores zijn samen altijd nul. Voordat het gemiddelde kan worden berekend, wordt elke deviatiescore daarom eerst tussen haakjes gekwadrateerd.
3. Vervolgens wordt het gemiddelde berekend van de gekwadrateerde waarden. Dit wordt de gemiddelde gekwadrateerde deviatie of de variantie genoemd. De formule voor variantie is: σ² = ∑(X-μ)².
4. Ten slotte dient de wortel getrokken te worden uit de variantie. Dit resulteert in de standaarddeviatie. De uiteindelijke formule voor de standaarddeviatie is dus: σ = √(∑(X-μ)²/N)

Vaak is de variantie een groot en onduidelijk getal, omdat het om een gekwadrateerd getal gaat. Het is daarom handiger en begrijpelijker om de standaarddeviatie te berekenen en te presenteren.

In een steekproef met n aantal scores, kunnen de eerste n-1 scores variëren, maar de laatste score staat vast. De steekproef heeft n-1 vrijheidsgraden. De afkorting voor vrijheidsgraden is df (degrees of freedom).

Systematische variantie en errorvariantie

De totale variantie in een dataset kan opgesplitst worden in (1) systematische variantie en (2) errorvariantie:

• Systematische variantie staat voor dat deel van de totale variantie dat op een voorspelbare manier gerelateerd is aan de variabelen die een wetenschapper onderzoekt.
• Errorvariantie ontstaat wanneer het gedrag van deelnemers beïnvloed wordt door variabelen die de wetenschapper niet onderzoekt. Als iemand bijvoorbeeld hoog op agressie scoort, kan dit ook komen door zijn of haar slechte humeur in plaats van de temperatuur. Deze vorm van variantie kan dus niet door het onderzoek verklaard worden. Hoe meer errorvariantie er in een dataset zit, hoe moeilijker het is om te bepalen of de gemanipuleerde variabelen (onafhankelijke variabelen) ook echt gerelateerd zijn aan het gedrag dat men wil onderzoeken (de afhankelijke variabele). Onderzoekers willen dan ook zo weinig mogelijk errorvariantie in hun onderzoek.

Normaalverdeling

De normaalverdeling is een symmetrische, klokvormige verdeling. De normaalverdeling is om vier redenen de belangrijkste verdeling binnen de statistiek:

1. We verwachten dat veel van de afhankelijke variabelen waar we mee werken normaal verdeeld zijn in de populatie.
2. Als een variabele (ongeveer) normaal verdeeld is, kunnen we vervolgens uitspraken gaan doen over waarden van die variabele (het is vaak een voorwaarde om analyses te doen).
3. Wanneer een oneindig aantal steekproeven wordt getrokken van een populatie, zal de verdeling van die steekproefgemiddelden neigen naar een normaal verdeling.
4. De meeste statistische programma’s gaan er vanuit dat de observaties normaal verdeeld zijn.

Bij de normaalverdeling wordt gebruik gemaakt van zogenaamde z-scores. Om de normaalverdeling te kunnen bespreken, zal dus eerst moeten worden uitgelegd wat z-scores zijn en hoe je ze gebruikt.

Standaardscores

Vaak worden individuele scores omgezet in standaardscores, ook wel z-scores genoemd. Dit wordt gedaan om de exacte ligging van elke score in een distributie vast te stellen en te beschrijven. Z-scores worden gebruikt om een hele distributie te standaardiseren. Op die manier kunnen verschillende verdelingen met elkaar vergeleken worden.

De z-score beschrijft de exacte positie van een X-waarde op twee manieren: ten eerste via het teken en ten tweede via de waarde. Het plus- of minteken van de z-score beschrijft of de X-waarde zich boven of juist onder het gemiddelde bevindt (het gemiddelde krijgt in de standaardverdeling altijd de waarde nul). De waarde van de z-score beschrijft de afstand van de X-waarde tot het gemiddelde in termen van aantal standaarddeviaties (een z-score van 1,00 betekent dat de X-waarde 1 standaarddeviatie van het gemiddelde verwijderd is). In een distributie met µ =100 en σ =15 is een score van X = 130 een z-score van +2. 130-100 is namelijk 30. Dit getal delen door 15 geeft een standaardscore van 2. Bij alle curven staat de µ in het midden. Aan de rechterkant lopen de z-scores met een plusteken op, terwijl de negatieve standaardscores aan de linkerkant staan.

De formule voor de berekening van standaardscores is: z=(X- µ)/ σ. De deviatiescore wordt gedeeld door de standaarddeviatie. Zo kan de z-waarde omschrijven hoeveel standaarddeviaties een individuele score van het gemiddelde af ligt. Een IQ-score van 70 valt precies twee standaardscores onder het gemiddelde: (70-100)/15= -2. In deze formule staat (X- µ) voor de deviatiescore. Door het gemiddelde van een score af te trekken, kan meteen gezien worden of de score boven of onder het gemiddelde valt. Deze formule is handig bij het omzetten van ruwe scores naar z-scores, maar niet in het omzetten van z-scores naar ruwe scores, daarvoor kun je de formule herschrijven.

De z-score en de normale verdeling

De standaardnormaalverdeling heeft een gemiddelde van 0 en een standaarddeviatie van 1, de distributie wordt dus N(0,1). De normaalverdeling is symmetrisch; de hoogste frequentie ligt in het midden, terwijl de frequenties verminderen naarmate naar rechts of links gegaan wordt. Z-scores staan bij de normaalverdeling vermeld in termen van standaarddeviaties. Een z-score van +2 betekent dat een score twee standaarddeviaties boven het gemiddelde ligt. Bij een normaalverdeling kunnen we de volgende uitspraken doen over de standaarddeviatie.

1. ±68% van de observaties valt binnen 1 standaarddeviatie van het gemiddelde
2. ±95% van de observaties valt binnen 2 standaarddeviaties van het gemiddelde
3. ±99% van de observaties valt binnen 3 standaarddeviaties van het gemiddelde

Centrale limietstelling

Wat als blijkt dat de sample niet een normaalverdeling heeft? Denk hierbij aan het aantal uren tv kijken. Het grootste gedeelte van de mensen kijkt tussen de één à twee uur televisie per dag. Er zijn echter uitzonderingen, waarbij mensen acht uur tv kijken per dag. Deze distributie zal dan skewed naar rechts zijn. Ondanks dat deze kans distributie niet normaal verdeeld is, is de sampling distributie van het sample gemiddelde wel normaal verdeeld . Dit wordt de centrale limietstelling genoemd. Dit gebeurt alleen als de sample grootte n groot genoeg is, dit is het geval vanaf n = 30.

Kansen, proporties en scores

Stel je voor: een distributie van intelligentie heeft een µ van 100 en een σ van 15. Hoe groot is de kans dan om door middel van random sampling een individu te selecteren van een IQ van onder de 130? Om deze vraag te kunnen beantwoorden, moeten IQ- scores (X-waarden) eerst omgezet worden in z-scores. Vervolgens moet de bijbehorende proportie gevonden worden. Dit komt overeen met de kans die gevonden moet worden. In dit geval is de z-score +2. Deze score wordt als volgt gevonden: (130-100)/15=2. Hier hoort volgens de tabel voor de normaalverdeling een proportie van 0.9772 bij. Dus: p(X<130)=0.9772. Er is dus 97.72% kans om iemand met een IQ van onder de 130 te selecteren. Wat moet je doen als uitgezocht moet worden wat de proportie tussen twee waarden is? Stel je voor: de gemiddelde snelheid op een weg is gemiddeld 58. De standaarddeviatie is 10. Hoeveel van de langsrijdende auto’s zal dan rijden tussen de 55 en 65 kilometer per uur? Eigenlijk ben je dus op zoek naar p(55

De binomiale verdeling

Wanneer een variabele wordt gemeten op een schaal met precies twee categorieën, wordt de resulterende data binomiaal genoemd. Binomiale data kunnen ook voortvloeien uit een variabele die alleen twee categorieën heeft. Mensen kunnen bijvoorbeeld alleen man of vrouw zijn en met een stuiver kan alleen munt of kop gegooid worden. Ook komt het voor dat een onderzoeker data probeert te versimpelen door deze in twee categorieën op te delen. Een psycholoog kan persoonlijkheidsscores bijvoorbeeld gebruiken om mensen als laag of hoog op agressie te categoriseren. Vaak kent de onderzoeker de kansen die horen bij de twee categorieën. Bij een stuiver is er bijvoorbeeld 50% kans op het gooien van kop en 50% op het gooien van munt. Voor een onderzoeker is het echter belangrijk om te weten hoe vaak een gebeurtenis voorkomt als er meerdere herhalingen zijn. Wat is bijvoorbeeld de kans dat iemand 15 keer kop gooit wanneer hij of zij 20 keer tost?

Om kansvragen over binomiale data te beantwoorden, moet de binomiale distributie eerst onderzocht worden. De formule van de binomiale verdeling is als volgt: p(X) = CNX pXq(N-X) = $\frac{N}{X(N-X)}$ pXq(N-X).

p(X) = de kans op X successen

N = het aantal trials

p = de kans op een succes op één trial

q = (1- p) de kans op falen

C^N_X = het aantal combinaties van N dingen die X per keer gepakt worden

Gemiddelde en variantie

Wanneer p = q = .50, zoals bij het opgooien van een munt, zal de binomiale verdeling symmetrisch zijn. De formules voor gemiddelde, variantie en standaarddeviatie zijn altijd:

Gemiddelde = Np

Variantie = Npq

Standaarddeviatie = $\sqrt{Npq}$

Voor de binomiale verdeling geldt dat de verdeling normaler wordt bij getallen van p en q, die dichtbij .50 liggen. Daarnaast wordt de distributie symmetrischer en meer normaal, bij een hoger aantal trials. We gebruiken de vuistregel dat wanneer Np en Nq niet groter zijn dan 5, de distributie bijna normaal is, waardoor de schattingen redelijk goed zijn als we de verdeling als normaal behandelen.

Categorische data en chi-kwadraat

Wanneer we te maken krijgen met categorische data, bestaat deze data uit frequenties van observaties die in twee of meer categorieën vallen. In dat geval gebruik je de chi-kwadraat test.

De chi-kwadraat verdeling

De formule voor de chi-kwadraat functie wijkt af van andere functies, omdat het slechts één parameter heeft. De rest zijn constanten. De normaal verdeling heeft er twee parameters (μ en σ), de chi-kwadraat heeft alleen k als parameter. In de statistische wereld staat k voor het aantal vrijheidsgraden (degrees of freedom df). Vrijheidsgraden worden vaak weergegeven als χ²₃ of χ²(3).  Hoe groter k wordt, hoe symmetrischer de verdeling. Het gemiddelde en de variantie nemen toe als k toeneemt. Verder geldt:

Gemiddelde = k

Variantie = 2k

De chi-kwadraat formule maakt gebruik van de geobserveerde frequenties en de verwachte frequenties. De geobserveerde frequenties zijn de werkelijke frequenties in de data. De verwachtte frequenties zijn de frequenties, die je zou verwachten wanneer de nulhypothese waar is. De formule voor de chi-kwadraat is: $x^2$ = $\sum\frac{(O-E)^2}{E}$ waarbij je voor elke categorie de berekening uitvoert, en optelt. O staat voor geobserveerde frequenties en E staat voor verwachtte frequenties.

Tabel van chi-kwadraat verdeling

Nu we een waarde hebben voor χ² moeten we deze vergelijken met de χ² verdeling om de kans te bepalen dat een waarde van χ² minstens zo extreem voorkomt, gegeven dat de nulhypothese waar is. Hiervoor kun je de standaard tabelverdeling van χ². De tabel maakt gebruik van vrijheidsgraden. Voor een eendimensionale tabel geldt: df = (k -1), het aantal categorieën min één. Als je gevonden χ² groter is dan de waarde uit de tabel, kun je de nulhypothese verwerpen. Een probleem is dat de chi-kwadraat verdeling continue is, terwijl de mogelijke waarden van chi-kwadraat discreet zijn (vooral bij kleine steekproefgroottes). Het passen van een discrete verdeling in een continue verdeling is een slechte fit.

Twee classificatie variabelen

In de vorige voorbeelden spraken we over één dimensie (of classificatie variabele). Vaak zijn er echter meerdere classificatie variabelen en willen we weten of die onafhankelijk van elkaar zijn. Wanneer ze niet onafhankelijk zijn, zijn ze in minder of meerdere mate contingent op of afhankelijk van elkaar. In een contingentie tabel kunnen we de verdelingen van elke variabele tegen elkaar afzetten.

In een contingentie tabel staan de frequenties die we zouden verwachten als de twee variabelen onafhankelijk waren (tussen haakjes). De verwachtte frequentie wordt bereikt door het vermenigvuldigen van de totalen van de rij en kolom waar het om gaat (dit zijn marginale totalen) en dit getal te delen door de totale steekproefgrootte. Dit is weer te geven in een formule: E_ij = R_iC_j / N. E_ij is hierbij de verwachtte frequentie voor de cel in rij i en kolom j. R_i en C_j zijn de rij en kolom totalen.

De kans dat een observatie in rij 1 valt is het totaal van die rij gedeeld door het totaal aantal cellen. Dit geldt ook voor kolommen. De verwachtte frequentie, als de observaties onafhankelijk zijn, kan verkregen worden door deze twee kansen met elkaar te vermenigvuldigen en dit resultaat te vermenigvuldigen met N. De waarde van χ² is weer met dezelfde formule te berekenen. Uit de contingentie tabel is het aantal vrijheidsgraden af te leiden door: df = (R – 1)(C – 1) met R en C het aantal rijen en kolommen in de tabel.

Voorwaarde voor de Pearson chi-kwadraat

Een van de belangrijkste voorwaarden om de chi-kwadraat test te gebruiken, is een redelijke grootte van verwachte frequenties. Kleine verwachte frequenties kunnen voor problemen zorgen. Ze zorgen namelijk voor een beperkt aantal contigentie tabellen en dus voor een beperkt aantal waarden voor chi-kwadraat. De continue χ² verdeling kan deze discrete verdeling niet goed beschrijven.

Over het algemeen is de regel dat alle verwachte frequenties minstens vijf moeten zijn. Bij kleinere frequenties is het aan te raden Fisher’s Exacte Test te gebruiken, omdat die niet gebaseerd is op de χ² distributie. Bij verwachtte frequenties van één in een cel van een 2x2 tabel kan de chi-kwadraat met de volgende formule gevonden worden:

χ²_adj = (χ² x N)/(N-1).

De Fisher’s Exact Test wordt gebruikt voor de verwachtte waarden groter dan één.

Meten van overeenstemming

Bij categorische data is het vaak van belang om te meten in hoeverre beoordelaars overeenstemmen in hun oordeel. Stel dat we bijvoorbeeld willen meten of 30 adolescenten problemen vertonen, met een indeling van ‘geen problemen’ (1), ‘problemen op school’ (2) en ‘problemen thuis’ (3) . We vragen twee beoordelaars (clinici) om dit te onderzoeken, zodat we de twee beoordelingen kunnen vergelijken. Middels een contingentietabel onderzoeken we hoe vaak de beoordelaars op elke schaal hebben gescoord. Stel dat we vinden dat de beoordelaars het in 20 van de 30 gevallen eens zijn (de diagonale cellen), dan is er 66% overeenstemming. Dit is het percentage van overeenstemming. Daarnaast vinden de beoordelaars beiden dat de meerderheid van de adolescenten geen problemen vertonen.

Het probleem met alleen uitrekenen van een percentage, is dat we geen rekening houden met de mogelijkheid dat de beoordelaars per toeval dezelfde classificatie geven. Om te corrigeren voor kans, ontwikkelde Cohen de statistiek kappa (κ).

De formule hiervoor is: $\frac{\sum{f_O}-\sum{f_E}}{N-\sum{f_E}}$ waarbij f₀ de verkregen frequentie is op de diagonaal en f_E de verwachtte.

Stel dat kappa uitkomt op K = .33. Dit houdt in dat we na correctie voor kans 33% overeenstemming hebben tussen de beoordelaars. Dit is veel lager dan de eerder uitgerekende waarde van 66%.

Inferentiële statistiek

Er is een manier om uit te zoeken of een verschil in groepsgemiddelden het gevolg is van errorvariantie of van systematische variantie. Hier kunnen we namelijk achter komen door middel van een inferentiële statistiek, dit is statistiek aan de hand van gevolgtrekkingen. Deze methode gaat er vanuit dat de onafhankelijke variabele effect heeft gehad, wanneer het verschil tussen de gemiddelden van de condities groter is dan dat we zouden verwachten op basis van alleen toeval. We vergelijken daarom de groepsgemiddelden die we gevonden hebben met de groepsgemiddelden die we verwachtten te vinden als er alleen sprake zou zijn van errorvariantie. Deze methode geeft helaas geen zekerheid. We kunnen alleen de kans vaststellen dat de verschillen in groepsgemiddelden het gevolg zijn van errorvariantie.

Het toetsen van hypothesen

Wetenschappers proberen hun onderzoekshypotheses te toetsen door de verschillende groepsgemiddelden te analyseren. Eerst formuleren ze een nulhypothese. Deze hypothese stelt dat de onafhankelijke variabele geen effect heeft gehad op de afhankelijke variabele. De experimentele hypothese staat hier vaak tegenover. Deze stelt dat de onafhankelijke variabele wel effect heeft op de afhankelijke variabele. De experimentele hypothese kan geen richting (‘nondirectional’) of wel een richting (‘directional’) aangeven. Een directionele experimentele hypothese (met een richting) wordt eenzijdig genoemd. Hierbij geeft de onderzoeker namelijk al aan of hij verwacht of de onafhankelijk variabele zorgt voor een stijging of daling in de afhankelijke variabele. Wanneer een onderzoeker geen vermoeden heeft over de richting van een effect, dan voert hij of zij een tweezijdige toets uit. Hierbij geeft de onderzoeker geen richting aan. Dit is dus een niet-directionele hypothese. Op basis van statistische analyses kan de nulhypothese verworpen (‘rejecting the null hypotheses’) of behouden (‘failing to reject the null hypothesis’) worden.

Het verwerpen van de nulhypothese betekent dat de onafhankelijke variabele effect heeft gehad. Door de nulhypothese te verwerpen, geef je aan dat er wel verschil is tussen de gemiddelden. De onafhankelijke variabele heeft dan dus effect gehad, en er is sprake van systematische variantie. Bij het verwerpen van de nulhypothese is het verschil in de groepsgemiddelden groter dan wat we zouden verwachten op basis van alleen de errorvariantie. Als de nulhypothese behouden wordt, dan betekent dit dat de onafhankelijke variabele geen effect heeft gehad op de afhankelijke variabele. In dit geval zijn verschillen in groepsgemiddelden niet het resultaat van de onafhankelijke variabele, maar van errorvariantie. De groepsgemiddelden verschillen dan niet meer dan dat we op basis van de errorvariantie zouden verwachten.

Type-I en type-II-fouten

Wanneer de onderzoeksdata statistisch geanalyseerd wordt, zijn er vier mogelijkheden denkbaar.

1. Correct besluit: de nulhypothese is onjuist, en de onderzoeker verwerpt hem.
2. Correct besluit: de nulhypothese is juist, en de onderzoeker behoudt hem.
3. Type-I-fout: de nulhypothese is juist, maar de onderzoeker verwerpt hem. De onderzoeker denkt dus ten onrechte dat de onafhankelijke variabele effect heeft gehad. De kans om een type I fout te maken wordt het alfaniveau genoemd. In de meeste gevallen gebruiken onderzoekers een alfaniveau van 5%. Dit betekent dat ze de nulhypothese verwerpen wanneer er 5% kans is dat de gevonden verschillen tussen de groepsgemiddelden het gevolg zijn van errorvariantie. Op deze manier is er maar 5% kans dat ze het bij het verkeerde eind hebben. Soms hanteren wetenschappers een strenger alfaniveau, namelijk een alfa van 1%. Ze hebben dan maar 1% kans om een type I fout te maken.
   Het verschil tussen de groepsgemiddelden wordt als statistisch significant bestempeld wanneer we de nulhypothese verwerpen met een lage kans op een type-I-fout. Een statistisch significant resultaat is een resultaat waarvan we weten dat er maar een kleine kans is (vaak kleiner of gelijk aan 5%) dat deze het gevolg is van errorvariantie.
4. Type-II-fout: de nulhypothese is onjuist, maar de onderzoeker behoudt deze toch. De onderzoeker stelt dus dat de onafhankelijke variabele geen effect heeft gehad, terwijl dat in werkelijkheid wel zo was. De kans op een type-II-fout wordt bèta genoemd. Het onbetrouwbaar meten van de afhankelijke variabele verhoogt de bèta. Effecten die in werkelijkheid wel bestaan, worden met een onbetrouwbare meting namelijk niet opgemerkt. Dit leidt tot een grotere kans op een type-II-fout, dus een grotere bèta. Ook kunnen fouten in het verzamelen en coderen van responsen, extreem heterogene steekproeven en slechte experimentele controle leiden tot een grotere bèta. Om de kans op een type-II-fout te verkleinen, proberen wetenschappers experimenten te ontwerpen die veel power hebben.

De z-toets

Over het algemeen weten we de waarde van σ niet, en moeten we die schatten met de steekproef standaarddeviatie (s). als de standaarddeviatie van de populatie echter wel bekend is, kan gebruik worden gemaakt van de z-toets.

Stap 1: het formuleren van een hypothese

Allereerst wordt de hypothese opgesteld. Er zijn altijd twee hypothesen: de nulhypothese en de alternatieve hypothese. De nulhypothese houdt in dat een behandeling geen effect heeft. Deze hypothese stelt dus eigenlijk dat er geen verschil of verandering is ten opzichte van de onbehandelde populatie. De nulhypothese geven we aan met het symbool H₀. De H staat voor hypothese en de nul staat voor het nuleffect. Dan is er nog de alternatieve hypothese (H₁). Deze stelt dat er wel een verschil of verandering is. In de context van een experiment stelt de alternatieve hypothese dat de onafhankelijke variabele (bijvoorbeeld een behandelingsmethode voor depressie) een effect heeft op de afhankelijke variabele (mate van depressie). De H₁ kan één richting of twee richtingen opgaan. Als de nulhypothese bijvoorbeeld is dat de gemiddelde depressiescore 30 is in de populatie depressieve mensen, kan de alternatieve hypothese zijn dat het gemiddelde niet gelijk is aan 30 (µ ≠ 30). In sommige gevallen wordt de richting van het verschil ook gespecificeerd. Als verwacht wordt dat de behandelde populatie een hoger gemiddelde heeft geldt H₁ : μ1 < μ2 en als verwacht wordt dat de behandelde populatie een lager gemiddelde heeft, geldt H1: μ1 > μ2. Het is bijvoorbeeld mogelijk om in H₁ te stellen dat het gemiddelde lager is dan 30 (µ<30) of groter dan 30 (µ>30). De laatste mogelijkheid is in dit voorbeeld eigenlijk overbodig, omdat het bijna ondenkbaar is dat een behandelingsmethode de mate van depressiviteit laat stijgen. Hypothesen gaan altijd over populaties, al worden steekproeven gebruikt om hypothesen te testen.

Stap 2: criteria voor een besluit

Om een gegrond besluit te nemen over de (on)juistheid van de nulhypothese, moeten we bepaalde criteria gebruiken. We gebruiken het significantieniveau of het alfaniveau (α) als criterium. Het alfaniveau is een grens in de normaalverdeling die onderscheid maakt tussen scores met een grote kans en scores met een kleine kans van voorkomen in de steekproef als de hypothese juist is. Een alfa van 5% (α=0.05) zegt dat er maar 5% kans is dat een resultaat door toeval wordt gevonden. Het alfaniveau is een kanswaarde die gebruikt wordt om erg onwaarschijnlijke steekproefresultaten vast te stellen als de nulhypothese waar zou zijn. Het gebied dat afgebakend wordt door het significantieniveau in de staart van de verdeling is het kritieke gebied. Het kritieke gebied bestaat uit extreme steekproefwaarden die heel onwaarschijnlijk zijn als de nulhypothese waar zou zijn. Wanneer de waarden in het kritieke gebied vallen, verschillen ze significant van het verwachte gemiddelde en wordt de nulhypothese verworpen. Bij een alfa van 5% bevindt de 5% van de scores zich in de staarten van de normale distributie; voor z=-1.96 en na z=+1.96. Deze waarde zijn de grenzen voor de kritische regio bij α=0.05.

Stap 3: data verzamelen en rekenen

Data worden altijd verzameld nadat hypothesen geformuleerd zijn. Zo kunnen de data getoetst worden aan de hypothesen; de onderzoeker kan op objectieve wijze de data evalueren. Nadat de ruwe data verzameld is, worden er steekproefwaarden (statistieken) uitgerekend. De onderzoeker berekent bijvoorbeeld het steekproefgemiddelde. Zo kan hij het steekproefgemiddelde vergelijken met de nulhypothese. Om dit te doen berekent hij een z-score die beschrijft waar het steekproefgemiddelde zich bevindt in relatie tot het gemiddelde van de nulhypothese. De z-score voor het steekproefgemiddelde is: z=(M- µ)/ σ_M. Deze formule stelt dat de z-score berekend wordt door het populatiegemiddelde uit de nulhypothese (µ) af te trekken van het steekproefgemiddelde (M). Dit getal wordt vervolgens gedeeld door de standaardfout tussen M en µ. De z-score bij het hypothese testen is een voorbeeld van een teststatistiek.

Stap 4: een besluit nemen

De onderzoeker gebruikt de berekende z-score uit de vorige stap om een besluit te nemen over de nulhypothese. De eerste mogelijkheid is dat de onderzoeker de nulhypothese verwerpt. Hiervan is sprake wanneer de steekproefdata in de kritische regio valt. Dit betekent dat er een significant verschil is tussen de steekproef en de nulhypothese. De steekproefwaarden bevinden zich namelijk in de staart van de normaalverdeling. In het voorbeeld met de depressiebehandeling, betekent dit dat de onderzoeker heeft aangetoond dat de behandeling wel degelijk effect heeft. Het is ook mogelijk dat de data ervoor zorgt dat de nulhypothese niet afgewezen kan worden. Dit betekent dat een behandeling geeft effect heeft gehad. Dit gebeurt wanneer de steekproefdata niet in de kritische regio vallen.

Effectgrootte

Sommige onderzoekers hebben kritiek op het proces van hypothesen testen. De grootste kritiek gaat over de interpretatie van een significant resultaat. Er wordt bij het testen van een hypothese namelijk vooral aandacht besteed aan de data en niet aan de hypothesen zelf. Als de nulhypothese wordt afgewezen, maken we een statement over de steekproefdata en niet over de nulhypothese. Op basis van steekproefdata wordt de nulhypothese dus afgewezen of behouden. Of de nulhypothese werkelijk (on)waar is, weten we niet. Een ander kritiekpunt is dat een significant effect niet meteen zegt dat een behandeling een groot effect heeft. Iets is significant of niet, maar dit zegt niets over de grootte van het effect dat gevonden is. Een significant effect is dus niet hetzelfde als een groot effect. Om meer inzicht te krijgen in de grootte van een significant effect, heeft Cohen (1988) de zogenaamde effectgrootte voorgesteld. Zijn maat voor effectgrootte noemen we Cohen’s d. Deze maat kan berekend worden door eerst het verschil tussen het steekproefgemiddelde en het oorspronkelijke populatiegemiddelde te vinden (M- µ). Vervolgens wordt deze uitkomst gedeeld door de standaarddeviatie van de populatie. De uitkomst van Cohen’s d is 0.2 bij een klein effect, 0.5 bij een gemiddeld effect en 0.8 bij een groot effect.

De t-test

Over het algemeen weten we de waarde van σ niet, en moeten we die schatten met de steekproef standaarddeviatie (s). Wanneer we σ vervangen door s, kunnen we echter niet meer gebruikmaken van de z formule, maar gebruiken we de t test. De t test gebruikt s² als schatting van σ². De t-verdeling maakt gebruik van n-1 vrijheidsgraden. Hoe groter de waarde van df voor een steekproef, hoe beter s (standaarddeviatie van een steekproef) σ (standaarddeviatie van een populatie) representeert De t-statistiek rekenen we uit door middel van de volgende formule: t=(M- µ)/ s_{M. sM staat voor de standaardfout. Deze wordt als volgt berekend:} s_M =s/√n. Dit wordt gebruikt als schatting van de echte standaardfout . Een handig schema om te gebruiken wanneer je een hypothese toets met de t-toets is het onderstaande schema:

Aannames voor de one-sample t-toets

Er zijn twee aannames voor het uitvoeren van een t-toets.

1. Allereerst moeten de scores uit de steekproef bestaan uit onafhankelijke observaties. Dit betekent dat de ene score geen invloed mag hebben op de andere score. De kans op een bepaalde uitkomst bij een score wordt dus niet beïnvloed door een andere score.
2. Daarnaast moet de populatie, waar een steekproef uit getrokken wordt, normaal verdeeld zijn. In de praktijk heeft het schenden van deze aanname echter weinig invloed op de t-statistiek, vooral als de steekproef groot is. Met hele kleine steekproeven is het echter wel belangrijk dat de populatie normaal verdeeld is. Als je er dus niet zeker van bent dat de verdeling van een populatie normaal is, kun je het beste een grote steekproef selecteren.

Effectgrootte van de t-test

De grootte van het effect kan berekend worden door Cohen’s d. In dat geval moet het verschil tussen het steekproef- en populatiegemiddelde gedeeld worden door de standaarddeviatie van de populatie. In de meeste gevallen is de standaarddeviatie van de populatie echter niet bekend om de effectgrootte mee te berekenen. Daarom is de geschatte d bedacht. In dat geval wordt het verschil tussen het gemiddelde van een steekproef en de populatie gedeeld door de standaarddeviatie van de steekproef.

Proportie verklaarde variantie (r²)

Een andere manier om effectgrootte te bepalen is door te kijken hoeveel van de spreiding tussen de scores wordt verklaard door een effect. Een effect kan er namelijk voor zorgen dat scores stijgen (of dalen). De proportie verklaarde variantie kan gevonden worden door de t-statistiek te kwadrateren en te delen door hetzelfde getal plus de vrijheidsgraden. In formulevorm is dat dus: r² = t²/ t²+df. De vrijheidsgraden worden gevonden door het aantal scores te verminderen met één. Een proportie verklaarde van 0.01 staat voor een klein effect. Een waarde van 0.09 staat voor een gemiddeld effect. Een grote proportie verklaarde variantie wordt gekenmerkt door een r² van 0.25. De r² wordt in onderzoeksliteratuur vaak vermeld in de vorm van procenten.

De t-test voor onafhankelijke steekproeven

De t test wordt het meest gebruikt bij testen van verschillen tussen twee onafhankelijke groepen. Bijvoorbeeld wanneer we prestaties vergelijken tussen een controle groep en een experimentele groep (die een bepaalde behandeling heeft ondergaan). We willen weten of het verschil groot genoeg is om er vanuit te gaan dat de twee steekproeven uit verschillende populaties komen.

Wanneer we gemiddelden van twee verschillende populaties vergelijken, testen we een nulhypothese in de vorm van H₀ : μ₁ – μ₂ = 0. Hierbij hoort een steekproefverdeling van alle mogelijke verschilscores tussen de populatiegemiddelden. In het geval van twee normaal verdeelde populaties, is de verdeling van verschilscores ook een normaal verdeling. De variantie van deze verdeling kun je vinden door de variantie som wet: de variantie van een som of verschil van twee onafhankelijke variabelen is gelijk aan de som van hun varianties.

σ²_X1-x2 = σ²_X1 + σ²_X2 = σ²₁/n₁ + σ²₂/n_2.

De formule voor de t-statistiek is als volgt:

$$T_s=\frac{\bar{Y}_1-\bar{Y}_2-(\mu_1-\mu_2)}{\sqrt{\frac{S^2_1}{n_1}+\frac{S^2_2}{n_2}}}$$

µ₁ -µ₂ staat gelijk aan nul en valt dus weg in de formule.

Aannames voor de t-toets met twee onafhankelijke metingen

1. De observaties in elke steekproef moeten onafhankelijk zijn.
2. De populaties waar de steekproeven uit genomen zijn, moeten normaal verdeeld zijn. Als je als onderzoeker vermoedt dat de populaties niet normaal verdeeld zijn, is het een goed idee om grote steekproeven te gebruiken.
3. De twee populaties moeten gelijke varianties hebben. Dit noemen we de homogeniteit van varianties. Het poolen van steekproefvarianties is namelijk alleen zinvol als beide populaties dezelfde variantie hebben. Deze aanname is erg belangrijk, omdat een juiste interpretatie van onderzoeksresultaten ervan afhangt. Dit kan je checken met levene’s test in spss.

Gepoolde variantie

De bovenstaande formule is alleen te gebruiken als beide steekproeven van dezelfde grootte zijn (n₁₌ n₂). In zo’n geval ligt de variantie van de twee steekproeven precies in het midden van de twee aparte varianties. In situaties waarin de twee steekproeven niet van dezelfde grootte zijn, is deze formule niet toereikend genoeg. Dit wordt veroorzaakt doordat de twee steekproeven even zwaar meewegen in de formule, terwijl een kleinere steekproef minder mee zou moeten wegen dat een grotere. Er ontstaat een bias naar de kleinere steekproef. Om hiervoor te corrigeren wordt een formule gebruikt die de varianties combineert, de gepoolde variantie. Deze wordt gevonden door het gewogen gemiddelde te nemen van de twee varianties. De kwadratensommen van beide steekproeven worden gedeeld door het aantal vrijheidsgraden. Het aantal vrijheidsgraden van een kleinere steekproef is lager, waardoor deze minder mee zal wegen. Eerder is gezegd dat de variantie van een steekproef (s²) gevonden kan worden door SS te delen door df. Om de gepoolde variantie uit te rekenen (s²_p) wordt een andere formule gebruikt: (SS₁ + SS₂)/ df₁ + df₂. De geschatte standaard error van M₁ - M₂ wordt gevonden door de wortel (√ ) te trekken uit de uitkomst van (s²_p/ n₁ + s²_p/ n₂). Een andere formule voor de gepoolde variantie is als volgt: s²_p = ((n₁ - 1)s²₁ + (n₂ - 1)s²₂) / (n₁ + n₂ - 2). De nieuwe t-formule wordt dan:

$$(\bar{X}_1-\bar{X}_2)/\sqrt{s^2_p(\frac{1}{n_1}+\frac{1}{n_2})}$$

Effectgrootte

Zoals eerder gezegd wordt Cohen’s d berekend door het verschil tussen twee gemiddelden te nemen en dit te delen door de standaarddeviatie van de populatie. Bij twee onafhankelijke steekproeven wordt het verschil tussen de twee steekproeven (M₁ - M₂) gebruikt om het verschil in gemiddelden te schatten. De gepoolde standaarddeviatie (√s²_p) wordt gebruikt om de standaarddeviatie van de populatie te schatten. De formule om Cohen’s d te schatten wordt dus: geschatte d = (M₁ - M₂)/ √s²_p.

Gepaarde t-test

Een gepaarde t-toets (‘paired t-test’) wordt gebruikt wanneer er sprake is van een gematcht ontwerp of van herhaalde metingen. Bij de gepaarde t-toets wordt er rekening mee gehouden dat de deelnemers in de twee condities op elkaar lijken.. In dit geval is er sprake van twee verschillende steekproeven, maar elk individu uit de ene steekproef wordt gematcht met een individu uit de andere steekproef. Individuen worden gematcht op basis van variabelen die belangrijk worden gevonden voor het desbetreffende onderzoek. Dit leidt tot een test met meer power: als de onafhankelijke variabele daadwerkelijk effect heeft, dan blijkt dit ook uit de test. Hoe minder errorvariantie er namelijk is, hoe groter de power van het experiment. De hoge power zorgt ervoor dat de gepoolde standaarddeviatie (s_p) kleiner wordt. Het kleiner worden van de gepoolde standaarddeviatie leidt weer tot een grotere t-waarde.

De t-statistiek voor gerelateerde samples is qua structuur hetzelfde als de andere t-statistieken. Het enige grote verschil is dat de t-statistiek bij gerelateerde steekproeven gebaseerd is op verschilscores in plaats van ruwe scores (X-waarden). Omdat deelnemers voor en na een behandeling onderzocht worden, heeft elke deelnemer een verschilscore. De verschilscore wordt als volgt gevonden:

D (van difference) = X₂- X₁.

In deze formule staat X₂ voor de tweede keer dat een steekproef onderzocht wordt (dus na de behandeling). Als er een negatief getal uit de formule komt, betekent dit dat de mate van een verschijnsel afgenomen is na de behandeling. Een onderzoeker probeert aan de hand van verschilscores uit te vinden of er een verschil is tussen twee condities in de populatie. Hij wil weten wat er zou gebeuren wanneer elk individu in de populatie twee keer gemeten zou worden (voor en na een behandeling). De onderzoeker wil weten wat het gemiddelde van verschilscores (µ_D) in de populatie is.

De nulhypothese is dat het gemiddelde van de verschilscores nul is (µ_D=0). Volgens deze hypothese is het wel mogelijk dat sommige individuen in de populatie positieve verschilscores hebben. Ook is het volgens deze formule mogelijk dat andere individuen negatieve verschilscores hebben. Het gaat er echter om dat de nulhypothese stelt dat het gemiddelde van alle verschilscores nul is. De alternatieve hypothese H₁ stelt dat het gemiddelde van de verschilscores geen nul is (µ_D ≠ 0). De t-statistiek voor verschilscores wordt als volgt berekend:

$$T_s=\frac{\bar{X}_1-\bar{X}_2-(\mu_D)}{S_D/\sqrt{n}}$$

Aannames voor de paired-samples t-test

1. De scores binnen elke conditie moeten onafhankelijk zijn om een t-toets voor gerelateerde steekproeven te kunnen doen.
2. Daarnaast moeten de verschilscores (D) normaal verdeeld zijn. Niet voldoen aan de deze voorwaarde is in principe niet erg, zolang de steekproef groot is. Bij een kleine sample moet wel aan deze voorwaarde voldaan worden. Onder een grote steekproef wordt een steekproef verstaan van meer dan dertig deelnemers.

Wanneer aan één of meer van de assumpties voor de t-toets voor herhaalde metingen niet wordt voldaan, kan er een alternatieve test gebruikt worden. Dit is de Wilcoxon-test, waarbij gebruik gemaakt wordt van rangscores alvorens de verschilscores te vergelijken.

Effectgrootte

De twee meest gebruikte metingen van effectgrootte zijn Cohen’s d en r² (proportie verklaarde variantie). Omdat Cohen’s d uitgaat van onder andere populatiewaarden (d = μ_D / σ_D) , is het handiger om d te schatten. De geschatte d kan berekend worden door het gemiddelde van de verschilscores te delen door de standaarddeviatie (d = M_D/s). Een waarde van boven de 0.8 wordt gezien als een groot effect. De proportie verklaarde variantie kan berekend worden middels de volgende formule: r² = t²/ t²+df.

Overzicht formules t-test

Betrouwbaarheidsintervallen

Betrouwbaarheidsintervallen kunnen helpen in het beschrijven van resultaten uit het hypothesetesten. Wanneer we een specifieke schatting hebben van een parameter, noemen we dat een puntschatting. Er zijn daarnaast ook intervalschattingen, die de grenzen aangeven waarbinnen waarschijnlijk het ware populatiegemiddelde (μ) ligt. Dit zijn de betrouwbaarheidsgrenzen, die het betrouwbaarheidsinterval maken. We willen weten hoe hoog en hoe laag de μ-waarde kan zijn, waarbij we H₀ nog niet verwerpen. Dit geeft dan de grenzen aan waarbinnen we de nulhypothese behouden.

• z-toets betrouwbaarheidsinterval: $\bar{X}\pm z_{\alpha/2} \frac{\sigma}{\sqrt{n}}$
• one sample t-test betruwbaarheidsinterval: $\bar{X}\pm t_{n-1,\alpha/2} \frac{S}{\sqrt{n}}$
• t-test voor onafhankelijke steekproeven met gelijke varianties: $\bar{Y}_1-\bar{Y}_2 \pm t_{n-2,\alpha/2} S_p \sqrt{\frac{1}{n_1}+\frac{1}{n_2}}$
• t-test voor onafhankelijke steekproeven met ongelijke varianties: $\bar{Y}_1-\bar{Y}_2 \pm t_{df,\alpha/2} \sqrt{\frac{S^2_1}{n_1}+\frac{S^2_2}{n_2}}$
• T-test voor gepaarde steekproeven: $\mu_D=M_D \pm t \times s_MD$

Power

Naast het meten van de effectgrootte is het ook mogelijk om de power van een statistische test te meten. Power verwijst naar de mate waarin een onderzoek in staat is de effecten van de onderzochte variabelen te detecteren. Een onderzoek met veel power ontdekt welke effecten aanwezig zijn, terwijl een onderzoek met weinig power deze effecten niet opmerkt. De power wordt door veel zaken beïnvloed. Één van deze zaken is het aantal proefpersonen. In het algemeen geldt dat hoe meer proefpersonen er zijn, hoe groter de power is. Sterke effecten zijn makkelijker op te merken dan zwakke. Een onderzoek met een lage power herkent dan ook vaak wel de sterkte effecten, maar de zwakke niet. De power neemt toe naarmate er meer proefpersonen zijn. Om zwakke effecten te herkennen is er een grote power nodig. Bij het herkennen van zwakke effecten is het dan ook nuttig om veel proefpersonen te hebben. Power bereken je door 1-, dus 1 – de kans op een type II fout. Onderzoekers willen vaak minimaal een power van .80.De power van een test wordt beïnvloed door drie belangrijke factoren:

1. Allereerst speelt de grootte van een steekproef (n) een rol. Hoe groter een steekproef is, hoe groter de kans is om de nulhypothese af te wijzen als deze ook echt fout is. Dit betekent dat de power van een test groter wordt als de grootte van de steekproef stijgt.
2. Daarnaast wordt de power van een test verlaagd als het alfaniveau verkleind wordt. Als de alfa bijvoorbeeld verlaagd wordt van 5% naar 1% is de kans kleiner dat een effect (dat er in werkelijkheid wel is) gevonden wordt.
3. Ten derde stijgt de power van een test wanneer van een tweezijdige toets een eenzijdige toets wordt gemaakt.

Het voorspellen en verklaren van (causale) relaties kan ook belangrijk zijn als er meer dan twee variabelen zijn, omdat een fenomeen vaak veroorzaakt wordt door meerdere factoren. Het is goed met zoveel mogelijk factoren rekening te houden. Het gebruik van multipele regressie heeft op dit gebied drie voordelen boven het gebruik van Pearson correlaties.

In de eerste plaats geeft het ons informatie over de optimale voorspelling van Y aan de hand van een combinatie van X-variabelen. Daarnaast kunnen we vaststellen hoe goed onze voorspelling is, door te kijken wat de totale bijdrage is van de set predictoren aan de voorspelling. Tenslotte kunnen we vaststellen hoe goed elke individuele predictor is, dus wat de bijdrage is van elke predictor aan de voorspelling. Het is belangrijk om op te merken dat de meest optimale voorspelling niet per definitie een correcte voorspelling hoeft te zijn. Het laatste voordeel kan gebruikt worden om duidelijker een causale relatie vast te stellen of te kijken of het toevoegen van een predictor toegevoegde waarde heeft.
De formule voor multipele regressie is als volgt: = b₀ + b₁X₁ + b₂X₂ + … + b_pX_p

Multipele correlaties

De multipele correlatie (R) heeft altijd een waarde tussen 0 en 1, en kan dus niet negatief zijn in tegenstelling tot de pearson correlatie. R² verwijst naar de proportie verklaarde variantie van Y, waarbij een hogere R² wijst op een betere voorspelling. Om te corrigeren voor een overschatting van de gedeelde variantie kan gebruik gemaakt worden van de adjusted R². Deze wordt als volgt berekend: 1 - ((1-R²)(N-1)/(N-p-1)). De voorspellers kunnen dus gedeelde en unieke variantie hebben. Deze unieke variantie kan worden weergegeven met gekwadrateerde semi-partiële correlaties. Soms is er sprake van suppressie, waarbij de unieke bijdrage van een variabele na correctie voor een andere variabele groter is dan de bijdrage zonder correctie. In andere woorden, het echte effect van X₁ op Y werd onderdrukt door de relaties van X₁ en Y met X_2.

Partiële en semi-partiële correlatie

De (semi-)partiële correlatiecoëfficiënten controleren voor het effect van één of meer andere variabelen.

Partiële correlatie

De partiële correlatie r_01.2 is de correlatie tussen twee variabelen met één of meer variabelen weggenomen uit zowel X als Y. Stel dat we de relatie tussen inkomen en schoolprestaties onderzoeken. We vinden een significante correlatie tussen de twee. Dit betekent nog niet dat succes op school leidt tot een hoger inkomen. Het zou verklaard kunnen worden door IQ: dit leidt zowel tot hogere schoolprestaties als een hoger inkomen. De manier om dit te onderzoeken is de partiële correlatie te berekenen tussen schoolprestatie en inkomen, met IQ weggehaald uit beide variabelen.

Voor de partiële correlatie doen we een aparte regressieanalyse op beide variabelen met de te controleren variabelen (in het voorbeeld: inkomen op IQ en schoolprestatie op IQ). Van beide analyses nemen we het residu. Dit is het deel van de variatie dat niet wordt verklaard door IQ. De correlatie hiertussen is de partiële correlatie.

De notatie voor de partiële correlatiecoëfficiënt is r_01.23..p, waarbij links van de punt de gecorreleerde variabelen staan en rechts van de punt de variabelen waarvoor is gecontroleerd.

De partiële correlatie in het kwadraat geeft de verklaarde variatie.

Semi-partiële correlatie

De semi-partiële correlatie wordt ook wel de deelcorrelatie genoemd. Het is de correlatie tussen de criterium Y en een gecontroleerde (partialled) predictor variabele. Waar de partiële correlatie dus een variabele wegneemt uit zowel criterion als de predictor, doen we dat hier alleen uit de predictor. De semi-partiële correlatie is de correlatie van Y met dat deel van X₁ dat onafhankelijk is van X₂ (het residu)_.

De notatie voor de semi-partiële correlatie is: r_0(1.2) waarbij we variabele 2 weghalen uit predictor 1. Voor de correlatie geldt: r²_0(1.2) = R²_0.12 - r²₀₂.

Constante en regressiegewichten

De constante heeft over het algemeen geen intrinsieke waarde voor psychologen en is daarom moeilijk te interpreteren. Ook de interpretatie van de regressiegewichten kan problematisch zijn, omdat de meeteenheden vaak arbitrair zijn. Dit maakt het ook lastig om te bepalen welke voorspeller het meest belangrijk is. Dit laatste probleem kan worden opgelost door het gebruiken van gestandaardiseerde regressiegewichten. Gestandaardiseerde regressiegewichten krijgen het teken β. Op deze manier ben je onafhankelijk van meeteenheden en kun je verschillende voorspellers goed vergelijken. Dit heeft echter als negatieve consequentie dat je afhankelijk wordt van de standaardafwijking binnen samples, wat met name problematisch is als je verschillende studies met elkaar wilt vergelijken. Regressiegewichten zijn altijd partieel, wat betekent dat ze alleen geldig zijn zolang alle variabelen zijn meegenomen in de vergelijking, dus als er voor de effecten van alle andere variabelen gecorrigeerd wordt. Je kunt de regressiegewichten dus niet als losstaand iets bekijken, maar alleen in de context.

Testen: van samples naar populaties

Tot dusver hebben we alleen gekeken naar beschrijvende statistiek. We kunnen echter ook gebruik maken van inferentiële statistiek om uitspraken te doen over de populatie waaruit de sample afkomstig is. Om te bepalen of de totale bijdrage van alle variabelen verschilt van nul kan een F-test gebruikt worden. Om vast te stellen wat de unieke bijdrage van elke predictor is kan er voor iedere voorspeller een t-test uitgevoerd worden. Hoe meer voorspellers, hoe groter de kans op type 1 fouten.

Daarom wordt de algemene F-test als een soort ‘gatekeeper’ gebruikt om te bepalen of de t-tests overwogen moeten worden. Als de F-toets significant is, worden t-testen gedaan. De F-toets wordt als volgt berekend: F = ((N-p-1)R²)/p(1-R²) met N onderwerpen/proefpersonen/(in dit geval staten) en p predictoren. Er zijn p en N-p-1 vrijheidsgraden bij betrokken.

Voor de t-toets hebben we de standaardfout van de statistiek nodig. Dit is de variabiliteit van de statistiek over de herhaalde steekproeven. De toets is als volgt:

t = (b_j - b_j*)/s_bj met N - p - 1 vrijheidsgraden.

Om de nulhypothese: b_j* = 0 te testen gebruiken we t = b_j/s_bj

Assumpties

Er zijn verschillende assumpties waaraan voldaan moet worden:

1. De afhankelijke variabele moet van intervalniveau zijn; voorspellers kunnen binair of op intervalniveau zijn.
   • Het voldoen aan deze assumptie is vrijwel onmogelijk, maar belangrijk voor correcte interpretatie. Gelukkig is multipele regressie over het algemeen vrij robuust voor kleine afwijkingen van het intervalniveau.
2. Er bestaat een lineaire relatie tussen de voorspellers (X_is) en de afhankelijke variabele.
   • Met standaard multipele regressie kunnen alleen lineaire relaties worden gevonden (en bijvoorbeeld geen curvi-lineaire relaties). Afwijkingen kunnen worden vastgesteld met een residual plot.
3. De residuen hebben (a) een normale distributie, (b) dezelfde variantie voor alle waarden van de lineaire combinaties van voorspellers en (c) zijn onafhankelijk van elkaar.

De assumptie van normaal verdeelde residuen is niet erg belangrijk om na te gaan, omdat regressietesten robuust zijn tegen schending ervan als de sample groot genoeg is (N>100). Meestal wordt deze assumptie gecontroleerd met een histogram. De assumptie van heteroscedasticiteit (3b) moet wel gecontroleerd worden, omdat regressie niet robuust is tegen schending hiervan. Hiervoor kan gebruik gemaakt worden van een residuenplot. De laatste assumptie (onafhankelijkheid van fouten, 3c) is erg belangrijk, maar lastig te controleren. Gelukkig wordt aan deze assumptie bij de meeste onderzoeksdesigns voldaan. Het controleren van assumpties is altijd afhankelijk van het oordeel van onderzoekers en kan dus door iedereen verschillend geïnterpreteerd worden.

Multicollineariteit en uitschieters

Uitschieters zijn scores van drie of meer standaardafwijkingen boven of onder het gemiddelde. Het is belangrijk om na te gaan waarom de score van een individu een uitschieter is in de analyse. Daarnaast kunnen uitschieters een disproportionele invloed hebben op de regressiegewichten. Als je besluit om uitschieters te verwijderen uit de analyse, is het goed om hier in de rapportage duidelijk over te zijn en expliciet aan te geven waarom je hiervoor gekozen hebt.

Er kunnen zich verschillende problemen voordoen als correlaties tussen voorspellende variabelen te sterk zijn. Soms geeft de regressie helemaal geen resultaten. In andere gevallen zijn de schattingen onbetrouwbaar of is het moeilijk om de resultaten te interpreteren. Om op multicollineariteit te controleren kun je kijken naar de tolerantie van elke voorspeller (moet groter zijn dan 0.10). Tolerantie wordt berekend door 1 - R²_j, waarbij R_j de multipele correlatie is tussen variabele j en alle andere predictor variabelen. Ook kan je kijken naar de VIF, deze bereken je door 1/tolerantie. Deze moet zo laag mogelijk zijn, in ieder geval kleiner dan 0.10.

Mediërende en modererende relaties

In de psychologie zijn vaak mediatoren en moderatoren van belang: variabelen die een rol spelen in de relatie tussen twee andere variabelen.

Mediatie

Een mediator medieert de relatie tussen twee andere variabelen. Bijvoorbeeld: de mate van zelfvertrouwen die ik heb medieert tussen de hoeveelheid zorg die ik van mijn ouders heb gehad en hoe ik zelf denk over het opvoeden van mijn kinderen. (Verzorgende ouders leidt tot hoog zelfvertrouwen, leidt tot vertrouwen in zelf opvoeden).

Baron en Kenny hebben veel geschreven over mediatie. Er zijn volgens hen drie stappen die moeten voldoen, wil er sprake zijn van mediatie. Zij stellen dat we eerst moeten aantonen dat de onafhankelijke variabele een significante relatie heeft met de mediator. Daarna moet een significante relatie worden aangetoond tussen mediator en afhankelijke variabele, en tussen de onafhankelijke en de afhankelijke variabele. De volgende stap is demonstreren dat wanneer de mediator en onafhankelijke variabele samen gebruikt worden om de afhankelijke te voorspellen, het pad tussen onafhankelijke en afhankelijke variabele (c) minder sterk (liefst niet-significant) wordt.

Maar wanneer pad ‘c’ niet helemaal verdwijnt en nog significant is, wat dan? Een manier is de Sobel test, waarbij we vragen of het volledige mediërende pad van onafhankelijke naar mediator naar afhankelijke variabele significant is. Hiervoor hebben we de regressie-coëfficiënten en standaardfouten van de twee paden nodig.

De standaardfout van de Beta (s_β) wordt niet gegeven en moeten we dus berekenen:t = β/s_β dus s_β = β/t

Moderatie

Bij modererende relaties verandert de relatie tussen onafhankelijke en afhankelijke variabele, door de derde (moderator)variabele. Bijvoorbeeld: we onderzoeken de invloed van dagelijkse stress-events op het aantal symptomen van stress dat een student aangeeft. Daarbij stellen we dat wanneer de student veel sociale steun heeft (in zijn omgeving), hij minder symptomen laat zien dan iemand met weinig sociale steun.

Analyse van variantie (ANOVA) is een manier om hypothesen te testen. Door middel van ANOVA wordt er gekeken naar het verschil in gemiddelden tussen twee of meer groepen. ANOVA heeft een groot voordeel boven de traditionele t-test. T-testen kunnen namelijk alleen gedaan worden als er twee behandelingen vergeleken moeten worden. Met ANOVA kunnen er meer dan twee behandelingen met elkaar vergeleken worden. Bij ANOVA wordt een onafhankelijke variabele of een quasi-onafhankelijke variabele (bijvoorbeeld sekse) een factor genoemd. De individuele groepen of behandelingscondities die deel uitmaken van een factor worden niveaus (levels) van de factor genoemd.

Het voordeel van ANOVA boven t-toetsen is dat de kans op een type I-fout gelijk blijft bij het gebruik van meerdere hypothesen. Normaal gesproken is er voor iedere individuele vergelijking een risico op een type I-fout zo groot als het geselecteerde alfaniveau (meestal 5%). Bij meerdere condities zijn er verschillende hypothesetoetsen nodig om ze allemaal te vergelijken, en voor elke hypothesetoets is er de kans op een type I-fout. Deze stapelen op tot een groter risico voor het totale experiment dan het alfaniveau van een enkele hypothesetoets. Het voordeel van ANOVA is dat alle vergelijkingen die nodig zijn om de verschillende hypothesen van één experiment te toetsen, in één keer uitgevoerd worden. Hierdoor blijft de alfawaarde op de geselecteerde waarde (meestal 0.05).

One-way anova

De one-way anova is een variantieanalyse wanneer er slechts één onafhankelijke variabele onderzocht wordt. Dit is bijvoorbeeld het geval wanneer er een therapie tegen depressie wordt aangeboden waarbij drie verschillende condities, dus levels, aanwezig zijn. Het structurele model van de variantieanalyse is als volgt: X = μ + τ_j + ε_ij. τ_j staat voor het verschil tussen het groepsgemiddelde en het grote gemiddelde. ε_ij geeft het verschil tussen de individuele score en het groepsgemiddelde weer.

Assumpties ANOVA

Om te kunnen beginnen met de ANOVA, moet eerst aan drie assumpties worden voldaan:

1. Homogeniteit van varianties (homoscedasticiteit): elke groep die in het onderzoek wordt gebruikt moet dezelfde variantie hebben. Met levene’s test voor gelijke varianties kan je dit controleren. De F-test is robuust voor deze aanname als de grootste groep en de kleinste groep niet meer dan factor 1,5 van elkaar verschillen.
2. Normale verdeling van de error: De tweede aanname is dat bij elke conditie of steekproefgroep de scores normaal verdeeld zijn. Omdat afwijking van het gemiddelde ook wel error wordt genoemd, heet deze voorwaarde ook weleens ‘de normale verdeling van error’. De F-test is robuust voor niet-normaliteit als n groter dan of gelijk is aan 15 in elke groep.
3. Onafhankelijke scores: De derde aanname is dat de observaties of scores onafhankelijk zijn van elkaar. Dit wil zeggen dat als we één observatie weten, dat dit niets zegt over een andere observatie. Dit kan misgaan wanneer de proefpersonen niet random worden toegewezen aan een groep.

De ANOVA is over het algemeen een zeer robuuste test. Dit betekent dat de voorwaarden tot op zekere hoogte geschonden kunnen worden, zonder dat dit grote gevolgen heeft voor de test. Als de populaties redelijk symmetrisch verdeeld zijn, en als de grootste variantie niet meer dan vier keer zo groot is als de kleinste, is de ANOVA nog valide. Als de steekproefgroottes erg veel verschillen is de test minder robuust tegen heterogeniteit van varianties.

Hypothesen bij ANOVA

Stel je voor dat je drie condities onderzoekt, dan is de nulhypothese µ₁ =µ₂= µ_3. Dit betekent dus dat het gemiddelde van alle condities hetzelfde is. De alternatieve hypothese is dat ten minste twee populatiegemiddelde van elkaar verschillen. De alternatieve hypothese kun je ook specifieker maken: µ₁ ≠µ₂ ≠ µ_3. Dit betekent dat alle gemiddelden van elkaar verschillen. Bij ANOVA wordt de t-statistiek een F-ratio genoemd; F= variantie tussen steekproefgemiddelden/ variantie verwacht op basis van toevalsverschijnselen (dus wanneer de behandeling geen effect heeft). De F-ratio wordt dus berekend middels gegevens over variantie en niet op basis van verschillen in steekproefgemiddelden. Een gevonden F-waarde is hetzelfde als het kwadraat van een gevonden t (F=t²). Als een onderzoeker bijvoorbeeld een t-test met twee onafhankelijke steekproeven uitvoert, kan daar een verschil van gemiddelden uitvloeien. Hij vindt bijvoorbeeld een t-waarde van 2.00. Als de onderzoeker gebruik had gemaakt van ANOVA, zou de F-waarde 4.00 zijn. 

ANOVA

Stel je voor: je hebt drie steekproeven. De eerste stap is om de totale spreiding in de gehele dataset te bepalen. Dit kan gedaan worden door alle scores van de steekproeven te combineren. Vervolgens moet de totale spreiding opgedeeld worden in delen. De totale variabiliteit kan opgedeeld worden in (1) tussengroepsvariantie en (2) binnengroepsvariantie. Van tussengroepsvariantie is sprake als een groep duidelijk systematisch hoger of lager scoort dan de andere groep(en). Binnen-groepsvariantie houdt in dat er spreiding is binnen elke groep.
Het doel van ANOVA is uitvinden of verschillen tussen condities wel of geen toevalsverschijnselen zijn. Als er sprake is van een toevalsverschijnsel is er geen effect. In dat geval verschillen de scores alleen omdat elke sample bestaat uit verschillende individuen. Als er wel een effect is zijn de verschillen tussen de groepen groter dan wat er verwacht zou worden op basis van toeval.

De F-ratio

Nadat de totale variabiliteit is opgedeeld in twee onderdelen (tussen- en binnengroepsvariantie) moeten deze onderdelen met elkaar vergeleken worden. Dit wordt gedaan door middel van de F-ratio. Voor een ANOVA met onafhankelijke steekproeven wordt de F-ratio als volgt gevonden: variantie tussen condities/variantie binnen condities. Wanneer er geen effect is, zijn de verschillen tussen de behandelingen alleen het gevolg van toeval. In dat geval is de F-ratio 1, dan is er dus geen effect. Een grote F-ratio zegt dat verschillen tussen condities groter zijn dan verwacht zou worden door toeval alleen. Bij ANOVA wordt de teller van de F-ratio de error term genoemd. De error term geeft een beeld van de variantie als gevolg van toeval.

Belangrijke symbolen

1. De letter k geeft het aantal condities (het aantal niveaus van de factor) weer.
2. Het aantal scores in elke conditie wordt aangeduid met de letter n. Het totale aantal scores in het gehele onderzoek wordt aangeduid met hoofdletter N.
3. Het totaal (ΣX) voor elke conditie wordt aangeduid met de letter T.

Rekenen met ANOVA

Het is belangrijk dat je kunt rekenen met de ANOVA en dat je begrijpt hoe de logica erachter werkt. Eerst worden de formules toegelicht.

SSB = Sum of Squares Between

$$SSW = \sum^a_{i=1}n_i(\bar{y}_i-\bar{y})^2$$

Het aantal mensen van één groep maal het gekwadrateerde verschil tussen het groepsgemiddelde en het totaalgemiddelde. En dat optellen voor elke groep.

SSW = Sum of Squares Within

$$SSW = \sum^a_{i=1}(n_i-1)S^2_i$$

Het aantal mensen van een groep -1 maal de variantie van die groep, en dat tel je op voor elke groep.

$$SSW = (n-1)S^2$$

SST = Sum of Squares Total

Het totaal aantal mensen van het onderzoek -1 keer de totale variantie.

SSB + SSW = SST

Vrijheidsgraden bij ANOVA

Elke vrijheidsgraad is gerelateerd aan een specifieke SS-waarde.

1. Het aantal vrijheidsgraden voor het totaal (df_total) wordt gevonden door het aantal scores (van alle condities samen) bij elkaar op te delen en daar één van af te trekken (df_total=N-1).
2. Vervolgens moeten de vrijheidsgraden voor de binnengroepsvariantie gevonden worden (df_within). Deze kan als volgt gevonden worden: (df_within)=Σ(n-1) = Σdf_{in each treatment}. Daarnaast kan df_within ook verkregen worden door N-k.
3. Tot slot zijn er de vrijheidsgraden die horen bij de tussengroepsvariantie (df_between). Om deze te vinden moet van het aantal condities één afgetrokken worden; (df_between=k-1). Als de vrijheidsgraden van de tussengroepsvariantie en de vrijheidsgraden van de binnengroepsvariantie worden opgeteld kom je precies uit op de vrijheidsgraden voor het totaal.

Mean Squares

Vervolgens moet de variantie tussen en binnen de condities berekend worden om de F-ratio te vinden. Bij ANOVA wordt liever de term mean square (MS) gebruikt in plaats van variantie. De bijbehorende formule is hetzelfde als voor de variantie: MS = s²= SS/df.

1. Om de MS voor tussen de groepen te vinden wordt de volgende formule gebruikt: MS_between= s²_between = SS_between/df_between.
2. Voor de MS binnen de groepen is de formule: MS_within= SS_within/df_within.
3. Vervolgens wordt de F-ratio gevonden door deze waarden door elkaar te delen: F= MS_between/ MS_within.

De F-distributie

Zoals gezegd klopt de nulhypothese als de uitkomst van de F-ratio 1 is. Omdat F-ratio’s berekend worden door middel van twee varianties, zijn F- waarden altijd positief. Gevonden F- waarden kunnen opgezocht worden in de F- tabel. Deze is zo opgesteld dat eerst de vrijheidsgraden van de noemer en daarna de vrijheidsgraden van de teller opgezocht moeten worden in de tabel. Daarna moet in dat deel van de tabel de gevonden F-waarde opgezocht worden. Deze ligt tussen twee genoemde waarden uit de tabel. De kans op deze waarden staat ook in de tabel. Als er bijvoorbeeld één procent kans is op de gevonden F-waarde, kan de nulhypothese verworpen worden bij een alfa van 5%. Als er echter meer dan vijf procent kans is op het gevonden resultaat, dan moet de nulhypothese behouden worden.

Voorbeeld van hypothesetoets met ANOVA

Om een analyse van variantie uit te voeren, worden er vier stappen uitgevoerd.

1. Stel de nulhypothese en alternatieve hypothese op en stel een alfaniveau vast. Een voorbeeld van de hypotheses kan zijn:=

   H₀: µ₁ = µ₂ = µ₃
   H₁: ten minste één van de gemiddelden is anders
   Een alfaniveau is bijvoorbeeld α = .05
    

2. Stel de vrijheidsgraden van de tussengroepsvariantie en binnengroepsvariantie vast om de kritische regio voor de F-ratio te vinden in de tabel.
3. De volgende berekeningen moeten worden uitgevoerd om de F-ratio te vinden:
   Bereken de MS_between en MS_within.
   Om de F-ratio te bereken, geldt F = MS_between/MS_within.
4. Tenslotte komen we tot een beslissing, waarbij we kijken of de gevonden F-ratio in de kritische regio valt. Net als bij de t-toets geldt dat de nulhypothese verworpen moet worden als de gevonden F-ratio in de kritische regio valt.

Belangrijk om te onthouden is dat de grootte van de steekproef de resultaten van ANOVA kan beïnvloeden. Hoe groter de steekproef, hoe groter de kans om bewijs te vinden om de nulhypothese te verwerpen. Zo’n probleem kan vermeden worden door middel van een alternatieve statistische analyse: de Kruskal-Wallistoets. Hierbij worden de data omgezet naar ordinaal niveau, en worden rangscores gebruikt. De Kruskal-Wallistoets kan tevens gebruikt worden als de aanname van normaliteit wordt geschonden. Deze toets werkt met medianen.

Effectgrootte

Net als bij de andere statistische testen hebben we aan alleen een significant resultaat niet genoeg. We moeten ook weten of de resultaten in praktische zin van belang zijn. In het geval van de F statistiek is de r- familie van effectgroottes geschikt. In het geval van de ANOVA representeert de effectgrootte hoeveel van de variatie in de afhankelijke variabele kan worden toegeschreven aan een behandeleffect. Twee van de meest voorkomende statistieken zijn η² en ω².

Eta-kwadraat η²

SS_behandeling is een maat voor hoeveel van de observatieverschillen door de verschillende behandelingen tot stand komen. SS_totaal is de maat voor de verschillen in de complete dataset. Deze twee SS’s gedeeld door elkaar geven een percentage van de variatie door de behandeling:

η² = SS_behandeling / SS_totaal

Wanneer de sum of squares niet bekend zijn, kan eta-kwadraat ook anders uitgerekend worden:

η² = 1 / (1+ (df_error / (F x df_behandeling)))

η² gaat er vanuit dat de regressielijn door de gemiddelden van elke groep gaat. Dit is echter niet zo, waardoor de metingen biased zullen zijn. η² is de effectgrootte met de meeste bias.

Omega-kwadraat ω²

De omega-kwadraat is een goede maat voor het effect bij gebalanceerde designs (met gelijke n’s). Deze statistiek heeft minder bias dan η².

ω² = (SS_behandeling - (k-1)MS_error)/(SS_totaal + MS_error)

Post-hoc testen

Zoals eerder gezegd is het grootste voordeel van ANOVA (in vergelijking tot t-toetsen) dat verschillen tussen meer dan twee condities onderzocht kunnen worden. Als de nulhypothese verworpen wordt middels de F-ratio, betekent dat dus dat er een significant verschil bestaat. Maar waar zit dat significante verschil dan? Met post-hoc testen kan nagegaan worden waar de significante verschillen zitten. Post-hoc testen worden altijd na ANOVA gedaan. De nulhypothese moet eerst verworpen worden en er moeten drie of meer condities zijn om een post-hoc test te doen.

Middels post-hoc testen worden steeds twee condities met elkaar vergeleken, er worden dus paren van vergelijkingen gemaakt. Bij drie condities kunnen bijvoorbeeld µ₁ metµ₂, µ₂ met µ₃ enµ₁ met µ₃ vergeleken worden. Bij deze verschillende paren van vergelijkingen horen ook verschillende hypothesetesten om uit te vinden welke condities nou significant van elkaar verschillen. Het nadeel is echter wel dat de kans op een type-I fout met zoveel testen toeneemt.

(On)geplande vergelijkingen

Statistici maken vaak onderscheid tussen geplande en ongeplande vergelijkingen.

• Een geplande vergelijking ontstaat wanneer een onderzoeker vergelijkingen maakt die specifiek van belang zijn voor de hypothesen van het onderzoek. Hij kan zich beschermen tegen de oplopende kans van een type-I fout door alfa te delen door het aantal geplande vergelijkingen. Als de onderzoeker gebruik maakt van een alfa van 5%, moet hij deze in ons geval dus door twee delen (omdat hij twee geplande vergelijkingen maakt). Uiteindelijk moet hij dus gebruik maken van een alfa van 2,5%.
• Van een ongeplande vergelijking is sprake wanneer een onderzoeker geen vermoeden heeft over een effect en allerlei post-hoc testen uitvoert in de hoop een significant effect te kunnen vinden. Ook in dit geval moet de kans op een type-I fout beperkt worden. Dit kan middels de Tukey’s HSD test.

Tukey’s HSD test

Tukey’s HSD test wordt vaak gebruikt in psychologisch onderzoek. Door deze test kan een minimaal verschil tussen condities vastgesteld worden dat nodig is om een significant effect te vinden. Deze waarde wordt de honestly significant difference (HSD) genoemd. Deze waarde wordt vervolgens gebruikt om twee condities met elkaar te vergelijken. Als het gemiddelde verschil tussen deze condities groter is dan de vastgestelde HSD, dan kan geconcludeerd worden dat er een significant verschil tussen de condities bestaat. Deze waarde kan als volgt gevonden worden: HSD = q * √MSwithin / n. De waarde van q kan gevonden worden in de bijbehorende tabel. Om q te vinden moet een onderzoeker het aantal condities kennen (k) en de vrijheidsgraden die horen bij MS_within. De kleine letter n staat voor het aantal scores in elke conditie. Bij deze test moeten het aantal scores per conditie gelijk zijn.

Het gebruik van a priori contrasten

Bij MPC, de multiple comparison procedure, worden groepsgemiddelden vergeleken. Een MCP wordt gebruikt als er op zijn minst drie groepen zijn. Een contrast is een gewogen combinatie van de gemiddelden. Neem bijvoorbeeld de volgende hypothese: Zorgt het drinken van alcohol voor een meer verstoorde subjectieve perceptie van fysieke aantrekkelijkheid? De drie groepen hierbij zijn: geen alcohol drinken, weinig alcohol drinken, en veel alcohol drinken. A priori contrasten stel je op voordat je je onderzoek uitvoert. Dit is dus naar aanleiding van de verwachtingen die je hebt. Je kunt verschillende hypotheses opstellen.Een contrast is een combinatie van populatiegemiddelden in de vorm van Ψ= Σ . De coëfficiënten van ai tellen op tot 0. De standaardfout van c is: SEc = Σ . We toetsen de nulhypothese Ψ=0. We gebruiken hiervoor de t-toets: t= c/SEc. Ook maken we gebruik van de vrijheidsgraden voor de error (DFE) die gepaard gaan met : DFE = N – I. De alternatieve hypothese kan zowel eenzijdig als tweezijdig zijn. Het betrouwbaarheidsinterval voor Ψ is c± t*SEc.

Een vraag die je kan stellen is: Scoort de geen-alcohol populatie hoger dan de alcohol populaties (zowel weinig als veel)? Je kunt hierbij de volgende hypotheses opstellen:

H0 : µ1 = 0.5(µ2 + µ3). HA : µ1 > 0.5(µ2 + µ3).

Van deze hypothese maak je als volgt een contrast:

H0 : µ1 = 0.5(µ2 + µ3)
H0 : µ1 − 0.5(µ2 + µ3) = 0
H0 : µ1 − 0.5µ2 − 0.5µ3 = 0
ψ = µ1 − 0.5µ2 − 0.5µ3.

Dit is dus je uiteindelijke contrast. Contrastcoëfficiënten (ai’s): 1, -0.5, -0.5. Deze tellen inderdaad bij elkaar op tot nul, zoals de bedoeling is.

Als er meerdere contrasten zijn, wordt vaak vereist dat deze orthogonaal aan elkaar zijn. Dit houdt in dat de producten van deze contrastcoëfficiënten nul zijn als je de cross-producten bij elkaar optelt.

Stel dat contrast 1 de volgende contrastcoëfficiënten heeft : 1 1 -2
Contrast 2 heeft deze contrastcoëfficienten : 1 -1 0

Deze contrasten zijn orthogonaal want (1)(1) + (1)(-1) + (-2)(0) = 0

ANCOVA is een combinatie van regressieanalyse en ANOVA en kan gebruikt worden om een afhankelijke variabele van intervalniveau zo accuraat mogelijk te voorspellen aan de hand van een aantal onafhankelijke variabelen. Deze onafhankelijke variabelen worden factoren (nominaal niveau) en covariaten (intervalniveau) genoemd. De combinatie van deze verschillende soorten voorspellers maakt het mogelijk om een optimale voorspelling te doen in meer verschillende soorten situaties.

Het toevoegen van covariaten maakt het mogelijk om de effecten van factoren accurater en specifieker te testen door (1) vermindering van errorvariantie en (2) eliminatie van systematische bias (statistische controle).

Voorbeeld: Stel dat we willen onderzoeken of kleinere auto’s makkelijker te besturen zijn. We hebben drie verschillende autogroottes drie groepen bestuurders, met aanzienlijke verschillen in rijervaring tussen bestuurders. We kunnen individuen hier niet op matchen, dus nemen we aan dat de gemiddelde rijervaring tussen de groepen gelijk is. De afhankelijke variabele is het aantal stuurfouten en de covariaat is rijervaring. Wat we namelijk willen, is de prestaties van bestuurders onderzoeken onafhankelijk van hun rijervaring, maar puur wat we verwachten vanwege de grootte van de auto. We verminderen hiermee de error.

Het ANCOVA model

Door het verdelen van de variantie in een binnengroeps- en tussengroepscomponent kunnen de f-toets en andere statistische data worden uitgerekend. Voor zowel ANOVA’s als ANCOVA’s proberen we Y-score zo optimaal mogelijk te berekenen voor alle individuen in de respectievelijke groepen. Bij ANOVA weten we alleen de groep waartoe een individu behoort, dus dient het groepsgemiddelde als schatting voor de score. Bij ANCOVA weten we daarnaast ook de individuele score op een covariaat, waardoor de voorspelling van Y preciezer kan worden. Het ANCOVA model wordt opgedeeld in een (1) ANOVA component en een (2) regressiecomponent.

Een ANOVA model heeft drie componenten:

• Het grote gemiddelde: Ý.
• De afwijking van de groep ten opzichte van het grote gemiddelde: α_j = Ý_j - Ý.
• De error of afwijking van ieder individu ten opzichte van het groepsgemiddelde: e_ij = Y_ij - Y_j

Dit geeft het volgende model: Y_ij = Ý + α_j + e_ij. De variantie van Y wordt in een tussengroepscomponent (α_j) en een binnengroepscomponent (e_ij) opgedeeld. In het ANCOVA model wordt er een covariaat aan de formule toegevoegd:

Y_ij = Ý + α’_j + b_w (C_ij - Ć) + e’_ij.

Met deze formules proberen we de Y_ij score van elk individu i uit groep j zo goed mogelijk te voorspellen. Het verschil tussen ANOVA en ANCOVA is dat we bij ANOVA alleen weten tot welke groep het individu behoort, terwijl we bij ANCOVA ook de individuele score op de covariaat hebben. Daardoor is de voorspelling bij ANCOVA preciezer. De ANCOVA formule bestaat uit een variantieanalyse component (Ý + α’_j) en een regressie analyse component (b_w (C_ij - Ć)).

Pooled-within vs. totale regressie en correlatie

Het regressiegewicht van de covariaat wordt b_w genoemd, omdat het verwijst naar de voorspelling van Y door middel van C binnen elk van de groepen (het gepoolde binnengroepsregressiegewicht). De assumptie dat dit gewicht hetzelfde is voor alle groepen geldt alleen voor de populatie, niet voor de sample.

De F-toets in ANCOVA

De F-test in ANCOVA is gelijk aan die van ANOVA, alleen wordt er met aangepaste een ‘sum of squares’ en vrijheidsgraden gewerkt waarbij de overlap met de covariaat eruit gefilterd is. De totale aangepaste kwadratensom bestaat uit een tussengroepscomponent en een binnengroepscomponent: SS_T*= SS_b* + SS_W*. Met de volgende formule is de totale variantie van de afhankelijke variabele te berekenen: SS_T* = SS_T – r_YC²SS_T = (1- r_YC²)SS_T. r_YC²SS_T geeft aan hoeveel variantie de covariaat verklaart.

De binnengroepscomponent wordt als volgt uitgerekend: SS_W* = (1- r_YC(W)² r²_YC(W))SS_W. de tussengroepsvariantie kan dan makkelijk berekend worden: SS_B* = SS_T* - SS_W*. Voordat de F-waarde berekend kan worden, moeten we MS (mean squares) uitrekenen door de kwadratensom door de vrijheidsgraden te delen. MS_b* = SS_b* / k-1 en MS_W* = SS_W* / N-k-c.

Hierbij is k het aantal groepen, N de steekproefgrootte en c het aantal covariaten. Nu kan de F-waarde berekend worden: MS_b* / MS_W* met vrijheidsgraden df_b = k-1 en df_w = N - k - c.

Aangepaste groepsgemiddelden

Als de groepen verschillen op de covariaat wordt gewerkt met aangepaste gemiddeldes. Deze representeren de beste gok van het gemiddelde als de groepen niet verschillen op de covariaat. De covariantie-analyse bekijkt vervolgens of deze aangepaste gemiddelden significant van elkaar verschillen.

Het aangepaste groepsgemiddelde kan afgeleid worden uit de volgende formule: Ý_j = Ý + α’_j + b_w (C_i - Ć). Omdat Ý_j* = Ý + α’_j is het aangepaste groepsgemiddelde: Ý_j* = Ý_j - b_w (C_i - Ć). Als dit weergegeven wordt in een diagram, wordt het aangepaste groepsgemiddelde gevonden op de intersectie van de regressielijn van de groep met de lijn C = Ć.

Over het algemeen geldt dat groepen met een hoog gemiddelde op de covariaat na aanpassing een lager gemiddelde hebben op de afhankelijke variabelen. Groepen met een laag gemiddelde op de covariaat hebben echter een hoger gemiddelde op de afhankelijke variabele na aanpassing. Als de groep met de hoogste score de laagste score heeft op de covariaat worden de verschillen op de afhankelijke variabele dus groter, terwijl als deze groep ook de hoogste score heeft op de covariaat de verschillen kleiner worden, ze verdwijnen of het signaal wisselt. Het bovenstaande geldt alleen bij een positieve b_w. Als b_w negatief is geldt precies het omgekeerde.

Vermindering van errorvariantie

Zelfs als groepen niet verschillen op de covariaat, geldt nog steeds het tweede doel van ANCOVA (vermindering van errorvariantie). Het is echter niet goed om ANCOVA als een soort sprookjesoplossing te zien, omdat het toevoegen van één of meer covariaten kan leiden tot verminderde statistische power en moeilijkere interpretatie. Er zijn drie soorten situaties waarin interpretaties complex of irrelevant worden. In de eerste plaats kunnen de aangepaste groepsgemiddelden niet overeen komen met de onderzoeksdoelen. In de tweede plaats kan er een extrapolatie naar een werkelijkheid optreden die eigenlijk niet bestaat, of niets betekent. Tot slot kan een covariaat een deel van het effect elimineren.

Assumpties

Voor een ANCOVA gelden naast de algemene assumpties (normale verdeling, homogeniteit van varianties en onafhankelijke observaties) nog enkele speciale, aan regressie gerelateerde assumpties over de covariaat:

1. Geen error in de covariaat. Het effect van random error in de covariaat is een onderschatting van de relatie met andere variabelen. De meest belangrijke consequentie van error is een te kleine aanpassing in het berekenen van de aangepaste groepsgemiddelden, wat leidt tot incorrecte conclusies. Het is echter niet per definitie beter om nooit onbetrouwbare covariaten te gebruiken: soms is een incomplete aanpassing beter dan helemaal geen aanpassing.
2. Lineaire relatie met de afhankelijke variabele. Deze assumptie heeft betrekking op de gepoolde binnengroepscorrelatie tussen de covariaat en de afhankelijke variabele. De relatie tussen deze variabelen binnen elke groep kan het beste worden weergegeven met een rechte lijn, en niet met een curve. Schending van deze assumptie resulteert in een onderschatting van de relatie tussen de bovengenoemde variabelen, wat leidt tot een onjuiste aanpassing van groepsgemiddelden. Deze assumptie heeft betrekking op de populatie en kan geïnspecteerd worden met behulp van diagrammen, maar niet met een test voor non-lineariteit.
3. Parallelisme. Deze assumptie stelt dat het regressiegewicht b_w dezelfde waarde heeft in alle groepen. Deze assumptie kan grote gevolgen hebben voor de interpretatie van de resultaten. De assumptie van parallelisme houdt in dat er geen interactie bestaat tussen de covariaat en de behandeling. Het gebruik van een complexer ANCOVA model met afzonderlijke regressiegewichten en aanpassingen is geen geschikte oplossing, omdat het uitrekenen en de interpretatie dan moeilijker wordt.

Limitaties van ANCOVA

Het experimentele perspectief dat hier beschreven is, is niet de enige mogelijke benadering voor ANCOVA. Ook zijn er in dit hoofdstuk geen post-hoc procedures beschreven. Zoals eerder besproken is, moeten covariaten met mate worden gebruikt omdat ze een vrijheidsgraad kosten en moeilijk te interpreteren zijn. Ook zijn er beperkingen aan het bestuderen van al bestaande groepen.

Om het risico op een Type I fout zo klein mogelijk te houden bij ANOVA, moeten we het totale alpha-level controleren. Maar we moeten ook het onderscheidingsvermogen (power) (de kans om de een foute nulhypothese te verwerpen) vergroten. De omnibus F-toets kan dit totaal toetsen. Deze test wordt ook gebruikt in het ANOVA model. De een-factor ANOVA model heeft een onafhankelijke variabele of factor met twee of meer levels.

In het random-effects model, zijn in alle steekproeven de levels van de onafhankelijke variabele random genomen van de levels van de populatie. Hierdoor kunnen er generalisaties gemaakt worden over alle levels van de populatie.

In het fixed-effects model worden eerst de levels van de onafhankelijke variabele geselecteerd, waarna de onderwerpen (subjects) random worden toegewezen aan de levels van de onafhankelijke variabele. In sommige situaties kan de onderzoeker deze toewijzingen controleren, maar in andere situaties kan dit niet. Daarom moet hierin een verschil worden gemaakt. De analyse verschilt niet tussen de situaties, maar de interpretatie van de resultaten verschilt wel.

Bij een fixed-model ANOVA worden de behandelniveaus, of behandelgroepen, zorgvuldig geselecteerd en blijven deze gelijk wanneer het experiment wordt herhaald. Bij een random model worden de behandelniveaus door een willekeurig proces verkregen, en variëren deze dus per herhaling.

Gekruist design met random variabele

Soms zullen we een ontwerp hebben met een fixed factor en een willekeurige of random factor. Stel dat we willen testen of mensen sneller hoofdletters dan kleine letters herkennen. De lettergrootte is een fixed factor. Door een steekproef uit het alfabet selecteren we vijf letters die we gebruiken in het experiment (A, G, D, K, W). Deze variabele ‘letters’ is een random factor.

Omdat één van de factoren willekeurig is, zullen we bij een herhaling van het experiment andere letters selecteren en zullen de F waardes dus ook verschillen op basis van de letters die we selecteren. Een belangrijk feit hierbij is, dat het hebben van een random effect de test voor het fixed effect (in dit geval: Lettergrootte) verandert.

Om te laten zien welk effect random factoren hebben, moeten we kijken naar de verwachte mean squares. Deze worden weergegeven in tabel 18:

Bij een fixed en een random variabele wordt de F test voor de fixed variabele:

Voor random variabele: E(F) = E(MS_b/MS_error) = (σ²_e + nbσ²_β)/ σ²_e

Voor interactie effect: E(F) = E(MS_AB/MS_error) = (σ²_e + nσ²_αβ)/ σ²_e

Voor fixed variabele: E(F) = MS_A/MS_AB = E(σ²_e + nσ²_αβ + nbσ²_α)/( σ²_e + nσ²_αβ)

Het model

In fixed modellen is er één ware effectgrootte. De verschillen in effectgrootte uit verschillende studies komt door random steekproeferror. Bij gedragswetenschappelijk onderzoek worden in onderzoeken vaak meerdere variabelen gemeten en afgewisseld. Het ene onderzoek zal meer vrouwen in de studie hebben dan het andere, of andere leeftijden, etc. Dat wil zeggen: we hebben vaak te maken met willekeurige/random modellen in plaats van fixed modellen. Als we dan effectgroottes gaan vergelijken, bestaat de meting per studie uit willekeurige error (zoals elke studie) maar er is daarnaast ook een verschil n effectgroottes door de aanwezigheid van bepaalde variabelen. We gaan er vanuit dat de ware effecten willekeurig en normaal verdeeld zijn rond een bepaalde waarde. Ons model voor de meta-analyse wordt:

Y_i = μ + τ_j + ε_ij

met μ het overkoepelende gemiddelde effect, τ het verschil tussen het ware effect in de studie en het overkoepelende effect en ε de steekproef error. We hebben dus te maken met variantie door τ én variantie door ε.