Deze samenvatting is gebaseerd op het studiejaar 2013-2014.

Hoorcollege 1: Multipele regressie

Alle afbeeldingen in deze college aantekeningen zijn uit de powerpoints van Nijs Lagerweij gehaald ter verduidelijking van de stof.

De afhankelijke variabele is de letter Y. De onafhankelijke variabelen is de letter X. Dit noemen we de predictoren. De E staat voor error. Dit betekent dat de voorspelling van Y nooit perfect gaat.

In het artikel die als voorbeeld gebruikt is, gaat het over invloeden op schoolsucces. Bij schoolsucces kan je meerdere factoren die dit beïnvloeden noemen. Kindfactoren, opvoedingsfactoren, schoolfactoren en gezinsfactoren hebben invloed op schoolsucces. Hieronder vallen intelligentie, leeftijd, sekse, gezondheid, intelligentie, uren werk, grootte gezin, SES, woonplaats, methoden en docenten. In heel veel situatie hebben we met afhankelijke variabelen (schoolsucces) en onafhankelijke variabelen te maken.

Voorbeeld dat gebruikt wordt waarbij de afhankelijke variabele de kennis van literatuur is.

Onderzoeksvraag

Kunnen we kennis van literatuur bij jong volwassenen voorspellen met persoons-, gezins- en schoolkenmerken?

Variabelen

Afankelijke variabele Y: kennis van literatuur bij jong volwassenen.

Doel

Beschrijven en toetsen van relaties van Y met onafhankelijke variabelen X (predictoren). Vaak wil je een meer algemene uitspraak doen over de resultaten uit de steekproef. Je beschrijft met de steekproef en de resultaten probeer je te toetsen. De relaties van Y met onafhankelijek variabelen X: persoonlijke kenmerken, kenmerken ouderlijk huis en kenmerken school.

Multipele regressie algemeen

Onderzoeksvraag

Kunnen we iemands waarde op een kenmerk voorspellen met kennis over andere kenmerken?

Doelen

Beschrijven van relaties tussen variabelen (regressiemodel)

Toetsen van hypothesen over relaties (significantie)

Kwantificeren van relaties (getalswaarde aan toekennen, effectgrootte)

Kwalificeren van relaties (klein, middelmatig, groot)

Beoordelen relevantie relaties (subjectief)

Voorspellen van iemands waarde met regressiemodel (puntschatting en intervalschatting)

Variabelen in het voorbeeld

Kennis in literatuur is de onafhankelijke variant (Y). Kennis literatuur vader (X1), kennis literatuur moeder (X2), aantal boeken in ouderlijke huis (X3), aandacht voor literatuur school (X4), lezen verleden (X5), opleidingsniveau (X6).

Meetniveau variabelen

Afhankelijke variabele Y beschouwen we als een continu kenmerk en de operationalisatie moet er voor zorgen dat de waarden die worden toegekend op interval meetniveau kunnen worden geïnterpreteerd.

Meetniveau onafhankelijke variabele Xk

• Continu (kennis) of discreet (waarbij we categorieën kunnen onderscheiden, kinderen in een gezin bv, dit is een ratio meetniveau, 0 kinderen is absoluut nulpunt) kenmerk gemeten op interval meetniveau.

• Categorische kenmerk met twee categorrieën (bv sekse), nominaal meetniveau met twee categorieën noemen we dichotoom.

• Categorisch kenmerk met meer dan twee categorieën (opleidings categorieën), nominaal meetniveau wordt omgezet in dummyvariabelen.

Variabelen in het voorbeeld, wat is het meetniveau?

Kennis in literatuur is de onafhankelijke variant (Y). Kennis literatuur ader (X1), kennis literatuur moeder (X2), aantal boeken in ouderlijke huis (X3), aandacht voor literatuur school (X4), lezen verleden (X5), opleidingsniveau (X6). Bij al deze variabelen is het minimaal interval en geschikt voor het uitvoeren van een multipele regressieanalyse. Stel dat we twee andere variabelen hebben, bv Sekse: Jongen meisjes (X7) en cultuur: noord, west, oost zuid (X8). Sekse is dichotoom en cultuur is nominaal die we dus moeten maken tot dummyvariabelen.

Regressiemodel

Modelvergelijking

Moet een verklaringsmodel zijn voor geobserveerde variabele Y.

Uitkomst (Y) = model (X) + voorspellingsfout.

Het model is een lineair regressiemodel. Een aanname is dat alle regressies lineair zijn. De voorspellingsfout is de residual of error. Verschil voorspelde score en iemands geobserveerde score is de residual of error/voorspellingsfout.

Regressievergelijking

Voor voorspellen van waarde op Y.

Geschatte uitkomst (Ŷ) = model (X)

Y = B0 + B1X1 + … + B6X6 + E.

Dit is de standaardvergelijking van een regressie

Y = afhankelijke ariabele (dependent, criterium)

X = onafhankelijke variabelen (predictors)

B0 = intercept (constant)

B1 = regressiecoëfficiënt (slope), geeft aan hoe sterk de relatie is tussen de afhankelijke variabelen en de onafhankelijke variabelen.

E = voorspellingsfout (error term of residual)

Zie afbeelding 1

Voor interval meetniveau kunnen we een histogram gebruiken.

Spreidingsdiagram
 

Zie afbeelding 2

Op het rechter plaatje zie je de best passende regressielijn volgens het kleinste kwadraten criterium. Komt er op neer dat de afstanden tussen de geobserveerde scores en de lijn het kleinst zijn. De deviaties/standaardfouten moeten dus minimaal zijn.

Vergelijking van lijn (regressievergelijking)

1. Intercept of constante (B0). Dit is de score die iemand krijgt als de X variabele 0 is. Dit is dus de plek waar de lijn de verticale as snijdt.

2. Regressiecoëfficiënt (B1). De verandering van Y per eenheid van X

Ŷ = b₀ + b₁X₁. Dit is een enkelvoudige regressie

Regressiecoëfficiënten

Zie afbeelding 3

Intercept

B0 = 5 B0 = 5 B0 = 5

Richting verband?

B1 > 0.5 B1 >-0,5 B1> 0

Kleinste kwadraten criterium

Best passende rechte lijn

De lijn waarbij voorspellingsfout (E, residu, error, deviatie) zo klein mogelijk is. Voor elke respondent: geobserveerde Y, geschatte Ŷ en voorspellingsfout E_j.

Positief residu

Boven de lijn, onderschatting door model

Negatief residu

Onder lijn, overschatting door model.

Residuen E

Zie afbeelding 4

In figuur 4 zijn de residuen klein en in figuur twee zijn ze groot. Voorspelling is het best als de residuen klein zijn.

Voorspelling wordt aangegeven met een dakje en is de model vergelijking. De observatie is de modelvergelijking + e (standaardfout).

Goodness-of-fit

Hoe goed past het model?

Het model (regressielijn) met kleinste residuele kwadratensom. Hoe goed is dat dan?

Bepalen goodness-of-fit (R²)

Vergelijking van beste model (regressielijn) met basismodel (basislijn).

Zie schema 1

We vergelijken het beste model met het basismodel. SS staat voor sum of squares. Dit is de som van gekwadrateerde deviaties. De afstanden ten opzichte van een lijn, die afstanden kwadrateren we en tellen we op. Als residuen klein zijn, dan zal SS ook klein zijn. Hetzelfde met groot. SS_t is SS van het totaal. SS_m is de kwadraten som van de lijn (model). SS_e of SS_r is de kwadratensom van de voorspellingsfout (residual).

Goodness-of-fit (R²) is de kwadratensom van model gedeeld door totale kwadratensom. Proportie door X verklaarde variantie in Y.

Zie schema 2

Bereik R² is 0 ≤ R² ≤ 1.

Interpretatie R en R²

• Multipele correlatiecoëfficiënt R: correlatie tussen geobserveerde Y en Ŷ.

• Determinatiecoëfficiënt R²: Proportie in Y verklaarde variantie door het model.

Waardering model

Er zijn twee stappen.

1. Significantie (=toetsen)

2. Als significant, dan relevantie beoordelen (=subjectief)

Toetsen R² en B’s

Vanaf nu gaan we naar meerdere variabelen.

We stellen hypothesen op over de populatie. De steekproef levert steekproefresultaten op en die gebruiken we om te toetsen. Dan gaan we beschrijven.

• Verklaring van Y door alle X’en (R²). Dit zegt hoe goed het model is om de variantie te verklaren. H1 is dat het wel wat verklaard, dat R² groter is dan 0.

• Invloed afzonderlijke X’en op Y (B’s)

Alternatieve hypothese:

1. R² > 0: Het regressiemodel verklaart variatie in Y

2. B > 0 of B

Toetsen uit het voorbeeld.

Kan literatuurkennis verklaard worden met aantal boeken in ouderlijk huis en literatuurkennis vader en literatuurkennis moeder.

Model: Y = B0 + B1X1 + B2X2 + B3 X3 + E.

Hypothesen

H0: R² = 0

Ha: R² > 0

Toets voor R², met F-toets beoordeel je statistische significantie (alfa is .05)

Relevantie R², met grootte van R² beoordeel je relevantie (= praktische significantie).

F-toets

Dit is een F toets voor toetsing R^2. Is verklaarde variantie significant? Hoeveel verklaart het model ten opzichte van het deel dat het model niet kan verklaren?

Toetsingsgrootheid F

Zie schema 3

MS = mean sum of squares = gemiddelde kwadratensom = SS/df

ALS MSm groot is zal F sneller significant zijn.

SPSS uitvoer

Zie afbeelding 5

De R is de multipele regressiecoefficient. Geeft de waarde aan tussen geobserveerde en voorspelde. R² is deze waarde in het kwadraat. In de tabel staat dit aangegeven met R square. Deze waarde kan worden omgezet naar toetsingsgrootheid F. F is modelvariantie gedeeld door residuele variantie. Dus 82, 285 delen door 2.630 = 31.288. Dit betekent dat de waarde ver in de staart ligt en betekent dat er waarschijnlijk een hele kleine overschrijdingskans heeft. Dit staat aangegeven bij Sig. .000 is een hele kleine waarde. Verklaarde variantie tussen 10 en 15 procent is al relevant.

Toetsen B’s

Voorbeeld, kan literatuurkennis verklaard worden met aantal boeken in ouderlijk huis en/of literatuurkennis vader en/of literatuurkennis moeder?

Model

Y = B0 + B1X1 + B2X2 + B3X3 + E

Hypothesen

• H01: B1 = 0 Ha1: B1 > 0

• H02: B2 = 0 Ha2: B2 > 0

• H03: B3 = 0 Ha3: B3 > 0

Toets voor invloed afzonderlijke X’en: Toetsen van B’s met t-toetsen (alfa = .05)

Relevantie invloed X’en: beoordeeld met grootte van beta’s (gestandaardiseerde B)

Zie afbeelding 6

Constant = intercept

B = regressiegewicht / coëfficiënt / helling

Beta = gestandaardiseerde regressie coëfficiënt

T = toetsingsgrootheid t

Sig. = overschrijdingskans p van steekproefresultaat.

Twee predictoren leveren een significante bijdrage aan de verklaren van Read, eentje niet.

Regressiecoefficient B gebruik je voor het opstellen van regressievergelijking voor Ydakje. B is schaalafhankelijk.

Gestandaardiseerde regressiecoefficient Beta gebruik je voor het vergelijken van predictoren (X’en). Wordt gebruikt voor het beoordelen van relevantie predictoren. Beta is schaalonafhankelijk.

Hoorcollege 2. Meerweg ANOVA

Bij de meerweg ANOVA zijn er twee onafhankelijke variabelen. Bij de eenweg is dit er een.

Multipele regressie model

Een multipele regressieanalyse bevat een afhankelijke variabele (Y) met minimaal meetniveau interval. Meer dan een predictor (X1, X2, …) met minimaal meetniveau interval (X1) of dichotoom (X2).

Model voor (meerweg) ANOVA

Bij de eenweg anova is er een afhankelijke variabele (Y) en ook een factor (one-way anova). In regressie heet de factor uit variantie analyse een predictor. Bij meerweg anova is er een afhankelijke variabele (Y) en meer dan een factor (X1, X2, …) (two-way, three-way … anova)

Voorbeeld

Onderzoeksvraag

Verschillen groepen gebaseerd op leeftijd en sekse in kennis van getallen?

Variabelen

Afhankelijke variabele Y: Kennis van getallen: interval meetniveau.

Voorspellen met onafhankelijke variabelen (X): Sekse: nominaal/dichotoom en leeftijd in categorieën: ordinaal meetniveau.

Vaak kun je variantieanalyses ook uitvoeren met regressie analyse. Daarbij moet het wel interval meetniveau zijn of dichotoom zijn. Welke methode je gebruikt hangt dus een beetje af van het meetniveau. Variantie analyse gaat vooral om quasi en gewone experimenten. Variantie analyse gaat vaak over een correlatie.

Meerweg ANOVA

Onderzoeksvraag

Verschillen twee of meer groepen op het gemiddelde van een variabele? We kijken naar het centrum van de verdeling, het gemiddelde.

Deelvragen

• Beschrijven van verschillen

• Toetsen van verwachtingen over verschillen (significantie)

• Kwantificeren van verschillen (effectgrootte)

• Kwalificeren van verschillen (relevantie). Is het inderdaad zinvol om deze behandelmethode bij deze groep toe te passen?

Hoofddoelen

• Beschrijven van verschillen tussen en binnen groepen

• Verklaren van verschillen tussen groepen

• Voorspellen van scores voor groepen

Samenvattend, het meetniveau van afhankelijke variabele Y is minimaal interval. Het meetniveau van de onafhankelijke variabelen X is het minimale meetniveau nominaal met a categorieën. Bijvoorbeeld leeftijd in jaren moet gecategoriseerd worden in jong, middel en oud. We vergelijken de groepen op het gemiddelde. De gemiddelden in kennis van getallen van groepen vergelijken/toetsen. We analyseren variantie. Variantieanalyse = (meerweg) ANOVA.

Voorbeeld Sesamstraat

Er werd onderzoek gedaan naar het effect van sesamstraat op de kennis van voorschoolse kinderen.

Afhankelijke variabele

Prenumb (kennis van getallen). 1 = jong, 2 = midden, 3 = oud

Factoren

Age3 (leeftijd

Sexe (sekse). 1 = jongen, 2 = meisje

Dit is een 3 x 2 factorieel design.

Zie afbeelding 7

Doel van het onderzoek is ook om te onderzoeken of de kennis ook binnen de groepen verschilt.

Als je een experiment uitvoert, is het niet van belang dat ze even groot zijn. De analyse techniek houdt rekening met verschillen in groepsgrootte. We maken verschil tussen tussenvariantie en binnenvariantie. Tussen groepen betreft verschil tussen groepsgemiddelden en binnengroepen betreft het verschil in scores in een groep.

Hoofd en interactie effecten

In een interactie toetsing gaan we na of van de drie categorieën van de ene factor het effect van sekse voor die drie groepen van elkaar verschilt. Interactie doet uitspraak over of het effect van de ene factor binnen de categorieën van de andere factor hetzelfde is of verschilt.

Zie afbeelding 8

Hoofdeffect leeftijd? A Nee, gemiddelde leeftijdsgroepen niet gelijk. B Ja, want de gemiddelden verschillen van elkaar.

Hoofdeffect sekse? A Ja, de drie jongensgroepen verschilt van de meisjesgroepen. B Ja, gemiddelden van de meisjes is steeds hoger dan van de jongens.

Interactieffect? A Nee, want het effect van sekse voor de afzonderlijke categorieën van leeftijd is steeds hetzelfde. B Nee, want het verschil tussen de jongens en meisjes in combinatie van de richting van het effect steeds hetzelfde is. Het gaat om het absolute verschil. Ezelsbruggetje voor interactieeffect. De lijnen lopen steeds parallel, dus geen interactie. Wanneer ze niet parallel lopen of elkaar doorkruisen, is er wel een interactie effect.

Zie afbeelding 9

Hoofdeffect leeftijd: C Ja D Nee, verschillen niet in gemiddelden

Hoofdeffect sekse? C Nee D Ja

Interactie-effect? C Ja D Ja

Toetsing

Hypothesen:

H0: model verklaart niets in Y. We moeten dan kijken naar de verklaarde variantie binnen het model. Dit wordt aangegeven met R². = .137 = 13,7%.

H0: geen hoofdeffect van sekse

H0: geen hoofdeffect van leeftijd

H0: geen interactie-effect van sekse en leeftijd. We toetsen of er tussen de groepen effecten zijn. De test of between-subjects effect. MS (mean square) is de variantie. Sig geeft alleen de overschrijdingskans aan.

F ratio

F ratio bij multipele regressieanalyse. De toetsingsgrootheid voor verklaarde variantie van een lineair model (R²). Als rechte lijn (lineair regressiemodel) een betere weergave is van geobserveerde gegevens dan het algemeen gemiddelde (basismodel).

F ratio bij anova. Toetsingsgrootheid voor verklaarde variantie van gemiddelden model (eta kwadraat). Als groepsgemiddelden significant verschillen dan zijn groepsgemidelden (gemiddelden model) een betere weergave van geobserveerde gegevens dan het algemeen gemiddelde (basismodel).

F ratio bij eenweg ANOVA

Zie afbeelding 10

Als groepen veel van elkaar verschillen, is er spreiding in het groeps gemiddelde en is MSm hoog. Binnen alle te onderscheiden groepen zit er spreiding rondom de groeps gemiddelden. Dit is de fout die je maakt. Dit is de MSr. Kansverdeling F F9DFm, DFr) met DFm = k – 1 (aantal groepen) en DFr = n – k (totale aantal mensen)

Toetsingsgrootheid

Quotiënt van de systematische variantie (MSm) en de onsystematische variantie (MSr). De model verklaarde variantie (MSm) wordt vergeleken met de niet door de model verklaarde variantie (MSr).

F ratio bij tweeweg ANOVA

De verklaarde variantie (MSm) bepaald door:

• Effect eerste onafhankelijke variabele A (MSa)

• Effect tweede onafhankelijke variabele B (MSb)

• Interactie-effect A en B (MS axb)

Zie afbeelding 11

Effectgrootte

Bij multipele regressie: R² = verklaarde variantie door lineair model

Bij ANOVA: η 2 = verklaarde variantie door gemiddeldemodel.

Zie afbeelding 12

Bij het beoordelen van het effect toetsen we de significantie, bepalen we de effectgrootte (en waarderen) en beoordelen we de relevantie.

Categorische kenmerken

Voorbeeld

Sekse en leeftijd zijn factoren in de tweeweg anova

Vraag

Kunnen we deze categorische kenmerken (nominale variabelen) meenemen als predictoren in een regressieanalyse?

Meetniveau sekse en leeftijd

De variabele sekse is van nominaal meetniveau (niet interval!). De variabele opleiding heeft ordinaal meetniveau (niet interval).

Antwoord: Ja, maar niet zonder meer. Je moet de nominale variabele representeren door dummyvariabelen.

Dummyvariabelen

• Representeren nominale of ordinale variabelen met twee of meer categorieen

• Dummyvariabele heeft slechts twee waarden (bijv 0 en 1)

• Door representatie nominale of ordinale variabelen met dummy’s: lineaire regressieanalyse mogelijk.

Zie afbeelding 13

X2 = leeftijd met drie categorieen

D2 = dummy voor jongste groep

D3 = dummy voor middelste groep

Oudste groep = referentiegroep.

Anova als regressiemodel

Anova als lineair model. Model vergelijking voor geobserveerde Y

Uitkomst (y) = model (x) + error €

Modelvergelijking voor tweeweg ANOVA (2x3)

Y = B0 + B1D1 + B2D2 + B3D3 + E

Hoorcollege 3. Ancova

Onderzoeksvraag

Verschilt de angst voor sinterklaas tussen jongens en meisjes?

Populatie

Kinderen van 2-8 jaar

Variabelen

• Afhankelijke variabele: angst

• Groepsvariabele: sekse

• Leeftijd

Resultaat ANOVA (t-test)

Angst van jongens lager dan angst van meisjes.

En alternatieve verklaring zou kunnen zijn dat de jongens gemiddeld ouder waren dan de meisjes. Leeftijd heeft een belangrijke invloed op angst dus ook die betrekken bij analyse gegevens. Ancova is een analyse van covarianties. Hierbij wordt een covariabele toegevoegd van interval meetniveau.

(Meerweg) Ancova

enkelvoudige ANOVA

• Een afhankelijke variabele (Y)

• Een factor (X)

Meerweg ANOVA

• Een afhankelijke variabele (Y)

• Meer dan een factor (X1,…)

ANCOVA

• Een afhankelijke variabele (Y)

• Een (of meer) factoren (X1,…)

• Een (of meer) covariaten (X2,…)

ANOVA

Model ANOVA zonder interactie, wel met hoofdeffecten.

Zie afbeelding 14

Model ANOVA met interactie

Zie afbeelding 15

Voorbeeld rekenvaardigheid

Onderzoeksvraag

Is er verschil tussen jongens en meisjes (X1) in gemiddelde rekenvaardigheid (Y), gecorrigeerd voor voorbereiding op toets (X2)? Zou aan sekse kunnen liggen, maar kan ook ergens anders aan liggen, bijvoorbeeld de voorbereiding op de toets.

Variabelen

Afhankelijke variabele Y: rekenvaardigheid

Onafhankelijke variabelen X: factor X1, sekse

Covariaat X2: voorbereiding (tijd in uren)

Ancova algemeen

Onderzoeksvraag

Verschillen twee of meer groepen in gecorrigeerde gemiddelden (adjusted means) van een kenmerk? Het gaat niet om de gemiddelden van twee groepen, maar om de gecorrigeerde gemiddelden. Het gaat dan om het verschil tussen deze gemiddelden.

Gecorrigeerde gemiddelden (adjusted means)

• De gemiddelden van Y van de groepen F, gecontroleerd (of gecorrigeerd) voor verschillen van de groepen in de covariaat X.

• Het vergelijken van de groepsgemiddelden, waarbij we er vanuit gaan dat de groepen hetzelfde gemiddelde hebben op de covariaat.

Doel ANCOVA

Een covariaat neem je op in een model, als je wilt corrigeren voor groepsverschillen op de covariaat en/of als de covariaat samenhangt met afhankelijke variabele

Toepassingen

• Bias-correctie (elimination of confounds). Door covariaat op te nemen in model wordt effect van de groep gecorrigeerd voor groepsverschillen in covariaat: eerlijker vergelijking van groepen.

• Error-reductie (reduce within-group error variance). Verkleining van voorspellingsfout e, vergroot kans op significant resultaat: Toename power (onderscheidingsvermogen). Door het toevoegen van een covariaat wordt de voorspelling beter en neemt de error variantie af. Hierdoor is er sprake van een preciezere voorspelling. De power houdt in dat als er daadwerkelijk verschil is tussen de groepen, bij het toevoegen van een covariaat, er een mogelijk verschil tussen de groepen eerder zal worden gedetecteerd in de analyse.

De afhankelijke variabele is rekenvaardigheid. De Factor is sekse waaronder jongen 1 en meisje 2. De covariaat is X (voorbereiding in uren).

Toetsen ANOVA

Er is een verschil in gemiddelden rekenvaardigheid van jongens en meisjes (H0: gemiddelde jongens = gemiddelde meisjes; H1: er is een verschil tussen het gemiddelden van de jongens en de meisjes)

Zie afbeelding 16

Conclusie

Verschil in gemiddelde rekenvaardigheid tussen jongens en meisjes is niet significant, F(1,48) = .31, p = .58

Toetsen ANCOVA

Hypothese 1. Voorbereiding (X) heeft invloed op rekenvaardigheid (H0: Bx = 0; H1: Bx is geen 0). Wanneer de b coëfficiënt 0 is, is er sprake van een horizontale lijn.

Zie afbeelding 17

Conclusie

Invloed van voorbereiding op rekenvaardigheid is significant, F(1,47) = 55.723, p

Hypothese 2. De gecorrigeerde gemiddelden van jongens en meisjes verschillen (H0: gemiddelden adjusted means bij jongens is hetzelfde als bij meisjes; H1 gemiddelden adusted means is bij jongens niet hetzelfde als bij meisjes).

Zie afbeelding 18

Conclusie

Verschil in gemiddelde rekenvaardigheid tussen jongens en meisjes, gecorrigeerd voor voorbereiding, is significant, F(1,47) = 11.95, p = .001.

Van ANOVA naar ANCOVA

We kunnen meerdere conclusies trekken:

• Klein niet significant verschil in gemiddelden rekenvaardigheid: meisjes hoger dan jongens (ANOVA)

• Verschil in gemiddelde voorbereiding tussen jongens en meisjes

• Samenhang tussen voorbereiding en rekenvaardigheid

• Significant verschil in gecorrigeerde gemiddelden rekenvaardigheid: jongens hoger dan meisjes (ANCOVA)

AN(C)OVA als regressiemodel

Modelvergelijking ANOVA: Y= B₀ + B₁D₁ + E

Modelvergelijking ANCOVA: Y= B₀ + B₁D₁ + B₂D₂ + E

Interpretatie

Y = afhankelijke variabele

B0 = intercept

B1 = verschil tussen twee niveaus van factor

D1 = dummy

E = voorspellingsfout

X2 = covariaat

B2 = regressiecoëfficiënt voor X2

Toetsresultaat B’s

Zie afbeelding 19

Ŷ = 4.72 + 0.45 D1 + 0.45 X2

Interpretatie B-coëfficiënten

• Invloed sekse gecorrigeerd voor voorbereiding: b1 = 0.45: er is halve punt verschil tussen jongens en meisjes

• Invloed voorbereiding gecorrigeerd voor sekse: b2 = 0.45: als voorbereiding 1 uur stijgt, dan is de prestatie van de rekenvaardigheid een halve punt hoger.

Aannames AN(C)OVA

1. Meetniveau Y minimaal interval en X’en nominaal.

2. Spreiding (variantie) van residuen per X-categorie gelijk (homoscedastisch / homogeneity of variance). In beiden groepen ongeveer evenveel spreiding rondom het gemiddelde.

3. Residuen per X-categorie normaal verdeeld (normally distributed errors).

4. Onafhankelijkheid van waarnemingen (observaties) bij respondenten (indepencence). De verschillende respondenten moeten random aan condities toegewezen worden.

5. Geen uitbijters (outliers) en ‘te’ invloedrijke respondenten (influential cases).

Extra bij ANCOVA:

6. Covariaat niet van invloed op experimenteel effect.

7. Homogene regressie.

In een multipele regressie en ANCOVA verwachten we een lineaire samenhang bij de afhankelijke variabele en de covariaat. Ook moet de regressie homogeen zijn (homogeneity of regression slopes). Daarbij is er geen interactie-effect factor en covariaat op Y. Hierbij lopen de regressielijnen evenwijdig.

ANCOVA voorbeeld 2

De onderzoeksvraag luidt: is er verschil in prestatie (rekenvaardigheid) tussen dyslectische en ‘normale’ kinderen, als we rekening houden met verschil in voorbereiding? De afhankelijke variabele is de prestatie (rekenvaardigheid). Children is de factor (normaal, dyslectisch). De covariaat is X (voorbereiding).

Hypothese homogene regressie

Hypothese homogene regressie

In de twee populaties (normaal en dyslectisch) is regressie van voorbereiding op prestatie gelijk (homogeen).

Beschrijven homogene regressie

In de twee groepen (normaal en dyslectisch) is de richting van de regressielijnen (voorbereiding op prestatie) evenwijdig. Let op, we willen een niet significant. Want dan geldt dat dit voor die situatie aan de orde is.

Toetsing homogene regressie

Homogene regressie toetsen door toevoeging van interactieterm covariaat en factor aan regressievergelijking.

Modelvergelijking als aanname homogene regressie bij ANCOVA geschonden is:

Y = = B₀ + B₁D₁ + B₂D₂ + B₃D₁X₂ + E

Wanneer lijnen niet evenwijdig lopen en snijden binnen het bereik van de covariaat, is een ANCOVA niet toegestaan. Als het verschil tussen de regressie lijnen een toevallig verschil is, kan ANCOVA wel uitgevoerd worden. Als het een systematisch verschil is kan dit niet.

Zie afbeelding 20

Voorbereiding heeft bij groep ‘normale’ kinderen meer effect dan bij de groep van dyslectische kinderen. Het verschil tussen de gecorrigeerde gemiddelden is dus afhankelijk van voorbereiding (=interactie).

Zie afbeelding 21

Conclusie

Verschil in regressie in de twee groepen is significant, F(1,46) = 4.75, p = .03 ANCOVA is niet toegestaan, er is geen algemene uitspraak mogelijk over het verschil in gemiddelden tussen de dyslectische en de ‘normale’ groep. Wanneer verschil in interactie niet significant was, hadden we wel gebruik kunnen maken van een ANCOVA.

Hoorcollege 4. Herhaalde metingen ANOVA (repeated measures en gemengt (mixed) model ANOVA

De technieken die we tot nu toe gebruikt hebben zijn voornamelijk gericht op het beoordelen van verschillen tussen groepen. Dit onderscheid maken we op basis van de groepsvariabelen. Het onderscheid tussen groepen wordt een tussensubject factor (between subject factor) genoemd. Een andere techniek die we nu gaan bespreken zijn binnenfactoren.

Voorbeeld ontwikkeling motoriek

Onderzoeksvraag

Hoe ontwikkelt zich de motoriek van kinderen met neurologische aandoening?

Variabelen

Aantal metingen van motoriek (Y)

1. Score op motoriek test 1 jaar (=Y1)

2. Score op motoriek test 2 jaar (=Y2)

3. Score op motoriek test 3 jaar (=Y3)

Er zijn meerdere Y’en. Het is wel steeds hetzelfde kenmerk (hier motoriek 3 keer achter elkaar gemeten). Bij herhaalde metingen kan je ook gebruik maken van een t-test. Voor een ANOVA moeten we minimaal twee metingen hebben. Een t-test kan alleen met 1 of 2 metingen. Hier maken we gebruik van 3 metingen, dus gebruiken we een ANOVA.

Analyse techniek

Herhaalde metingen ANOVA. Zelfde groep, zelfde kenmerk, meerdere keren gemeten.

Herhaalde metingen techniek wordt bijvoorbeeld gebruikt om een groep kinderen herhaald te meten op de angst voor sinterklaas. Hierbij maken we gebruik van een binnenfactor. Bijvooreeld wanneer je elke week gaat testen en deze tijd invloed heeft op de uitkomst, wordt dit een binnenfactor genoemd.

Herhaalde metingen vindt je onder andere in: Hoe ziet ontwikkeling er uit in longitudinaal onderzoek? Effect van interventie op gedrag of vaardigheid? Zijn condities (omgeving) bepalend voor vaardigheid? Dus, herhaalde metingen gebruik je wanneer je het zelfde kenmerk meerdere keren wil meten bij een (of meer) groep(en). Veranderen scores over tijd? (metingen op twee of meer tijdstippen). Verschillen scores over condities? (metingen onder twee of meer condities).

Binnensubject factor

Situatie 1: verschillen scores voor kenmerk, herhaald gemeten over tijd, voor een groep respondenten? Binnensubject factor (within subject factor): tijd.

Situatie 2: verschillen scores voor kenmerk, gemeten onder verschillende condities, voor een groep respondenten? Binnensubject factor (within subject factor) conditie. Een tussenfactor maakt echt verschillende groepen (sekse), een binnenfactor onderscheidt eenzelfde groep onder verschillende condities of op verschillende tijdstippen.

Zie afbeelding 22 (herhaalde metingen motoriek)

De factor is de binnensubject factor met drie niveaus (levels) Bijvoorbeeld als er 3 tijdstippen zijn, zijn er 3 levels. De onderzoeksvragen die je kan stellen zijn: Is er een hoofdeffect van de binnensubject factor (tijd)? Als er namelijk verschillen zijn tussen de gemiddelden, betekent dat dat er over de tijd heen iets verandert. Een andere vraag die je kan stellen is: zijn gemiddelden op verschillende metingen verschillend? Als dat zo is, heeft tijd bijvoorbeeld invloed. Je kan je ook voorstellen dat je 2 groepen wilt vergelijken wat betreft hun ontwikkelen. Ontwikkelen jongens zich anders dan meisjes? Dat betekent dat je een tussenfactor sekse toevoegt. Dit gemengde model zie je hieronder (mixed model). Dat betekent dat je zowel binnensubject als tussensubject factoren hebt.

Zie afbeelding 23

Contrasten

Bij herhaalde metingen gaat het om het meten van verschillen. Deze verschillen noemen we contrasten.

Vergelijken van twee gekoppelde waarnemingen

Stel we hebben een test naar de aanmoedinging op iemands prestatie. Hierbij doen we twee testen, voor en na. Het is een effectonderzoek naar invloed van aanmoediging op prestatie. Bepaal verschilscore (contrast) tussen waarnemingen (m1, m2): d = m2-m1. Je kan hier een t-toets voor de gemiddelde verschil score d (paired t-test) gebruiken.

Meer dan twee gekoppelde waarnemingen

Een longitudinaal onderzoek naar ontwikkeling van de motoriek kinderen met neurologische aandoening. Bepaal de erschilscores (contrasten) tussen waarnemingen (m1, m2, m3):
d2-1 = m2 – m1

d3-2 = m3 – m2

d3-1 = m3 – m1

Hier wordt een F-toets voor alle contrasten (d’s) tegelijkertijd gebruikt. Het is een algemene toets die een uitspraak doet of er verschillen zijn. Als d niet gelijk is aan 0, betekent het dat er verschillen zijn tussen de metingen.

Aannames variantieanalyse

1. Onafhankelijkheid van waarnemingen (observaties) bij respondenten (independence)

2. Minimaal interval meetniveau Y en X’en nominaal en als het een covariaat betreft minimaal interval meetniveau

3. Residuen per X-categorie normaalverdeeld (normally distributed errors)

4. Spreiding (variantie) van residuen per X-categorie gelijk (homoscedastisch/homogeneity of variance)

5. Geen uitbijters (outliers) en te invloedrijke respondenten (influential cases)

6. Homogene regressie (specifiek voor ANCOVA). De regressielijnen lopen parallel.

7. Sfericiteit (specifiek voor herhaalde metingen).

Sfericiteit (sphericity)

Dit heeft te maken met de spreiding van verschilscores. Als we meerdere metingen hebben, hebben we meerdere contrasten, dus meerdere verschillen tussen metingen. Bij sfericiteit veronderstellen we dat de spreiding van de verschilscores hetzelfde is. Dit kan je beoordelen door te kijken naar de varianties. MS2-1 ≈ MS3-2 ≈ MS3-1. Er is en toets voor de aanname van sfericiteit, namelijk de Mauchly’s W toets voor sfericiteit. Deze kijkt naar H0: sfericiteit aanwezig. Als p

Zie afbeelding 24

De varianties van de verschilscores moeten gelijk zijn. De verschillen mogelijk wel verschillen. Dat is hier het geval. MS2-1 ≈ MS3-2 ≈ MS3-1. Aanname sfericiteit is niet geschonden. De herhaalde metingen ANOVA met aanname sfericiteit kan uitgevoerd worden.

Zie afbeelding 25

Gaat om 3 scores. Voor de verschilscores van de eerste twee metingen kan je verschilscores geven. Zie kolom 2-1. De deviatie hier is het verschil tussen het gemiddelde en het verschil tussen de eerste twee metingen. Zie kolom d2-1. Voor de eerste meting is het verschil 4, het gemiddelde 3 en dus d2-1 = 1. Hier: MS2-1 = 2.00 en MS3-2 = 0.89. Er is een verschil wat betekent dat de aanname van sfericiteit is geschonden. Je kan nog steeds een herhaalde metingen ANOVA doen, moet je een aanpassing doen aan de vrijheidsgraden doen. Dit is echter niet belangrijk om nu uit te leggen en ook niet voor tentamen.

Schending sfericiteit

Bij sfericiteit

Als Mauchly’s toets niet significant (p > .05), is aanname sfericiteit niet geschonden: toets voor effect binnenfactor (test of within subjects effects) met aanname sfericiteit (sphericity assumed).

Bij schending sfericiteit

Als Mauchly’s toets wel significant (p

Voorbeeld coöperatief leren

Experiment

Effect van lesmethode cooperatief leren op ontwikkeling van spellingsvaardigheid in het basisonderwijs, met een experimentele en controle groep.

Onderzoeksvraag 1

Verandert spellingsvaardigheid (ongeacht groep)?

Binnensubject factor (bs)

Spellingsvaardigheid met vier herhaalde metingen:

1. Spelling midden eerste jaar onderzoek

2. Spelling einde eerste jaar onderzoek

3. Spelling midden tweede jaar onderzoek

4. Spelling einde tweede jaar onderzoek

Zie afbeelding 26

We moeten beoordelen of groepsgemiddelden van elkaar verschillen of dat deze verschillen te verwaarlozen zijn. Nu moeten we de aanname van sfericiteit controleren.

H0: sfericiteit

H1: geen sfericiteit

Zie afbeelding 27

We kijken hier naar Mauchly’s W en naar Sig. De varianties van verschilscores zijn gelijk; aanname sfericiteit is niet geschonden, Mauchly’s W = .03, p = .09. Herhaalde metingen ANOVA met aanname sfericiteit (sphericity assumed).

Nu moeten we het effect van de binnensubject factor toetsen.

H0: gemiddelden op spelling zijn gelijk

H1: Gemiddelden op spelling verschillen

Zie afbeelding 28

Verschil in gemiddelden van spellingstoetsen is significant, F (3, 1446) = 623.31, p

Kwadratensommen (SS)

SSt totaal:

• SSb tussen (verschil tussen personen, niet tussen groepen, spreiding persoonsgemiddelen)

• SSw binnen (binnen personen)

• SSm model

• SSr residual

Afhankelijk van het tijdstip kan je een voorspelling doen voor iemand. Dit is SSm. Een voorspelling is echter nooit perfect. Dit is SSr.

Zie afbeelding 29

Dit is de kwadratensom totaal (SSt). De spreiding van de testscores rondom het algemeen gemiddelde. Hier pikken we er ongeveer 8 uit.

Zie afbeelding 30

Dit is de kwadratensom tussen (SSb). Neem de rode lijn als voorbeeld (persoon 6). Een individu heeft een gemiddelde. Dat gemiddelde heeft ook een afwijking ten opzichte van het algemene gemiddelde. Dit geldt voor alle personen. Dit is de SSb: de spreiding van persoonsgemiddelden rondom het algemene gemiddelde.

Elke persoon heeft spreiding rondom het gemiddelde. SSw is de spreiding van de scores rondom persoonsgemiddelden. Er is een gemiddelde afname, dit is het effect van binnensubject factor (SSm). De voorspelling is niet perfect en er zal een foutje optreden. Dit is de SSr.

F-ratio bij herhaalde metingen

Zie afbeelding 31

MSm = door model verklaarde variantie in testscores; afname of toename van individuele scores verklaard door effect van de binnensubject factor.

MSr = onverklaarde variantie (residuen of error); individuele afwijking van de binnensubject factor.

Voorbeeld coöperatief leren

Onderzoeksvraag 2

Verschilt ontwikkeling in spellingsvaardigheid tussen experimentele groepen

Deelvragen

1. Worden leerlingen beter in spelling?

2. Is er een verschil in spelling tussen de experimentele en controle groep?

3. Is er een verschil in ontwikkeling tussen de experimentele en controle groep?

Variabelen

Binnensubject factor: tijd (bs1) met vier niveaus. Zie afbeelding hieronder. Op elk tijdstip zijn er twee metingen.

Tussensubject factor: groep (ts1) met twee niveaus

Zie afbeelding 32

Het hoofdeffect van de binnensubject factor tijd (bs1) gaat om het gemiddelde van de 4 metingen ongeacht de groep.

Het hoofdeffect van de tussensubject factor groep (ts1) zegt of er verschillen zijn in het gemiddelde tussen de twee groepen.

Interactie-effect tijdxgroep (bs1xts1). Is er voor de ene groep een andere ontwikkeling (spreiding in gemiddelden) dan in de andere groep. Als dat zo is kan je de ontwikkeling afhankelijk maken van de groep waarin je zit en is er sprake van een effect van het experiment.

Deelvragen

1. Worden leerlingen beter in spelling?

2. Is er een verschil in spelling tussen de experimentele en controle groep?

3. Is er een verschil in ontwikkeling tussen de experimentele en controle groep?

Hypothesen

H0: gemiddelden in spelling zijn gelijk (geen hoofdeffect tijd)

H0: gemiddelden in spelling zijn gelijk (geen hoofdeffect groep)

H0: het verschil in gemiddelden tussen beide groepen zijn bij de verschillende afnames aan elkaar gelijk (geen interactie-effect tijdxgroep). Lijnen lopen dan parallel.

Zie afbeelding 33

Op elk tijdstip verschillen de groepen op het gebied van spelling. Die verschillen worden wel ietsje kleiner. We moeten nu de aanname van sfericiteit controleren.

Zie afbeelding 34

Zoals in de bovenste SPSS output kunnen zijn zijn de varianties van verschilscores gelijk; aanname sfericiteit is niet geschonden, van Mauchly’s W = .02, p = .09.

Zie afbeelding 35

We kunnen hier twee conclusies uit trekken.

De gemiddelden op spellingstoetsen verschillen significant, F(2,1443) = 612,18, p

Interactie-effect niet significant, F(3, 1443) = 2.01, p = .11

Zie afbeelding 36

Hier is te zien dat de experimentele groep en controlegroep verschillen niet significant, want F(1,481) = 1.49, p = .22

Hoorcollege 6

Definitie

1. Looking for meaning: Op welke manier geven mensen betekenis aan hun omgeving?

2. Flexible methods enabling contact: Fenomeen onderzoeken vanuit perspectief respondenten.

3. Providing qualitative findings: Beschrijven en verklaren fenomeen.

Kwalitatieve dataverzameling

Voorbeelden van kwalitatieve dataverzameling zijn semigestructureerde of open interviews, groepsinterviews, stimulated recall interviews, hardop-denk protocollen, observaties, delphi-studies, analyse van logboeken, documenten etc en analyse van sociale interacties en verbale data.

Kenmerken kwalitatief onderzoek

Kwalitatief onderzoek vindt altijd in het veld plaats. Je treedt in contact me de deelnemers uit je onderzoek. Daarom is het een intensieve en langdurige manier van onderzoek doen. Onderzoekers kiezen vaak voor een kwalitatief onderzoek wanneer ze nog niet zoveel over het onderzoek weten. Dit hoeft echter niet. Daarnaast wordt er gebruik gemaakt van weinig gestandaardiseerde meetinstrumenten. Je zal zelf iets moeten ontwikkelen. De meetinstrumenten die je gebruikt (bijvoorbeeld een interview) kan nog wijzigen tijdens het onderzoek. De woorden in je onderzoek moet je analyseren. Om daar een patroon in te herkennen, moet je kijken naar terugkerende thema’s. Bij kwalitatief onderzoek gaat het vaak om de interpretatie van de onderzoeker. Het is maar de vraag of iedereen dezelfde interpretatie halen uit dezelfde data. Dat is altijd een van de valkuilen van kwalitatief onderzoek.

Voordelen kwalitatief onderzoek

Omdat je de klas in gaat, met docenten en leerlingen spreekt, gaat het om echte data: het is vaak real life en rijk. Door gestandaardiseerde meetinstrumenten verlies je vaak wat informatie. Dat is hier niet het geval. Doordat het proces vaak langdurig is, je observeert bijvoorbeeld meerdere keren of je interviewt iemand meerdere keren, zijn de processen inzichtelijk. De functie van kwalitatief onderzoek is meestal aan het begin, wanneer er nog niet zoveel theorie is. Het kan wel theorie en hypothesen ontwikkelen. Vroeger werd kwalitatief en kwantitatief als twee gescheiden werelden gezien. Tegenwoordig wordt de meerwaarde van het combineren van deze twee gezien.

Analyse kwalitatieve data

• Case study

• Etnografie. Er wordt dan echt deelgenomen in het onderzoek (bijvoorbeeld naar een stam in afrika gaan om te kijken hoe het leven daar is, of infiltreren in een groep hooligans om te kijken hoe dat gaat)

• Grounded theory (college 6)

• Systematische analyse (college 7)

• Mixed method onderzoek (college 8)

Grounded theory

Deze methode is ontwikkeld door Glaser en Strauss. Het was een reactie op wat er op dat moment gebeurde op de universiteiten. Het was een reactie op het experimenteel onderzoek toen en ‘grand theories’ zonder bewijs. Het onderzoek ontstond in laboratoria maar kwam haast niet de klas in. Hun idee was, was dat als je sociale fenomenen wilt onderzoeken, dat niet in een laboratorium kan. Daarvoor is kwalitatief onderzoek nodig. Ze vonden echter dat er dan niet echt een theorie ontstond. Daarom wilden ze voor kwalitatief onderzoek een net zo systematische aanpak als bij kwantitatief onderzoek. Dit heet de grounded theory methode. De theorie is gebaseerd op de data die je verzameld hebt.

Terugkerende vragen

• Welke patronen keren telkens terug?

• Helpen deze patronen mijn onderzoeksvraag beantwoorden?

• Zijn er deviaties van deze patronen?

• Hoe zijn deze deviaties te verklaren?

• Welke interessante verhalen komen naar voren?

• Helpen deze verhalen mijn onderzoeksvraag beantwoorden?

• Is er aanvullende data nodig?

• Bevestigen mijn bevindingen ander onderzoek? Hoe kunnen verschillen verklaard worden?

Stappenplan

1. Uiteenrafelen (segmenting)

   1. Open coderen

   2. Axiaal coderen

2. Structureren (reassembling)

   1. Selectief coderen

Open coderen

Dit is het begin van de analyse. Je gaat het transcript lezen en dit opdelen in fragmenten. Elk fragment krijgt een label met een (voorlopige) code. Er ontstaat dan een lijst met allemaal codes. Dat noemen we een codeboom. Er zijn verschillende soorten codes. Er zijn in-vivo codes: afkomstig uit de data. Constructed code: afkomstig uit de literatuur. Een lastige vraag is: wanneer heb je nou genoeg gegevens verzameld? Bijvoorbeeld bij kwantitatief onderzoek is het wanneer je voldoende statistische power hebt om een ANOVA uit te voeren. Dit heet bij kwalitatief onderzoek saturatie. Dat betekent dat met de lijst codes die je hebt volgende interviews goed kan coderen. Nieuwe gegevens leiden niet meer tot veranderingen in de codeboom. Hieronder een voorbeeld van een codeboom.

Zie afbeelding 37

Axiaal coderen

Je gaat kijken of er verbanden zijn tussen de verschillende codes. Of er overeenkomsten zijn, verschillen of systematiek. Het is belangrijk om de belangrijke elementen te bepalen. Dit doe je door codes te clusteren. Hierdoor wordt de codeboom gereduceerd. Er wort nieuwe data verzamelt om ideeën te toetsen. Codes moeten worden geordend ten opzichte van elkaar. Het is belangrijk om hoofd- en subcodes te bepalen. Dit levert een nieuwe codeboom op. Hieronder de bovenste codeboom, maar na het axiaal coderen.

Zie afbeelding 38

Afwisseling dataverzameling en –analyse

Bij kwalitatieve data wordt het verzamelen en het analyseren van data afgewisseld. Bijvoorbeeld, ik heb alleen maar mannen geïnterviewd. Zou ik niet ook vrouwen in het onderzoek betrekken? Dit doe je tot je het idee hebt dat je voldoende gegevens hebt en er geen nieuwe informatie bij komt (saturatie).

Selectief coderen

Dit is de fase waarin je alles bij elkaar brengt en waar je tot de theorie komt (grounded theory methode). Het belangrijkste is dat je opzoek gaat naar de kerncategorie. Op basis van die kerncategorie ga je alle codes ordenen. Dit leidt tot een theorie. Hieronder een voorbeeld.

Zie afbeelding 39

Kenmerken grounded theory

• Theoretische selectie. Het kiezen van je deelnemers gaat hier anders dan bij een kwantitatief onderzoek. Daar gebeurt het vaak aselect omdat de steekproef dan generaliseerbaar is naar een grotere groep. Bij kwalitatief onderzoek zijn we vaak opzoek naar hele specifieke deelnemers. Dat heeft te maken met saturatie. Je toont dan aan dat je geen nieuwe data meer hoeft te verzamelen. Het is dus belangrijk dat je op zoek gaat naar deelnemers waarvan je verwacht dat ze niet zullen passen in je codeboom.

• Constante vergelijking. Je bent steeds aan het vergelijken. Zowel data, maar ook de codes die bij elkaar horen.

• Kerncategorie. Codes zijn met elkaar verbonden en de kerncategorie is met alle codes verbonden. Ook komt deze code vaak voor. Ook is het een logische en consistente verklaring. Het verklaart ook wanneer omstandigheden veranderen.

• Ontwikkeling van theorie. Het einddoel is dat je een theorie hebt die gebaseerd is op de data. Dit is niet zo’n grote theorie die geldt voor grote groepen leerlingen. Dit is een ‘middle range’ theorie.

• Gebruik van memo’s. Deze zijn geschreven tijdens het onderzoek. Je schrijft op waarom je bepaalde beslissingen neemt, waaroom je bepaalde codes toekent, ideeën. Is vooral voor de verslaglegging: welke beslissing zijn genomen en waarom? Op die manier is het ook duidelijk of er nog vragen zijn, of je al op de goede weg bent en voor reflectie.

Voordelen grounded theory

Het is een aantrekkelijk manier voor ‘beginners’. Je kan er namelijk meteen mee aan de slag. Het is een systematische manier van analyseren. Een gedetailleerde analyse is mogelijk. Ook de afwiseling tussen de dataverzameling en de analyse is fijn.

Nadelen grounded theory

Je hebt erg veel data waardoor je als het ware kan verdrinken in de data. Ook is het grote geheel vaak moeilijk te zien en is het erg tijdrovend. Ten slotte is de stap van codes naar de kerncategorie groot.

Hoorcollege 7

Bij verbale data kan je denken aan interviews en interactie. Het analyseren van verbale data is relatief oud.

Voorbeeld 1: Simon/Ericsson/Newell

Zij waren geïnteresseerd in de strategieën van experts. Om erachter te komen hoe experts of leerlingen problemen oplossen, kwamen zij op de methode van het hardop denken. Ze confronteerden de proefpersonen met een ingewikkelde taak. Ze moesten dit oplossen en hierbij moesten ze zeggen wat ze dachten (‘ik denk dat ik nu even verder ga kijken op bladzijde 2 want daar kan iets relevants staan’). Dit wordt dan geanalyseerd. Stap 1: taakanalyse, stap 2: analyse van protocol.

Een bekend probleem dat hierbij gebruikt wordt zijn de missionarissen en kannibalen. Hierbij zijn er 3 missionarissen en 3 kannibalen. Per boot moeten ze naar de andere oever. Er kunnen 2 personen in een boot. Beperkingen: kannibalen

Voorbeeld 2: coöperatief leren

In de jaren 70 en 90 is er een effectonderzoek naar coöperatief leren gedaan. Het nadeel van een effectonderzoek is dat je niet weet hoe oorzaken tot stand zijn gekomen. Samenwerking werd gezien als een black box, je stopt er iets in en er komen prestaties uit. In dit onderzoek wordt de interactie geanalyseerd. Wat gebeurt er nou precies en zitten er dingen in wat kan verklaren waarom ze zoveel leren? Dus, welke interactieprocessen dragen bij aan leerprestaties?

Systematische analyse (CHI, 1997)

1. Protocollen reduceren (optioneel)

2. Protocollen segmenteren

3. Codeerschema ontwikkelen

4. Codes operationaliseren

5. Gecodeerde data visueel weergeven (optioneel)

6. Zoeken naar patronen in de data

7. Patronen en validiteit interpreteren

Uitgewerkt voorbeeld

Voorbeeld gaat over coöperatief leren. Leerlingen worden ingedeeld in duo’s. De experimentele (12) en controle (8) duo’s worden vergeleken. Het onderzoek is een combinatie van kwalitatieve en kwantitatieve analyse. Chi is bedoeld om van kwalitatieve gegevens kwantitatieve gegevens te maken. De kinderen werden opgenomen op video. Daarbij is gekeken naar wat ze zeiden, maar ook het non-verbale gedrag. De focus lag op de uitleg vragen en geven.

1. Protocollen reduceren

Bij de grounded theory is het een afwisseling tussen verzamelen en analyseren. Bij de huidige manier is het gebruikelijk dat de data in een keer verzameld wordt en verzamelen en analyseren niet afgewisseld wordt. Er zijn 3 manieren: random sampling, willekeurig criterium (bijvoorbeeld de eerste 10 minuten analyseren) en geheel oppervlakkig, gedeelte gedetailleerd (eerst globaal, en dan een paar protocollen gedetailleerder benaderen). Deze drie manieren heeft niet de voorkeur. De kans is namelijk aanwezig dat je belangrijke informatie mist.

2. Segmenteren

Hierbij moet je nadenken over de analyse-eenheid van je onderzoek. Wat is nou hetgene war je op wil letten in je onderzoek. Bij het kiezen van je analyse-eenheid zijn er drie afwegingen: 1 grootte van de segmenten (granulariteit), 2 granulariteit moet passen bij onderzoeksvragen (correspondentie), 3 wanneer segmenteren? Een mogelijkheid is om te segmenteren op het gebied van beurtwisseling. Een nadeel hiervan is dat een lang segment even zwaar telt als een segment van bijvoorbeeld 2 woorden. Je zou het ook op kunnen delen in zinnen. Elk segment is 1 zin. Een laatste mogelijkheid is het segmenteren op het gebied van betekenisvolle eenheid.

3. Codeerschema ontwikkelen

Het codeerschema wordt ontwikkeld op basis van de onderzoeksvraag en de literatuur. Deze manier is top-down. Maar soms ook aanpassing aan data (bottom-up). Vaak afwisseling tussen top-down en bottom-up. Het is lastig om een perfect codeerschema te maken alleen op basis van de literatuur. Meestal moeten er codes verwijderd of juist toegevoegd worden. In principe kan je codeerschema zo groot zijn als je zelf wil. In de praktijk is een codeerschema van 20 a 25 codes bijna niet haalbaar.

4. Codes operationaliseren

Dit is voor jezelf de vraag beantwoorden wanneer je de codes die je bedacht hebt gaat toekennen. Hierbij ga je definities en omschrijvingen verduidelijken. Dit doe je door uitbreiding van het codeerschema met voorbeelden en regels en afspraken. Je komt er dan achter dat sommige segmenten ambigu zijn. Je kan het dus op meerdere manieren interpreteren. Daarom is het van belang om duidelijke regels en afspraken te maken. Ook moet je je afvragen hoeveel context je meeneemt in je segmenten.

Interrater reliability

Dit gaat over de mate van overeenstemming. Veel gebruikt: percentage overeenstemming (>80%), het aantal overeenstemming: totaal gecodeerde uitspraken. Cohen’s Kappa (>.60). Bij de Cohen’s Kappa liggen de waarden tussen 0 en 1. Bij 1 coderen de beoordelaars alles hetzelfde, bij 0 niks hetzelfde. Deze manier houdt rekening met toevallige overeenstemming. Voorbeeld: Elke code is beschreven en gedefinieerd. Er worden voorbeelden ter verduidelijking gegeven. Er vond overleg plaats en er werden afspraken gemaakt. Vergelijking tussen codeurs leidde tot verfijning. Leercurve: 40 uur. Er zijn 3 protocollen afzonderlijk gecodeerd. Er was 94% overeenstemming, Cohen’s Kappa: .92.

5. Data visueel weergeven

Dit is een optionele stap. Zijn er patronen te vinden in de data? Dit kan op een eenvoudige wijze: tabellen met frequenties of grafieken met frequenties. Het kan ook op een geavanceerde wijze: met een netwerk of een concept map. De keuze hangt af van de onderzoeksvraag.

6. Patronen in data zoeken

Hierbij kan je kijken of de patronen ook betekenisvolle patronen zijn. Hier zetten we de stap van puur kwalitatieve gegevens naar kwantitatieve gegevens (bijvoorbeeld tellen, percentages weergeven). Eventueel verbanden (correlatie) of verschillen (ANOVA) toetsen. Dit is een sequentiële analyse.

7. Patronen en validiteit interpreteren

De onderzoeksvraag wordt beantwoord. Hypothesen bevestigd? Validiteit: Verschillen patronen tussen groepen deelnemers (bv. Man-vrouw) volgens verwachting? Protocollen opnieuw coderen: zelfde patronen?

Belangrijk om de verschillen en overeenokmsten tussen ground theory en deze methode? Gebruik van theorie, manier van coderen, analyse van resultaten.

Hoorcollege 8

Sequentiële analyse

Er vindt vooral codering plaats waarna er geteld wordt. Hoe vaak komen deze gedragingen voor. Hierdoor heb je geen inzicht in het proces waardoor je oorzaak en gevolg kwijt raakt. Het voorspelt en verklaart niet echt. Sequentiele analyse probeert met deze kritiek rekening te houden en geeft meer zicht op het verloop van het proces. Ook de totstandkoming van het proces wordt inzichtelijk. Met de sequentiële analyse kan je een aantal vragen beantwoorden. Je vraagt niet naar frequenties, maar naar patronen. Veel voorkomende patronen? Volgt na een vraag ook een uitleg? Hoe wordt op tegenargumenten gereageerd? Welke oplossingsstrategieën worden gecombineerd.

Eerst heb je de hoeveelheid onderdelen in een code nodig.

Zie afbeelding 40

Hier is te zien wat er gebeurt, en wat er daarna gebeurt. Bijvoorbeeld, na een argument kwam 3 keer nog een argument. Na een argument kwam 101 keer een tegenargument. Komen de sequenties vaker of minder vaak voor dan te verwachten is?

Zie afbeelding 41

In de bovenstaande tabel zijn de z-scores van de data gegeven. Z 2.32: vaker. Hier kan je bijvoorbeeld zijn dat na een argument vaker dan je mag verwachten een tegenargument volgt. Dit is een manier om te kijken of bepaalde patronen aanwezig of juist afwezig zijn.

Iemand geeft een argument. De grootste kans is dat daar een tegenargument op volgt. Het meest waarschijnlijke is dat hier uitleg op volgt en daarna bewijs. Dit proces kan je aangeven door middel van een transitiediagram. Zie diagram op de volgende pagina. Een nadeel hiervan is dat je niet van de inhoud weet. Ook is een nadeel dat je steeds maar 1 stapje verder kijkt. Vaak is het ook interessant om meerdere stapjes verder te kijken. Wat je ook kan doen is kijken of patronen verschillen tussen groepen.

Zie afbeelding 42

Paradigma’s

Vroeger waren kwantitatief en kwalitatief twee kampen. Je werd op een van de manieren opgeleid. Het waren verschillende paradigma’s. Dit is een beetje vreemd, aangezien het verstandig is om het kwantitatieve en het kwalitatieve te combineren om bepaalde onderzoeksvragen te kunnen begrijpen. De overeenkomsten tussen kwantitatief en kwalitatief onderzoek is dat je bepaalde stappen doorloopt om de validiteit en de betrouwbaarheid te waarborgen. Ook vormen data de basis waarop je stappen gaat doorlopen. In de jaren 80 kwam de realisatie om kwantitatief en kwalitatief onderzoek kan zien als twee gescheiden werelden, maar als continuüm waarin er een tussengebied is waarin mengvormen aanwezig zijn. Dat tussengebied noemen we mixed methods onderzoek. Er zijn twee redenen waarom onderzoekers kiezen voor een mixed methods onderzoek. Wanneer je mixed methods onderzoek goed inzet, kan je van zowel kwalitatief als kwantitatief de sterke kanten kan benutten en de zwakke punten te ondervangen. Dus, de voordelen:

• Onderzoeksvragen beter kunnen beantwoorden.

• Sterke kanten benutten.

• Kwalitatief onderzoek wordt niet altijd geaccepteerd. Dit is een pragmatische keuze.

Vijf doelen mixed methods

1. Trianguleren

   1. Hierbij kijk je of beide vormen van onderzoek dezelfde conclusies opleveren (bevestigen).

2. Complementeren

   1. Hierbij gaat het om het aanvullen, verduidelijken, illustreren door de beide manieren van onderzoek te combineren. Het doel is om beter te begrijpen.

3. Initiëren

   1. Tegenstrijdigheden ontdekken, zorgen voor nieuwe vragen.

4. Ontwikkelen

   1. Resultaten uit methode A, helpen bij ontwikkeling B. Stel, je bent geïnteresseerd over de opvattingen van docenten over lesgeven. Onderzoekers kiezen er dan voor om een groepje docenten te interviewen om te zien wat bepaalde thema’s en patronen zijn. Daarna gaan onderzoekers de vragenlijst bijvoorbeeld uitbreiden.

5. Uitbreiden

   1. Reikwijdte vergroten.

Triangulatie

Wordt gezien als de validiteit van je gegevens. Beide vormen van onderzoek zorgen voor dezelfde conclusies. Het is echter lastig om volledige triangulatie te bereiken. Verzamelen van de ene vorm van data, vermindert zwakte van andere vorm van data.

Om dit duidelijk te maken kan je kijken naar een radio telescopen metafoor. Radio telescopen die luisteren allemaal naar een verschillend stukje in de ruimte, voor verschillende signalen uit de ruimte. Ze willen weten of die telescopen goede informatie geven. Daarom overlappen ze een stukje. Door in dat overlappende stukje te kijken, zie je of de verschillende telescopen dezelfde informatie verkrijgen. Dat stukje is in onderzoek doen triangulatie.

Soorten triangulatie

1. Datatriangulatie

   1. Verschillende informatiebronnen gebruiken. Bijvoorbeeld bij het kijken waarom leerlingen gedemotiveerd raken in de brugklas, kan je de leerlingen vragen, maar kan je ook de docenten en de ouders vragen.

2. Onderzoekerstriangulatie

   1. Meerdere onderzoekers inzetten. Dit zegt vooral iets over de betrouwbaarheid.

3. Theoretische triangulatie

   1. Meerdere theoretische perspectieven hanteren.

4. Methodologische triangulatie (meest gebruikte in mixed methods onderzoek)

   1. Meerdere onderzoeksmethoden gebruiken.

Notatiesysteem mixed methods designs

Belangrijk om te kijken hoe de kwantitatieve en de kwalitatieve componenten zich verhouden ten opzichte van elkaar. Ook moet je kijken of je het tegelijk doet, of opeenvolgend doet.

Zie afbeelding 43

+ = gelijktijdig,  = opeenvolgend, HOOFDLETTERS = hogere status, kleine letters = lagere status.

Design 1: Triangulatie

Dit is echt gericht op het aspect van triangulatie. We willen vaststellen of de conclusies van de beide soorten van onderzoek gelijk zijn. Daarbij moeten ze een gelijke status hebben. Combinatie van resultaten: leiden beide soorten onderzoek tot hetzelfde resultaat?

Zie afbeelding 44

Design 2: Ingebouwd

Hierbij is de status niet gelijk Dit doen we door kwalitatieve data te verzamelen om de kwantitatieve data aan te vullen. Beide vormen van onderzoek vinden gelijktijdig plaats.

Zie afbeelding 45

Design 3: Verklarend

Hierbij heeft kwantitatief de hoogste status. Eerst kwantitatief, dan kwalitatief. Kwalitatief verfijnt resultaten kwantitatief.

Zie afbeelding 46

Design 4: Explorerend

Hierbij heeft kwalitatief onderzoek de hoogste status. Eerst vindt er kwalitatief onderzoek plaats, dan kwantitatief. Voortborduren of verklaren.

Zie afbeelding 47

Het is belangrijk om deze designs met de vijf doelen van mixed methods onderzoek te kunnen combineren.

Onderzoeksethiek

Etische principes

De autonomie van de deelnemer van het onderzoek moet gewaarborgd zijn. Daarbij is het ook belangrijk dat het uitgangspunt moet zijn dat onderzoek de deelnemer fysiek of geestelijk geen kwaad doet (bij het Millgram experiment wordt dit beschadigd). Informed consent is dat je de deelnemers aan je onderzoek vertelt wat er gaat gebeuren, wat de implicaties zijn en dat de deelnemers dan ook toestemming geven om deel te nemen aan het onderzoek en dat ze het er mee eens zijn. Nadeel hiervan is dat als je de deelnemers veel details geeft van het onderzoek, kan dit hun gedrag beïnvloeden. Een ander concept is privacy wat uiteenvalt in twee aspecten. Enerzijds anonimiteit en anderzijds vertrouwelijkheid. Anonimiteit is dat de deelnemer niet te herleiden is. Vertrouwelijkheid is dat er vertrouwelijk met je gegevens om gegaan wordt. Bijvoorbeeld dat je gegevens niet aan je collega geeft.

Onethisch gedrag

Plagiat is een voorbeeld van onethisch gedrag. Ook data fabriceren (Diederik Stapel) en onjuist representeren valt onder onethisch gedrag. Vaak heeft dit verstrekkende gevolgen. Een voorbeeld is een hoogleraar die heeft gezegd dat er een verband is tussen je kind in laten enten en autisme. Hierdoor hebben veel ouders ervoor gekozen om hun kind niet in te enten. Echter, deze data was verzonnen.

Redenen

• Competitie tussen onderzoekers

• Competitie voor subsidie

• Publish or perish

Spanningsveld kwalitatief onderzoek

Door het onderzoek bouw je als het ware een relatie op met de deelnemers. Je bouwt vertrouwen op. Hierdoor kunnen er meer gevoelige onderwerpen en gedetailleerde beschrijvingen boven water komen.

bijlage_onderwijskundig_onderzoek_1.pdf