College-aantekeningen bij MTS 2 aan de Universiteit Utrecht - 2015/2016

College 1: Review en correlatie

Gravetter en Wallnau hoofdstuk 15

De sociale wetenschappen onderzoeken hoe mensen zich gedragen, waarom ze doen wat ze doen, wat ze denken en waarom ze dat denken. Als je onderzoek gaat doen op dit gebied, krijg je altijd te maken met mensen. Belangrijk is dan dat je weet hoe je deze mensen moet behandelen, en wat daarbij wel of niet geoorloofd is. Daarna ga je pas kijken naar de manier waarop je data kan verzamelen en hoe je de data kan analyseren.

Als je een onderzoek gaat doen volg je de volgende stappen:

1. Onderwerp kiezen

2. Onderzoeksvraag formuleren

3. Operationaliseren

4. Methode kiezen

5. Hypothesen opstellen

6. Techniek kiezen

7. Data analyseren

8. Conclusies trekken.

In de cursus MTS 2 komen verschillende nieuwe onderzoeksmethoden aan de orde. Bij een survey stel je vragen aan mensen over gevoelens, opinies en ervaringen. Bij een experiment probeer je verschillen of relaties aan te tonen door manipulatie. Wanneer je mensen in de natuurlijke setting gaat observeren, is er sprake van kwalitatief onderzoek. Tot slot kun je ook gebruik maken van bestaande gegevens in je onderzoek. Bij deze nieuwe onderzoeksmethoden horen ook nieuwe statistische technieken. Bij een survey wordt vaak de correlatietechniek gebruik en bij experimentele data wordt de variantieanalyse gebruikt.

Het herkennen van het meetniveau en de variabelen is erg belangrijk. In een correlatiestudie wordt er gekeken of er een relatie is tussen twee variabelen. Bijvoorbeeld of er een relatie is tussen het aantal uren dat je voor het tentamen leert en je tentamen cijfer. Of is er een relatie tussen het aantal Facebook-vrienden en de studiecijfers? Dit kan worden beantwoord aan de hand van een correlatiestudie.

Deze studies kijken naar lineaire relaties tussen twee variabelen. Deze relatie wordt beschreven aan de hand van een correlatiecoëfficiënt voor de sterkte, richting en significantie van de correlatie. Er bestaan twee vormen, namelijk 2 variabelen van interval/ratio meetniveau wat de Pearson correlatie genoemd wordt. 2 variabelen van ordinaal meetniveau wordt de Spearman correlatie genoemd.

Bij een correlatiestudie wordt er alleen bekeken of er een relatie is en niet of de ene variabele de andere variabele beïnvloedt of veroorzaakt.

Als we naar een correlatie gaan kijken moet er eerst een grafiek gemaakt worden van de data. Er moet een spreidingsdiagram gemaakt worden. Wanneer deze diagram is gemaakt, moet er gekeken worden naar de vorm van een relatie; is het lineair of is het een kromme? Daarnaast moet er gekeken worden naar de richting van de relatie; is deze positief of negatief? Een positieve richting betekent dat wanneer de X-variabele toeneemt, de Y-variabele ook toeneemt. De twee variabelen bewegen dus in dezelfde richting. Een negatieve relatie geeft bijvoorbeeld een toename in de X-variabele en een afname in de Y-variabele. De twee variabelen bewegen in tegengestelde richting.

Pearson

De Pearson correlatie meet de sterkte en de richting van het lineaire verband tussen twee variabelen op het interval/ratio meetniveau. Het gaat dus alleen over een lineaire relatie. De correlatie wordt aangeduid met een r. r neemt waardes aan tussen de -1 en +1. Het teken van de correlatie geeft de richting aan. Het teken moet dus ook altijd genoteerd worden. De waarde van de correlatie geeft de sterkte aan:

• Waarden die dicht bij 0 liggen geven een zwakke relatie aan.

• Waarden die dicht bij +1 of -1 liggen, geven een sterk verband aan.

• Een waarde van nagenoeg 1 geeft een vrijwel perfect lineair verband aan.

In de collegeslides staan op de 25^e slide duidelijke voorbeelden hierbij.

De Pearson correlatie meet hoeveel de spreiding van X en de spreiding van Y een gezamenlijke spreiding is. Wanneer je r wilt berekenen, deel je de gezamenlijke spreiding van X en Y door de spreiding van X en Y apart. De spreiding van X en Y apart wordt gemeten met de kwadratensom (SS). Voor de gezamenlijke spreiding wordt er de productensom gebruikt; SP (sum of products). De correlatie in de populatie wordt aangegeven door de Griekse letter rho ofwel el Een gezamenlijke spreiding houdt in, dat wanneer X dichtbij het gemiddelde ligt, Y dit automatisch ook doet. Bij een correlatie van r = -0.99 (zie slide 25) is er sprake van een gezamenlijke spreiding. Bij een correlatie van r = 0 is daar geen tot nauwelijks sprake van.

Stappen

In MTS1 stonden de toets-stappen centraal en dat zal bij MTS2 niet anders zijn. De toets-stappen gaan als volgt:

1. Hypothesen opstellen en significantie kiezen

2. Kritieke waarde bepalen

3. Toetsingsgrootheid uitrekenen en eventueel de p-waarde bepalen

4. Beslissing nemen over de nulhypothese

5. Rapporteren

Na het bepalen van de kritieke waarde, stel je beslissingsregel 1 op: nulhypothese verwerpen wanneer de toetsingsgrootheid r groter of gelijk is aan de r-kritiek. Als H0 waar is verwachten we dat de steekproefcorrelatie r dicht bij 0 zal vallen. Dan zullen we H0 niet verwerpen als de r dichtbij 0 is en we zullen H0 verwerpen als de r groot is. We zullen H0 dan dus verwerpen als de r groter of gelijk is aan de r-kritiek. Na het berekenen van de toetsingsgrootheid en de eventuele p-waarde, stel je beslissingsregel 2 op: de nulhypothese verwerpen wanneer p ≤α. Bij het rapporteren moet er op de volgende dingen gelet worden:

• Er moet op drie decimalen na nauwkeurig gerapporteerd worden

• Er moet gelet worden op de volgorde van de rapportage

Deze volgorde van de rapportage is als volgt:

1. De r noteren, inclusief een + of – teken

2. De n, oftwel steekproefgrootte

3. De p, ofwel de overschrijdingskans

4. Aangeven of er sprake is van een eenzijdige of tweezijdige toetsing.

Let hierbij op de factoren met een grote invloed op de correlatiecoëfficiënt, zoals bijvoorbeeld uitschieters of een beperkt bereik (deel van de scores die je bekijkt, subgroepen in plaats van het totaal) van data in de steekproef.

Spearman

De Spearman correlatiecoëfficiënt meet de sterkte en de richting tussen 2 ordinale variabelen. Ordinale variabelen geven alleen een locatie zoals bijv. rang aan, zoals slechtste, beter en beste. Deze twee variabelen kunnen oorspronkelijk al ordinaal gemeten zijn of ordinaal gemaakt zijn door middel van rangscores om een non-lineaire relatie recht te trekken. Dit kan alleen maar als de kromme alleen maar stijgend is of alleen maar dalend is. Bij een parabool is zoiets dus niet mogelijk.

Een non-lineaire (kromme) relatie kun je rechtmaken door rangscores te berekenen. Als een lineaire lijn niet helemaal de goede relatie weergeeft,kunnen er geen rangscores berekend worden. Bij de kromme wel, omdat er een consistente toename is. Als er dan sprake is van een knoop (tie) wat betekent dat er twee dezelfde X waarden zijn, krijgen deze geen verschillende rangscore maar beiden de helft van de rangscore (zie slide 51). Na het opnieuw maken van een grafiek is zichtbaar dat de kromme recht getrokken is. De Spearman correlatiecoëfficiënt wordt berekend met dezelfde formule als de Pearson, aan de hand van de rangscores voor X en Y. Ook voor de Spearman correlatie kunnen we een toets doen. Deze werkt hetzelfde als de vorige correlatietoets. Hiervoor moet echter wel een andere tabel gebruikt worden, namelijk B.7. Let op, een verschil met B.6 is dat de kritieke waarden gebaseerd zijn op de steekproef (n) en niet op vrijheidsgraden (df=n-2). Ook Spearman’s rho (ρ) kun je in de SPSS output vinden. Let er bij Spearman correlaties bovendien op dat je bij de APA-vermelding noemt dat er rangscores/rangcorrelatie is gebruikt.

Naast de Pearson en de spearman correlatiecoëfficiënt, zijn er nog twee andere correlaties:

1. Punt-Biseriële Correlatie.

2. Phi-Coëfficiënt.

Deze zijn beide voor dichotome variabelen. Dit zijn variabelen met maar twee waarden, zoals sekse. Je kan deze variabelen altijd versimpelen met ‘ja’ en ‘nee’. Bijvoorbeeld: ben je een man? Ja = 1, Nee = 0. Deze twee correlaties geven antwoord op de vraag: komen hoge of lage waarden op de ene variabele overeen met hoge of lage waarden op de andere variabele?

De punt-biseriële correlatie meet de sterkte van het verband tussen een variabele op interval/ratio niveau of een dichotome variabele. Dezelfde formule wordt gebruikt. Let hierbij op dat Y alleen bestaat uit 0 of 1.

De Phi-coëfficiënt meet de sterkte van het verband tussen twee dichotome variabelen. Ook hier wordt dezelfde formule gebruikt, maar hierbij bestaan zowel X als Y alleen uit 0 en 1. Let er hierbij op dat de griekse letter phi (ϕ) ook als een maat van effectgrootte wordt gebruikt in hoofdstuk 17.

College 2: Survey, enquête, vragenlijst, interview

In dit college gaat het vooral over de survey in het algemeen. Surveys worden vaak gebruikt in een luchtige context, in verkiezingsonderzoek, in sociale wetenschappen en door en voor de overheid. Survey onderzoek is een methode voor het verzamelen van data op een gestructureerde manier. Het verschil met andere dataverzamelingen is dat er dezelfde vragen worden voorgelegd aan een groot aantal respondenten. Bij andere methoden als experiment, observatie, inhoudsanalyse en kwalitatieve open interviews is het aantal respondenten veel kleiner.

Sociaal onderzoek/wetenschappelijk onderzoek bestaat uit veel vragen, is correlationeel en is hypothese-testend. Het is op een gestructureerde manier dezelfde vragen voorleggen aan een groot aantal mensen (respondenten). Bijvoorbeeld vragen over gedrag, ervaringen, meningen, houdingen, kennis en achtergrondkenmerken. Er is een (kans) steekproef nodig uit een goed gedefinieerde doelpopulatie.

Soorten surveys

Bij surveys zijn er verschillende manieren om mensen te contacteren, zoals:

• Face-to-face

• Telefonisch

• Per post

• Via het web

Face to face (bezoek) interview

Dit kan op de ‘ouderwetse’ manier met papier en pen. Het kan ook door middel van het CAPI (Computer-Assisted-Personal Interview). De interviewer leest de vragen van het scherm en vult deze digitaal in. Deze manier van interviewen heeft veel voordelen. Het heeft namelijk een goede dekking populatie en een hoge respons. Bovendien kunnen er hele complexe vragenlijsten gebruikt worden met veel doorvragen en instructies. Ook kunnen er relatieve lange vragenlijsten gebruiken. Er kan ook visueel materiaal gebruikt worden en er kan veel uitleg gegeven zijn. Er zijn echter ook nadelen; deze manier van interviewen heeft hoge kosten, kost veel tijd, heeft een lange periode van dataverzameling, er is training en supervisie nodig van de interviews, er is het gevaar van interviewerfouten en interviewereffecten en er kan sprake zijn van sociale wenselijkheid. Mensen gaan zich aanpassen aan de interviewer en overrapporteren gewenst gedrag. Bovendien is dit type interview niet anoniem.

Telefonisch interview

Dit kan opnieuw eenvoudig met papier en pen. Bij groot onderzoek wordt het aanbevolen om CATI te gebruiken (Computer-Assisted Telephone Interview). Deze manier van interviewen heeft veel voordelen. De interviewer kan uitleg en hulp geven. Bovendien kunnen er eveneens complexe vragen gesteld worden, vanuit een centrale ruimte (dus goede supervisie en monitoring). Ook kan het relatief snel en is er een korte dataverzamelingsperiode. Eveneens zijn de kosten lager dan bij het face-to-face interview door geen reistijd en het efficiënter kunnen plannen.

Er zijn echter ook nadelen. Er kunnen maar beperktere vragen gesteld worden dan bij Face-to-Face, omdat het alleen auditief kan en niet visueel. Ook zijn de interviews minder lang, is er sprake van een lagere response en zijn er problemen met de dekkingsgraad door toename van de mobiele telefoons. Net als bij face-to-face interviews is er sprake van intervieweffecten, sociale wenselijkheid en inhibitie gevoelige vragen.

Per post

Alles voor postenquêtes geldt ook voor schriftelijke vragenlijsten. De voordelen van de postenquête zijn ook veel, namelijk lage kosten, eenvoudig te implementeren, geen interviewers die het interview kunnen beïnvloeden, kan visueel, respondent kan iets opzoeken in eigen tempo (locus of control) en de respons is behoorlijk hoog als er een herinnering gestuurd wordt.

Een nadeel is dat doordat er geen interviewer is en er dus geen hulp en uitleg gegeven kan worden. De vragen moeten dus helder genoeg zijn. Ook kunnen er geen complexe vragenlijsten afgenomen worden, zijn er lees- en schrijfvaardigheden nodig (dus jonge kinderen bereik je zo niet) en er is geen controle over wie, waar en wanneer de vragenlijst invult.

Web survey

De voordelen voor een web-survey zijn: lage kosten, grote en snelle steekproeven, complexe vragenlijsten met veel skips (goed programmeren is wel nodig!), heeft een goede dekking, geen ongewenste intervieweffecten, visueel en ‘locus of control’.

De nadelen zijn hetzelfde als bij de postenquête. Er is echter wel een lagere respons dan bij een postenquête. Daarbij geldt de goede dekking voor Nederland wel, maar voor andere landen misschien niet. In Nederland heeft 90% van de mensen internet thuis. Bij een web-survey kan er, in tegenstelling tot de postenquête, extra informatie verkrijgbaar zijn met behulp van vraagtekens waar men op kan klikken.

Externe kwaliteit/validiteit

Bij de externe kwaliteit gaat het om de steekproef die je trekt. De externe kwaliteit of validiteit wordt direct bepaalt door de manier waarop je data verzamelt. Fouten door non-observatie zijn fouten die je maakt doordat je sommige mensen niet observeert. Dit kan leiden tot verkeerde conclusies. Hoe groter het verschil is tussen de populatie en de respondenten des te kleiner jouw externe kwaliteit en je wil juist een zo groot mogelijke externe kwaliteit. Een grotere steekproef kan een oplossing zijn. Er zijn meerdere oorzaken voor een fout door non-observatie:

• Dekking van de populatie

• Steekproeftrekking

• Non-respons

• Onbekwaamheidsfout

• Weigeringsfout

Allereerst de dekking van de populatie. Heeft iedereen in de populatie een kans om mee te doen of zijn er bepaalde groepen die dan buitengesloten worden? Bijvoorbeeld het hebben van wel of geen internetaansluiting. Bij een dekkingsfout wijkt het steekproefkader af van de populatie. Bij face-to-face is er een zeer kleine kans op een dekkingsfout en is de dekking hoog. Bij een websurvey is de kans op een dekkingsfout wel erg groot omdat je vaak geen email-adressen lijst hebt.

Ten tweede de steekproeftrekking/sampling. Hoe trek je de steekproef en hoe groot maak je de steekproef? Bij een sampling fout wijkt de willekeurige steekproef af van de populatie. Deze fout komt vaak door te hoge kosten, er wordt dan voor de goedkopere en onnauwkeurige manier gekozen waardoor de kans op fouten groter is. Vooral bij een face-to-face survey is de kans op een sampling fout groot, doordat de kosten van deze methode erg hoog zijn. Er moeten o.a. reiskosten en interviewers betaald worden en het is erg tijdsintensief.

Ten derde de non-respons. Hoe groot is deze non-respons en is deze selectief of niet? Bij een non-respons of non-contact fout kunnen respondenten niet bereikt worden. Bij een web-survey is er veel kans op deze fout omdat je vaak geen lijst met mailadressen het en wie bereik je dan wel of niet.

Er kan ook sprake zijn van een onbekwaamheidsfout, doordat mensen niet in staat zijn om te antwoorden. Dit kan bijvoorbeeld komen doordat ze anderstalig zijn of omdat ze vragen niet snappen. Deze fouten komen weinig voor bij face-to-face surveys omdat de interviewer extra uitleg kan geven. Bij web- en post-surveys is de kans op zo’n fout veel groter, doordat er geen extra uitleg gegeven kan worden. De voorwaarde is dan wel dat de interviewer bij de face-to-face enquête voldoende kwalificaties heeft.

Als laatste is er de weigerinsfout, waarbij mensen weigeren te antwoorden. Deze fout komt vaak voor bij telefoon-surveys omdat mensen niet graag met vreemde bellen. Weigeringen zijn doorgaans het grootste probleem bij surveys.

Oplossingen voor non-observatie en non-contact fouten

Fouten door non-observatie kunnen vermeden worden door respondent persoonlijk te betrekken. Voorbeelden hiervan zijn een persoonlijke aanhef, zoals beste mevrouw de Haan i.p.v. beste bewoner. Een persoonlijk aanspreking zoals: hoe denkt u hierover. Fouten door non-observatie kunnen ook vermeden worden door meerdere contact pogingen, bijvoorbeeld door het sturen van een herinnering. Verschillende methoden voor contact en dataverzameling kan de respons ook verhogen. Het meesturen van een cadeaubon kan echter ook een methode zijn om mensen over te halen om een postenquête in te vullen. Als je een cadeaubon meteen opstuurt samen met de introductiebrief, voordat iemand heeft geantwoord creëer je goodwill, waardoor mensen de enquête eerder gaan beantwoorden. Dit is een betere optie dan wanneer je belooft dat na invullen een cadeaubon zal worden opgestuurd. Als laatst kan een handtekening van de maker van de introductiebrief ook zeer effectief zijn. Bij de post-survey blijkt de total design method een ideale manier te zijn om de hoogste respons te ontvangen. In dit model gebruik je verschillende contactmomenten, waarbij 5 ideaal is. Allereerst wordt er een introductie brief gestuurd, waarin staat dat er binnenkort een vragenlijst komt. Vervolgens stuurt de onderzoeker de vragenlijst binnen een week na de introductie op. Na 2 weken wordt een bedankkaartje en een herinnering gestuurd. Na 4 weken wordt nog een herinnering gestuurd samen met een nieuwe vragenlijst, aangezien de eerste vragenlijst van 4 weken terug, hoogstwaarschijnlijk onderin de papierbak is beland. Als laatst wordt na 8 weken een laatste herinnering gestuurd.

Methodes combineren

Verschillende methoden voor contact en dataverzameling kunnen de respons verhogen. Het aankondigen van het experiment per telefoon, dit creëert goodwill en zal weigeringen verminderen. Verschillende methodes binnen dataverzameling kunnen de respons ook verhogen (mixed-mode enquête). Vb: vraag om Web enquête in te vullen en weigeraars worden face-to-face behandeld of vraag om web enquête in te vullen en wie niet kan vult post enquête in. Dit verhoogt de dekking voor mensen zonder internet.

Als je een cadeaubon meteen opstuurt samen met de introductiebrief, voordat iemand heeft geantwoord creëer je goodwill, waardoor mensen de enquête eerder gaan beantwoorden. Dit is een betere optie dan wanneer je belooft dat na invullen een cadeaubon zal worden opgestuurd.

Interne kwaliteit van surveys

En fout door observatie kan meerdere oorzaken hebben. De respondent interpreteert de vraag, vormt een antwoord, oordeelt over het antwoord en rapporteert het antwoord. Er zijn verschillende soorten fouten die de interne kwaliteit van een survey kunnen beschadigen:

• Interpretatiefout

• Vormings-fout

• Oordeelfout

• Rapporteringsfout

Bij de interpretatiefout interpreteert de respondent de vraag fout. Vooral bij post-surveys is de kans op deze fout groot, aangezien er geen interviewer is die extra uitleg kan geven. Bij de vormings-fout vormt de respondent een foutief antwoord. Dit gebeurt veel bij web-surveys omdat respondenten vaak multitasken en zich dan niet goed concentreren op de vraag en het antwoord dat ze willen gaan geven. Bij de oordeelfout verdraait de respondent zijn/haar antwoord. Dit komt vaak voor bij gevoelige vragen en dus bij face-to-face surveys omdat mensen zich dan vaak schamen tegenover de interviewer. Bij web en post-surveys is de kans op deze fout juist kleiner omdat het anoniem is en er dus geen oordeel wordt gegeven over de antwoorden die de respondent geeft. Bij de rapporteringsfout wordt een antwoord verkeerd gerapporteerd. Komt veel voor bij web- en post-surveys omdat er geen interviewer is die kan helpen. Hierbij is kans op primacy effect, waarbij alleen de eerste antwoordcategorieën worden gelezen en er niet verder wordt gekeken. Via de telefoon is er juist vaker sprake van het recency-effect, waarbij de laatste optie in een lijst het makkelijkst onthouden worden door een participant Ook is er een kans op satisfying, dit gebeurt wanneer een respondent overal dezelfde antwoorden geeft zonder na te denken omdat hij/zij niet te veel moeite wil doen.

Interne kwaliteit verhogen

Observatie fouten worden vermeden in de vragenlijst (en door de interviewer), door bijvoorbeeld het beter opstellen van vragen. De onderzoeker maakt vragen en heeft alle vrijheid. Tussen onderzoeker en respondent zit de interviewer, deze heeft beperkte vrijheid. Ook moet je interpretatiefouten vermijden, hierbij moet je er vooral voor zorgen dat je de respondent niet overschat. Stel dus duidelijke vragen. Stel geen dubbele, dubbel negatieve vragen, vraag niet naar een ver verleden en ook niet naar een moeilijke berekening. Om vormingsfouten te vermijden, moet een interviewer niet vragen naar zaken die er niet zijn of suggestieve vragen vermijden. Om oordeelfouten te vermijden, moet men er vooral op letten dat er geen gevoelige vragen worden gesteld. Om rapporteringsfouten te voorkomen, moet men gebruik maken van gebalanceerde antwoordschalen, mogen er geen overlappende antwoordcategorieën gebruikt worden, mogen er geen antwoordcategorieën vergeten worden en moet men zorgvuldig omgaan met het gebruik van open en gesloten vragen stellen. Andere manieren om de interne kwaliteit van een onderzoek te verhogen zijn: de lengte van de vragenlijst beperken, volgorde effecten vermijden, vragen ordenen en het vooral duidelijk maken voor de respondent.

College 3: Kwalitatief onderzoek

Neuman verstaat onder kwalitatief onderzoek ‘observing people in natural settings’, dit is echter een beperkte blik. Dat zal blijken uit dit college. De aanpak van onderzoek wordt tot nu toe vaak uitgevoerd als kwantitatief zoals het experiment en survey. Dit college gaat over het kwalitatieve onderzoek.

Het voorbeeld ter inleiding zijn gegevens over de hoeveelheid mannen in vrouwenberoepen en de hoeveelheid vrouwen in mannenberoepen. Hierbij kunnen verschillende onderzoeksvragen gesteld worden zoals bij voorbeeld of de beloning en status van een beroep samenhangt met het aantal vrouwen dat in een beroep werkzaam is. Een andere vraag is of vrouwen en mannen evenveel betaald krijgen. Vragen die niet beantwoord kunnen worden met statistiek zijn hoe-vragen en welke-vragen, want statistiek beantwoord hoeveel-vragen. Bij kwantitatief onderzoek worden er vooral beschrijvende en verklarende vragen gesteld. Bij kwalitatief onderzoek is er daarentegen juist sprake van open vragen. Het is belangrijk om dit verschil te zien zodat het duidelijk is of er kwalitatief of kwantitatief onderzoek nodig is. In kwalitatief onderzoek gaat het over het perspectief wat je onderzoekt. Daarbij zijn de ervaringen erg belangrijk, en de betekenis die de ervaringen voor de respondenten hebben. In kwalitatief onderzoek wordt gebruikt gemaakt van open vraagstellingen. Er is hierbij sprake van een interpretatief paradigma.

Kwalitatief onderzoek

Een kenmerk van kwalitatief onderzoek is onder andere het perspectief van de participanten. Het gaat hier om betekenissen en interpretaties en dit vindt allemaal plaats tijdens sociale processen. Bovendien moet er bij kwalitatief onderzoek sprake zijn van een open procedure. Dit houdt in dat je als onderzoeker met een open mind het onderzoek in gaat en dat het onderzoek veel flexibeler is. De onderzoeksopzet mag bijvoorbeeld veranderd worden tijdens het onderzoek en ook kan je tijdens de data-analyse teruggaan naar het veld om meer data te verzamelen. Ook de aard van de uitkomsten is bij kwalitatief onderzoek anders dan bij kwantitatief onderzoek. Het gaat hier om beschrijvingen van ervaringen en betekenis en er is sprake van exploratieve hypothesen; anders gezegd wordt er gezocht naar verklaringen. Het laatste kenmerkende aspect voor kwalitatief onderzoek is het begrijpen van de participant(en) en het eventuele probleem.

De stappen in het onderzoeksproces

Voor zowel kwantitatief en kwalitatief is het onderzoeksproces vrijwel het zelfde. Er wordt gestart met de focus, het selecteren van een onderwerp. Naar aanleiding van het onderwerp moet de hoofdvraag gesteld worden. Vervolgens wordt het design van de studie gemaakt en dat is verschillend met kwantitatief onderzoek. Er is namelijk nog niet zo veel theorie want je gaat op zoek naar theorie. Er wordt dan dus data verzameld, er wordt geanalyseerd en geïnterpreteerd. Daarna worden de resultaten gepubliceerd. Het verschil tussen kwantitatief onderzoek en kwalitatief onderzoek is vooral het inductie en deductieproces. Bij inductie wordt gestart met specifieke (kwalitatief) observaties en dan wordt er gewerkt naar een algemeen idee of theorie. Deductief is onderzoek waarin dat precies andersom is. Dus: Deductief is van ideeën en concepten naar geobserveerde data. Inductief is van geobserveerde data naar bepaalde concepten. Bij deductie (kwantitatief onderzoek) begin je met een theorie, gebruik je deze om hypotheses op te stellen, verzamel je data en kijk je uiteindelijk of de hypotheses kloppen. Bij inductie (kwalitatief onderzoek) wordt er als het ware data gebruikt om zelf een theorie te genereren.

Er kan gebruik worden gemaakt van verschillende methoden. Onder andere veldwerk of participerende observatie, interviewen, groepsinterviews en foto elicitatie (foto’s in een interview gebruiken om te kijken wat het doet met de mensen).

Bovengenoemde dingen hebben een paar dingen gemeen. Je gaat naar de ‘real world’ in plaats van in een ‘hokje’ met manipulatie, het is dus geen opgezette situatie. Bovendien zijn de methoden flexibel, de vragenlijsten kunnen aangepast worden als er niet genoeg informatie verkregen wordt of als er nog andere informatie nodig is. Ook de betrokkenheid van de onderzoeker is belangrijk, omdat de onderzoeker zowel participant als onderzoeker is. Het laatste gemeenschappelijk kenmerk is dat ze allen kwalitatieve data leveren. De beperkte visie is dat Neuman het alleen over het veldwerk heeft, terwijl er veel meer kwalitatieve methoden zijn.

Het principe dat we kennis krijgen over gebeurtenissen door het dagelijks leven te observeren in de natuurlijke setting en niet in een gecreëerde omgeving wordt naturalisme genoemd. De veldrelaties zijn complex. Enerzijds ben je onderzoeker en observeerder maar aan de andere kant ben je participant. Je moet je ergens plaatsen op dit continuüm. Beide extremen zijn niet gewenst. Als je jezelf alleen ziet als onderzoeker plaats je jezelf buiten het experiment. Echter, bij going native (extreme participant) ga je op in de situatie en worden bepaalde dingen niet meer geobserveerd. Je moet het voor de participanten normaal maken dat jij aanwezig bent, dit heet normalisatie in het veld. Er zijn verschillende manieren om te interviewen. Bijvoorbeeld gestructureerd interview (kwantitatief). Hierin liggen de vragen, formulering, volgorde en antwoordcategorieën vast. Bij een half-gestructureerd onderzoek vraagt de onderzoek vragen, luistert en de interview is een actieve deelnemer. De onderzoeker weet een beetje welke richting hij op wil en stuurt de participant enigszins, maar niet geheel er is nog veel vrijheid voor de participant. Het is meer een conversatie-stijl, maar zeker wel een methode om gegevens voor onderzoek mee te verzamelen. Ongestructureerd is vaak rijk gedetailleerd en tekstueel. Je laat de participant erg vrij in wat hij vertelt. Je moet zorgen dat de risico’s voor de participanten goed worden afgewogen. Er moet sprake zijn van vertrouwelijkheid, en je mag de participanten geen kwaad doen. Exploratief onderzoek past goed bij kwalitatief onderzoek, omdat je nog niet veel van een onderwerp af weet en dat juist wil onderzoeken. Het kan ook beschrijvend zijn. Verklarend en causaal is haast niet mogelijk in kwalitatief onderzoek. Ook evaluatief onderzoek is mogelijk, bijvoorbeeld of een interventie werkt. Hiermee kan worden gekeken of er bijvoorbeeld draagvlak is onder werknemers. Er is sprake van een cyclisch verloop tussen dataverzameling en analyse. Er worden eerst gegevens verzameld, die worden geanalyseerd en dan wordt er een sampling getrokken. De onderzoeksgegevens worden weer verzameld en dit proces herhaald zich weer. Dit cyclische verloop stopt als er sprake is van saturatie of verzadiging, er is voldoende informatie.

Data-analyse

Het is belangrijk om de onderzoeksgegevens te begrijpen en te interpreteren. Hierbij kan informatie uit elkaar gehaald worden en weer bij elkaar gezet worden door te kijken naar patronen en profielen en te labelen. Dit kan met behulp van een data matrix. Waarin in de kolommen de thema’s/labels gezet worden en bij de rijen de namen. Hierdoor krijgt de onderzoeker themagewijs inzicht. Er kunnen ook codebomen gemaakt worden. Uit interviews worden bepaalde codes gehaald. Daaruit worden weer de kenmerken onderverdeeld onder hoofdcodes en daaronder weer vertakkingen.

Open coderen kan aan de hand van bepaalde vragen:

• Welke fragmenten zitten er in de tekst?

• Waarom is dat fragment een betekenisvol geheel?

• Is het relevant voor het onderzoek?

• Welke naam (code) past bij het fragment?

• Zijn er fragmenten in de teksten die bij vergelijking dezelfde code of juist een andere code moeten krijgen?

Open coderen is de eerste fase in het codeerproces

Coderen en terugzoeken is ook een manier. Dit wordt ook wel retrieve genoemd. Er zijn eerst een aantal kenmerken en daarna wordt er gezocht binnen de interviews naar deze kenmerken. Ook de kwaliteit, waaronder betrouwbaarheid en validiteit vallen, is belangrijk. In kwalitatief onderzoek is er veel sprake over de kwaliteit. Bedreigingen voor kwalitatief onderzoek zijn de volgende. Het is moeilijk te herhalen, je kunt maar één keer een setting hebben, de setting is veranderlijk. Bovendien gebruik je een flexibel meetinstrument (jij, de onderzoeker) en improviseer je. Ook reactiviteit als gevolg van de aanwezigheid van de onderzoeker kan gevaarlijk zijn net als de vooringenomenheid van de onderzoeker. Hoe kunnen deze bedreigingen zo veel mogelijk uit de weg geruimd worden? Dit kan door reflectie op de rol van de onderzoeker, door met meer onderzoekers te werken, door triangulatie (het gebruik van meerdere methoden), door normalisering (de participanten laten wennen aan jouw aanwezigheid), door feedback te krijgen van de participanten (member checking) en door methodische verantwoording (stap voor stap uitleggen aan de lezers wat je gedaan hebt tijdens het onderzoek).

College 4: Regressie

Gravetter en Wallnau hoofdstuk 16

Het gaat in dit hoofdstuk over lineaire relaties. Aan de hand van het beschrijven van deze relaties kunnen er voorspellingen gemaakt worden. Bij een correlatiestudie wordt er gekeken of er een relatie is tussen twee variabelen. Dit wordt gebruikt bij de verificatie van theorieën, betrouwbaarheid, validiteit en om te voorspellen. Validiteit voorspellen wordt regressie genoemd. De vraagstelling die hierbij hoort is: kan de waarde van iemand op een bepaald kenmerk voorspeld worden met kennis over andere kenmerken? We gaan dus kijken of we de relatie tussen twee variabelen kunnen beschrijven, zodat we voorspellingen kunnen maken over een bepaalde variabelen. Voorbeeld: kunnen we het gewicht van Jan voorspellen als we zijn lengte weten? Dit gaan we doen aan de hand van een vergelijking. We moeten als eerste de relaties tussen variabelen analyseren, daarna deze relaties beschrijven, en uiteindelijk toetsen uitvoeren over de relaties en de significantie.

Een regressieanalyse heeft duidelijke rollen wat betreft de variabelen. De afhankelijke variabele (Y), onderzoekt de regressieanalyse met een minimaal meetniveau interval. In regressie wordt de onafhankelijke variabele (X) vaak de predictor genoemd. Bij het voorbeeld van Jan is lengte de onafhankelijke x-variabele en is het gewicht de afhankelijke y-variabele.

De eerste stap is, net als bij correlatie, een spreidingsdiagram maken. Het verschil tussen het gebruik van een correlatieanalyse of een regressie analyse is dat er bij een correlatieanalyse een relatie is tussen de twee variabelen en dat de variabelen geen specifieke rol spelen. Bij een regressieanalyse doe je een voorspelling van een variabele (afhankelijk) aan de hand van de andere variabele (onafhankelijk). Er moet altijd gekeken worden naar de vraagstelling, want daaraan kan je zien welke analyse je moet gebruiken. Je moet dus goed weten wat de afhankelijke en onafhankelijke variabele is. De onafhankelijke variabele ligt altijd op de x-as. De afhankelijke variabele altijd op de y-as. De lijn die je ziet in de spreidingsdiagram zorgt ervoor dat het lineaire verband beter zichtbaar is. Ook geeft deze lijn het gemiddelde aan. Let wel: de lijn geeft de gemiddelde relatie aan, de gemiddelde Y. De lijn wordt dus getrokken door de gemiddelden. Met deze lijn door de puntenwolk kunnen voorspellingen gedaan worden.

Voordat je een voorspelling kunt doen, moet er eerst een vergelijking opgesteld worden.

De lineaire relatie tussen twee variabelen wordt beschreven als Y = bX + a. b noemen we de richtingscoëfficiënt, of de regressiecoëfficiënt. Bijvoorbeeld: met hoeveel kilo neemt het gemiddelde gewicht van studenten toe als ze 1 cm langer zijn? Dus de verandering van y als x met 1 toeneemt. De a is de Y-intercept, waar snijdt de lijn de y-as als x nul is? In SPSS wordt dit de constante genoemd. De waarde van de Y-intercept is bij de sociale wetenschappen vaak niet interessant omdat het niets betekent. Want het is bijvoorbeeld: hoeveel weegt een student van nul centimeter lang? In natuurwetenschappen kan zulke informatie echter wel interessant zijn.

In de statistiek bepalen we de vergelijking die de ‘gemiddelde’ relatie tussen twee variabelen X en Y beschrijft. We gaan dan op zoek naar de vergelijking die het beste bij de data past. We moeten kunnen meten hoe goed de lijn bij zo’n puntenwolk past. De techniek die hiervoor gebruikt wordt is de Least Squares Regression. Least betekent het minste en Squares betekent kwadratensom. We gaan de regressie opstellen met behulp van de kleinste kwadratensom. 


Vervolgens moet er een bepaalde definitie gemaakt worden welke lijn in de puntenwolk het beste past bij wat je wilt weten. Dan kan de afstand gemeten worden tussen de puntenwolk en de lijn. De afstand tussen een observatie en de lijn heet residu. Het gaat hierbij om de verticale afstand. Deze afstand wordt ook wel de schattingsfout genoemd. Als een punt onder de lijn ligt is het residu negatief. Als een punt echter boven de lijn ligt, dan is het verschil positief. Als je een lijn hebt die niet goed bij de residuen past, is de som van alle residuen groot. Als er sprake is van positieve en negatieve residuen, worden deze gekwadrateerd en vervolgens bij elkaar opgeteld. De vergelijking die de kleinste kwadratensom van residuen oplevert past het beste bij de data, de standaardfout is daar het kleinst. Die vergelijking die de kleinste kwadratensom van de residuen oplevert is de “winnaar”. Het is nu ook duidelijk waarom de techniek Least Squares Regression heet (minste kwadratensom). Dezelfde formule wordt genoemd: Ŷ = bX + a. De Ŷ wordt uitgesproken als ‘Y-hat’ of Y-dakje. Een dakje geeft een schatting aan. Als je een formule ziet waar in plaats van een a en een b een α (alfa) en een β (bèta) staat, gaat het over de populatie. Dit wordt in deze cursus niet gebruikt, hier wordt slechts gekeken naar de steekproef.

Hierbij zijn een paar formules belangrijk:

1. Richtingscoëfficiënt: b = SP / SS_xof b = r x (s_y/s_x). s is hierbij de standaarddeviatie.

2. Residu: Y – Ŷ

Bij het residu is Y de geobserveerde waarde en Ŷ is de voorspelde data. Let er bij deze formule op dat deze niet op het formuleblad staat.

Hoe kom je aan de richtingscoëfficiënt?

Dit wordt berekend aan de hand van de productensom gedeeld door de sum of squares van x. Als de Y-intercept uitgerekend moet worden gebruik je: M_y – bM_x. Dit is het resultaat van het punt (M_y, M_x) dat altijd precies op de regressielijn valt.

Er is echter ook een alternatieve formule die gebruik maakt van de standaardafwijkingen. De ratio daarvan moet vermenigvuldigd worden met de gemiddelde standaardafwijking van Y en X. Met deze formule kun je goed het nauwe verband tussen correlatie en regressie zien.

Dit wordt geïllustreerd aan de hand van een voorbeeld. De onderzoeksvraag hierbij is: kunnen we de studiedruk in het derde jaar voorspellen aan de hand van de gemiddelde cijfers van het tweede jaar? De studenten hebben een vragenlijst ingevuld over studiedruk. X = gemiddelde cijfer aan het eind van het tweede jaar. Y = studiedrukscore in het derde studiejaar. Het is gemeten met een Likert schaal. De richtingscoëfficiënt is hier -0.7. Het snijpunt met de x-as is 7.8. Dit betekent in feite niks, want als een student gemiddeld een 0 staat voorspellen we een studiedruk van 7.8. De studiedruk kan echter maar maximaal tot 5 gaan. De vergelijking wordt als volgt: Ŷ = -0.717X + 7.834. Met SPSS is ook de correlatie uit te rekenen tussen de twee variabelen. Als we de alternatieve formule gebruiken kun je aan de hand van SPSS statistieken de richtingscoëfficiënt uitrekenen. De standaardafwijking staat namelijk in de SPSS output gegeven. Je komt dan uit op dezelfde formule voor Y-dakje. Onder de output staat wat de afhankelijk variabele is, namelijk studiedruk. De X-variabele of de onafhankelijke variabele staat in de tabel zelf, want die maakt deel uit van de vergelijking. In kolom B staan de coëfficiënten voor de vergelijking. De eerste waarde is de waarde van a, de constante. De tweede waarde hoort bij X, en dat is de richtingscoëfficiënt b. Je mag het ook in woorden opschrijven: voorspelde studiedruk = -0.717 x gemiddeld cijfer + 7.834. Agnes haalde een 6.9 gemiddeld, en haar studiedruk wordt dan voorspeld door het cijfer in de formule in te vullen. Haar studiedruk wordt verwacht om 2.89 te zijn.

Stappen in regressie

De eerste stap van het voorspellen van de Y-score is om de X-waarde van die individu in de regressievergelijking te stoppen. Dit betekent dat je een voorspelling van de Y-waarde van een individu krijgt bij een bepaalde X. Het kan ook zijn dat het een schatting is van het gemiddelde van Y voor iedereen bij een bepaalde X.

De waarde van Ŷ is dezelfde waarde, maar de betekenis is anders. Let dus goed op dat deze waarde op twee manieren geïnterpreteerd kan worden. Bovendien moet je geen voorspellingen doen buiten het bereik van X (extrapoleren), dus niet buiten de waarden om die je geobserveerd hebt. Anders gezegd: je mag niet generaliseren.

Er bestaat ook een gestandaardiseerde vorm van regressievergelijking, bij verschillende variabelen die gestandaardiseerd zijn. Hierbij moeten de z-scores gebruikt worden, waarbij alle eenheden vervallen. Alle variabelen krijgen dan dezelfde eenheden, waardoor de x-variabelen vergeleken kunnen worden. Hierbij moeten eerste de X en de Y gestandaardiseerd worden. Daarna standaardiseren (de z-scores uitrekenen). Hierbij geven we bèta als naam aan de gestandaardiseerde richtingscoëfficiënt. Bèta schrijven we hierbij altijd volledig uit, ook in de formule zelf. Dit doen we om verwarring te voorkomen. Bèta is dus de correlatiecoëfficiënt.

Spreiding

Bij weinig spreiding rond de regressielijn zijn de residuen klein. De voorspellingen die we maken met betrekking tot de regressievergelijking zijn dan veel nauwkeuriger. Bij veel spreiding rond de regressielijn zijn de voorspellingen die we maken minder nauwkeurig.

De spreiding rond de regressielijn wordt gemeten door een standaardafwijking. Deze standaardafwijking noemen we de standaardschattingsfout (standard error of the estimate). Dit kan gerapporteerd worden, waardoor je kan zien of de voorspelling nauwkeurig is. Aan de hand van de standaardschattingsfout kun je bijvoorbeeld zien welk van twee modellen het meest nauwkeurig is. De modellen moeten dan wel hetzelfde meten. Deze standaardschattingsfout staat letterlijk in de SPSS output, en wordt ook wel de standard error of the estimate genoemd. Het is in feite de standaardfout van de residuen.

Voor de standaardschattingsfout gebruiken we weer een kwadratensom gedeeld door de vrijheidsgraden. De kwadratensom is SS residual. De vrijheidsgraden zijn n-2. De standaardschattingsfout is dan de wortel van de ss residual gedeeld door n-2. Dit is allemaal terug te vinden in de output. Ook staat er ‘mean square’ in de output, en dat betekent variantie. Van de variantie moet je nog de wortel trekken om tot de standaardschattingsfout te komen.

Effectgrootte

Ook bij de regressie kijken we naar de effectgrootte. De effectgrootte bepalen we aan de hand van de proportie verklaarde variantie. Dit wordt gemeten door r². r² is het kwadraat van de correlatie tussen X en Y. r² heet ook wel de ‘coëfficiënt of determination’ en meet de proportie van de totale spreiding van de Y die verklaard wordt door de lineaire relatie met X. (1-r²) meet dan dus de proportie van de spreiding dat niet verklaard wordt door de regressie relatie. De totale spreiding van Y = SS_y, of SS_total. Het stuk spreiding dat verklaard wordt door het regressiemodel is SS_regression. Dan krijg je dus SS_regression gedeeld door SS_total. Dit levert de effectgrootte op. Deze laatste formule staat niet goed in het boek en ook niet op het formuleblad. De twee formules van het onverklaarde stuk spreiding en het verklaarde stuk spreiding staan wel op het formuleblad. Van deze formules kun je de effectgrootte zelf afleiden. De gegevens die je met deze formule uitrekent staan echter ook vaak gewoon in de SPSS output.

Toetsing

Tot slot moet getoetst worden of de relatie wel significant is. Dit is eigenlijk hetzelfde als kijken of de X-variabele wel goed functioneert. Wordt er wel een significant deel van de spreiding verklaard? Dit kan op twee manieren getoetst worden. Een toets voor de richtingscoëfficiënt of een toets voor een significante relatie. 

De eerste is kijken of het richtingscoëfficiënt in de populatie (bèta) gelijk is aan nul of niet en kan met een gewone t-toets. De p-waarde is ook hetzelfde als voor de correlatietoets.

De tweede manier van toetsen is de toets voor een significante relatie. Deze toetst of een significant deel van de spreiding in Y wordt verklaard door de lineaire relatie. Deze toets worden ook wel de regressieanalyse genoemd en is eigenlijk hetzelfde als de variantieanalyse, de F-toets dus. Hierbij wordt de totale spreiding verdeeld onder de regressie (verklaard deel) en de residuen (onverklaard deel). In een enkelvoudig (een x-variabele, meervoudig zijn meerdere x-variabelen) regressiemodel zijn de t-toets en de F-toets identiek! F= t², p-waarden zijn gelijk!

College 5: Experimentele Designs

Neuman hoofdstuk 7

Onderzoek staat centraal in MTS cursussen. Enerzijds staat kennis over methode en statistiek, waarmee artikelen beter te begrijpen zijn, centraal. Bijvoorbeeld om kwalitatieve onderzoeksvragen te herkennen en zelf op te zetten. Anderzijds staat het ervaren van wat het is om onderzoeker te zijn centraal.

Bij een experiment in de gedragswetenschappen is er een vergelijking van proefgroepen, het liefst inclusief een controlegroep. Dingen en waarnemingen zijn onzeker, daardoor is een controlegroep belangrijk. Experimenten zijn vooral sterk in het toetsen van causale hypothesen. De vreedzame school voert bijvoorbeeld interventies uit om te kijken of dingen werken. De rekenkamer eist dat een deel van het geld wat besteedt wordt aan dit soort interventies besteed wordt aan experimenten, dus kijken of er sprake is van causale relaties.

Om causaliteit aan te tonen zijn 3 voorwaarden die aanwezig moeten zijn namelijk de volgorde in tijd (oorzaak komt voor gevolg), de bewezen relatie tussen oorzaak en gevolg en het niet kunnen vinden van alternatieve verklaringen voor de relatie; anders gezegd, er mag geen sprake zijn van een derde variabele. Experimentele designs voldoen aan al deze drie gestelde eisen.

Wat een experiment vaak wil, is theorieën toetsen door middel van het afleiden van hypotheses. Door hypotheses wordt gekeken of onderzoek uitkomt. Er is sprake van een voorspelling op basis van een theorie. Een theorie is nooit te bewijzen omdat het universeel is. Als een taal bijvoorbeeld moeilijker is dan een andere, betekent het dus niet dat kinderen sneller kunnen praten en lezen, terwijl dit wel uit onderzoek zou kunnen komen. Het is deels mogelijk door middel van falsifiëren. We hechten meer waarde aan wetenschappelijke theorieën die meer toetsingen overleven. Het experiment is vooral een sterke onderzoeksmethode, omdat een goed opgezet experiment veel alternatieve verklaringen uitsluit. De voordelen van het experiment zijn dat het een duidelijke en simpele logica heeft en dat het een oorzakelijk verband isoleert. De nadelen zijn dat er een focus is op maar een beperkt aantal variabelen en dat er praktische en ethische aspecten zijn, waar rekening mee moet worden gehouden.

Hoe zit een experiment in elkaar?

Er is sprake van twee soorten vergelijkingen. Allereerst voor en na, ook wel binnen personen (within subjects) genoemd. Dit betekent het twee keer meten van dezelfde personen en kijken of er verschil is voor en na interventie/ingreep. Ten tweede naast elkaar, tussen personen (between subjects). Hierbij worden er twee groepen vergeleken: een experimentele groep en een controle groep.

De methodologische redenering in een experiment is echter hetzelfde. Het begint met een causale hypothese en vervolgens wordt er een situatie gemanipuleerd in de experimentele conditie/groep. Tot slot wordt de uitkomst geobserveerd met en zonder de manipulatie. Het is belangrijk om de onafhankelijke variabele (independent) te manipuleren en dan de afhankelijke variabele (dependent) te observeren.

Terminologie bij experimentele opzet

Pre-test gebruiken: meting van de afhankelijke variabele voordat de onafhankelijke variabele is gemanipuleerd.

Post-test: meting van de afhankelijke variabele nadat de onafhankelijke variabele is gemanipuleerd.

Randomisatie: at random toekennen/ matching.

Experimentele groep en controlegroep/variant: verschillende experimentele groepen, met verschillende manipulaties, en geen echte controlegroep. Bij alleen een experimentele groep weet je niet goed wat er gebeurd, ook al vind je iets

Pre-experimentele onderzoeksopzetten

Er zijn drie soorten pre-experimentele ontwerpen:

• One shot case study

• One group pretest-posttest design

• Statistic group design

Pre-experimentele onderzoeksopzetten missen belangrijke onderdelen van een goede experimentele opzet. Een one-shot case study is een onderzoeksopzet die één groep test met alleen een nameting en zonder een controlegroep. Een causaal verband aantonen is dus vrijwel onmogelijk bij dit design. Bij een one group pretest-posttest design is er ook geen controlegroep. Hier wordt opnieuw één groep gemeten, maar nu is er een voor- én een nameting. Problemen hierbij zijn zaken als de history, het maturation-effect en het test-effect. History houdt in dat bijvoorbeeld de zon gaat schijnen. Dit hoeft natuurlijk niet bij elk onderzoek invloed te hebben, maar kan bijvoorbeeld wel invloed hebben wanneer depressie gemeten wordt. Het maturation effect houdt bijvoorbeeld in dat de proefpersoon honger krijgt. Nogmaals: dit hoeft niet altijd invloed te hebben, maar vaak worden mensen chagrijnig bij honger en wilt men minder gemakkelijk meewerken. Het test-effect houdt in dat proefpersonen de test of de toetsingsschaal beginnen door te krijgen en hierdoor andere antwoorden kunnen gaan invullen. Bij een Static group comparison is er wel sprake van een posttest maar zonder equivalente controlegroep. Er is geen randomisatie maar wel een controlegroep en potentieel is een niet vergelijkbare controlegroep. Dit design geeft weer andere nadelen als selection bias en het mortality effect. Selection bias houdt in dat de twee groepen vanaf het begin af aan al significant van elkaar verschillen en dat je deze groepen dus niet met elkaar kan vergelijken. Het mortality effect is wanneer mensen tijdens het onderzoek uitvallen. Een oplossing voor de selection bias is de groepen matchen op achtergrondkenmerken om de twee groepen vergelijkbaarder te maken. Nadeel hiervan is dat je maar op een aantal variabelen kan selecteren, aangezien er anders teveel eisen worden gesteld aan eventuele participanten.

Quasi-experimentele designs

Binnen de quasi-experimentele designs zijn er twee verschillende manieren om onderzoek te doen:

• Interupted time series design

• Two-group pretest-posttest

Quasi-experimentele onderzoeksopzet: mensen vullen maandelijks testjes in en halverwege is er een manipulatie. Therapieën zijn hier ook vaak op gebaseerd. Quasi-experimentele onderzoeksopzetten missen belangrijke onderdelen van een goede experimentele opzet, maar compenseren die zwakheid. Zo is er de interrupted time series, waarbij er bijvoorbeeld halverwege de therapie een manipulatie plaatsvindt. Deze methode bevat meerdere voor- en nametingen. Wanneer er een grafiek gemaakt wordt van de resultaten, wijst een trendbreuk in de lijn op een causaal effect. De voordelen hiervan zijn dat je de selection bias en het mortality effect kan meten, bovendien kan je het test-effect, het maturation effect en de history meetbaar maken. Een nadeel is, is dat je niet weet of al deze effecten hetzelfde zijn. Er bestaat ook het two-group pretest-posttest design, dit is een independent groups en repeated measures design, er is dus sprake van twee groepen en er zijn voormetingen en nametingen. Manipulatie vindt plaats tussen de voor- en nameting. De voor- en nadelen zijn bij deze test hetzelfde als bij de interupted time series design.

Waar experimentele designs

Binnen de waar experimentele designs bestaan er drie manieren om onderzoek te doen:

• Randomized two-group posttest only design

• Een klassiek experimenteel design

• Solomon four group design

Bij de randomized two-group posttest only design worden units willekeurig toegewezen aan condities. Er is hierbij dus geen verschil in kans om in een bepaalde groep te komen, hierdoor is er in principe geen verschil tussen de twee groepen. De ethiek speelt bij dit design wel een rol, want het is vrij moeilijk om mensen te forceren om in een bepaalde groep te plaatsen. Bovendien speelt het mortality hierbij ook een rol. Bij een klassiek experimenteel design is er sprake van een voor- en nameting bij twee gerandomiseerde groepen. Om toevalligheden tegen te gaan, kunnen we hierbij voormetingen doen. Je wilt toevalligheden bijvoorbeeld tegengaan wanneer er, toevallig, alleen maar mannen in de controlegroep zitten en alleen maar vrouwen in de experimentele groep. Een voormeting wordt dus gebruikt om te kijken of een derde variabele een eventuele rol kan spelen. Als laatste design hebben we de Solomon four group onderzoeksopzet. Dit is in principe een klassiek experiment met en zonder voormeting bij de verschillende groepen. Hier vinden dus ontzettend veel combinaties plaats.

Bedreigingen voor de interne validiteit

De interne validiteit kan bedreigd worden door de volgende zaken:

• Selection bias

• History

• Maturation

• Test-effect

• Mortality-effect

• Contamination of treatment

• Experimenter or subjects expactancy

Een aantal begrippen zijn in bovenstaande designs al naar voren gekomen. Contamination of treatment betekent dat de controlegroep iets meekrijgt van het onderzoek, bijvoorbeeld wanneer er antwoorden worden doorgegeven aan de volgende testgroep. Mensen blijven hierdoor niet naïef. Een mogelijke oplossing voor contamination is ervoor zorgen dat de groepen proefpersonen geen onderling contact hebben. Bij het experimenter of subjects expectancy zijn er bepaalde verwachtingen. Bijvoorbeeld leerlingen met een hoog IQ zullen ook beter presteren. Dit komt uit. Verwachtingen hebben een effect op uitkomst (pigmalion effect). Deze expectancy kan vermeden worden door een dubbelblinde opzet of een placebo. Dubbelblinde opzet betekent het contact via onderzoeksopzet waarin noch de experimenter noch de subjecten weten wie in welke groep zit.

Bedreigingen voor de externe validiteit:

De bedreigingen voor de externe validiteit zijn:

• Niet representatieve deelnemers

• Een kunstmatige setting, manipulatie of reactiviteit

Oplossingen voor deze bedreigingen, is het gebruik maken van een veldexperiment of een natuurlijk experiment.

College 6: ANOVA

Gravetter en Wallnau hoofdstuk 12

Voorbeeld: Verhoogt cafeïne het concentratievermogen van studenten? Je kunt je afvragen hoe je dit het beste kunt onderzoeken. Je kan bijvoorbeeld een survey afnemen, een experiment uitvoeren of studenten interviewen. Hierbij past het beste een experiment. In deze casus krijgt men drie verschillende experimentele groepen: espresso, gewone koffie en decafé. Dit is de operationalisering van het vaststellen van het toedienen van veel /middelmatig/geen cafeïne. Het concentratievermogen kan gemeten worden door middel van een concentratietest. Dit totale proces is de operationalisering van de onderzoeksvraag; hoe gaan we meten en wat gaan we meten. Onderzoek begint dus niet met statistiek. De manier waarop je gaat onderzoeken zou kunnen leiden tot statistiek, maar belangrijk is om bij het begin te beginnen.

Wanneer we 2 onafhankelijke groepen willen vergelijken, gebruiken we een t-toets. Wanneer we meer dan 2 groepen willen vergelijken kunnen we geen t-toets meer toepassen. Wanneer we dan dus 3 of meer (onafhankelijke) groepen willen vergelijken, gebruiken we de techniek die variantieanalyse of ANOVA (analysis of variance) heet. Hierbij is het belangrijk om te realiseren dat dit ongeveer hetzelfde is dan de t-toets, waar je kijkt naar het verschil. De voorwaarden die bij de t-toets gelden blijven hetzelfde, evenals de meetniveaus.

Er is sprake van afhankelijke variabelen en onafhankelijke variabelen. De afhankelijke variabele (Y) heeft het minimale meetniveau interval. De onafhankelijke variabele (X) heeft als minimale meetniveau nominaal. Deze onafhankelijke variabele wordt vaak factor genoemd. De verschillende condities of waarden van deze factor worden niveaus of levels genoemd.

In het voorbeeld: de Y is het concentratievermogen. Hierbij is het meetniveau minimaal interval. De X is de onafhankelijke variabele, in dit geval de hoeveelheid cafeïne, omdat het de experimentele conditie is. Dit meetniveau moet minimaal nominaal zijn. In dit specifieke voorbeeld is er sprake van een ordinaal meetniveau, omdat er een bepaalde volgorde gemaakt kan worden bij de groepen (geen – gemiddeld – veel cafeïne). Dit leidt tot een statistische vraagstelling: is het gemiddelde concentratievermogen van de drie groepen gelijk of zijn er verschillen tussen groepen? Er kan niet eenzijdig getoetst worden, met de ANOVA kan er alleen een algemene hypothese opgesteld worden. We gebruiken hierbij dezelfde vijf stappen als bij alle andere toetsen. Er zijn drie populaties. Studenten die espresso drinken, studenten die koffie drinken en studenten die decafé drinken. Het is onmogelijk alle studenten te testen, daarom nemen we uit alle drie de groepen een aselecte steekproef en gaan die vergelijken. Daarna kan er een conclusie getrokken worden door die steekproefgemiddelden te vergelijken. Er is sprake van een terugkoppeling naar de hele populatie.

Er zijn verschillende stappen om de hypothese te toetsen. Deze stappen blijven vrijwel hetzelfde. Stap 1 is de hypotheses bepalen en significantie niveau kiezen. Hierbij is de nulhypothese de gemiddelde concentratievermogen scores die in de drie populaties gelijk zijn. De H1 hypothese is als de populatiegemiddelden niet allemaal gelijk zijn. Anders geformuleerd: er is ten minste één populatie gemiddelde anders dan de anderen. Let hierbij goed op dat je formulering niet neerkomt op het volgende: de populatiegemiddelden zijn verschillend van elkaar. Hiermee zeg je namelijk dat elk populatiegemiddelde van elkaar verschilt, maar wanneer er 1 populatiegemiddelde afwijkt, is dat al genoeg reden om de nulhypothese te verwerpen. Bij het kiezen van een significantieniveau moet je goed nadenken over wat de gevolgen zijn voor het onderzoek. Wat zijn de consequenties als de toets fout blijkt te zijn? Hierop moet je je significantieniveau aanpassen. Stap 2 is de kritieke waarden bepalen. Deze stap wordt vaak uitgevoerd aan de hand van SPSS output, die later gevonden wordt. Daarom is deze stap niet altijd relevant.

Stap 3 is de toetsingsgrootheid uitrekenen. Van iedere steekproef wordt het steekproefgemiddelde uitgerekend. Ook wordt er gekeken naar de spreiding binnen elke steekproef. Het is niet het kijken naar het verschil tussen twee gemiddelden in onze casus, maar naar hoeveel het groepsgemiddelde verschilt van het totale gemiddelde. Als de nulhypothese waar is, zijn de verschillen nul of zeer klein. Dit kan pas gezegd worden na het kijken naar het verschil in de spreiding binnen de groepen met de spreiding tussen groepen, omdat je dan pas ziet of het gemiddelde relatief afwijkt of niet. Dit is de variantieanalyse. De geobserveerde variantie tussen gemiddelden gedeeld door het verwachte gemiddelde variantie zonder effect levert de F op (dit is het zelfde als bij de t-toets, maar daar is het woord variantie vervangen door verschil!). Een Mean Square is eigenlijk gewoon de variantie, maar wordt de tussenvariantie genoemd. De binnenvariantie wordt de Mean Square within of Mean Square Error genoemd. Dit bestaat uit de kwadratensom gedeeld door het aantal vrijheidsgraden, waarbij k de aantal groepen zijn die we willen vergelijken en N, de totale steekproefomvang (zie formuleblad).

De totale spreiding is dus onderverdeeld in de tussenspreiding en de binnenspreiding. De tussenspreiding meet twee stukken namelijk de die te wijten is aan het feit dat groepen nu eenmaal anders zijn (treatment effect) en de bestaande verschillen tussen de mensen (chance). De meetspreiding is te wijten aan bestaande verschillen tussen mensen (chance). Om de verschillen tussen de groepen te relativeren, delen we de tussenvariantie door de binnenvariantie. Deze breuk wordt gebruikt als de toetsingsgrootheid, zodat meerdere gemiddelden vergeleken kunnen worden. Het symbool is F, dus de formule is F= tussenvariantie/binnenvariantie.

In stap 4 wordt de beslissing genomen over de H0 hypothese. We verwerpen H0 als de p-waarde kleiner of gelijk is aan alfa. Deze beslissing gebeurt dus aan de hand van de p-waarde. De H0 wordt ook verworpen als de toetsingsgrootheid F in het kritieke gebied ligt.

Als H0 waar is dan zijn er geen verschillen tussen de groepen, er is geen treatment effect. Als de H0 waar is dan is het gedeelte spreiding wat de verschillen tussen de groepen meet, ongeveer gelijk aan nul. Als H0 gelijk is zijn de verschillende varianties van de binnenspreiding en de tussenspreiding ongeveer gelijk. De F is dan ongeveer gelijk aan 1.

Als H0 niet waar is wordt de tussenspreidingsmaat groter ten opzichte van de binnenspreiding. De F ratio wordt groter dan 1.

De F-verdeling is rechtsscheef. Aan de hand van de F-verdeling kan een kritieke waarde of p-waarde opgezocht worden. Die F-verdeling begint bij nul en wordt dan groter. In het kritieke gebeid vinden we de F-ratio zo groot dat de H0 verworpen wordt. Waar de kritieke grens ligt, hangt af van het aantal groepen en hoe groot de steekproeven zijn. De F-verdeling wordt gedefinieerd door 2 paar vrijheidsgraden, namelijk boven de streep (df between= k-1) en onder de streep (df within= N-k). Aan de hand van de df en de kritieke waarde vinden we kritieke waarden in de tabel. Als de vrijheidsgraden er niet in staan, altijd het dichtstbijzijnde, lagere getal nemen. De waarden in de tabel die niet dikgedrukt staan, horen bij een significantieniveau van 0.05. De dikgedrukte waarden in de tabel horen bij een significantieniveau van 0.01.

In het boek staan geen definitieformules voor SS. Deze zijn als volgt:

• Totale spreiding: SS_total = Σ_{alle x}(X – M_total)²

• Tussenspreiding: SS_between = Σ_{alle x}(M_i - M_total)². Deze meet verschillen tussen de groepen.

• Binnenspreiding: SS_within = Σ _{groep 1} (X-M₁)² + Σ _{groep 2} (X – M₂)² + …
oftewel SS_within = SS₁ + SS₂ + SS₃ + … + SS_k. Deze meet verschillen binnen de groepen.

Let op: deze formules gebruiken we niet om mee te rekenen. De formules kunnen als ondersteunend materiaal gebruikt worden. Rekenformules in het boek geven de G (grand total), T (total) en SS. Deze mogen overgeslagen worden omdat ze niets laten zien over wat je meet en wat je met de data doet. Je zult in het algemeen geen SS zelf hoeven te berekenen voor een ANOVA. Wel moet je met SS kunnen rekenen.

Om alle verschillende sources helder te houden, wordt de ANOVA-tabel gebruikt. Waarin overzichtelijk alle formules weergegeven worden. Verticaal wordt er opgeteld en horizontaal wordt er gedeeld!

Voordat er gerapporteerd kan worden (stap 5) moet eerst de effectgrootte berekend worden. Hiervoor wordt het eta-kwadraat (η2) gebruikt. Dit eta-kwadraat geeft het percentage van de verklaarde variantie en is een indicatie van de sterkte van het effect van de factor op de afhankelijke variabele. Kleine waarden geven een klein effect en grote waarden geven een groot effect. De hoeveelheid van de totale spreiding wordt verklaard door de verschillen tussengroepen. Dit levert een percentage op wat gerapporteerd moet worden. De interpretatie hiervan kan aan de hand van de richtlijnen van Cohen.

Richtlijnen van Cohen: blz. 299 van Gravetter

η2= 0,01 <> klein effect

η2= 0,09 <> medium effect

η2= 0,25 <> groot effect

Bij ANOVA gebeurt de rapportage aan de hand van de tabel, je zet dus geen gemiddelden in de tekst omdat het dan een grote rommel met allemaal getallen wordt. De tabel laat de gemiddelden zien. Anders mag het via de APA-regel.

Hier volgen nog enkele praktische handreikingen. ANOVA mag gebruikt worden bij 2 of meer dan 2 groepen. Bij 2 groepen mag er gekozen worden welke toets je wilt gebruiken, namelijk een t-toets voor 2 onafhankelijke groepen of een ANOVA. Het is belangrijk te beseffen dat de toetsingsgrootheid t en de toetsingsgrootheid F precies hetzelfde meten <> F= t² of t =√F

De p-waarde van de twee toetsen zal echter identiek zijn. Het nadeel van ANOVA is dat het niet eenzijdig getoetst kan worden, desondanks benaderen we het wel alsof het een eenzijdige toets is. Het is ook niet mogelijk om te kijken welke groep er verschilt als de H0 waar is. Als de H0 aangenomen wordt, blijkt dat alle gemiddelden gelijk lijken te zijn. Alle steekproeven zijn genomen uit een populatie met eenzelfde gemiddelde. Het is echter niet meer nodig om de verschillende groepen te onderscheiden. Als de H0 echter wel verworpen wordt, is de conclusie dat niet alle gemiddelden gelijk zijn. Maar waarom en waardoor die H0 verworpen is kan door paarsgewijze vergelijkingen opgelost worden. Dit kan met verschillende technieken. De voorkeur gaat uit volgens de manier van Tukey, die de betrouwbaarheidsintervallen samen gaat vergelijken. De post hoc toets zorgt dat het totale betrouwbaarheidsniveau blijft waar het moet zijn. Dit hoeft alleen via SPSS. Met post hoc toetsen kun je paarsgewijze vergelijkingen maken. Er zijn verschillende technieken: Bonferroni, Tukey en Scheffé. Voor elk paar van vergelijkingen gebruiken we het betrouwbaarheidsinterval. Alle technieken passen het betrouwbaarheidsniveau van het individuele interval aan, zodat het totale betrouwbaarheidsniveau op 95% blijft. Dit houdt in dat als we de procedure meerdere keren zouden uitvoeren, 95% van de resultaten binnen het interval ligt.

College 7: Tweeweg ANOVA

In de tweeweg ANOVA kunnen we, net als bij ANOVA zelf, drie groepen met elkaar vergelijken. Het is dan ook niet verbazingwekkend dat deze methoden op veel vlakken gelijk zijn. In de tweeweg ANOVA is het echter de bedoeling dat je achtergrondvariabelen meeneemt in de analyse. Groepen kunnen namelijk anders zijn met betrekking tot een tweede variabele/factor. Een voorbeeld hiervan is sekse. Wanneer er sprake is van zo’n extra variabele, is de tweeweg ANOVA de juiste methode om toe te passen. Wanneer je een tweeweg ANOVA gaat uitvoeren, is het belangrijk dat je een gemiddeldendiagram maakt. Hierna maak je een interactiediagram voor de extra variabele (bijvoorbeeld sekse). Wanneer er in een interactiediagram sprake is van een kruising, mag je geen conclusie trekken op globaal niveau. Wel mag je conclusies trekken op lokaal niveau, bijvoorbeeld per geslacht conclusies trekken. We spreken van interactie wanneer het effect van de ene factor anders is voor de groepen gedefinieerd door de andere factor.

Interactiediagram

De vraag is hoe je vanuit een gemaakt interactiediagram kunt bepalen of er sprake is van interactie. Wanneer er sprake is van parallelle lijnen is er geen sprake van een interactie-effect. In alle andere gevallen is er wel sprake van een interactie-effect. Als bijvoorbeeld twee lijnen bovenop elkaar liggen, is er sprake van geen interactie.

Toetsstappen

Kenmerkend voor de tweeweg ANOVA is dat het vooral gaat om het interactie-effect. De toetsstappen zijn hetzelfde als voorgaande methoden:

1. Hypotheses bepalen en significantie niveau kiezen

2. Kritieke waarde bepalen

3. De nulhypothese aannemen en de toetsingsgrootheid uitrekenen

4. Beslissing nemen over de nulhypothese

5. Conclusie rapporteren

Wat wel ‘afwijkt’ van de andere methoden, is dat je bij tweeweg ANOVA drie nulhypotheses en alternatieve hypotheses moet opstellen. Dit doe je namelijk voor hoofdeffect A, hoofdeffect B en het interactie-effect. De voorwaarden voor de tweeweg ANOVA zijn bovendien identiek als de voorwaarden van de t-toets met twee onafhankelijke variabelen. Een voorwaarde daarvan is dat de steekproeven onafhankelijk moeten zijn. Vaak is dit in eerste instantie niet het geval bij deze methode. Een deel van de spreiding wordt namelijk verklaard door hoofdeffect A en een ander deel door hoofdeffect B. Om deze reden splitsen we de tussenspreiding op. Je krijg in de SPSS tabel een stukje variantie voor hoofdeffect A, een stukje variantie voor hoofdeffect B en een stukje variantie voor de interactie tussen A en B.

Formules

Belangrijk om op te merken is dat de definitieformules in de slides niet toegepast hoeven worden bij het tentamen. Deze formules staan er alleen om de achterliggende gedachte te zien van de tweeweg ANOVA. Bij deze methode heb je, vanwege de drie subgroepen die hierboven besproken zijn, ook drie verschillende Mean Squares. De mean square van hoofdeffect A meet de systematische verschillen tussen rijgemiddelden. De mean square van hoofdeffect B meet de systematische verschillen tussen kolomgemiddelden. De mean square van het interactie-effect tussen hoofdeffect A en B meet of de verschillen binnen de kolommen (lokaal niveau) overeenkomen met de verschillen tussen de rijgemiddelden (globaal niveau). De vrijheidsgraden van hoofdeffect A bereken je door van het aantal rijen één af te halen. Bij de vrijheidsgraden van hoofdeffect B haal je juist één af van het aantal kolommen. De vrijheidsgraden voor het interactie-effect is een vermenigvuldiging van de vrijheidsgraden van A met het aantal vrijheidsgraden van B.

College 8: Onderzoek met bestaande gegevens

In voorgaande colleges zijn o.a. experimenten, surveys en observaties behandeld. Een groot nadeel van deze onderzoeksopzetten is dat participanten doorgaans weten dat zij deelnemen aan een onderzoek. De participanten stemmen hier vervolgens hun gedrag op af (bewust en/of onbewust) en deze reactiviteit is een bedreiging van de interne validiteit. Een manier om deze interne validiteit minder te schaden is door onderzoek te doen met bestaande gegevens.

Bestaande data en statistieken

Wanneer er sprake is van bestaande data, ofwel een secundaire analyse, moet er rekening gehouden worden met het feit dat de data vaak reactief is. Dit houdt in dat men wist dat ze deelnamen aan een onderzoek. Een voordeel van bestaande data is dat je vaak toegang kan krijgen tot de oorspronkelijke ruwe data. Wanneer er sprake is van reeds beschikbare statistieken, doelt men op gegevens die eerder verzameld zijn voor een ander doel dan wetenschappelijke analyse. Deze bestaande statistieken zijn dan ook vaan minder reactief dan bestaande data. Een voordeel van bestaande statistieken is dat veel online te vinden is en dat je toegang hebt tot gerapporteerde statistieken. Desondanks biedt de secundaire analyse de meeste flexibiliteit, omdat je toegang hebt tot de originele waarden van het onderzoek. Uiteraard kleven er ook een aantal nadelen aan het gebruik van bestaande data of statistieken. Zo kan er sprake zijn van missende gegevens, kan de betrouwbaarheid in gevaar komen en heb je veel minder controle over de validiteit. Bovendien moet je kennis van het onderwerp hebben, ander kan je relevante data niet op de juiste manier plaatsen. Ook kan je te maken krijgen met misplaced concreteness en ecological fallacy. Met misplaced concreteness wordt bedoeld dat de data op een te nauwkeurige manier is gerapporteerd wanneer dit niet van belang is. Ecological fallacy betekent dat er niet gegeneraliseerd mag worden naar het individu. Wanneer je bestaande informatie hebt over een gehele groep, mag en kan je namelijk niks zeggen over een specifiek individu binnen of buiten die groep.

Big data

Big data is bestaande data die vaak niet reactief is. Andere kenmerken zijn het volume, de snelheid en de variabiliteit. Het volume is namelijk gigantisch, de snelheid is hoog en er is veel afwisseling in de gegevens. Big data is te onderscheiden in vier soorten:

• Register data

• Transactie data

• Social media data

• GPS data

Bij register data kan je denken aan het CBS, bij transactie data aan creditcards, bij social media data aan facebook en bij GPS data aan navigatiesystemen. Ook big data heeft beperkingen. Zo kan er getwijfeld worden aan de kwaliteit van de data. Wellicht is er sprake van beperkte of foutieve demografische variabelen. Ook de causaliteit is moeilijk te bepalen, er is namelijk heel veel informatie ter beschikking, maar wat is de exacte verklaring van een effect of relatie? Binnen de steekproef en de populatie heb je het dekkingsprobleem, namelijk de vraag of je iedereen hebt kunnen bereiken met je onderzoek.

Systematische review en meta-analyse

Een systematische review is een systematische identificatie, evaluatie en synthese van alle relevante studies over een specifiek onderwerp, gebaseerd op een expliciete en voorgeschreven methodologie. Er zijn 6 stappen waarin je een systematische review kan vormen:

1. Formuleren reviewvraag

2. Systematisch zoeken

3. Gevonden literatuur analyseren op geschiktheid

4. Beoordelen van de kwaliteit van de gevonden literatuur

5. Samenvatten geselecteerde literatuur (synthese)

6. Bevindingen rapporteren

Het formuleren van een reviewvraag bestaat uit verschillende onderdelen, namelijk het probleem, de interventie, de vergelijking en de uitkomst. De vragen die je hierbij stelt, zijn: om wie gaat het? Wat gaan we veranderen? Met wat vergelijken we de data? Wat is een relevante maat? Wat van groot belang is bij het formuleren van de reviewvraag is dat je eigen kennis voldoende is. Daarnaast moet er rekening gehouden worden met de betrokken partijen. Wanneer je uiteindelijk de geselecteerde literatuur gaat samenvatten, kun je dit op verschillende manieren doen. Je kan narratief schrijven of direct een systematische review. Wanneer je narratief schrijft, schrijf je uit de losse pols en werk je dit later bij. Wanneer je direct een systematische review schrijft, kun je dit kwalitatief en kwantitatief doen. Via de kwalitatieve weg heb je te maken met het coderen van thema’s. Dit is aan bod gekomen bij het NVivo practicum. Bij een kwantitatieve systematische review is er sprake van een meta-analyse, waarbij verschillen in oorzaak worden geanalyseerd. De nadelen van een systematische review, is dat er uiteindelijk maar een aantal relevante studies zijn te vinden. Bovendien is elke studie methodologisch mogelijk anders. Ook kan je te maken krijgen met het file-drawer probleem. Je moet een artikel namelijk kunnen publiceren. Ook al is er geen sprake van een significant effect, kan een artikel nog steeds belangrijke informatie bevatten. Wanneer dergelijke artikelen niet worden gepubliceerd, is deze informatie niet toegankelijk voor andere onderzoekers.

Fysieke neerslag van gedrag

Fysieke neerslag is non-verbaal, niet-reactief gedrag. Het centrale idee is wat we zeggen dat we doen niet altijd gelijk is aan wat we daadwerkelijk doen. Het ultieme archief is dan ook de vuilnishoop. Wanneer iemand een nieuwe telefoon koopt, is dit te achterhalen bij de vuilnis waar de verpakkingen liggen. Dit bewijs is echter indirect bewijs en er is sprake van een educated guess over hoe en waarom iemand een telefoon gekocht heeft. Bovendien kan deze methode geen gevoelens, meningen of belevingen van mensen meten. Vervolgens heb je ook te maken met privacy issues en ethische problemen.

Inhoudsanalyse

Een inhoudsanalyse analyseert boodschappen en is niet-reactief. Er is niet alleen sprake van een analyse van wat er gecommuniceerd wordt, maar ook hoe het gerapporteerd is. Deze methode is zeer geschikt voor grote hoeveelheden informatie, observatie op afstand of observatie van lang geleden. Ook in deze methode zijn er een aantal stappen te vinden:

1. Het verzamelen van materiaal

2. Het maken van een coderingsschema

3. Het vastleggen hoe eigenschappen worden vertaald in gegevens

Bij het maken van een coderingsschema vraag je je af wat je eigenlijk wilt meten en operationaliseer je theoretische begrippen. Er kunnen echter wel methodologische problemen plaatsvinden bij het opzetten van een coderings-schema. Zo kunnen er problemen zijn met de betrouwbaarheid en validiteit. Andere beperkingen van de inhoudsanalyse is dat het niet de waarheid van een boodschap kan bepalen. Bovendien kan het niks zeggen over de intenties van de zenders van de boodschappen en kan het ook niks zeggen over de invloed van een boodschap op de ontvangers.

College 9: Chi-kwadraat toetsen

Wanneer we te maken krijgen met nominale variabelen (bijvoorbeeld een voorkeur voor kleur bij peuters), kun je geen gebruik maken van beschrijvende statistiek. Wat we hierbij wel kunnen doen is het toepassen van een chi-kwadraat toets. Hiervoor maak je allereerst een frequentietabel. Wanneer je twee nominale variabelen hebt, moet je een kruistabel maken. Binnen de chi-kwadraat toetsen heb je twee soorten: goodness of fit en test of independence. Bij goodness of fit heb je te maken met één nominale variabele en bij de testof independence heb je te maken met twee nominale variabelen. Goed om te weten is dat ook hier weer dezelfde toetsstappen worden gebruikt als bij de t-toetsen en ANOVA.

Goodness of fit

Bij de goodness of fit heb je twee mogelijkheden voor het opstellen van de hypothesen. Je kan aangeven dat er geen voorkeur is voor een bepaalde kleur bij peuters, maar je zou ook kunnen zeggen dat er geen verschil is met een bestaande populatieverdeling. Wanneer je de nulhypothese noteert, maak je een tabel. Hier zet je bijvoorbeeld vier verschillende kleuren in (rood, groen, blauw en geel) en hieronder zet je steeds hetzelfde getal. Je verwacht immers geen verschil. Dit getal mag je in de vorm van een breuk plaatsen (1/4), maar ook in percentages (25%) of juist in decimalen (0.25). Vanuit deze nulhypothese kan je de verwachte frequentietabel maken. De formule hiervoor is: f_e = nulhypothese verwachting * de grootte van de steekproef. Stel we hebben 60 peuters onderzocht, dan wordt de verwachte frequentie: f_e = ¼ * 60 = 15. De frequentietabel ziet er in principe hetzelfde uit als de tabel die je gebruikt om de nulhypothese op te stellen, maar nu maak je gebruik van getallen in plaats van breuken of percentages. Onder elke kleur (rood, groen, blauw en geel) komt nu dus steeds het getal 15 te staan. Deze frequentietabel hoort dus nog steeds bij de nulhypothese. De uiteindelijke data voor de Goodness of Fit bestaat uiteindelijk uit twee rijen met frequenties: de geobserveerde frequenties en de verwachte frequenties. De geobserveerde frequentie wordt aangegeven met f_o. Wanneer je wilt kijken of de gevonden verschillen tussen de verwachte frequenties en de geobserveerde frequenties significant zijn, moet je de toetsingsgrootheid (Χ) berekenen. Het verschil tussen f_o en f_e kwadrateer je en deel je vervolgens door f_e. Dit moet je per geobserveerde frequentie berekenen en dus krijg je een som van vier berekeningen, volgens ons voorbeeld met kleuren. Wanneer er sprake is van een groot verschil, heeft X² een grote waarde. Wanneer er juist sprake is van een klein verschil, heeft X² een kleine waarde. Je verwerpt de nulhypothese dus als X² groot is. De vraag is echter, wat is klein en wat is groot? Hiervoor maak je gebruik van tabel B.8 in het boek. Wanneer je gebruik maakt van deze tabel, moet je de vrijheidsgraden berekenen. Hiervoor haal je van het aantal categorieën één af. In ons voorbeeld zou dat dan zijn: df = 4-1 = 3. Een paar dingen waar men op moet letten bij het gebruiken van deze toetsmethode, is dat de geobserveerde frequentie een heel getal moet zijn en niet op decimalen kan eindigen. Een verwachte frequentie kan dit wel. Deze toets heeft geen effectgrootte.

Test of independence

De test of independence gebruik je als er sprake is van twee nominale variabelen. Ook hier heb je weer twee mogelijkheden voor het opstellen van een hypothese. Er kan namelijk sprake zijn van één steekproef, maar dat er wel 2 variabelen gemeten worden. Wanneer dat het geval is, spreek je van een test of independence. De nulhypothese geeft dan aan dat variabele A onafhankelijk is van variabele B. Er kan echter ook sprake zijn van meerdere steekproeven waarbij er enkel één variabele gemeten wordt. Dan is er sprake van een Test of Homogeneity. De nulhypothese geeft in dat geval aan dat de verdeling van die variabele gelijk is binnen alle groepen of populaties. Beide toetsen voer je op dezelfde methode uit. Bij deze methode moet je een kruistabel maken met twee rijen (de geobserveerde en verwachte frequenties). Met de rij- en kolomfrequenties kun je vervolgens de verwachte frequenties berekenen: f_e = (f_r * f_c )/n. De toetsingsgrootheid is bij deze toets exact hetzelfde als bij de goodness of fit toets. De vrijheidsgraden bereken je echter wel op een andere manier, namelijk: df = (R-1)(C-1). De R staat hierbij voor het aantal rijen en de C voor het aantal kolommen. Deze toets heeft, in tegenstelling tot de goodness of fit toets, wel een effectgrootte. De effectgrootte mag je dus alleen berekenen voor 2x2 tabellen waarbij er sprake is van een correlatie tussen twee dichotome variabelen. De effectgrootte noemen we de phi-coëfficiënt (ϕ). De formule hiervoor is: ϕ = √ X²/n. Wanneer je wilt weten wanneer er sprake is van een klein, medium of groot effect, moet je de richtlijnen van Cohen kennen. Er kan echter ook sprake zijn van een kruistabel die groter is dan 2x2. Dan pas je de formule van Cramer’s V aan als mate van effectgrootte: V = √ X²/(n*df). Let er hierbij op dat de vrijheidsgraden de kleinste grootte moet zijn van óf (R-1) óf (C-1). Wanneer het aantal rijen 7 is en het aantal kolommen 10, gebruik je dus de vrijheidsgraden R-1 = 7 -1 = 6. Voor de Cramer’s V hoef je de mate van effectgrootte niet te kennen, omdat deze tabel gewoonweg te groot is. De vrijheidsgraden kunnen immers oplopen tot 100 wanneer je een gigantische kruistabel gebruikt.

Voorwaarden voor Chi-kwadraat toets

Voor alle Chi-kwadraat toetsen moet men er op letten dat de observaties allemaal onafhankelijk moeten zijn. Er mogen dus geen herhaalde metingen plaatsvinden. Bovendien mogen de verwachte frequenties niet onder de vijf vallen. Een SPSS tabel geeft dit aan door te zeggen: 0 cells (0.0&) have expected frequencies less than 5. The minimum expected cell frequency is ….

College 10: Instructie NVivo-opdracht

Bij het maken van een NVivo-opdracht is het nuttig om een stappenplan te volgen:

1. Kies een vraagstelling

2. Ga coderen

3. Bepaal de namen voor de nodes

4. Leg het interview langs Neumans meetlat

5. Maak een overzicht van thema’s en motiveer deze

Bij deze opdracht hadden we bij stap een keuze uit 3 vraagstellingen. Je mag hierbij zelf bepalen welke vraagstelling jou het handigst lijkt om te coderen. De vraagstelling over de ervaringen van vrouwelijke militairen en de manier waarop de buitenwereld daarmee omgaat, was de meest gekozen vraagstelling. De volgende stap is het coderen van de tekst. Hierbij zijn de namen voor de nodes enorm van belang.

Bepaal de namen voor de nodes

De fout die vaak is gemaakt, is het gebruik van container nodes. Hiermee wordt bedoeld dat de codes te algemeen waren en tegelijkertijd niet informatief. De node “nadelen” is dus veel te breed. Dit kun je echter specificeren tot “nadelen van zwanger zijn”. Een andere fout die veel gemaakt werd, is het juist te specifiek coderen. Hierbij krijg je lange en daarmee ook onduidelijke nodes. Een voorbeeld hiervan is “de keuze van een vrouw om het leger in te gaan wordt belachelijk gemaakt”. Een tip om beide fouten te vermijden is zo specifiek mogelijk te zijn, maar het tegelijkertijd beperken tot een aantal woorden. Een voorbeeld hiervan is “moederschap en defensie”. Een heel andere fout kwam ook nog wel eens voor, namelijk wanneer de node niet in overeenstemming is met de gegevens. Wanneer dit gebeurt, is de boodschap niet goed overgekomen en is het aan te raden het interview nog eens te lezen.

Interview langs Neumans meetlat leggen

Wanneer je een interview leest, kan het handig zijn om de meetlat van Neuman in het achterhoofd te houden. Hierdoor krijg je sneller en gemakkelijker een algemeen beeld van het gehele interview. Zo kon er in de opdracht opgemerkt worden dat er veel open vragen gesteld werden als “heb je vaker discriminatie ervaren?”. Hierbij werden er door de participant vaak voorbeelden gegeven als antwoord en krijg je dus een gesprek. Bovendien werd er interesse getoond in de antwoorden van participanten. Dit is te zien aan het blijven doorvragen van de interviewer. Een ander punt waar je op kan letten tijdens het lezen van een interview is de vraagvolgorde. Vaak is het verstandig om te beginnen met algemene vragen en later in het interview meer beladen vragen te stellen

Overzicht thema’s en motiveren

Wanneer je nodes hebt gemaakt en fragmenten hebt teruggezocht, kun je deze terugkoppelen naar de vraagstelling. Wanneer je bij stap 1 gekozen hebt uit de vraag wat de ervaringen zijn van de buitenwereld op vrouwelijke militairen, kun je de nodes hieraan ophangen. Wanneer je de node “zwangerschap en defensie” hebt gebruikt kun je dit, dankzij het coderen, makkelijk terugvinden. Wanneer je hierover een zin wilt schrijven bij vraag vijf in de NVivo-opdracht moet je erop letten dat je spreekt over de geïnterviewden. Om het rapporteren zo overzichtelijk mogelijk te houden is het aan te raden thematisch te rapporteren en dit niet per participant te doen. Het is dus niet de bedoeling steeds het volgende te zeggen: “participant A gaf aan…., participant D gaf echter aan dat…”. Met thematisch rapporteren wordt er gedoeld op het rapporteren per node. Je kan dus aangeven hoeveel vrouwen ervaring hebben met zwanger zijn terwijl zij werkzaam is bij defensie.

Bron

Deze aantekeningen zijn gebaseerd op het vak MTS 2 van het jaar 2015-2016. Aangezien het instructiecollege statistiek geen nieuwe informatie bevatte, verschijnt hiervan geen samenvatting.