Deze samenvatting is gebaseerd op het studiejaar 2013-2014.

College 1: Review en correlatie

Kirsten Namesnik, 22 april 2014

De sociale wetenschappen onderzoeken hoe mensen zich gedragen, waarom ze doen wat ze doen, wat ze denken en waarom ze dat denken. Als je onderzoek gaat doen op dit gebied, krijg je altijd te maken met mensen. Belangrijk is dan dat je weet hoe je deze mensen moet behandelen, en wat daarbij wel of niet geoorloofd is. Daarna ga je pas kijken naar de manier waarop je data kan verzamelen en hoe je de data kan analyseren.

Als je een onderzoek gaat doen volg je de volgende stappen:

1. Onderwerp kiezen.

2. Onderzoeksvraag formuleren.

3. Operationaliseren.

4. Methode kiezen.

5. Hypothesen opstellen.

6. Techniek kiezen.

7. Data analyseren.

8. Conclusies trekken.

In de cursus MTS 2 komen verschillende nieuwe onderzoeksmethoden aan de orde. Bij een survey stel je vragen aan mensen over gevoelens, opinies en ervaringen. Bij een experiment probeer je verschillen of relaties aan te tonen door manipulatie. Wanneer je mensen in de natuurlijke setting gaat observeren, is er sprake van kwalitatief onderzoek. Tot slot kun je ook gebruik maken van bestaande gegevens in je onderzoek. Bij deze nieuwe onderzoeksmethoden horen ook nieuwe statistische technieken.

Het herkennen van het meetniveau en de variabelen is erg belangrijk. In een correlatiestudie wordt er gekeken of er een relatie is tussen twee variabelen. Bijvoorbeeld of er een relatie is tussen het aantal uren dat je voor het tentamen leert en je tentamen cijfer? Of is er een relatie tussen het aantal Facebook-vrienden en de studiecijfers? Dit kan worden beantwoord aan de hand van een correlatiestudie.

Deze studies kijken naar lineaire relaties tussen twee variabelen. Deze relatie wordt beschreven aan de hand van een correlatiecoëfficiënt voor de sterkte, richting en significantie van de correlatie. Er bestaan twee vormen, namelijk 2 variabelen van interval/ratio meetniveau wat de Pearson correlatie genoemd wordt. 2 variabelen van ordinaal meetniveau wordt de Spearman correlatie genoemd.

Er wordt alleen gekeken of er überhaupt een relatie is. Er wordt dus niet gekeken of de ene variabele de andere variabele beïnvloedt of veroorzaakt.

Als we naar een correlatie gaan kijken moet er eerst gekeken worden naar een grafiek. Er moet namelijk sprake zijn van een lineaire trend zijn. Dit kan aan de hand van een spreidingsdiagram. Als er echter sprake is van een oorzaak-gevolg relatie, moet er gekeken worden naar experiment. De relatie tussen twee variabelen kan ook een ander patroon vormen bijvoorbeeld een kromme. Er kan dan geen correlatie zijn.

Er moet vervolgens ook gekeken worden naar de richting van de relatie. Het gaat hierbij om een algemene trend. Er kan sprake zijn van een positieve en negatieve richting. Een positieve richting betekent dat de X-variabele toeneemt. De Y-variabele neemt ook toe. De twee variabelen bewegen dus in dezelfde richting. Een negatieve relatie geeft een toename in de X-variabele en een afname in de Y-variabele. De 2 variabelen bewegen in tegengestelde richting.

Pearson

De Pearson correlatie meet de sterkte en de richting van het lineaire verband tussen twee variabelen op het interval/ratio meetniveau. Het gaat dus alleen over de lineaire relatie. De correlatie wordt aangeduid met een r. waarden die dicht bij 0 liggen geven een zwakke relatie aan. Waarden die dicht bij +1 liggen geven een sterk verband aan. Een waarde van +-1 geeft een perfect lineair verband aan. In de collegeslides staan op de 13^e slide duidelijke voorbeelden hierbij.

De Person correlatie gaat meten hoeveel van de spreiding in X en de spreiding van Y een gezamenlijke spreiding is. De gezamenlijke spreiding van X en Y delen door de spreiding van X en Y apart geeft de correlatiecoëfficiënt. De spreiding van X en Y wordt gemeten met de kwadratensom (SS). Voor de gezamenlijke spreiding gebruiken en niet een kwadratensom maar een productensom (SP=som of products). De correlatie in de populatie wordt aangegeven door de Griekse letter rho.

Stappen

Allereerst worden de hypotheses bepaald en het significante niveau gekozen. De tweede stap zijn de kritieke waarden berekenen. Als H0 waar is verwachten we dat de steekproefcorrelatie r dicht bij 0 zal vallen. Dan zullen we H0 niet verwerpen als de r klein is en we zullen H0 verwerpen als de r groot is. We zullen H0 dan verwerpen als de r groter of gelijk is aan de r-kritiek. Tijdens de derde stap wordt de toetsingsgrootheid uitgerekend. Door te kijken naar de tabel B6. De vierde stap is de beslissing nemen over H0, waarbij de H0 wel of niet verworpen wordt. De laatste stap is het rapporteren van de conclusie. Er moet op drie decimalen na nauwkeurig gerapporteerd worden. Volgorde van de rapportage is als volgt; allereerst de r. Hierbij moet een + of min vermeld worden Daarna volgt de n en daarna de p. Tot slot of het een eenzijdige of tweezijdige toetsing is.

Let op, de factoren met een grote invloed op de correlatiecoëfficiënt, zoals bijvoorbeeld uitschieters of een beperkt bereik (deel van de scores die je bekijkt, subgroepen in plaats van het totaal) van data in de steekproef.

Spearman

De Spearman correlatiecoëfficiënt meet de sterkte en de richting tussen 2 ordinale variabelen. Deze twee variabelen kunnen oorspronkelijk al ordinaal gemeten zijn; of ordinaal gemaakt zijn door middel van rangscores om een non-lineaire relatie recht te trekken. Dit kan alleen maar als de kromme alleen maar stijgend is of alleen maar dalend is.

Een non-lineaire (kromme) relatie kun je rechtmaken door rangscores te berekenen. Als een lineaire lijn niet helemaal d goede relatie weergeeft, dan kunnen er geen rangscores berekend worden. Bij de kromme wel, omdat er een consistente toename is. Als er dan sprake is van een knoop (tie) wat betekent dat er twee dezelfde X-en zijn, krijgen deze geen verschillende rangscore maar beiden de helft van de rangscore. Na het opnieuw maken van een grafiek is zichtbaar dat de kromme recht getrokken is. De Spearman correlatiecoëfficiënt wordt berekend met dezelfde formule als de Pearson, aan de hand van de rangscores voor X en Y. Ook voor de Spearman correlatie kunnen we een toets doen. Deze werkt hetzelfde als de vorige correlatietoets. Hiervoor moet echter wel een andere tabel gebruikt worden, namelijk B.7. Let op, een verschil met B.6 is dat de kritieke waarden gebaseerd zijn op n en niet op df=n-2.

Er zijn nog twee andere correlaties:

1. Punt-Biseriële Correlatie.

2. Phi-Coëfficiënt.

Deze zijn beide voor dichotome variabelen. Dit zijn variabelen met maar twee waarden, zoals sekse. Deze twee correlaties geven antwoord op de vraag: komen hoge of lage waarden op de ene variabele overeen met hoge of lage waarden op de andere variabele?

De punt-biseriële correlatie meet de sterkte van het verband tussen een variabele op interval of ratio niveau, of een dichotome variabele. Dezelfde formule wordt gebruikt. X of Y bestaat alleen uit 0 of 1.

De Phi-coëfficiënt meet de sterkte van het verband tussen twee dichotome variabelen. Ook hier wordt dezelfde formule gebruikt, en bestaan Y of X alleen uit 0 of 1.

College 2: Regressie

Kirsten Namesnik, 24 april 2014

Het gaat in dit hoofdstuk over lineaire relaties. Aan de hand van het beschrijven van deze relaties kunnen er voorspellingen gemaakt worden. Bij een correlatiestudie wordt er gekeken of er een relatie is tussen twee variabelen. Dit wordt gebruikt bij de verificatie van theorieën, betrouwbaarheid, validiteit en om te voorspellen. Validiteit voorspellen wordt regressie genoemd. De vraagstelling die hierbij hoort is: kan de waarde van iemand op een bepaald kenmerk voorspeld worden met kennis over andere kenmerken? We gaan dus kijken of we de relatie tussen twee variabelen kunnen beschrijven, zodat we voorspellingen kunnen maken over een bepaalde variabelen. Dit gaan we doen aan de hand van een vergelijking. We moeten als eerste de relaties tussen variabelen analyseren, daarna deze relaties beschrijven, en uiteindelijk toetsen uitvoeren over de relaties en de significantie.

Een regressieanalyse heeft duidelijke rollen wat betreft de variabelen. De afhankelijke variabele (Y), dat onderzoekt de regressieanalyse, met een minimaal meetniveau interval. In regressie wordt de onafhankelijke variabele (X) vaak de predictor genoemd.

De eerste stap is net als bij correlatie, eerst een spreidingsdiagram maken. Het verschil tussen het gebruik van een correlatieanalyse of een regressie analyse is dat bij een correlatieanalyse er een relatie is tussen de twee variabelen en dat de variabelen geen specifieke rol spelen. Bij een regressieanalyse doe je een voorspelling van een variabele (afhankelijk) aan de hand van de andere variabele (onafhankelijk). Er moet altijd gekeken worden naar de vraagstelling, want daar ligt het aan welke analyse je gebruikt. Je moet dus goed weten wat de afhankelijke, en wat de onafhankelijke variabele is. De onafhankelijke variabele altijd op de x-as. De afhankelijke variabele altijd op de y-as. De lijn die je ziet in de spreidingsdiagram zorgt ervan dat het lineaire verband beter zichtbaar is. Ook geeft deze lijn het gemiddelde aan. Let wel: de lijn geeft de gemiddelde relatie aan, de gemiddelde Y. De lijn wordt dus getrokken door de gemiddelden. Met deze lijn door de puntenwolk kunnen voorspellingen gedaan worden.

De lineaire relatie tussen twee variabelen wordt beschreven als Y = bX + a. b noemen we de richtingscoëfficiënt, of de regressiecoëfficiënt. Bijvoorbeeld: met hoeveel kilo neemt het gemiddelde gewicht van studenten toe als ze 1 cm langer zijn? De a is de Y intercept, waar snijdt de lijn de y-as als x nul is? In SPSS wordt dit de constante genoemd. De waarde van de Y-intercept is bij de sociale wetenschappen vaak niet interessant omdat het niets betekent. Want het is bijvoorbeeld: hoeveel weegt een student van nul centimeter lang? In natuurwetenschappen is dit heel anders.

In de statistiek bepalen we de vergelijking die de ‘gemiddelde’ relatie tussen twee variabelen X en Y beschrijft. We gaan dan op zoek naar de vergelijking die het beste bij de data past. We moeten kunnen meten hoe goed de lijn bij zo’n puntenwolk past. De techniek die hiervoor gebruikt wordt is de Least Squares Regression. Least betekent het minste en Squares betekent kwadratensom. We gaan de regressie opstellen door de kleinste kwadratensom te zoeken.

Vervolgens moet er een bepaalde definitie gemaakt worden welke lijn in de puntenwolk het beste past bij wat je wilt weten. Dan kan de afstand gemeten worden tussen de puntenwolk en de lijn. De afstand tussen een observatie en de lijn heet residu. Het gaat om de verticale afstand. Deze afstand wordt ook wel de schattingsfout genoemd. Als een punt onder de lijn ligt is het residu negatief. Als een punt echter boven de lijn ligt, dan is het verschil positief. Als je een lijn hebt die niet goed bij de residuen past, is de som van alle residuen groot. Als er sprake is van positieve en negatieve residuen, worden deze gekwadrateerd en vervolgens bij elkaar opgeteld. De vergelijking die de kleinste kwadratensom van residuen oplevert past het beste bij de data, de standaardfout is daar het kleinst. Die vergelijking die de kleinste kwadratensom van de residuen oplevert is de “winnaar”. Het is nu ook duidelijk waarom de techniek Least Squares Regression heet (minste kwadratensom). Dezelfde formule wordt genoemd: Y (y met dakje erop!) = bX + a. Dit wordt uitgesproken als ‘Y-hat’ of Y-dakje. Een dakje geeft een schatting aan. Als je een formule ziet waar in plaats van een a en een b een alfa en een bèta staat, gaat het over de populatie. Dit wordt in deze cursus niet meer gebruikt, hier wordt slechts gekeken naar de steekproef.

Hierbij zijn een paar formules belangrijk:

• Richtingscoëfficiënt: b = SP / SS_xof b = r x (s_y/s_x). S is hierbij de standaarddeviatie.

• Residu: Y geobserveerd – Y verwacht

Hoe kom je aan de richtingscoëfficiënt?

Dit wordt berekent aan de hand van de productensom gedeeld door de sum of squares van x. Als de Y-intercept uitgerekend worden gebruik je: M van y – bM van x. Dit is het resultaat van het punt (M van x, M van y) dat altijd precies op de regressielijn valt.

Er is echter ook een alternatieve formule die gebruikt maakt van de standaardafwijkingen. De ratio daarvan moet vermenigvuldigd worden met de gemiddelde standaardafwijking van Y en X. Met deze formule kun je goed het nauwe verband tussen correlatie en regressie zien.

Dit wordt geïllustreerd aan de hand van een voorbeeld. De onderzoeksvraag hierbij is: kunnen we de studiedruk in het derde jaar voorspellen aan de hand van de gemiddelde cijfers van het tweede jaar? De studenten hebben een vragenlijst ingevuld over studiedruk. X = gemiddelde cijfer aan het eind van het tweede jaar. Y = studiedrukscore in het derde studiejaar. Het is gemeten met een Likert schaal. De richtingscoëfficiënt is hier -0.7. Het snijpunt met de x-as is 7.8. Dit betekent in feite niks, want als een student gemiddeld een 0 staat voorspellen we een studiedruk van 7.8. De studiedruk kan echter maar maximaal tot 5 gaan. De vergelijking wordt als volgt: Y-dakje = -0.717X + 7.834. Met SPSS is ook de correlatie uit te rekenen tussen de twee variabelen. Als we de alternatieve formule gebruiken kun je aan de hand van SPSS statistieken de richtingscoëfficiënt uitrekenen. De standaardafwijking staat namelijk in de SPSS output gegeven. Je komt dan uit op dezelfde formule voor Y-dakje. Onder de output staat wat de afhankelijk variabele is, namelijk studiedruk. De X-variabele of de onafhankelijke variabele staat in de tabel zelf, want die maakt deel uit van de vergelijking. In kolom B staan de coëfficiënten voor de vergelijking. De eerste waarde is de waarde van a, de constante. De tweede waarde hoort bij X, en dat is de richtingscoëfficiënt b. Je mag het ook in woorden opschrijven: voorspelde studiedruk = -0.717 x gemiddeld cijfer + 7.834. Agnes haalde een 6.9 gemiddeld, en haar studiedruk wordt dan voorspeld door het cijfer in de formule in te vullen. Haar studiedruk wordt verwacht om 2.89 te zijn.

Stappen in Regressie

De eerste stap van het voorspellen van de Y-score is om de X-waarde van die individu in de regressievergelijking te stoppen. Dit betekent dat je een voorspelling van de Y-waarde van een individu krijgt bij een bepaalde X. Het kan ook zijn dat het een schatting is van het gemiddelde van Y voor iedereen bij een bepaalde X.

De waarde van Y-dakje is dezelfde waarde maar de betekenis is anders. Let dus goed op dat deze waarde op twee manieren geïnterpreteerd kan worden. Bovendien moet je geen voorspellingen doen buiten het bereik van X (extrapoleren), dus niet buiten de waarden om die je geobserveerd hebt.

Er bestaat ook een gestandaardiseerde vorm van regressievergelijking, bij verschillende variabelen die gestandaardiseerd zijn. Hierbij moeten de z-scores gebruikt worden, waarbij alle eenheden vervallen. Alle variabelen krijgen dan dezelfde eenheden, waardoor de x-variabelen vergeleken kunnen worden. Hierbij moeten eerste de X en de Y gestandaardiseerd worden. Daarna standaardiseren (de z-scores uitrekenen). Hierbij geven we bèta als naam aan de gestandaardiseerde richtingscoëfficiënt. Bèta is dus de correlatiecoëfficiënt.

Spreiding

Bij weinig spreiding rond de regressielijn zijn de residuen klein. De voorspellingen die we maken met betrekking tot de regressievergelijking zijn dan veel nauwkeuriger. Bij veel spreiding rond de regressielijn zijn de voorspellingen die we maken minder nauwkeurig.

De spreiding rond de regressielijn wordt gemeten door een standaardafwijking. Deze standaardafwijking doemen we de standaardschattingsfout (standard error of the estimate). Dit kan gerapporteerd worden, waardoor je kan zien of de voorspelling nauwkeurig is. Aan de hand van de standaardschattingsfout kun je bijvoorbeeld kijken welk van twee modellen het meest nauwkeurig is. De modellen moeten dan wel hetzelfde meten. Deze standaardschattingsfout staat letterlijk in de SPSS output, en wordt ook wel de standard error of the estimate genoemd. Het is in feite de standaardfout van de residuen.

Voor de standaardschattingsfout gebruiken we weer een kwadratensom gedeeld door de vrijheidsgraden. De kwadratensom is SS residual. De df zijn n-2. De standaardschattingsfout is dan de wortel van de ss residual gedeeld door n-2. Dit is allemaal terug te vinden in de output. Ook staat er ‘mean square’ in de output, en dat betekent variantie. Van de variantie moet je nog de wortel trekken om tot de standaardschattingsfout te komen.

Effectgrootte

Ook bij de regressie kijken we naar de effectgrootte. De effectgrootte bepalen we aan de hand van de proportie verklaarde variantie. Dit wordt gemeten door r². r² is het kwadraat van de correlatie tussen X en Y. r² heet ook wel de ‘coëfficiënt of determination’ en meet de proportie van de totale spreiding van de Y die verklaard wordt door de lineaire relatie met X. (1-r²) met dan dus de proportie van de spreiding dat niet verklaard wordt door de regressie relatie. De totale spreiding van Y = SS_y, of SS_total. Het stuk spreiding dat verklaard wordt door het regressiemodel is SS regression. Dan krijg je dus SS regression gedeeld door SS totaal. Dit levert de effectgrootte op. Deze laatste formule staat niet goed in het boek en ook niet op het formuleblad. De twee formules van het onverklaarde stuk spreiding en het verklaarde stuk spreiding staan wel op het formuleblad. Van deze formules kun je de effectgrootte zelf afleiden. De gegevens die je met deze formule uitrekent staan echter ook vaak gewoon in de SPSS output.

Toetsing

Tot slot moet getoetst worden of de relatie wel significant is. Dit is eigenlijk hetzelfde als kijken of de X-variabele wel goed functioneert. Wordt er wel een significant deel van de spreiding verklaard? Dit kan op twee manieren getoetst worde. Een toets voor de richtingscoëfficiënt of een toets voor een significante relatie. De eerste is kijken of het richtingscoëfficiënt in de populatie (bèta) gelijk is aan nul of niet en kan met een gewone t-toets. De p-waarde is ook hetzelfde als voor de correlatietoets.

De tweede manier van toetsen is de toets voor een significante relatie. Deze toetst of een significant deel van de spreiding in Y wordt verklaard door de lineaire relatie. Deze toets worden ook wel de regressieanalyse genoemd en is eigenlijk hetzelfde als de variantieanalyse, de F-toets dus. Hierbij wordt de totale spreiding verdeeld onder de regressie (verklaard deel) en de residuen (onverklaard deel). In een enkelvoudig (een x-variabele, meervoudig zijn meerdere x-variabelen) regressiemodel zijn de t-toets en de F-toets identiek! F= t², p-waarden zijn gelijk!

College 3: Survey, enquête, vragenlijst, interview

Edith de Leeuw, 29 april 2014

Het boek van Neuman is erop gericht om volwassenen te onderzoeken. De studenten moeten beseffen dat er meer is dan alleen volwassenen, maar dat is een heel breed en ander terrein. In dit college gaat het vooral over de survey in het algemeen.

Survey onderzoek is een methode voor het verzamelen van data op een gestructureerde manier. Het verschil met andere dataverzamelingen is dat er dezelfde vragen worden voorgelegd aan een groot aantal respondenten. Bij andere methoden als experiment, observatie, inhoudsanalyse en kwalitatieve open interviews is het aantal respondenten veel kleiner.

Het type onderzoek wat vaak op universiteiten gedaan wordt, verschilt van een opinion poll. Bij een opinion poll is er sprake van weinig vragen en deze methode is eenvoudig te analyseren.

Sociaal onderzoek/wetenschappelijk onderzoek bestaat uit veel vragen, is correlationeel en is hypothese-testend. Het is op een gestructureerde manier dezelfde vragen voorleggen aan een groot aantal mensen (respondenten). Bijvoorbeeld vragen over gedrag, ervaringen, meningen, houdingen, kennis en achtergrondkenmerken. Er is een (kans) steekproef nodig uit een goed gedefinieerde doelpopulatie.

Soms zijn surveys alleen voor ‘fun’; het gaat alleen om een kop of een grappig gegeven. Voorbeelden hiervan zijn weetjes die je leest in de krant of op tv ziet, zoals 81% vindt Valentijnsdag commercieel. Soms zijn er cijfers nodig voor planning, bestuur en maatschappij. Neem bijvoorbeeld het CBS (o.a. economische statistieken). Soms hebben onderzoeken een harde economische achtergrond (bijvoorbeeld kijkcijfers bij tv-programma’s).

Survey onderzoek meet vaak veel variabelen en het test meestal meerdere hypothesen. Dit onderzoek is niet experimenteel want er worden correlationele verbanden geanalyseerd. Wat de oorzaak en het gevolg is kan met behulp van andere controlevariabelen bepaald worden. Oorzaak en gevolg worden dus indirect onderzocht. Het is dus een correlationeel onderzoek.

Er zijn verschillende survey methoden, die verderop in dit college dieper uitgewerkt worden.

• Face to face (bezoek) interview

Dit kan op de ‘ouderwetse’ manier met papier en pen. Het kan ook door middel van het CAPI (Computer-Assisted-Personal Interview). De interviewer leest de vragen van het scherm en vult deze digitaal in.

• Telefonisch interview

Dit kan opnieuw eenvoudig met papier en pen. Bij groot onderzoek wordt het aanbevolen om CATI te gebruiken (Computer-Assisted Telephone Interview).

• Schriftelijke vragenlijst

Dit kan door middel van een post-enquête, maar ook groepsgewijs op bijvoorbeeld scholen. Ook web surveys kunnen hierbij ingezet worden om mensen makkelijk te bereiken.

Wat moet je wanneer kiezen? Het hangt af van je onderzoeksvraag, het type te stellen vragen en de populatie waarin je geïnteresseerd bent. Een voorbeeld: als je de sociale netwerken van ouderen onderzoekt kan er het beste een interviewer face-to-face onderzoek toepassen. Bij een visueel-gehandicapte jongen is een websurvey wat afgespeeld kan worden het best toepasbaar.

Hoekstenen van kwaliteit

Allereerst de dekking van de populatie. Heeft iedereen in de populatie een kan s om mee te doen of zijn er bepaalde groepen die dan buitengesloten worden? Bijvoorbeeld het hebben van wel of geen internetaansluiting.

Ten tweede de steekproeftrekking. Hoe trek je de steekproef en hoe groot maak je de steekproef? Is het een kans-steekproef of niet?

Ten derde de non-respons. Hoe groot is deze non-respons en is deze selectief of niet?

Ten vierde de meting en de meetfouten. Wat is de betrouwbaarheid? Wat is de validiteit? Het is belangrijk om goede vragen te maken.

Face-to-face interview

Deze manier van interviewen heeft veel voordelen. Het heeft namelijk een goede dekking populatie en een hoge respons. Bovendien kunnen er hele complexe vragenlijsten gebruikt worden met veel doorvragen en instructies. Ook kunnen er relatieve lange vragenlijsten gebruiken. Er kan ook visueel materiaal gebruikt worden en er kan veel uitleg gegeven zijn. Er zijn echter ook nadelen; deze manier van interviewen heeft hoge kosten, kost veel tijd, heeft een lange periode van dataverzameling, er is training en supervisie nodig van de interviews, er is het gevaar van interviewerfouten en interviewereffecten en er kan sprake zijn van sociale wenselijkheid. Mensen gaan zich aanpassen aan de interviewer en overrapporteren gewenst gedrag.

Telefonisch interview

Deze manier van interviewen heeft veel voordelen. De interviewer kan uitleg en hulp geven. Bovendien kunnen er eveneens complexe vragen gesteld worden, vanuit een centrale ruimte (dus goede supervisie en monitoring). Ook kan het relatief snel en is er een korte dataverzamelingsperiode. Eveneens zijn de kosten lager door geen reistijd en efficiënter plannen.

Er zijn echter ook nadelen. Er kunnen maar beperktere vragen gesteld worden dan bij Face-to-Face, omdat het alleen auditief kan en niet visueel. Ook zijn de interviews minder lang, is er sprake van een lagere response en zijn er problemen met de dekkingsgraad door toename van de mobiele telefoons. Net als bij face-to-face interviews is er sprake van intervieweffecten, sociale wenselijkheid en inhibitie gevoelige vragen.

Postenquête

Alles voor postenquêtes geldt ook voor schriftelijke vragenlijsten. De voordelen van de postenquête zijn ook veel, namelijk lage kosten, eenvoudig te implementeren, geen interviewers, kan visueel, respondent kan iets opzoeken in eigen tempo (locus of control) en de respons is behoorlijk hoog als er een herinnering gestuurd wordt.

De nadelen zijn als volgt. Doordat er geen interviewer is, wordt er geen hulp en uitleg gegeven. De vragen moeten dus goed getest zijn! Ook kunnen er geen complexe vragenlijsten afgenomen worden, zijn er lees- en schrijfvaardigheden nodig (dus jonge kinderen bereik je zo niet) en er is geen controle over wie, waar en wanneer de vragenlijst invult.

Web-Survey

De voordelen voor een web-survey zijn: lage kosten, grote en snelle steekproeven, complexe vragenlijsten met veel skips (goed programmeren is wel nodig!), heeft een goede dekking, geen ongewenste intervieweffecten, visueel en ‘locus of control’.

De nadelen zijn hetzelfde als bij de postenquête. Er is echter wel een lagere respons dan bij een postenquête. Daarbij geldt de goede dekking voor Nederland wel, maar voor andere landen misschien niet. In Nederland heeft 90% van de mensen internet thuis.

Ethiek en Survey onderzoek

Er moet opgepast worden oor een invasie van de privacy. Er moet ook rekening gehouden worden met de gevoelens van de respondent, er is een gevaar dat ze emotioneel worden. De deelname aan een survey onderzoek moet vrijwillig zijn. In Nederland moeten kinderen onder de twaalf jaar toestemming hebben van de ouders/verzorgers. Misbruik wordt pseudosurvey genoemd. Dat is net doen alsof je een onderzoek doet om een ander doel te bereiken, bijvoorbeeld iets verkopen.

Het type gevraagde informatie bepaalt vaak de keuze van het instrument. Er kan hierbij onderscheid worden gemaakt van feitelijke informatie en subjectieve informatie. Onder feitelijke informatie verstaan we kennis, gedrag, ervaringen (of je iets heeft meegemaakt, geen gevoelens) en attributen. Onder subjectieve informatie verstaan we attitudes, opinies, intenties en evaluaties.

Feitelijk vs. subjectief:

Feiten liggen klaar in het geheugen. Subjectieve informatie moet echter vaak nog geconstrueerd worden. Bij subjectieve informatie is er ook meer kans op een meetfout. Meerdere vragen (een schaal) wordt vaak gebruikt ter reductie op een meetfout. Ieder soort heeft weer eigen type antwoordschalen. Bij subjectieve informatie is de informatie vaak bipolair, dus bijvoorbeeld van eens – oneens. Feitelijke informatie is vaak unipolair: een frequentie of aantal.

Het ontwerp

Eerst operationalisering: wat wil je precies weten en wat is het doel van het onderzoek. Vervolgens moet de onderzoeker een outline vragenlijst maken. Dat zijn de onderdelen waarover men informatie wil, de logische volgorde en de achtergrondvariabelen. Dit leidt tot de voorlopige versie van de vragenlijst.

Bij open vragen zijn alle antwoorden toegestaan. Open vragen geen verbale (kwalitatieve) data die nog gecodeerd moeten worden. Vaak worden open vragen gebruik in de exploratiefase van het onderzoek. In die fase is het nog niet zeker welke responscategorieën er gebruikt moeten worden.

Bij gesloten vragen moeten de respondenten kiezen uit een aantal voor-gecodeerde antwoordmogelijkheden.

Goede gesloten vragen moeten allereerst mutually exclusive (uitsluitend) zijn. De categorieën mogen niet overlappen. Ook moeten de mogelijke antwoordmogelijkheden exhaustive (uitputtend) zijn. Alle mogelijke antwoordmogelijkheden moeten dus gebruikt worden en anders moet er een uitwegoptie zijn, bijvoorbeeld ‘anders, namelijk’. Ook moeten de antwoordmogelijkheden balanced zijn; het evenwichtig aanbieden van positieve en negatieve keuzes.

Moet er in een survey de optie ‘weet-niet’ of ‘geen mening’ aangeboden worden?

Dit kan niet in een standaard Format Question, omdat dat een gewone gesloten vraag is zonder weet-niet en geen mening. Een quasi-filter is een gesloten vraag met ‘weet-niet’. In een interview moet dit altijd gevolgd worden met een probe. Full-filter is het eerst vragen of respondent een mening heeft (filtervraag). Alleen aan diegene die ja zeggen de vraag voorleggen.

Een contingency vraag heeft tot doel dat er een bepaalde groep geselecteerd wordt (screening, uitfilteren). Vervolgens wordt aan deze groep een of meerdere vragen gesteld. Een full filter voor meningsvragen is ook een contingency-vraag.

Het begin van een vragenlijst moet interessant, leuk en niet te moeilijk zijn. De volgorde van de vragen is ook van belang, omdat er moet worden opgepast voor context/volgorde effecten. Geef informatie altijd op de plaats waar nodig is en begin niet met naam, geslacht en leeftijd.

Het doel van een goede lay-out is om het de respondent zo eenvoudig mogelijk te maken en om verwarring te voorkomen. De presentatie is verschillend voor een interview en een vragenlijst. Het is belangrijk om consistent te zijn qua lay-out en om het zo eenvoudig mogelijk te houden.

Een vragenlijst in het algemeen wordt ook wel de KISS (Keep It Simple Stupid) genoemd. Korte zinnen bouwen heldere lange vragen. Ook worden er woorden gebruikt die iedereen kan begrijpen, zoals eenvoudige woorden, geen dubbele ontkenningen en goede leesbaarheid. Vragen moeten verder zo concreet mogelijk zijn. Dit houdt in dat hypothetische vragen en dubbelloops vragen vermijd moeten worden. Ook de tijdsperiode moet gedefinieerd worden.

Een ander manier is de Toch Een Lijstje. Dat houdt in dat er één vraag tegelijk wordt gesteld, dus geen dubbele vraagstelling. Een vraag is hierbij zo specifiek mogelijk met eenvoudige woorden en zonder vage begrippen. Ook moet vooraf de betekenis van centrale begrippen gecontroleerd worden door bijvoorbeeld medestudenten.

In het kort wat zaken die belangrijk zijn:

• Neutraal formuleren

• Zo makkelijk mogelijk voor de respondenten

- Eerst algemeen dan specifieke vraag. Dit geldt vooral voor attitude en opiniemetingen.

• Responsecategorieën moeten elkaar uitsluiten

• Responsecategorieën moeten uitputtend zijn

• De responscategorieën moeten algemeen zijn.

• Nooit vertrouwen op eigen intuïtie

Vragenlijsten moeten uitgetest worden. De eerste versie is nooit goed. Het professionele testen van de eerste vragenlijst wordt ook wel de pre-test genoemd. Pilot-onderzoek is het testen van de hele survey-procedure. Dit is een generale repetitie op kleine schaal. Neuman gebruikt deze termen door elkaar heen (blz. 157).

College 4: ANOVA

Kirsten Namesnik, 6 mei 2014

Gisteren was er een college over experimenten, dat gaat over verschillen aantonen en herhaalde metingen. Vandaag kijken we naar de onderzoeksvragen, want dat leidt tot verschillende soorten onderzoeken. Bijvoorbeeld een survey, experiment of interview. Er zijn daarbij verschillende variabelen en er moet bepaald worden hoe die gemeten gaan worden, ook wel operationaliseren genoemd. Het is belangrijk deze punten te bedenken vóór de start van het daadwerkelijke onderzoek.

Voorbeeld: Verhoogt cafeïne het concentratievermogen van studenten? Je kunt je afvragen hoe je dit het beste kunt onderzoeken. Je kan bijvoorbeeld een survey afnemen, een experiment uitvoeren of studenten interviewen. Hierbij past het beste een experiment. In deze casus krijgt men drie verschillende experimentele groepen: espresso, gewone koffie en decafé. Dit is de operationalisering van het vaststellen van het toedienen van veel/middelmatig/geen cafeïne. Het concentratievermogen kan gemeten worden door middel van een concentratietest. Dit totale proces is de operationalisering van de onderzoeksvraag; hoe gaan we meten en wat gaan we meten. Onderzoek begint dus niet met statistiek. De manier waarop je gaat onderzoeken zou kunnen leiden tot statistiek, maar belangrijk is om bij het begin te beginnen.

Wanneer we 2 onafhankelijke groepen willen vergelijken, gebruiken we een t-toets. Wanneer we meer dan 2 groepen willen vergelijken kunnen we geen t-toets meer toepassen. Wanneer we dan dus 3 of meer (onafhankelijke) groepen willen vergelijken, gebruiken we de techniek die variantieanalyse of ANOVA (analysis of variance) heet. Hierbij is het belangrijk om te realiseren dat dit ongeveer hetzelfde is dan de t-toets, waar je kijkt naar het verschil. De voorwaarden die bij de t-toets gelden blijven hetzelfde, evenals de meetniveaus.

Er is sprake van afhankelijke variabelen en onafhankelijke variabelen. De afhankelijke variabele (Y) heeft het minimale meetniveau interval. De onafhankelijke variabele (X) heeft als minimale meetniveau nominaal. Deze onafhankelijke variabele wordt vaak factor genoemd. De verschillende condities of waarden van deze factor worden niveaus of levels genoemd.

In het voorbeeld: de Y is het concentratievermogen. Hierbij is het meetniveau interval. De X is de onafhankelijke variabele, in dit geval de hoeveelheid cafeïne, omdat het de experimentele conditie is. Dit is ordinaal, er is een bepaalde volgorde in de groepen.

Dit leidt tot een statistische vraagstelling: is het gemiddelde concentratievermogen van de drie groepen gelijk of zijn er verschillen tussen groepen? Er kan niet eenzijdig getoetst worden, met de ANOVA kan er alleen een algemene hypothese opgesteld worden. We gebruiken hierbij dezelfde vijf stappen als bij alle andere toetsen.

Er zijn drie populaties. Studenten die espresso drinken, studenten die koffie drinken en studenten die decafé drinken. Het is onmogelijk alle studenten te testen, daarom nemen we uit alle drie de groepen een aselecte steekproef en gaan die vergelijken. Daarna kan er een conclusie getrokken worden door die steekproefgemiddelden te vergelijken. Er is sprake van een terugkoppeling naar de hele populatie.

Er zijn verschillende stappen om de hypothese te toetsen. Deze stappen blijven vrijwel hetzelfde. Stap 1 is de hypotheses bepalen en significantie niveau kiezen. Hierbij is de nulhypothese de gemiddelde concentratievermogen scores die in de drie populaties gelijk zijn. De H1 hypothese is als de populatiegemiddelden niet allemaal gelijk zijn. Anders geformuleerd: er is ten minste één populatie gemiddelde anders dan de anderen. Bij het kiezen van een significantieniveau moet je goed nadenken over wat de gevolgen zijn voor het onderzoek. Wat zijn de consequenties als de toets fout blijkt te zijn? Hierop moet je je significantieniveau aanpassen.

Stap 2 is de kritieke waarden bepalen. Deze stap wordt vaak uitgevoerd aan de hand van SPSS output, die later gevonden wordt. Daarom is deze stap niet altijd relevant.

Stap 3 is de toetsingsgrootheid uitrekenen. Van iedere steekproef wordt het steekproefgemiddelde uitgerekend. Ook wordt er gekeken naar de spreiding binnen elke steekproef. Het is niet het kijken naar het verschil tussen twee gemiddelden in onze casus, maar naar hoeveel het groepsgemiddelde verschilt van het totale gemiddelde. Als de nulhypothese waar is zijn de verschillen nul of zeer klein. Dit kan pas gezegd worden na het kijken naar het verschil in de spreiding binnen de groepen met de spreiding tussen groepen, omdat je dan pas ziet of het gemiddelde relatief afwijkt of niet. Dit is de variantieanalyse. Het geobserveerd variantie tussen gemiddelden gedeeld door het verwachte gemiddelde variantie zonder effect levert de F op (dit is het zelfde als bij de t-toets, maar daar is het woord variantie vervangen door verschil!). Een Mean Square is eigenlijk gewoon de variantie. De tussenvariantie wordt de Mean Square within of Mean Square Error genoemd. Dit bestaat uit de kwadratensom gedeeld door het aantal vrijheidsgraden, waarbij k de aantal groepen zijn die we willen vergelijken en n de totale steekproefomvang (zie formuleblad).

De totale spreiding is dus onderverdeeld in de tussenspreiding en de binnenspreiding. De tussenspreiding meet twee stukken namelijk de die te wijten is aan het feit dat groepen nu eenmaal anders zijn (treatment effect) en de bestaande verschillen tussen de mensen (chance).

De meetspreiding is te wijten aan bestaande verschillen tussen mensen (chance). Om de verschillen tussen de groepen te relativeren, delen we de tussenvariantie door de binnenvariantie. Deze breuk wordt gebruikt als de toetsingsgrootheid, zodat meerdere gemiddelden vergeleken kunnen worden.

In stap 4 wordt de beslissing genomen over de H0 hypothese. We verwerpen H0 als de p-waarde kleiner of gelijk is aan alfa. Deze beslissing gebeurt dus aan de hand van de p-waarde. De H0 wordt ook verworpen als de toetsingsgrootheid in het kritieke gebied ligt.

Als H0 waar is dan zijn er geen verschillen tussen de groepen, er is geen treatment effect. Als de H0 waar is dan is het gedeelte spreiding wat de verschillen tussen de groepen meet, ongeveer gelijk aan nul. Als H0 gelijk is zijn de verschillende varianties van de binnenspreiding en de tussenspreiding ongeveer gelijk. De F is dan ongeveer gelijk aan 1.

Als H0 niet waar is wordt de tussenspreidingsmaat groter ten opzichte van de binnenspreiding. De F ratio wordt groter dan 1.

De F-verdeling is een scheve verdeling naar rechts. Aan de hand van de F-verdeling kan een kritieke waarde of p-waarde opgezocht worden. Die F-verdeling begint bij nul en wordt dan groter. In het kritieke gebeid vinden we de F-ratio zo groot dat de H0 verworpen wordt. Waar de kritieke grens ligt, hangt af van het aantal groepen en hoe groot de steekproeven zijn. De F-verdeling wordt gedefinieerd door 2 paar vrijheidsgraden, namelijk boven de streep (df between) en onder de streep (df within). Aan de hand van de df en de kritieke waarde vinden we kritieke waarden in de tabel. Als de vrijheidsgraden er niet in staan, altijd het dichtstbijzijnde, lagere getal nemen. De waarden in de tabel die niet dikgedrukt staan, horen bij een significantieniveau van 0.05. De dikgedrukte waarden in de tabel horen bij een significantieniveau van 0.01.

In het boek staan geen definitieformules voor SS. Deze zijn als volgt:

• Totale spreiding: SS_total = _{alle x}(X – M_total)­²

• Tussenspreiding: SS_between = _{alle x}(M_i - M_total)². Deze meet verschillen tussen de groepen.

• Binnenspreiding: SS_within = _{groep 1} (X-M₁)² + _{groep 2} (X – M₂)² + …
  oftewel SS_within = SS₁ + SS₂ + SS₃ + … + SS_k. Deze meet verschillen binnen de groepen.

Rekenformules in het boek geven de G (grand total), T (total) en SS. Deze mogen overgeslagen worden omdat ze niets laten zien over wat je meet en wat je met de data doet. Je zult in het algemeen geen SS zelf hoeven te berekenen voor een ANOVA. Wel moet je met SS kunnen rekenen.

Om alle verschillende sources helder te houden, wordt de ANOVA-tabel gebruikt. Waarin overzichtelijk alle formules weergegeven worden. Verticaal wordt er opgeteld en horizontaal wordt er gedeeld!

Voordat er gerapporteerd ka worden (stap 5) moet eerst de effectgrootte berekend worden. Hiervoor wordt het eta-kwadraat gebruikt. Dit eta-kwadraat geeft het percentage van de verklaarde variantie en is een indicatie van de sterkte van het effect van de factor op de afhankelijke variabele. Kleine waarden geven een klein effect en grote waarden geven een groot effect. De hoeveelheid van de totale spreiding wordt verklaard door de verschillen tussengroepen. Dit levert een percentage op wat gerapporteerd moet worden. De interpretatie hiervan kan aan de hand van de richtlijnen van Cohen.

Bij ANOVA gebeurd de rapportage aan de hand van de tabel. Anders mag het via de APA-regel.

Hier volgen nog enkele praktische handreikingen. ANOVA mag gebruikt worden bij 2 of meer dan 2 groepen. Bij 2 groepen mag er gekozen worden welke toets je wilt gebruiken, namelijk een t-toets voor 2 onafhankelijke groepen of een ANOVA. Het is belangrijk te beseffen dat de toetsingsgrootheid t en de toetsingsgrootheid F precies hetzelfde meten. De p-waarde van de twee toetsen zal echter identiek zijn.

Het nadeel van ANOVA is dat het niet eenzijdig getoetst kan worden. Het is ook niet mogelijk om te kijken welke groep er verschilt als de H0 waar is. Als de H0 aangenomen wordt, blijkt dat alle gemiddelden gelijk lijken te zijn. Alle steekproeven zijn genomen uit een populatie met eenzelfde gemiddelde. Het is echter niet meer nodig om de verschillende groepen te onderscheiden. Als de H0 echter wel verworpen wordt, is de conclusie dat alle gemiddelden niet gelijk zijn. Maar waarom en waardoor die H0 verworpen is kan door paarsgewijze vergelijkingen opgelost worden. Dit kan met verschillende technieken. De voorkeur gaat uit volgens de manier van Tukey, die de betrouwbaarheidsintervallen samen gaat vergelijken. De post hoc toets zorgt dat het totale betrouwbaarheidsniveau blijft waar het moet zijn. Dit hoeft alleen via SPSS.

Met post hoc toetsen kun je paarsgewijze vergelijkingen maken. Er zijn verschillende technieken: Bonferroni, Tukey en Scheffé. Voor elk paar van vergelijkingen gebruiken we het betrouwbaarheidsinterval. Alle technieken passen het betrouwbaarheidsniveau van het individuele interval aan, zodat het totale betrouwbaarheidsniveau op 95% blijft. Dit houdt in dat als we de procedure meerdere keren zouden uitvoeren, 95% van de resultaten binnen het interval ligt.

College 5: Tweeweg ANOVA

Kirsten Namesnik, 12 mei 2014

Vandaag wordt de ANOVA uitgebreid met het kijken naar twee variabelen waarvan je categorieën wil vergelijken. Dit wordt de tweeweg ANOVA genoemd, met gelijke steekproefgroottes.

Tweeweg ANOVA

Een voorbeeld is bijvoorbeeld het kijken of scholieren in de derde klas van het VMBO/HAVO/vwo verschillen in de hoeveelheid televisie die ze kijken. De afhankelijke variabele is hierbij tijd, met het meetniveau van ratio.

Deze groepen kunnen verschillen met betrekking tot een tweede variabele/factor, bijvoorbeeld of er een verschil is tussen meisjes en jongens. Hierbij kan een tweede factor in de ANOVA opgenomen worden, bijvoorbeeld het schoolniveau. Er wordt dan niet alleen rekening gehouden met het schoolniveau, maar ook met het verschil tussen jongens en meisjes. Om hier achter te komen wordt een tweeweg ANOVA gebruikt. Met behulp van een analysediagram wordt zichtbaar wat de gemiddelden zijn en waar de spreiding is. De conclusies van deze twee variabelen hoeft niet gelijk te zijn.

Interactiediagrammen

In het algemeen is het zo dat als er parallelle lijnen zijn in de interactiediagrammen dat er dan geen interactie is tussen de twee factoren. Bij kruisende lijnen lijkt er een interactie te zijn tussen twee factoren. Dit moet uiteraard verder onderzocht worden op basis van een statistische toets, want het hoeft niet altijd zo te zijn.

Interactie is het idee dat het effect van de ene onafhankelijke variabele anders is voor de groepen is gedefinieerd door de andere onafhankelijke variabele. Dit kan grafisch weergegeven worden door de twee onafhankelijke variabelen te tekenen als effect op de afhankelijke variabele Y. Beide variabelen hebben een hoofdeffect op de Y. Er is echter ook sprake van een interactie-effect AxB.

Onafhankelijke variabelen worden in de ANOVA vaak factoren genoemd. De eerste onafhankelijke factor word vaak aangegeven met factor A en de tweede onafhankelijke variabele met factor B. De interactie hierbij is dat A afhankelijk is van B en andersom.

In het algemeen geldt het volgende voor de interactiediagrammen. Parallelle lijnen geven aan dat er geen interactie is tussen de twee factoren. Kruisende lijnen geven aan dat er wel een reactie lijkt te zijn tussen de twee factoren.

Stappen

Er zijn verschillende stappen in de tweeweg ANOVA. De eerste stap is het bepalen van de hypotheses en het significantie niveau kiezen. Hierna worden de kritieke waarden bepaald, maar soms kan dat pas later omdat er nog niet voldoende gegevens bekent zijn. Stap drie is de H0 aannemen en de toetsingsgrootheid uitrekenen. Vervolgens wordt er een beslissing genomen over de H0, vaak aan de hand van de p-waarde. Tot slot wordt de conclusie gerapporteerd.

Aan de hand van het bovengenoemde voorbeeld voeren we de stappen uit:

Bij stap één wordt er gekeken bij H0 dat er geen effect is van factor A op de afhankelijke variabele, H1 stelt dat er wel een effect is van factor A op de afhankelijke variabele. Er is sprake van twee hoofdeffecten dus die moeten allebei genoteerd worden. Het eerste hoofdeffect is bij H0 dat sekse geen effect heeft op een gemiddelde televisiekijktijd en H1 dat sekse wel effect heeft op de gemiddelde televisietijd. Hoofdeffect twee is bij H0 dat het schooltype geen effect heeft op de gemiddelde televisietijd, met H1 dat het schooltype wel een effect heeft op de gemiddelde televisietijd. Dit kan ook weergegeven worden met symbolen. Verder toetsen we tweezijdig, omdat de richting niet bekend is. Bij meer dan 2 variabelen wordt bij de tweede H1 opgeschreven dat ten minste een gemiddelde anders is dan de andere variabelen.

Ook de het interactie-effect moet genoemd worden. Bi jH0 is dat dat er geen interactie-effect van sekse en schooltype is op de gemiddelde televisietijd. Bij H1 wordt gesteld dat er wel een interactie0-effect van sekse en schooltype is op de gemiddelde televisietijd.

Vervolgens kan er een gemiddeldentabel gemaakt worden om overzicht te krijgen over de combinaties en de gemiddelden. Ook de totalen kunnen hierbij weergegeven worden. Elke combinaties van twee levels van de twee factoren heet een treatment.

Er kunnen twee maten van spreiding berekent worden. Een spreiding binnen de groepen (binnenvariantie) en een spreiding tussen de groepen (tussenvariantie). Wat nu nieuw is, is de binnenvariantie verder opsplitsen naar geslacht en naar schoolniveau. Dan krijgen we dus 1 deel voor factor A, een deel voor factor B en een deel voor de interactie tussen A en B. Elke spreidingsmaat is weer een Mean Square, die uiteindelijk in de variantietabel gebruikt kunnen worden. MSa meet de systematische verschillen tussen de rijgemiddelden. MSb meet de systematische verschillen tussen de kolomgemiddelden. De MSaxb meet of de verschillen binnen de kolommen overeenkomen met de verschillen tussen de rijgemiddelden. Het kan ook dat de MSaxb meet of de verschillen binnen de rijen overeenkomen met de verschillen tussen de kolomgemiddelden.

De formules zijn hetzelfde als die van de eenweg ANOVA! Het verschil is dat de SSbetween verder opgesplitst moet worden in factor A (SSa), factor B (SSb) en de interactie (SSaxb). Het aantal vrijheidsgraden is 1, met een df totaal van N-1, df within met N-k en de df-between met k-1 (aantal cellen -1). Dit kan opgesplitst worden in dfA (aantal rijen – 1), dfB (aantal kolommen -1) en de dfaxb(dfa keer dfb). \

Vervolgens kunnen de kwadratensommen gedeeld worden door de vrijheidsgraden om er mean squares van te maken. De verschillende mean squares worden gebruikt om de drie verschillende hypothesen te toetsen. Waarbij het de mean square van een factor gedeeld wordt door de mean square within.

De verschillende F-ratio’s hangen af van twee vrijheidsgraden, de teller en de noemer. De df onder de streep is de df van de MS within. De df van het effect staat boven de streep. Aan de hand van deze df kunnen we de Fkritiek opzoeken.

Effectgrootte

De effectgrootte meet het effect van factor A nadat de effecten van factor B en de interactie zijn verwijderd. Dit wordt ook vaak de partial eta² genoemd. Voor factor B of de interactie moet de formule aangepast worden. De richtlijnen van Cohen worden gebruikt om te bepalen hoe groot het effect is. Bij 0.01 is er een klein effect, bij 0.09 een medium effect en bij 0.25 een groot effect.

Rapporteren

Net als bij eenweg ANOVA wordt de tabel weergegeven met M en s per groep. Verder wordt er per effect beschreven over de resultaten.

Bij een significante interactie moeten we altijd voorzichtig zijn met het interpreteren van de hoofdeffecten. Een significante interactie kan de hoofdeffecten camoufleren of vertekenen. Bij significante interactie weten we dat de effecten van een factor afhankelijk zijn van de andere factor. De verschillen tussen de gemiddelden binnen een rij kunnen anders zijn dan de verschillen binnen een andere rij.

College 6: Het experiment

Joop Hox, 13 mei 2014

Onderzoek staat centraal in MTS cursussen. Enerzijds staat kennis over methode en statistiek waarmee artikelen beter te begrijpen zijn centraal. Bijvoorbeeld om kwalitatieve onderzoeksvragen herkennen en zelf op te zetten. Anderzijds staat het ervaren van wat het is om onderzoeker te zijn centraal.

In de natuurwetenschappen wordt een experiment gezien als proefje. In de gedragswetenschappen is de term experiment specifieker vastgelegd. Bij een experiment in de gedragswetenschappen is er een vergelijking van proefgroepen het liefst inclusief een controlegroep. Dingen en waarnemingen zijn onzeker, daardoor is een controlegroep belangrijk. Experimenten zijn vooral sterk in het toetsen van causale hypothesen. Bij bijvoorbeeld de vreedzame school worden interventies uitgevoerd om te kijken of dingen werken. De rekenkamer eist dat een deel van het geld wat besteed wordt aan dit soort interventies besteed wordt aan experiment, dus kijken of er sprake is van causale relaties.

Om causaliteit aan te tonen zijn 3 voorwaarden die aanwezig moeten zijn namelijk de volgorde in tijd, de bewezen relatie en geen of zo min mogelijk alternatieve verklaringen (ceteris paribus) .

Wat een experiment vaak wil is theorieën toetsen door middel van het afleiden van hypotheses. Door hypotheses wordt gekeken of onderzoek uitkomt. Er is sprake van een voorspelling op basis van een theorie. Een theorie is nooit te bewijzen omdat het universeel is. Als een taal bijvoorbeeld moeilijker is dan een andere, betekent het dus niet dat kinderen sneller kunnen praten en lezen, terwijl dit wel uit onderzoek zou kunnen komen. Het is deels mogelijk door middel van falsifiëren. We hechten meer waarde aan een wetenschappelijke theorieën die meer toetsingen overleven. Het experiment is vooral een sterke onderzoeksmethode omdat een goed opgezet experiment veel alternatieve verklaringen uitsluit.

Hoe zit een experiment in elkaar?

Er is sprake van twee soorten vergelijkingen. Allereerst voor en na, ook wel binnen personen (within subjects) genoemd. Dit betekent het twee keer meten van dezelfde personen en kijken of er verschil is voor en na interventie/ingreep. Ten tweede naast elkaar, tussen personen (between subjects). Hierbij worden er twee groepen vergeleken: een experimentele groep en een controle groep.

De methodologische redenering in een experiment is echter hetzelfde. Het begint met een causale hypothese en vervolgens wordt er een situatie gemanipuleerd in de experimentele conditie/groep. Tot slot wordt de uitkomst geobserveerd met en zonder d manipulatie. Het is belangrijk om de onafhankelijke variabele (independent) te manipuleren en dan de afhankelijke variabele (dependent) te observeren.

De experimentele groep en de controle groep moeten vergelijkbaar zijn, anders weet je niet of het verschil komt door de manipulatie. Verschillende manieren hiervoor:

1. Randomisatie: personen worden door een toevalsmechanisme verdeeld over de experimentele en controle groep. Dit door middel van een tabel met random getallen, SPSS of web apps. Automatisch kloppen hier de variabelen bij.

2. Matching: maak ‘tweelingen’. Bijvoorbeeld op sekse of opleidingsniveau. Dit betekent dat er personen gekoppeld worden die aan elkaar gelijk zijn op een aantal matchingsvariabelen. Twee lastige dingen: op veel variabelen matchen is lastig, bijna onvindbaar. En je kan alleen matchen op variabelen die je daadwerkelijk gemeten hebt en waarvan je als onderzoeker denkt dat die belangrijk zijn voor het onderzoek. Bij voorkeur bij kleine groepjes.

Kort randomisatie versus matching: precisiematchen op veel variabelen is vrijwel onmogelijk. Randomisatie controleert in principe voor alle mogelijke variabelen, inclusief ongemeten variabelen!

Simpele manieren om te randomiseren zijn bijvoorbeeld proefpersoonnummer, sekse, IQ of een variabele die random is.

Voorbeeld

Voorbeeld van een experiment: cafeïne hecht zich aan GABA receptoren en verhoogt daardoor het concentratievermogen. We kunnen een experiment doen door echte koffie en decaf te vergelijken. De onafhankelijke variabele is dan het drinken van wel of geen cafeïne. De afhankelijke variabele is de concentratie.

Hoe pak je dit aan? Binnen personen of tussen personen?

Als de aanpak van tussen personen gekozen wordt, is de situatie als volgt: 5 koffie decaf, 5 koffie conditie. Hierbij is sprake van twee variabelen: in de experimentele groep of in de controle groep en wel of geen koffie. Altijd twee variabelen! De conditie en de concentratie. Hierbij hoort de statistische t-toets voor independent samples.

Als de aanpak van binnen personen gekozen wordt, is de situatie 5 maal de volgorde AB en 5 maal de volgorde BA. Daarbij ook het tussentijds wachten om dat effect van cafeïne weg te nemen. Dit is dus lastig om te meten, omdat het lang duurt voordat de tweede conditie gemeten kan worden. Ook hierbij is er sprake van twee variabelen namelijk concentratie A en concentratie B. Hierbij hoort de statistische t-toets voor dependent samples.

Terminologie bij experimentele opzet

Pre-test gebruiken: meting van de afhankelijke variabele voordat de onafhankelijke variabele is gemanipuleerd.

Post-test: meting van de afhankelijke variabele nadat de onafhankelijke variabele is gemanipuleerd. Randomisatie: at random toekennen/ matching.

Experimentele groep en controlegroep/variant: verschillende experimentele groepen, met verschillen de manipulaties, en geen echte controlegroep. Bij alleen een experimentele groep weet je niet goed wat er gebeurd, ook al vind je iets. Het glazen plafond onderzoeken bij vrouwen zegt niet genoeg. Belangrijk is dan om bijvoorbeeld te vergelijken naar hoe het zit bij mannen.

Deze gegevens kunnen ook in schema’s geplaatst worden, zie hiervoor de college slides.

De pre-test kan verstorend werken. Als er aan kinderen eerst een gewelddadig filmpje wordt laten zien voordat de test gemeten wordt, kan het kind iets doorhebben omdat deze ‘inleiding’ het kind alert maakt op wat je aan het doen bent. Andersom kan ook: eerst observatie, dan filmpje laten zien. Je wilt juist naïeve proefpersonen en geen proefpersonen die hun gedrag aanpassen op de interventie. Als dat echter wel mogelijk is, levert het wel meer informatie op.

Voorbeeld van een factorieel experiment (twee variabelen manipuleren): “Wie mooi is heeft talent?”

De opzet is als volgt. Mannelijke studenten krijgen de opdracht om een cijfer (schoolcijfer van 1-10) te geven aan een essay zogenaamd van een ‘studente’. Bij het essay zat een foto van die studente. Random kreeg 1/3 van de proefpersonen een ‘fysiek aantrekkelijke’ foto, 1/3 een onaantrekkelijke en 1/3 een neutrale foto.

Random kreeg de helft van de beoordelaars een slecht essay, de andere helft een goed geschreven essay. (Essays in werkelijkheid geschreven door onderzoekers).

Er is sprake van drie variabelen: onafhankelijk: gemanipuleerd (mooiheid en kwaliteit essay) en de afhankelijke variabele: de beoordeling. 3 hypothesen: mooiheid heeft invloed op de beoordeling van het essay, kwaliteit heeft invloed op de beoordeling van het essay, mooiheid en de kwaliteit van het essay hebben een gezamenlijke invloed op de beoordeling van het essay (indirect). Mogelijke resultaten: oordelen zijn positief als schrijfster knap was. Schrijfster van goede essays positiever beoordeeld. Met name bij de slechte essays werd de schrijfster positiever beoordeeld als er een knappe foto bij was. Bij goede essays is het effect van de foto veel kleiner. Dit is een voorbeeld van de interactie hypothese.

Kritiek op de interne validiteit van dit onderzoek is dat er niet is nagegaan of de manipulaties gelukt zijn. Er is wel een aselect toewijzing aan de condities (goed).

Wat betreft de externe validiteit zijn de proefpersonen voornamelijk mannelijke studenten (niet goed) en een foto is anders dan echte persoon (niet goed).

Factoriele onderzoeksopzet: minstens twee variabelen tegelijk manipuleren. Bovengenoemd experiment is 3x2 factor (zie collegeslides)

Verschillende interacties (collegeslide 37). Experimenten met meer dan 3 factoren zijn zeldzaam omdat het moeilijk haalbaar is.

Pre-experimentele onderzoeksopzetten

Pre-experimentele onderzoeksopzetten missen belangrijke onderdelen van een goede experimentele opzet. Een one-shot case study is één groep met alleen een posttest en zonder een controlegroep. Bij een one group pretest-posttest design is er ook geen controlegroep. Bij en Static group comparison is er wel sprake van een posttest maar zonder equivalente controlegroep. Er is geen randomisatie maar wel een controlegroep en potentieel is een niet vergelijkbare controlegroep.

Quasi-experimentele onderzoeksopzet: mensen vullen maandelijks testjes in en halverwege is er een manipulatie. Therapieën zijn hier ook vaak op gebaseerd. Quasi-experimentele onderzoeksopzetten missen belangrijke onderdelen van een goede experimentele opzet, maar compenseren die zwakheid. Interrupted time series (halverwege de therapie een manipulatie). Equivalent time series betekent het volgende: waar interventie wel en niet op richt, dus een breuk in een lijn maar niet in de andere.

Kernpunten van experimentele onderzoeksopzetten

Er zijn altijd onafhankelijke, afhankelijke en externe (storende) variabelen. Een voorbeeld van een externe variabele is bijvoorbeeld het karakter van de onderzoeker. Er is verder altijd sprake van minimaal één onafhankelijke variabele. Daarnaast ook subject variables. De validiteit is de statistische conclusie, construct, wat onderverdeeld kan worden in externe en interne validiteit. Interne validiteit is de bedreigingen van de causale interpretatie (alternatieve verklaringen) en de externe validiteit houdt de generaliseerbaarheid in.

Interne validiteit:

Experimental mortality: als mensen uit ene onderzoek wegvallen (mensen die afvallen gedurende therapiesessie). Dit is in orde als de procedures goed gevolgd worden. Contamination of treatment betekent dat de controlegroep iets meekrijgt van de bedreiging. Mensen blijven niet naïef, maar worden beïnvloed door bijvoorbeeld gesprek. De logica van de experimentele onderzoeksopzet is goed, we kunnen alternatieve verklaringen uitsluiten.

Selection bias, history, maturation, testing. Experimenten of subjects expectancy zijn bepaalde verwachtingen. Bijvoorbeeld leerlingen met een hoog IQ zullen ook beter presteren. Dit komt uit. Verwachtingen hebben een effect op uitkomst (pigmalion effect).

Een deelnemer vraagt zich af waar onderzoek over gaat. Dubbelblinde opzet betekent het contact via onderzoeksopzet waarin noch de experimentator noch de subjecten weten wie in welke groep is. Placebo betekent dat de controlegroep een namaak-behandeling krijgt.

Externe validiteit:

Bedreigingen:

• Deelnemers niet representatief, kunstmatige setting, kunstmatige manipulatie, reactiviteit van deelnemers

• Hawthorne effect: vroeg voorbeeld van reactiviteit).

Veldexperiment: externe validiteit is hierbij beter maar de interne validiteit is echter slechter omdat er minder controle is door de onderzoekers.

Natuurlijk experiment: niet als experiment geplande gebeurtenis kan gebruikt worden om hypothesen te toetsen alsof het wel een experiment was = expost facto

Voorbeeld veldexperiment: wat gebeurd er als je verliefd wordt? Liefde is een emotie, maar wat is dan emotie? (2 dingen: fysieke opwinding en een interpretatie (attributie) in de hersenen -> = emotie) Dit kan gemanipuleerd worden. Onafhankelijke variabele: opwinding (hangbrug oversteken) en aantrekkelijke stimulus. Alle proefpersonen zijn mannelijk. Gloria benadert de mannen op de hangbrug of de controlebrug (stabieler)en vraagt een opstel te schrijven over een TAT plaatje (psychologisch onderzoek van een plaatje wat onduidelijk is, projectietest) van een jonge vrouw die haar hoofd half bedekt met een hand en geeft het telefoonnummer. Twee afhankelijke variabele: TAT was gecodeerd voor sexual imagenary en hoeveel % mannen die Gloria belden.

Kritiek: Geen manipulatie! Zelfselectie van jonge mannen die wel of niet oer de hoge brug gaan.

Dit experiment werd gevolgd door het tweede experiment: geen selectie, alleen de hangbrug.

College 7: Kwalitatief onderzoek

Leonie van Grootel, 19 mei 2014

Neuman verstaat onder kwalitatief onderzoek ‘observing people in natural settings’, dit is echter een beperkte blik zal blijken uit dit college. De aanpak van onderzoek wordt tot nu toe vaak uitgevoerd als kwantitatief zoals het experiment en survey. Vandaag gaan we kijken naar kwalitatief onderzoek.

Het voorbeeld ter inleiding zijn gegevens over de hoeveelheid mannen in vrouwenberoepen en de hoeveelheid vrouwen in mannenberoepen. Hierbij kunnen verschillende onderzoeksvragen gesteld worden zoals bij voorbeeld of de beloning en status van een beroep samenhangt met het aantal vrouwen dat in een beroep werkzaam is. Een andere vraag is of vrouwen en mannen evenveel betaald krijgen. Vragen die niet beantwoord kunnen worden met statistiek zijn hoe-vragen en welke-vragen, want statistiek beantwoord hoeveel vragen. Het is belangrijk om dit verschil te zien zodat het duidelijk is of er kwalitatief of kwantitatief onderzoek nodig is. In kwalitatief onderzoek gaat het over het perspectief wat je onderzoekt. Daarbij zijn de ervaringen erg belangrijk, en de betekenis die die ervaringen voor de respondenten hebben.

Kwalitatief onderzoek

Door middel van interviews kunnen bepaalde patronen uiteengezet worden. Hiervoor is interpretatie nodig. Daarna kunnen er profielen gemaakt worden, in het voorbeeld vrouwen die in de techniek blijven (persisters) en vrouwen die afvallen (non-persisters). Voor de persisters kunnen rolmodel en coping een rol spelen in de keuze. Voor non-persisters kunnen het niet zijn van technisch, moeite met curriculum een rol spelen in de keuze.

De stappen in het onderzoeksproces

Voor zowel kwantitatief en kwalitatief is het onderzoeksproces vrijwel het zelfde. Er wordt gestart met de focus, het selecteren van een onderwerp. Naar aanleiding van het onderwerp moet de hoofdvraag gesteld worden. Vervolgens wordt het design van de studie gemaakt en dat is verschillend met kwantitatief onderzoek. Er is namelijk nog niet zo veel theorie want je gaat op zoek naar theorie. Er wordt dan dus data verzameld, er wordt geanalyseerd en geïnterpreteerd. Daarna worden de resultaten gepubliceerd.

Het verschil tussen kwantitatief onderzoek en kwalitatief onderzoek is vooral het inductie en deductieproces. Bij inductie wordt gestart met specifieke (kwalitatief) observaties en dan wordt er gewerkt naar een algemeen idee of theorie. Deductief is onderzoek waarin dat precies andersom is.

Dus: Deductief is van ideeën en concepten naar geobserveerde data. Inductief is van geobserveerde data naar bepaalde concepten.

Er kan gebruik worden gemaakt van verschillende methoden. Onder andere veldwerk of participerende observatie, interviewen, groepsinterviews en foto elicitatie (foto’s in een interview gebruiken om te kijken wat het doet met de mensen).

Bovengenoemde dingen hebben een paar dingen gemeen. Je gaat naar de ‘real world’ in plaats van in een ‘hokje’ met manipulatie. Bovendien zijn de methoden flexibel. Ook de betrokkenheid van de onderzoeker is belangrijk, omdat de onderzoeker zowel participant als onderzoeker is. Het laatste gemeenschappelijk kenmerk is dat ze allen kwalitatieve data leveren.

De beperkte visie van Neuman: hij heeft het alleen over het veldwerk, terwijl er veel meer kwalitatieve methoden zijn.

Het principe dat we kennis krijgen over gebeurtenissen door het dagelijks leven te observeren in de natuurlijke setting en niet in een gecreëerde omgeving wordt naturalisme genoemd.

De veldrelaties zijn complex. Enerzijds ben je onderzoeker en observeerde maar aan de andere kant ben je participant. Je moet je ergens plaatsen op dit continuüm. Beide extremen zijn niet gewenst. Als je jezelf alleen ziet als onderzoeker plaats je jezelf buiten het experiment. Echter, bij going native (extreme participant) ga je op in de situatie en worden bepaalde dingen niet meer geobserveerd.

Er zijn verschillende manieren om te interviewen. Bijvoorbeeld gestructureerd interview (kwantitatief). Hierin liggen de vragen, formulering, volgorde en antwoordcategorieën vast. Bij een half-gestructureerd onderzoek vraagt de onderzoek vragen, luistert en de interview is een actieve deelnemer. Het is meer een conversatie-stijl, maar zeker wel een methode om gegevens voor onderzoek mee te verzamelen. Ongestructureerd is vaak rijk gedetailleerd en tekstueel. Je moet zorgen dat de risico’s voor de participanten goed worden afgewogen. Er moet sprake zijn van vertrouwelijkheid, en je mag de participanten geen kwaad doen.

Exploratief onderzoek past goed bij kwalitatief onderzoek, omdat je nog niet veel van een onderwerp af weet en dat juist wil onderzoeken. Het kan ook beschrijvend zijn. Verklarend en causaal is haast niet mogelijk in kwalitatief onderzoek. Ook evaluatief onderzoek is mogelijk, bijvoorbeeld of een interventie werkt. Hiermee kan worden gekeken of er bijvoorbeeld draagvlak is onder werknemers.

Er is sprake van een cyclisch verloop tussen dataverzameling en analyse. Er worden eerst gegevens verzameld, die worden geanalyseerd en dan wordt er een sampling getrokken. De onderzoeksgegevens worden weer verzameld en dit proces herhaald zich weer. Dit cyclische verloop stopt als er sprake is van saturatie of verzadiging, er is voldoende informatie.

Data-analyse

Het is belangrijk om de onderzoeksgegevens te begrijpen en te interpreteren. Hierbij kan informatie uit elkaar gehaald worden en weer bij elkaar gezet worden door te kijken naar patronen en profielen en te labelen. Dit kan met behulp van een data matrix. Waarin in de kolommen de thema’s/labels gezet worden en bij de rijen de namen. Hierdoor krijgt de onderzoeker themagewijs inzicht.

Er kunnen ook codebomen gemaakt worden. Uit interviews worden bepaalde codes gehaald. Daaruit worden weer de kenmerken onderverdeeld onder hoofdcodes en daaronder weer vertakkingen.

Open coderen kan aan de hand van bepaalde vragen:

• Welke fragmenten zitten er in de tekst?

• Waarom is dat fragment een betekenisvol geheel?

• Is het relevant voor het onderzoek?

• Welke naam (code) past bij het fragment?

• Zijn er fragmenten in de teksten die bij vergelijking dezelfde code of juist een andere code moeten krijgen?

Coderen en terugzoeken is ook een manier. Dit wordt ook wel retrieve genoemd. Er zijn eerst een aantal kenmerken en daarna wordt er gezocht binnen de interviews naar deze kenmerken.

Ook de kwaliteit, waaronder betrouwbaarheid en validiteit vallen, is belangrijk. In kwalitatief onderzoek is er veel sprake over de kwaliteit. Bedreigingen voor kwalitatief onderzoek zijn de volgende. Het is moeilijk te herhalen, je kunt maar een keer een setting hebben, de setting is veranderlijk. Bovendien gebruik je een flexibel meetinstrument (jij, de onderzoeker) en improviseer je. Ook reactiviteit als gevolg van de aanwezigheid van de onderzoeker kan gevaarlijk zijn net als de vooringenomenheid van de onderzoeker.

Hoe kunnen deze bedreigingen zo veel mogelijk uit de weg geruimd worden? Dit kan door reflectie op de rol van de onderzoeker, door met meer onderzoekers te werken, door triangulatie (het gebruik van meerdere methoden), door normaliseren, door feedback te krijgen van de participanten en door methodische verantwoording.

College 8: Chi-kwadraat toetsen

Kristen Namesnik, 20 mei 2014

Het college begint met een voorbeeld van een onderzoek. Er is een onderzoek naar de kleurvoorkeur bij baby’s. Deze data worden samengevat in bijvoorbeeld een kruistabel. Er is sprake van data op nominaal niveau! Toetsen met nominale variabelen doen we met de Chi-kwadraat toets. Als er sprake is van een variabele noemen we de toets Goodness of Fit. Bij twee variabelen wordt het de Test of independence genoemd.

Goodness of Fit test

Opnieuw de 4 stappen voor het toetsen. Er zijn in de eerste stap 2 mogelijkheden voor de 0-hypothese. De eerste mogelijkheid is H0=geen voorkeur. Dit betekent dat de verschillende categorieën even vaak gekozen worden. De frequenties en percentages zijn gelijk voor de verschillende categorieën. In het bovengenoemde voorbeeld betekent het dat de kleuren even vaak gekozen worden. De tweede mogelijkheid is dat er geen verschil is met de bestaande populatieverdeling. Dit betekent dat er een bestaande populatieverdeling bekend is, dat de verschillende categorieën worden gekozen volgens dat model en dat de frequenties/percentages in de populatie voor de verschillende categorieën waarden aannemen van dat bestaande model.

De data voor deze toets bestaan uit twee rijen met frequenties, namelijk de geobserveerde frequenties en de verwachte frequenties. Deze verwachte frequenties worden berekend onder H0. Na deze berekeningen kunnen de frequenties vergeleken worden.

De Chi-kwadraat toetsingsgrootheid meet de verschillen tussen bovengenoemde geobserveerde en verwachte frequenties. Dit verschil is vooral absoluut, maar je wil juist het relatieve verschil meten (dat kan door de toetsingsgrootheid). Om te bepalen of dit verschil groot of niet groot is, worden de verschillen tussen de geobserveerde en verwachte frequenties gerelativeerd aan de hand van de verwachte frequenties. Grote verschillen geven een grotere waarde voor Chi-kwadraat. De kleine verschillen geven een kleine waarde voor Chi-kwadraat. H0 wordt dus verworpen als chi kwadraat groot is. Dit kun je ook zien aan de p-waarde van de toets.

Deze toetsingsgrootheid volt een verdeling, genaamd Chi-kwadraat verdeling. Aan de hand van deze verdeling kunnen de kritieke waarden en de p-waarden bepaald worden.. Deze zogenaamde Chi-kwadraat verdeling wordt gedefinieerd door vrijheidsgraden. De kritieke waarden die hierbij horen kunnen gevonden worden in de tabel B.8. Er moet volgens APA stijl gerapporteerd worden: Chi-kwadraat (hoeveelheid categorieën, aantal (n)) = …. (toetsingsgrootheid) Met een p

Let erop dat een geobserveerde frequentie een heel getal moet zijn, en dat het niet kan eindigen op decimalen. Een verwachte frequentie kan wel op decimalen eindigen. Een Chi-kwadraat verdeling kan van vorm veranderen. Dit gebeurt als de df-waarden veranderen. Bij hogere vrijheidsgraden gaat de vorm steeds meer lijken op een normaalverdeling (minder scheef).

Test of independence

De hypothesen die bij deze test horen zijn H0: er is geen samenhang tussen de twee variabelen en H0: de twee variabelen zijn onafhankelijk van elkaar. De data bestaan net als bij de Goodness of Fit test uit twee rijen met frequenties, namelijk de geobserveerde frequenties en de verwachte frequenties. De geobserveerde frequenties kunnen direct uit de kruistabel gehaald worden. De verwachte frequenties worden weer onder H0 berekend. Onder H0 kunnen we de verwachte frequenties uitrekenen met een eenvoudige formule. De verwachte frequentie tabel kan opgedeeld worden in verschillende namen. De rijtotalen worden de Fr genoemd. De kolomtotalen worden Fc genoemd. De verwachte frequenties worden vaak tussen haakjes gezet in de tabel. De toetsingsgrootheid die we gebruiken is dezelfde als voor de Goodness of Fit toets. De toets is vrijwel hetzelfde, op enkele puntjes na.

Wanneer we data hebben van twee nominale variabelen, vatten we deze samen in een kruistabel. De categorieën van variabele 1 staan in de rijen, de categorieën van variabele 2 staan in de kolommen.

De effectgroottes kunnen alleen voor de test of independence gemeten worden, niet voor de Goodness of fit test! Dit kan op twee verschillende manieren gemeten worden. Voor 2x2 kruistabellen wordt het phi-coefficient genomen en dat is een soort correlatie. Deze phi-coefficient is de effectgrootte en 0.1 is een klein effect, 0.3 is en medium effect en 0.5 een groot effect. Als de tabel groter is dan 2x2 gebruiken we Cramer’s V. Deze wordt aangepast aan de hand van een soort vrijheidsgraad, namelijk de kleinste vrijheidsgraad die afgelezen kan worden in de tabel. De interpretatie van Cramer’s V hangt af van de df, die afgelezen kan worden in de tabel 17.10 in het statistiekboek.

Voor de beide toetsen gelden enkele regels. De observaties moeten allemaal onafhankelijk zijn (dus geen within subject toets). Ook mogen de verwachte frequenties niet onder de 5 vallen (de invloed van een bepaalde cel wordt te groot).

College 9: Bestaande en niet-uitgelokte gegevens en rapporteren

Joop Hox, 26 mei 2014

Reactieve metingen zijn metingen die je doet in een onderzoek, waarbij de participanten weten dat er sprake is van een onderzoek. Nadeel van experiment, survey en observatie is dat de participanten doorgaans weten dat zij deelnemen aan een onderzoek. Het gevolg hiervan is dat zij daarop hun gedrag afstemmen, omdat ze graag goede resultaten uit het onderzoek willen zien. Deze reactiviteit is een bedreiging van de interne validiteit.

Neuman onderscheidt vier soorten niet-reactief onderzoek, namelijk fysieke neerslag van gedrag (“Stiekeme metingen”), inhoudsanalyse, kijken naar reeds beschikbare statistieken en secundaire analyse.

Fysieke neerslag van gedrag

Een voorbeeld van fysieke neerslag van gedrag is het voorbeeld van het Garbage Project. Een vuilnishoop is namelijk het ultieme archief! Deze onderzoekers gebruiken archeologische onderzoekstechnieken bij onderzoek naar moderne vuilnisresten, waarbij ze kijken wat mensen kopen in welke stad. Deze fysieke neerslag is non-verbaal gedrag observeren. Het centrale idee hierbij is dat men van verbaal gedrag af wil, en men probeert daarom dingen daaromheen te meten. Je krijgt wat we zeggen wat de doen tegenover wat we daadwerkelijk doen, ook wel sociale wenselijkheid genoemd.

In het vuilnisonderzoek heeft men ook een survey afgenomen, face-to-face. Deze vroegen de mensen naar hun voedingsgewoonten. Tegelijkertijd werd de vuilniszak meegenomen. Er werd dus vergeleken wat mensen aangeven in de survey en wat bleek uit de vuilniszak.

Er zitten wel een aantal ethische problemen aan. Mag je zomaar andermans vuilnis doorzoeken? Hier zijn bepaalde rechtszaken over geweest, publiek gedrag mag je onderzoeken, maar privégedrag niet. Vuilnis is privégedrag. Een ander probleem is dat de neerslag van gedrag/sporen niet heel informatief is. Je kan namelijk observeren wat er gebeurd is, maar niet waarom. Er kunnen geen theorieën mee getoetst worden en ook is het onderzoek vaak betrekkelijk arm aan theorie. Er kan ook stiekem geëxperimenteerd worden, bijvoorbeeld met auto’s in de wijk. Je kunt dan de status en nationaliteit van de auto manipuleren, en dan kijken hoe lang het duurt voordat er vandalen toeslaan.

Inhoudsanalyse

Inhoudsanalyse is sterker, omdat het boodschappen analyseert. Dit houdt niet alleen analyse in van wat er gecommuniceerd wordt maar ook hoe. Inhoudsanalyse bestudeerd bestaande boodschappen en is daardoor niet reactief. Inhoudsanalyse is heel geschikt omdat er veel informatie verwerkt kan worden en bovendien kan de observatie op afstand of van ver of lang geleden zijn.

Er zijn verschillende stappen in de inhoudsanalyse. Allereerst is een goede vraagstelling nodig. Daarna wordt er materiaal verzameld. Dat is nog niet zo makkelijk, want wat is je eenheid van analyse. Bij boeken bijvoorbeeld; codeer je boeken, bladzijdes of hoofdstukken? Codeer je alles of neem je een steekproef? De volgende stap is het maken van een coderingsschema. Aan de hand van de vraagstelling moet gekeken worden hoe je kan operationaliseren aan de hand van het materiaal. De vraag ‘Wat wil je meten’ staat hierbij centraal. Het coderingssysteem legt vast hoe de boodschappen worden vertaald in variabelen. Te denken valt hierbij aan de frequentie van bepaalde boodschappen, intensiteit en richting, het officiële doel en het verborgen doel.

Net als bij alle andere soorten metingen is er het probleem van betrouwbaarheid en de validiteit.
 

Betrouwbaarheid is de afwezigheid van toevallige fouten. Het is belangrijk om twee onafhankelijke codeurs te gebruiken. Bovendien moet de inter-codeur betrouwbaarheid berekent worden. Dit betekent dat er gekeken wordt of er sprake is van een correlatie tussen twee codeurs.

De validiteit vraagt of we meten wat we willen meten. Er bestaan hierbij twee verschillende codes, namelijk manifeste codes en latente codes. Manifeste codes coderen kenmerken die we direct kunnen observeren, dat is dus betrouwbaarder. Latente codes is het coderen van de betekenis van uitingen of acties, detecteren van inhoudelijke thema’s. Dit vereist interpretatie door de codeurs, subjectiever en minder betrouwbaar.

Analyse kan niet de waarheid van een boodschap bepalen. Ook het belang van de gecodeerde boodschappen is vaag. Verdere kenmerken worden genoemd in Neuman hoofdstuk 8.

Secundaire data

Secundaire data zijn gegevens die eerder verzameld zijn voor een ander doel dan wetenschappelijke analyse. Voorbeelden zijn ambtelijke statistische gegevens, administraties van organisaties, publieke informatie van het CBS enzovoort. De onderzoeker heeft dus geen invloed meer op precieze vraagstelling, dataverzameling en analyse. Toch zijn dit soort gegevens vaak interessant voor wetenschappelijk onderzoek. Secundaire date Analyse is een tweede analyse van gegevens die verzameld zijn voor een ander wetenschappelijk onderzoek. Je hebt dan toegang tot de oorspronkelijke data.

Hoe kom je aan deze secundaire data? Echt ontzettend makkelijk, via allerlei samenvattende tabel van CBS, ministeries en gemeenten. Voor deze secundaire data hebben we de ruwe data nodig. Die staan vaak online, meestal gratis na registratie.

Er zijn verschillende beperkingen:

1. De gegevens die verzameld zijn zijn oorspronkelijk verzameld voor een ander doel, dus vaak maar beperkt houdbaar. Dit is een soort validiteitsvraag.

2. Bovendien kunnen er problemen zijn met de data kwaliteit. Er kan sprake zijn van missing data, als de data niet volledig zijn of niet aan te vullen.

3. Ook de betrouwbaarheid is een vraag: dataverzameling is niet systematisch hetzelfde voor verschillende landen.

4. Er kan sprake zijn van verschillende definities, er wordt net iets anders gemeten dan je zou willen, dit is een validiteitsvraag.

5. Een ander probleem is dat de gegevens oorspronkelijk verzameld zijn voor een ander doel. Ook zijn er problemen met de interpretatie. Je moet kennis hebben van het onderwerp en de variabelen.

6. Fallacy of misplaced concreteness komt vaak voor; veel statistische tabellen geven resultaten in veel decimalen, het is onwaarschijnlijk dat het klopt en is voor interpretatie niet nodig.

7. Ecological fallacy: er worden gegevens gerapporteerd over staten, provincies, steden of andere gegevens. Dit mag je wel analyseren maar je mag de resultaten niet interpreteren alsof het over individuen gaat!

Neuman hoofdstuk 12

Algemene kenmerken van wetenschappelijk schrijven zijn de volgende. Je schrijft voor vakgenoten, daarom hoeft niet alles uitgelegd te worden. Bovendien schrijf je formeel, dus geen verhaaltjes. Passieve vorm, lange zinnen, moeilijke woorden zijn geen tekenen van kwaliteit. Wat wel een teken van kwaliteit is is helder taalgebruik en precieze terminologie. Er hoeven geen synoniemen gebruikt te worden voor woorden die je vaak gebruikt, omdat begrippen dan niet meer helder zijn. De tekst moet verder gestructureerd zijn, bondig en met goed refereren. Je moet altijd in gedachten houden voor wie je schrijft; namelijk voor je vakgenoten.

Waarom bestaan er allemaal van die vragen over hoe het moet? Ze stellen ons in de staat om wetenschap te bedrijven. Bovendien leidt de vaste structuur tot het snel en efficiënt lezen. Het leren van een wetenschappelijk artikel kan je leren en daarbij helpen de vragen.

Het zandlopermodel

Het zandlopermodel begint breed, wordt daarna specifiek en dan weer breed. De introductie begint met de achtergrond voor je onderzoek. Vervolgens wordt de onderzoeksvraag genoemd, wat het bijdraagt aan de bestaande kennis, de theoretische onderbouwing en hypothesen. Vervolgens wordt kort genoemd hoe het onderzoek in elkaar zit. Er wordt dus gewerkt van algemeen naar specifiek; van achtergrond naar hypothesen.

De methode beschrijft de verantwoording van de opzet en de uitvoering van het onderzoek. De deelnemers, de opzet, de procedure, de materialen en de analyses worden genoemd. Het doel hiervan is de herhaalbaarheid (iemand moet het na kunnen doen op basis van de informatie die je geeft) en dus de falsificeerbaarheid.

De resultaten zijn de beantwoording van de onderzoeksvraag. De tabellen (uitgebreide analyse), grafieken (in een oogopslag iets aflezen), bespreking van de resultaten van de analyses en beantwoording op de vraag of de hypothesen bevestigd worden.

In de discussie wordt gekeken hoe goed de resultaten de hypothesen bevestigen. Het is fijn als de resultaten de hypothesen bevestigen, maar zo niet dan is de vraag of de resultaten interpreteerbaar zijn. Als er nieuwe resultaten uitkomen, zoek je daar een theorie bij. Zitten er foutjes in het onderzoek, hadden dingen achteraf anders moeten gaan? Wat betekent het voor de theorie? Vervolgens wordt er afgesloten met de eindconclusies.

Het schrijfproces

Neuman noemt prewriting (voorbereiding), freewriting (brainstormen en snelle korte stukken op papier zetten) en rewriting (even laten liggen, dan herschrijven). Het is belangrijk te beseffen dat het schrijven niet vanzelf gaat, dat er tijden overheen gaan voordat het een goed eindproduct is. Vooral het rewriting is belangrijk, je kunt hier een collega om commentaar vragen. Kromme zinnen waar je zelf overheen leest kan iemand anders wel detecteren.

Om jezelf te helpen is het heel makkelijk om een outline te maken. Een outline helpt namelijk om te structureren, je ziet gaten in je eigen betoog en je herkent sneller irrelevante stukken.

De publicatiestijl is meestal volgens American Psychological Association (APA) stijl. Deze geeft hele uitgebreide aanwijzingen met veel details. Er zijn ook andere schrijfstijlen. Bijvoorbeeld referenties met nummers (medische wetenschappen) of in voetnoten (alfa wetenschappen).

Tabellen zijn in een paper van belang, omdat het meer en preciezere informatie geeft. Een figuur is makkelijker te lezen en makkelijker te interpreteren. Bovendien wil APA graag de toetsingsgrootheid, vrijheidsgraden en de p-waarden. Het is belangrijk om deze gegevens te vermelden.

Iets anders wat belangrijk is is de titel, omdat dat namelijk de kortst mogelijke samenvatting is. Prikkelend mag daarbij, maar humor is gevaarlijk. Het gebruik van de hoofd en ondertitel is prima. Ook is het belangrijk om zover mogelijk (on)afhankelijke variabelen te verwerken.

De volgorde van de manuscript is als volgt, volgens APA (met dubbele regelafstand!):

1. Titelpagina (met naam en affiliatie)

2. Abstract

3. De tekst

4. Referenties

5. Voetnoten van de auteur

6. Voetnoten bij de tekst

7. Tabellen (elk op aparte bladzij)

8. De ondertitels van de figuren

9. Figuren (elk op aparte bladzij)

Publiceren is belangrijk voor een academische carrière. Publicatiedruk kan wel leiden tot misstanden. Om een artikel op tijd af te krijgen kunnen resultaten te mooi worden voorgesteld, of kan het betoog worden opgeknipt. Een nieuwe trend is de eis dat alle data beschikbaar moeten blijven, plus alle gebruikte SPSS-setups. Als een artikel onnauwkeurig is of onjuist wordt het teruggetrokken.