Hoorcollegeaantekeningen Onderzoekspracticum 1 (college 1, 2 en 3)

Deze samenvatting is gebaseerd op het studiejaar 2013-2014.

Hoorcollege 1

Hoofdstuk 1, 2 en 3

Een surveyonderzoek is geschikt voor het onderzoeken van meningen, gedrag (als observatie niet kan) en kenmerken (als ze niet bekend zijn via bijv. het CBS). Hierdoor kun je deze data onderling vergelijken.

Voordelen van surveys zijn dat ze bijna overal afgenomen kunnen worden. Je kunt veel data tegelijkertijd verzamelen: je kunt veel mensen tegelijkertijd ondervragen over veel variabelen tegelijkertijd en er is veel aansluiting op bestaande data omdat er al veel surveyonderzoek is gedaan. De kosten van een survey zijn relatief laag. Er is een vrij natuurlijke setting, omdat er geen experimenteel lab aan te pas komt. De externe validiteit is hierdoor hoger bij surveys. Er is al veel bestaande data van surveys beschikbaar, waarmee je jouw nieuwe data kunt vergelijken of mee kunt controleren. Tenslotte is er al een aanzienlijke hoeveelheid onderzoekskennis over de surveymethode.

Nadelen van surveys zijn dat je de onafhankelijke variabelen niet kunt manipuleren. Een causaal verband vaststellen is hierdoor moeilijk en de interne validiteit is hierdoor beperkter. Verder kan de vraagformulering en volgorde van de vragen je bevindingen behoorlijk beïnvloeden. Steeds meer mensen hebben geen zin meer om een survey in te vullen, omdat ze al zo vaak benaderd worden om surveys in te vullen. Dit leidt tot een hogere non-respons.

Bij een survey begin je met een onderzoeksvraag. Vanuit hieruit ga je operationaliseren. Je gaat vragen opstellen voor een vragenlijst, en deze vragenlijst test je vervolgens. Je moet de vorm van je interview bepalen, een steekproef trekken, data verzamelen, data bewerken. Dan doe je een analyse en daar maak je een rapportage van.

In een survey trekt de onderzoeker de conclusies op basis van informatie die hij krijgt van de respondenten. In surveys kun je niet alles vragen: vragen over lang geleden kunnen respondenten waarschijnlijk niet meer beantwoorden. Social desirability houdt in dat mensen vaak niet zomaar vragen willen beantwoorden over sociaal minder acceptabel gedrag of meningen.

Primacy houdt in dat de eerste antwoordoptie het meest opvallend is. Recency houdt in dat dit voor de laatste antwoordoptie geldt. Het effect verschilt per afnamevorm. Bij visuele informatie (web, schriftelijk) geldt primacy, bij mondeling (telefoon, persoonlijk interview) recency. Effecten van primacy en recency vertekenen de antwoorden die mensen geven op vragen. Als je uitkomsten vergelijkbaar wilt houden, moet je de methode en de vragen ook gelijk houden. Om de betrouwbaarheid te meten, kun je een split sample test houden. Je zet dan bij de ene groep op een vragenlijst de ene helft van de vragen bovenaan, en die vragen bij de andere groep onderaan. Dan vergelijk je de uitkomsten. Om vertekening te voorkomen kun je de antwoorden roteren. Op individueel niveau is er dan nog steeds vertekening, maar op geaggregeerd niveau niet meer.

Bij open vragen worden er geen antwoordmogelijkheden aangeboden. Je meetvaliditeit is bij open vragen hoger, omdat er geen vertekening (bias) is door de aangeboden antwoordopties. Open vragen zijn soms wel vermoeiender voor de respondent, omdat de antwoorden zelf bedacht en opgeschreven moeten worden. De antwoorden op open vragen zijn moeilijker en tijdrovender te bewerken tot vergelijkbare data door de onderzoeker.

Bij het antwoorden met cijfers hebben mensen een voorkeur voor het afronden van getallen op 10 en 5.

Open vragen zijn beter bij exploratieve onderzoeken, als er nog geen duidelijk beeld is van de antwoordopties. Er is wel minder kans om duidelijk te maken wat je precies bedoelt aan de respondent. De antwoorden moeten meer bewerkt worden na de dataverzameling. Soms zijn minder groepen/categorieën handiger. De categorieën zijn dan minder gedetailleerd, maar ook minder vermoeiend.

Meetschalen gebruiken we om complexe, latente concepten te meten. Meetschalen hebben altijd meerdere items om iets te meten. Deze items voeg je tijdens de analyse samen. Bij de Thurstone schaal worden vooraf door experts bepaald wat de moeilijkheid van het item is. Dan vraag je de respondenten of ze het eens zijn met de items. Bij de semantische differentiaal zet je twee tegenovergestelde begrippen tegen elkaar, en respondenten moeten dan aangeven bij welk begrip hun mening het dichtste in de buurt komt. Bij de Likertschaal wordt een stelling gevolgd door antwoordopties. Origineel zijn dit 5 antwoordopties (geheel mee eens – geheel mee oneens), maar dit wordt soms ook aangepast. Bij de Likertschaal moet je altijd meerdere stellingen gebruiken, omdat soms positieve of negatieve verwoording invloed kan hebben op de antwoorden die respondenten geven (acquiesence). Soms geven mensen ook de middencategorie als antwoord of een weet niet/geen mening optie. Aan deze informatie heb je niet veel, dus wil je meerdere vragen stellen om meer kans op bruikbare informatie te krijgen.

Bij gebrek aan een middencategorie moeten respondenten gedwongen een keuze maken. Dit kan leiden tot irritatie, maar het geeft wel meer informatie. Mensen nemen al snel de middencategorie als ze niet echt een antwoord weten. Mensen denken dan minder lang na over je vraag. Het kiezen van de ‘weet niet’ optie komt meer voor bij hoger opgeleiden. Als je wilt dat mensen echt kiezen, geef je geen weet-niet optie en geen middenoptie. Als je wilt dat mensen alleen antwoorden als ze een mening hebben, geef je die wel.

De verwoording van de stelling heeft invloed op het antwoord dat mensen geven. Mensen zijn geneigd om het met de stelling eens te zijn. Dit noemen we acquiescence. Bij je items moet je daarom positieve en negatieve stellingen afwisselen.

De antwoordcategorieën moeten uitputtend (exhaustive) zijn: alle mogelijke antwoorden moeten voorkomen. Ook moeten ze wederzijds uitsluiten (mutually exclusive), dus dat er maar één antwoord mogelijk is en de antwoorden niet overlappend zijn. De antwoordopties moeten ook aansluiten bij wat jij verwacht dat de respondenten gaan antwoorden.

Bij de volgorde van je survey begin je niet met privacy-gevoelige vragen. Deze kun je beter achteraan zetten. Intieme, moeilijke, gevoelige vragen zet je midden-achter. Je zet algemene vragen vóór specifieke vragen. Specifieke vragen kunnen het antwoord op algemene vragen beïnvloeden. Sommige vragen wil je niet aan iedereen stellen. Dan gebruik je routing om mensen langs bepaalde vragen te leiden en sommige vragen te filteren. Bij een survey op internet is dit makkelijk, op papier moet je het heel duidelijk maken.

Bij de meetvaliditeit kijk je naar of je wel meet wat je wilt meten. Externe validiteit gaat over of je resultaten representatief zijn, en bij betrouwbaarheid kijk je of je onderzoek consistent is en of je dus steeds hetzelfde meet. Bij straightjacketing moet de vraag op dezelfde manier gesteld worden, moeten de antwoordopties hetzelfde zijn en moet de interviewer alle respondenten hetzelfde behandelen. In je onderzoeksverslag moet heel goed terugkomen hoe dit gebeurd is. Je kunt ook met checks kijken of je onderzoek betrouwbaar is, bijvoorbeeld met een test-hertest, split-half test of een analyse op de interviewereffecten. Bij de laatste kijk je naar of de antwoorden bij de ene interviewer heel anders zijn dan bij de andere interviewer.

Onder de externe validiteit vallen de populatievaliditeit en de ecologische validiteit. Bij populatievaliditeit kijk je naar of de steekproef een goede afspiegeling is van de populatie. Bij de ecologische validiteit kijk je naar of de antwoorden wel oprecht zijn en niet beïnvloedt zijn door de vraagstelling of de interviewer.

Je test altijd je vragenlijst op duidelijkheid van de vraagtekst, op de juiste antwoordmogelijkheden en op goede skip-instructies (routing). Bij een pilot-test voer je de survey uit op mensen van je doelgroep en onder dezelfde omstandigheden, maar dit zijn niet de uiteindelijke respondenten.

Hoorcollege 2

Hoofdstuk 4 en 5

Iedere survey mode heeft voor- en nadelen. Jij als onderzoeker bepaalt welke mode past bij jouw mogelijkheden en eisen. Doordat er verschillende manieren van het afnemen van een vragenlijst zijn, is er kans op vertekening van de antwoorden. Dit noemen we bias. Door herhaling van je onderzoek kun je de consistentie meten. Dit draagt bij aan de interne validiteit.

Bij een telefonisch of persoonlijk (face-to-face) interview is er een interviewer aanwezig. Bij een schriftelijk interview (bijv. per post) of een interview via internet is geen interviewer aanwezig. De voordelen van een interviewer is dat er iemand aanwezig is om uit te leggen wat er met de vragen bedoeld wordt. Bij complexe vragen is er dus hulp voor de respondent. Bij een complexe vragenlijst waarbij van routing gebruik wordt gemaakt, kan de interviewer de respondent door de vragenlijst sturen. Door een interviewer te gebruiken, is er ook een betere respons dan bij een interview via post of internet. Ook het aantal onbeantwoorde vragen is minder met een interviewer erbij. De interviewer heeft controle over het gesprek en kan bepalen of de antwoorden uitgebreid genoeg zijn. De respondent gaat hierdoor langer nadenken en uitgebreider antwoorden.

De nadelen van een interviewer is dat het meer geld kost. De kosten van een interviewer zelf zijn hoog, vooral bij een persoonlijk interview. De interviewer moet getraind worden, heeft reiskosten etc. Een interviewer kan effect hebben op de antwoorden die mensen geven. Mensen kunnen sociaal wenselijk gaan antwoorden. Ook hebben mensen het idee dat hun antwoorden minder anoniem zijn en ze zullen minder open willen antwoorden over gevoelige onderwerpen. Mensen voelen zich dan al snel aangetast in hun privacy (bij onderwerpen zoals seks, belasting-ontduiken, strafblad, medisch dossier). Mensen kunnen sociaal wenselijk antwoorden omdat mensen de neiging hebben om te voldoen aan een (sub) groepsnorm. Soms is de interactie tussen de interviewer, de vraag en de respondent een probleem, maar vaak niet.

De manier waarop de interviewer de survey afneemt is cruciaal voor de validiteit en de betrouwbaarheid. Standaardisatie van het interview is belangrijk: de vragenlijst moet bij elke respondent op dezelfde manier worden afgenomen. Voor de validiteit is het belangrijk dat de interviewers begrijpen wat er wordt bedoeld met de vragen. De interviewers moeten de respondent aanmoedigen de vraag te beantwoorden, maar hen daarin niet beïnvloeden. Ze kunnen bijvoorbeeld non-verbale stimuli gebruiken of de vraag herhalen. Ook kunnen ze even wachten met het stellen van een nieuwe vraag. Door oefeninterviews of observaties kun je bekijken hoe je interviewers de survey afnemen.

Een voordeel van een survey zonder interviewer is dat het goedkoop is. Er is weinig inzet van de onderzoekers nodig. Ook is het minder privacy-bedreigend, waardoor er minder kans is op bias door sociale wenselijkheid. Het nadeel van een interview per post is dat als zich non-respons voordoet, je geen informatie hebt over waarom. Je hebt dus geen non-respons informatie. Verder weet je niet wie de vragenlijst heeft ingevuld. Als je de vragenlijst naar een huishouden stuurt, weet je niet of het niet stiekem de dochter is van de man die je wilde interviewen die de vragenlijst heeft ingevuld.

Om te kiezen welke survey mode je gaat gebruiken, moet je rekening houden met een aantal factoren. Als je weinig geld tot je beschikking hebt, is een interviewer gebruiken vaak niet mogelijk. Als je de antwoorden snel moet hebben, kunnen interviews per post of persoonlijke interviews te lang duren. Ook is het belangrijk of mensen snel bereid zijn mee te doen aan je onderzoek. Als maar weinig mensen je onderzoek interessant vinden, kan een interviewer mensen misschien toch overhalen om mee te doen. Mensen zullen een interview per post of internet sneller onbeantwoord laten. Als een vragenlijst complex is, kun je beter een interviewer gebruiken. Bij vragen met betrekking tot een gevoelig onderwerp, kun je beter geen interviewer gebruiken.

Een telefonisch interview is duur, maar goedkoper dan een persoonlijk interview. Bij een telefonisch interview moeten de vragen vereenvoudigd worden, maar bij een persoonlijk interview kunnen vragen complexer zijn. Bij een telefonisch interview kun je weinig (visuele) hulpmiddelen gebruiken, bij een persoonlijk interview wel. Bij een telefonisch interview kunnen mensen makkelijker weigeren dan bij een persoonlijk interview. Telefonische interviews moeten niet al te lang zijn: maximaal 30 minuten. Een persoonlijk interview kan langer duren, omdat mensen de interviewer niet snel uit hun huis zullen gooien.

Een schriftelijk interview duurt veel langer dan een survey via internet. De vragenlijst moet bij een schriftelijk interview simpeler zijn dan bij een survey via internet. Het internet kan namelijk zorgen voor de routing, bij een vragenlijst op papier moeten mensen zichzelf erdoorheen sturen. Bij een vragenlijst per papier kun je alleen plaatjes tonen, via internet kun je ook video’s etc. laten zien. Bij vragenlijsten via internet zijn mensen wel sneller afgeleid dan bij een vragenlijst per post. De dekking via internet is problematisch, omdat misschien niet alle respondenten toegang hebben tot internet. Bij vragenlijsten per post is dit geen probleem. De antwoorden via een vragenlijst op papier zijn vaker van betere kwaliteit, maar bij vragenlijsten per internet heb je meta-data beschikbaar. Zo kun je zien hoelang mensen over de vragenlijst of bepaalde vragen hebben gedaan.

Een survey kun je eenmalig (cross-sectioneel) afnemen, of herhaald (longitudinaal). Bij een cross-sectionele survey heb je een dwarsdoorsnede: een eenmalige meting die maar één moment meet. Je trekt een eenmalige steekproef van je populatie. Als je steekproef goed is, is je externe validiteit vaak ook goed. Een cross-sectionele survey is relatief eenvoudig op te zetten. Je kunt alleen geen veranderingen over tijd bekijken en de interne validiteit is minder goed.

Longitudinale surveys zijn op te delen in trendstudies en panelstudies. Bij een trendstudie doe je meerdere cross-secties. Je legt een vragenlijst voor aan een groep mensen, en na een jaar doe je dit weer met dezelfde vragenlijst, maar aan een andere groep mensen. Je gebruikt dus verschillende respondenten, maar de vragen blijven wel hetzelfde Je trekt meerdere keren een representatieve steekproef. Bij een panelstudie stel je dezelfde of andere vragen op meerdere tijdstippen aan dezelfde respondenten. Longitudinale surveys zijn minder eenvoudig op te zetten, maar hebben een grotere interne validiteit dan een cross-sectionele survey. De externe validiteit kan wel een probleem zijn, omdat bepaalde respondenten kunnen uitvallen omdat ze geen in meer hebben of verhuisd zijn. Longitudinale surveys kunnen veranderingen over de tijd bekijken en leveren meer informatie op.

Bij een eenmalig herhaald design vergelijk je jouw data met bestaande data van een eerder onderzoek. Dit noemen we een normative design. Je vergelijkt hierbij dus jouw bevindingen met eerder onderzoek, en zo kun je onderzoeken of er veranderingen zijn over de tijd. Je moet hierbij letten op vraageffecten en surveymode effecten.

Bij de surveydesigns zijn er een aantal bedreigingen van de interne validiteit. Een bedreiging door testing is dat als vragen in een vragenlijst worden herhaald, respondenten de tweede keer hun antwoorden nog weten. Dit komt vooral voor als de vorige vragenlijst nog niet zo lang geleden was. Dit kan voorkomen bij een longitudinale opzet, maar ook bij een herhaalde vraag in cross-sectioneel onderzoek. Een bedreiging door history is dat een bepaalde gebeurtenis de surveyomstandigheden beïnvloedt, zoals een tsunami of een kernramp. De kans dat dit gebeurt is groter bij een langere onderzoeksperiode. Dit kan dus voorkomen bij een longitudinale opzet, maar ook als er je er lang over doet om alle respondenten te ondervragen bij een cross-sectioneel onderzoek. Bij attrition (uitval) doen respondenten niet mee aan herhaling van het onderzoek. Soms hangt het uitvallen van respondenten samen met bepaalde kenmerken van die respondenten. Dit verandert de representativiteit van je steekproef. De gemiddelde score is de eerste keer anders dan de tweede keer. Dit is vooral bij een longitudinale opzet. Een bedreiging door de instrumentation is dat als een vraag die je herhaald de tweede keer anders wordt gesteld/gemeten. Er wordt bijvoorbeeld een andere interviewer of surveymode gebruikt. Als je dan een ander antwoord krijgt, weet je niet of dat ligt aan de instrumentation of door een daadwerkelijke verandering van de respondent.

Ook voor de externe validiteit zijn er bedreigingen. Bij een reactief effect, ook wel Hawthorne-effect, reageert de respondent anders vanwege jouw onderzoek. Puur omdat mensen geobserveerd worden gaan ze zich anders gedragen en/of meer hun best doen. Bij een longitudinale opzet is hierop meer kans, omdat mensen meerdere keren benaderd en geïnterviewd worden. Attrition (uitval) is ook een bedreiging voor de externe validiteit, want als een specifieke groep respondenten uitvalt, is de steekproef niet meer representatief.

Steekproeven doen we omdat iedereen ondervragen doorgaans niet praktisch is. Dit kost veel tijd en geld. Vaak is iedereen ondervragen ook niet nodig, omdat een representatieve steekproef voldoende informatie geeft over de hele populatie. De hele populatie ondervragen is alleen een optie als je draagvlak wilt creëren voor een bepaalde ingreep of beslissing (in bijvoorbeeld een buurt of bedrijf) en bang bent mensen uit te sluiten. Een representatieve steekproef is een goede afspiegeling van de (doel)populatie.

Een steekproef gaat nooit helemaal zeker over de populatie. Die ene niet-ondervraagde persoon kan altijd net wat anders zijn. Je weet niet zeker of je steekproef representatief of gedetailleerd genoeg is voor je populatie. Hoe groter de steekproef is, hoe preciezer je uitspraken kunt doen. De steekproefgrootte beïnvloed dus de precisie van de uitspraken. Omdat we werken met een steekproef, weten we nooit iets 100% zeker over de populatie. Over de populatie willen we wel uitspraken kunnen doen. Hiervoor gebruiken we statistische significantie. We kijken hierbij of er wel of niet een afwijkend verschil is in de populatie. We zeggen pas dat er een verschil is in de populatie, als het verschil in de steekproef statistisch significant is. Als er in de steekproef geen verschil is, is er waarschijnlijk ook geen verschil in de populatie. Power is de mogelijkheid dat je een verschil tussen groepen kunt ontdekken in je steekproef, als dat er in de populatie inderdaad is. Als er verschil in de populatie is, hoe goed kunnen we dat aantonen in onze steekproef? Bij statistische significantie kijk je dus naar of er wel of niet verschil is in de populatie. Bij power kijk je naar of je bestaand verschil kan detecteren. Hoe groter je steekproef, hoe meer power je hebt, want je kunt beter ‘inzoomen’. Bij een groter verschil in de populatie kun je dit ook makkelijker opmerken dan als het verschil heel klein is.

De grootte van je populatie is niet van belang voor de grootte van je steekproef. Meestal kun je met 1000 respondenten wel een representatieve steekproef trekken, van zowel Nederland als bijvoorbeeld een groot land als China. Als de populatiegrootte erg klein is, is de steekproefgrootte wel van belang. Dan moet je ongeveer 20% van de populatie nemen, als de populatie kleiner is dan 5000. Het aantal subpopulaties (subgroepen) is van belang. Als je meerdere subgroepen hebt, moet je van elke groep een groot genoeg steekproef trekken om verschillen op te merken. Karakteristieken van de populatie is ook van belang: zijn de verschillen binnen een populatie groot of klein?

We gaan ervan uit dat als we een random steekproef trekken, deze een representatief beeld geeft van de populatie. We gebruiken hiervoor een aselecte toevalssteekproef om een significant verschil aan de tonen. Hierbij heeft iedere respondent een berekenbare kans om in de steekproef te komen. Hiervoor heb je een sample frame nodig: een lijst met alle mogelijke respondenten (steekproefkader). Dit is een vereiste voor aselecte steekproeven. Bijvoorbeeld een telefoonboek, studentenadministratie, bestaande database of een zelf opgestelde lijst.

Random steekproeven zijn de simple random sample, de systematic random sample, de stratified random sample, de simple random cluster sample en de stratified random cluster sample. Bij een simple random sample is er een willekeurige selectie van respondenten. Bij een systematic random sample is er een willekeurig startpunt en steeds een systematische ‘sprong’ waarbij respondenten geselecteerd worden.

Bij een stratified random sample delen we de populatie in in subpopulaties, zodat de verdeling van eigenschappen gelijk is in de populatie en steekproef. Dit moet zorgen voor een representatieve steekproef. Bij de selectie van respondenten gebruik je dus de kennis over hun eigenschappen. Die informatie moet je uit je steekproefkader kunnen halen. Een stratified random sample gebruik je omdat bij een simple random sample er een grotere kans is dat sommige groepen per toeval meer of minder aanwezig zijn. Bij een proportionele gestratificeerde steekproef zijn de proporties in de steekproef gelijk aan die in de populatie. Bij een disproportionele steekproef is dit niet het geval. Dit noemen we het oversamplen van bepaalde groepen. Soms wil je van een bepaalde (kleine) subpopulatie meer respondenten in je steekproef zodat je verschillen tussen de groepen beter kunt vergelijken.

Bij een cluster steekproef maak je een selectie van respondenten per cluster. Bijvoorbeeld alle leerlingen van een klas of alle bewoners van een straat. Dit is vooral handig bij persoonlijke interviews, want dan heb je alle respondenten dicht bij elkaar en hoeft de interviewer niet het hele land door. Je kunt zo sneller in een keer een hele groep ondervragen. De cluster steekproef gebruik je ook als selectief respondenten selecteren onethisch is. Bij een getrapte (cluster)steekproef selecteer je eerst alle respondenten van een cluster en daarbinnen selecteer je weer random respondenten.

Selecte steekproeven (convenience samples) zijn random. Bij een quotasteekproef selecteren we respondenten op basis van bepaalde criteria. Bij een sneeuwbalsteekproef vragen we aan respondenten of zij een lijstje willen opstellen van andere respondenten die aan de criteria voldoen. Deze worden dan weer door de interviewer ondervraagd, enzovoorts. Deze soort steekproef wordt vaak gebruikt voor moeilijk te bereiken groepen, waarvan er zeer kleine aantallen zijn in de populatie. Bij een interview panel wordt gebruik gemaakt van een groep bereidwillige respondenten, die al eerder hebben aangegeven dat ze bereid zijn mee te doen aan surveys. Bij opt-in surveys bepaalt een respondent zelf de deelname. Waarschijnlijk doen alleen mensen mee die uitgesproken voor of tegen zijn, dus aan de resultaten van een opt-in survey heb je niets als onderzoeker.

Een niet-representatieve steekproef kun je voorkomen door een gestratificeerde steekproef te gebruiken, of een quotasteekproef. Bij een gestratificeerde steekproef is er echter informatie in het steekproefkader nodig en een quotasteekproef is niet random. Als achteraf blijkt dat een steekproef niet representatief is voor de populatie, kun je weging toepassen. Hierbij laat je de ene subpopulatie zwaarder meetellen dan een andere. Zo kun je dan de steekproef gelijk maken aan de populatie. Je hebt hiervoor wel informatie over de populatie nodig, anders kun je ook niet corrigeren. Je kunt ervoor kiezen te wegen als je uitspraken wilt doen over je hele populatie. Het is beter niet te wegen als je verbanden of verschillen tussen groepen wilt onderzoeken.

Hoorcollege 3

Hoofdstuk 6 en 7

We onderscheiden twee vormen van non-respons: unit non-respons en item non-respons.

Unit non-respons

Bij unit non-respons heeft de respondent de hele vragenlijst niet ingevuld, maar was wel geselecteerd in je steekproef. Het is mogelijk dat je deze respondent niet kon bereiken omdat de interviewer het huis niet kon vinden, het telefoonnummer geheim is of de respondent niet thuis was. Het is ook mogelijk dat je de respondent wel kon bereiken, maar dat hij/zij weigert mee te doen aan het onderzoek. De respondent is bijvoorbeeld niet geïnteresseerd of ziek. Soms kan het zijn dat de respondent de taal niet spreekt en daarom de vragenlijst niet kan invullen. Als de interviewer de vragenlijst voor hem zou vertalen, zou dit op dat moment waarschijnlijk niet zo zorgvuldig gebeuren dat de vragenlijst nog precies op dezelfde manier wordt afgenomen als bij andere respondenten. Als je van tevoren weet dat veel van je respondenten de taal mogelijk niet spreken, kun je ervoor kiezen een vertaalde versie van je vragenlijst te maken. Ook kun je ervoor kiezen de buitenlandse respondenten niet in het onderzoek betrekken, maar dan negeer je een deel van de populatie in je steekproef. Tenslotte kan het gebeuren dat de vragenlijst van een respondent verloren gaat, omdat de vragenlijst kwijt raakt of gestolen wordt.

De unit non-respons bereken je door het aantal geslaagde interviews te delen door het totaal aantal eenheden in je steekproef. Van het aantal eenheden trek je wel het aantal overledenen, de verkeerde adressen en de respondenten die verhuisd zijn naar buiten het steekproefgebied af. Mensen die de taal niet spreken of niet willen/kunnen meedoen, tel je wel mee met het totaal aantal eenheden in de steekproef.

Een gevolg van non-respons is dat je minder geslaagde interviews hebt, waardoor je minder precieze uitspraken kunt doen. Verder is de kans op non-respons niet gelijk verdeeld over de populatie. Niet iedereen heeft een gelijke kans om mee te doen. De kans op niet-deelname kan gerelateerd zijn aan persoonlijke eigenschappen van de respondent. Sommige mensen zeggen eerder nee tegen dingen, zijn weinig thuis, spreken de taal niet etc. Hierdoor kan het voorkomen dat je hele groepen van de populatie niet in je steekproef hebt.

Als de respondent ‘missing completely at random (MCAR)’ is, is er geen enkele relatie tussen de non-respons en eigenschappen van de respondent, eigenschappen van de interviewer, de interview mode of het onderwerp van het onderzoek. Het voordeel hiervan is dat er geen vertekening van de steekproef is. Het nadeel is dat het inefficiënt is omdat je meer interviews uit moet voeren voordat je genoeg interviews hebt. Ook moet je vaststellen dat het echt om MCAR gaat.

Als het niet om MCAR gaat, is er een relatie tussen de kans op deelname en eigenschappen van de respondent of interviewer, de interview mode of het onderwerp van het onderzoek. Hierdoor is er vertekening van de steekproef en ook is het weer lastig vast te stellen of het wel of niet om MCAR gaat. Om te onderzoeken of non-respons aan de eigenschappen van je interviewer kan liggen, vergelijk je de respons tussen interviewers. Heeft een van de interviewers niet toevallig veel respondenten toegewezen gekregen met dezelfde eigenschappen die gerelateerd zouden kunnen zijn aan non-respons? Bij de interview mode kun je verschillende modes vergelijken. Bij eigenschappen van de respondent vergelijk je mensen die de vragenlijst wel hebben ingevuld met mensen die dit niet hebben gedaan. Hierbij kun je kijken naar geslacht, leeftijd (ongeveer), soort huis, omgeving etc. Ook kun je antwoorden van mensen die makkelijk te bereiken waren vergelijken met antwoorden van mensen die moeilijk te bereiken waren, en antwoorden van mensen die direct mee wilden doen met antwoorde van mensen die moeilijk over te halen waren.

Je kunt mensen die niet willen meedoen proberen over te halen om één cruciale vraag te beantwoorden, de ‘doorstep question’. Je kunt dan antwoorden uit de steekproef vergelijken met ‘bijna-helemaal weigeraars’.

Om de respons te verhogen kun je de periode van veldwerk verlengen. Hierbij loop je wel de kans dat history een rol gaat spelen: dingen die gebeuren die van invloed zijn op de respondenten. Interviews vóór en interviews na deze gebeurtenis zijn dan niet meer te vergelijken. Verder kun je juli, augustus en (eind) december mijden voor het afnemen interviews, omdat veel mensen dan afwezig zijn of geen tijd hebben. Ook kun je proberen publiciteit te krijgen voor je onderzoek, maar hierbij is er kans op vertekening tussen mensen die van je onderzoek hebben gehoord via bijvoorbeeld televisie en mensen die het onderzoek ‘blanco’ ingaan. Je kunt respondenten vooraf contacteren. De voordelen hiervan zijn dat je minder kans hebt dat je survey mode tot vertekening in selectie zou kunnen leiden en dat je mensen persoonlijk kunt overhalen.

Je kunt respondenten ook vooraf contacteren met een aankondigingsbrief. Hierin zet je wie je bent, het doel van je onderzoek, eventueel onderwerpen waarover je gaat vragen (pas op voor priming of saaie onderwerpen), de lengte van je interview/enquête (behalve als die heel lang is), hoe de anonimiteit van respondenten gewaarborgd wordt en de contactgegevens van de onderzoeker.

Met incentives (cadeautjes) kun je respondenten ook over halen mee te doen aan het onderzoek. Hierbij moet je bedenken of je de cadeautjes vooraf of achteraf geeft. Uit onderzoek blijkt dat vooraf geven het beste effect oplevert, omdat dit schuldgevoel creëert bij mensen. De waarde van zo’n cadeautje is vaak niet hoog. Laat het cadeautje aansluiten bij je doelgroep.

Voor iedere interview mode geldt dat de responsie omhoog gaat als er meer tijd en geld geïnvesteerd wordt. Je enquête moet goed gepresenteerd worden en er moet hard gewerkt worden om weigeraars te overtuigen. Hiervoor moet je je interviewers goed trainen of vaak een herinnering sturen bij een schriftelijke survey of een websurvey. Persoonlijke interviews leveren de hoogste responsie. Telefonische interviews worden vaak aangezien voor een verkooppraatje en veel mensen hebben nu een mobiele telefoon, waardoor de responsie van telefonische interviews vaak laag is. Responsie via websurveys is afhankelijk van de leeftijd en opleiding van respondenten. Vaak maken we bij onderzoeken gebruik van mixed mode: respondenten krijgen meerdere modes aangeboden om de vragenlijst in te vullen. Dit kan echter wel voor bias door de interview mode zorgen.

Item non-respons betekent dat respondenten sommige vragen niet invullen. Dit kan zijn omdat de vragen te moeilijk zijn, te persoonlijk, te bedreigend of respondenten zijn de vragen gewoon vergeten.

Het codeboek is een beschrijving van je survey. Het gaat hierbij om een verwijzing voor je data. Het doel is dat andere mensen makkelijk jouw data kunnen controleren en je maakt de data zo toegankelijk voor anderen. Ook is het handig voor jezelf een naslagwerk te hebben. In het codeboek beschrijf je je onderzoeksdoel en de opzet van je onderzoek (design, interview mode, populatie). Ook beschrijf je de steekproefmethode, de (non-)responsverantwoording en de periode van interviewen. Vervolgens zet je de vragenlijst, de antwoorden daarop en de extra variabelen erin.

In je onderzoeksverslag beschrijf je ook welke vragen je hebt gebruikt voor je survey en hoe deze zijn ontwikkeld. Je beschrijft de belangrijkste variabelen, de uitkomsten en de bevindingen. In de discussie blik je terug op hoe je survey is verlopen. Zijn er problemen ontstaan of zijn er onverwachte gebeurtenissen voorgevallen? Je geeft antwoord op een paar evaluatievragen. Wat waren de reacties van je respondenten en je interviewers? Wat zou je nu anders doen in je survey? Je kunt je onderzoek nog vergelijken met bestaand onderzoek.