MCO HC 6A – 20 oktober: Hoofdstuk 9: Inhoudsanalyse

Als je slechts een paar personen als onderzoekseenheden wilt onderzoeken, kun je kiezen voor een diepte-interview. Bij veel personen als onderzoekseenheden kun je een vragenlijst afnemen. Als je artikelen wilt onderzoeken, kan een inhoudsanalyse worden gedaan. Een inhoudsanalyse is het bestuderen van bestaande uitingen (onderzoekseenheden) via het coderen van die uitingen. Bij surveys bestudeer je de kenmerken of de meningen van je onderzoekseenheden via ondervragingen. Bij een experiment kan de onderzoeker de omstandigheden van de onderzoekseenheden manipuleren. Vervolgens bestudeer je het gevolg van die manipulatie door de onderzoekseenheden te observeren en te ondervragen. Hierbij heeft de onderzoeker dus veel controle. Bij kwalitatief onderzoek proberen onderzoekers de denkwijze of motivatie van onderzoekseenheden te doorgronden via (participerende) observatie, diepte-interviews of groepsgesprekken. De onderzoeker wilt deel worden van de belevingswereld van de onderzoekseenheden.

Een inhoudsanalyse is het bestuderen van bestaande uitingen (onderzoekseenheden) via het coderen van die uitingen. Onder bestaande uitingen vallen bijvoorbeeld tv-programma’s, films, muziekclips, kranten, tijdschriften, boeken, radioprogramma’s, gesprekken, liedjes etc. Onderzoeken over bestaande uitingen kunnen ook heel makkelijk herhaald worden, omdat deze onderzoekseenheden over de tijd niet veranderen. Dit is een groot voordeel, want het komt de repliceerbaarheid ten goede. Dit wil zeggen dat een andere onderzoeker het onderzoek kan herhalen.

Bij coderen proberen we de eigenschappen van die uiting objectief te karakteriseren. Bij een kwantitatieve inhoudsanalyse gaat het om een objectieve, systematische codering. Bij een kwalitatieve inhoudsanalyse gaat het meer om een interpretatieve codering.

De inhoudsanalyse van niet-uitgelokte gegevens is een vorm van non-reactief onderzoek. Bij non-reactief onderzoek (unobtrusive measure) gaat het erom dat de onderzoekseenheden (zoals een film of krant) niet weten dat ze geobserveerd worden. Hierdoor kunnen ze niet anders gaan reageren dan dat ze normaal zouden doen. Er is dus geen sprake van reactiviteit zoals bij reactief onderzoek (bijvoorbeeld het stellen van vragen aan onderzoekseenheden). De objectiviteit en validiteit zijn hierdoor beter, wat het een ander groot voordeel ten opzichte van andere manieren van onderzoek doen maakt.

Stappenplan van een inhoudsanalyse: Je begint bij de probleemformulering, dus met een doel- en vraagstelling. Vervolgens ga je operationaliseren: variabelen bepalen en een codeboek maken. Dan ga je bepalen welke populatie je gaat onderzoeken en wat voor steekproef je daar voor vaststelt. Vervolgens bepaal je hoe je gaat coderen en bereken je de betrouwbaarheid van de codering. Ten slotte analyseer je je onderzoekseenheden en maak je een rapportage. Op je probleemformulering baseer je dus je strategiekeuze, waarna je je inhoudsanalyse doet. Je doet alleen een inhoudsanalyse als het in je onderzoek gaat om de inhoud van de onderzoekseenheden.

Bij het bepalen van je variabelen kun je kiezen voor manifest vaststellen of latent vaststellen. Onder manifest vaststellen vallen variabelen als lengte (aantal woorden, kolomcentimeters, aantal seconden), positie (voorpagina, binnenpagina, foto’s, eerste item, later item, wel/niet beeld). Bij een acteur in een serie kun je bekijken hoeveel seconden de acteur in beeld is, of hij wel/niet in beeld is, parafraseren of citeren. Het gaat dus om dingen die direct waarneembaar / meetbaar zijn en niet verder geoperationaliseerd hoeven te worden.

Bij latent vaststellen kijk je bijvoorbeeld of de inhoud positief, negatief of neutraal is, of een acteur een leidende rol of een volgende rol heeft, of het een sympathiek of onsympathiek karakter is. Latent vaststellen is minder eenduidig dan manifest vaststellen, want het gaat om zaken die niet direct waarneembaar / meetbaar zijn. Manifeste variabelen zijn erg objectief en betrouwbaar te meten. Bij latente variabelen gaat het veel meer om interpretatie van de resultaten, dus kunnen die meer variëren. Hogere orde variabelen zijn variabelen die we niet meteen kunnen bekijken (latent) maar die we vaststellen aan de hand van een aantal andere variabelen die we meten (manifest). Dit noemen we aggregeren.

Variabelen moet worden beschreven met behulp van een codeboek en een codeerschema. Hierin geven we heel duidelijk aan wat we gaan onderzoeken, hoe we dat gaan doen en hoe we de gegevens gaan categoriseren. Dit zodat het onderzoek goed te repliceren is. Een codeboek is een verzameling van de codeervoorschriften die de onderzoeker voor zijn onderzoek heeft opgesteld. Voor een objectief onderzoek is het belangrijk om zoveel mogelijk een eenduidig codeerschema op te stellen. Hoe beter je een beschrijving maakt van wat wel en wat niet onder jouw begrippen vallen, hoe eenduidiger het codeerschema is. Dit maakt de validiteit van je codeerschema hoger. Als meerdere codeurs de gegevens analyseren, is het beter vast te stellen of het codeerschema eenduidig/objectief is. Ook kan er op meerdere momenten gecodeerd worden. Door de verschillende codeurs en codeermomenten te vergelijken, kan de betrouwbaarheid van het codeerschema vastgesteld worden.

Bij eenduidige variabelen is er geen overlap tussen concepten/dimensies. Je hebt het niet over ‘een oude vrouw’, maar over de variabelen geslacht en leeftijdsgroep. Binnen de variabelen moeten er ook eenduidige categorieën zijn. Uitputtend betekent dat alle mogelijke categorieën opgenomen worden. Categorieën moeten elkaar uitsluiten, zodat gegevens niet in meerdere categorieën te plaatsen zijn. Duidelijke instructies voor de codering zijn erg belangrijk. Het codeerschema + de codeerinstructies is samen het codeboek. Met een pilot test probeer je je codeerschema vooraf uit. Hierdoor kun je vaststellen of je codeerschema nog veranderd moet worden. Dit kan niet meer veranderd worden tijdens het onderzoek, omdat binnen het onderzoek gegevens anders misschien op verschillende manieren gecodeerd worden.

Bij meerdere codeurs kijk je naar of iedereen hetzelfde codeert. Dit noemen we de intercodeursbetrouwbaarheid en gaat over de consistentie tussen meerdere codeurs. Bij meerdere codeermomenten kijk je naar of je nu hetzelfde codeert als aan het einde van het onderzoek. Dit noem je de intracodeurbetrouwbaarheid en gaat over de consistentie over de tijd. Als meerdere codeurs de gegevens coderen, kun je sneller coderen, dwingt het je tot objectieve documentatie en is de codering minder gevoelig voor subjectieve interpretatie. Het nadeel van meerdere codeurs is dat er meer kosten aan verbonden zijn, omdat ze bijvoorbeeld meer training nodig hebben.

Krippendorff’s Alpha (de beste) en de Cohen’s Kappa zijn manieren om de betrouwbaarheid te berekenen (leren we bij BS). Crombach’s Alpha is hier niet bruikbaar voor, want overeenstemming is niet hetzelfde als betrouwbaarheid. Als je betrouwbaarheid over een groot aantal artikelen zou berekenen, zou het waarschijnlijk steeds hoger worden bij steeds meer artikelen.

Bij het coderen kan de betrouwbaarheid ten koste gaan van validiteit. Bij meer categorieën kun je beter classificeren, maar bij minder categorieën is het makkelijker eenduidiger te categoriseren bij meerdere codeurs. Meer categorieën is dus meer valide, maar minder categorieën is meer betrouwbaar.

Alle onderzoekseenheden bij elkaar vormen de populatie of de universum die we willen gaan onderzoeken. De onderzoeker bepaalt hoe groot de groep is waarover hij uitspraken wilt doen en wat wel en niet onder die populatie valt. De hele populatie onderzoeken is vaak niet mogelijk en vaak ook niet nodig, daarom trekken we een steekproef van de populatie.

Een enkelvoudige aselecte steekproef is een toevalssteekproef uit alle onderzoekseenheden. Bij een gestratificeerde steekproef kijk je bijvoorbeeld naar de relatieve oplage van kranten en baseer je daar je steekproef op. Als 40% van de bevolking de Telegraaf leest, bestaat 40% van je steekproef ook uit Telegraaflezers. Bij een cluster steekproef kijk je bijvoorbeeld alleen naar alle artikelen van de voorpagina en pagina 5 van een krant. Bij een systematische steekproef zit er een systeem in je steekproef. Je kunt alle soorten steekproeven ook combineren, bijvoorbeeld een gestratificeerde systematische clustersteekproef.

MCO HC 7A – 27 oktober: Hoofdstuk 7: Survey

Een survey is een dataverzamelingsmethode waarbij het gaat om het direct stellen van vragen. Bij een vragenlijst is er een grote mate van standaardisatie. Bij deze manier van informatie verzamelen wordt er niet gemanipuleerd, maar direct gegevens gevraagd. Dit is dus in tegenstelling tot een experiment, waarbij variabelen wel worden gemanipuleerd. Een vragenlijst kan gebruikt worden bij grote aantallen respondenten. Een survey is geschikt voor het meten van kenmerken van personen, gedrag en meningen (deze kun je ook onderling koppelen).

De eerste stap bij het uitvoeren van een enquête (het daadwerkelijke instrument bij het gebruiken van een vragenlijst) is het opstellen van een onderzoeksvraag. Je moet kiezen of je een enquête eenmalig of meerdere malen afneemt en of je dat mondeling of schriftelijk doet. Je moet de populatie bepalen en daaruit een steekproef trekken. Dan stel je een vragenlijst op, waarmee je verwacht dat je met de antwoorden je onderzoeksvraag kunt beantwoorden. Die vragenlijst voer je uit, en van de antwoorden maak je een analyse en een rapportage.

Op basis van de probleemformulering wordt een strategiekeuze (experiment, inhoudsanalyse of survey) bepaald. Experimenten geven het beste resultaat bij causale vraagstellingen, maar zijn niet altijd mogelijk. Surveys zijn hiervoor minder geschikt, omdat andere variabelen ook een rol kunnen spelen op de gemeten variabelen.

Een cross-section is een survey met een eenmalig meetmoment. Hierbij wordt met een vragenlijst een groep respondenten eenmalig ondervraagt. Er kunnen zo kenmerken en verbanden op individueel en geaggregeerd (gebundeld) niveau gemeten worden. Men kan ook een longitudinaal onderzoek uitvoeren. Hierbij worden meetmomenten herhaald. Je kunt bij longitudinaal onderzoek dezelfde vragen bij andere respondenten gebruiken. Zo meet je veranderingen op geaggregeerd niveau. Dit wordt een trendsurvey genoemd. Tenslotte kan men een panelsurvey gebruiken, waarbij dezelfde of andere vragen aan dezelfde groep respondenten gesteld worden. Zo kun je veranderingen op individueel niveau en geaggregeerd niveau meten. Panelsurveys zijn sterker voor de interne validiteit dan cross-sectionsurveys of longitudinale surveys. Er is ook een nadeel: sommige mensen die je de eerste keer onderzocht hebt, zijn nu niet meer bereikbaar voor onderzoek. Dit noem je mortaliteit of uitval. Een ander nadeel is dat er minder externe validiteit is. Een eenmalig onderzoek heeft meer externe validiteit dan een trend- of panelsurvey.

Er zijn verschillende manieren voor de afname van de enquêtes (modes of data collection). Dit kan met een interviewer of zonder interviewer. Met een interviewer maken we nog onderscheid tussen persoonlijk contact of telefonisch contact. Zonder interviewer kan een survey schriftelijk zijn of via email of internet. Bij het vragen naar persoonlijke gegevens kan beter een survey zonder interviewer gebruikt worden, omdat mensen dan eerder eerlijk antwoord durven te geven. Bij een vragenlijst met veel ingewikkelde vragen, kan beter wel een interviewer gebruikt worden, omdat deze dan de vragen uit kan leggen. Ook zullen mensen waarschijnlijk eerder bereid zijn mee te werken aan een enquête als er een interviewer voor de deur staat dan als ze een email krijgen. Aspecten die ook nog van invloed zijn op de verschillende vormen van afname is de respons, snelheid, kosten en complexiteit van de vragenlijst. Persoonlijk contact met een interviewer levert goede resultaten op, omdat men de interviewer niet snel zal wegsturen en er zo lange vragenlijsten afgenomen kunnen worden. Bij telefonisch contact is er minder respons, omdat mensen het vaak hinderlijk vinden om telefonisch geïnterviewd te worden. De resultaten via een schriftelijke interview zijn vaak matig en ook via email of web matig. Een persoonlijke enquête is langzaam, terwijl een telefonische enquête juist heel snel is. Een schriftelijke enquête is langzaam, terwijl een enquête via email of internet weer heel snel kan zijn. De kosten van persoonlijke en telefonische enquêtes zijn hoog, terwijl schriftelijke enquêtes via email of internet juist weinig geld kosten. Bij een complexe vragenlijst zijn de resultaten bij persoonlijk of telefonisch contact met een interviewer hoog, omdat de interviewer de vragen uit kan leggen. Bij een enquête via email of web is er ook veel ruimte om de vragen uit te leggen. Via een schriftelijke enquête is deze ruimte vaak beperkt, dus moet de complexiteit van de vragenlijst ook laag blijven.

Er zijn twee soorten vragen: open en gesloten vragen. Bij een open vraag worden er geen antwoordmogelijkheden gegeven. Dit omdat het aantal mogelijke antwoorden veel te groot is. Het kan ook zijn omdat de antwoorden te veel voor de hand liggen (bij geslacht of leeftijd). Het is dan niet nodig de antwoordmogelijkheden specifiek vast te stellen. Het voordeel van open vragen is dat je de respondent niet stuurt via de antwoordopties en ze zo helemaal zelf een antwoord moeten bedenken. Er is dus geen bias. Het nadeel is dat je alle antwoorden in categorieën moet indelen of vergelijkbaar moet maken. Het invoeren en coderen van de antwoorden is hierbij veel werk. Soms verduidelijken de antwoorden de vraag niet, waardoor respondenten die de vraag niet precies snappen, dit ook niet uit de antwoorden kunnen opmaken.

Bij gesloten vragen worden zowel de vraag als de antwoordmogelijkheden gegeven. Dit betekent dat bij een persoonlijk gesprek de interviewer alle antwoorden moet voorlezen. Het voordeel van gesloten vragen is dat het makkelijk is voor de respondent en makkelijk voor de data-invoer van de antwoorden. De nadelen zijn dat de respondent mogelijk beïnvloed kan worden door de antwoordopties en dat bij telefonisch contact er maar een beperkt aantal antwoordopties gegeven kunnen worden. Antwoordmogelijkheden moeten uitputtend zijn: alle mogelijke antwoorden moeten ook als mogelijkheid gegeven worden, zodat het niet voorkomt dat een antwoord dat een respondent eigenlijk wilt geven er niet bij staat. Ook moeten de antwoordmogelijkheden uitsluitend zijn (mutually exclusive): mensen moeten niet meerdere antwoorden kunnen invullen als dat niet de bedoeling is.

Het taalgebruik van de vragen moet aansluiten bij de doelgroep, zodat de respondenten de vragen goed begrijpen en niet zomaar een antwoord geven. Dit is wel eens een probleem, omdat universitair geschoolde onderzoekers niet goed zijn in het inschatten van het taalniveau van de respondenten. Er mogen ook geen dubbelzinnige vragen in de enquête voorkomen en alle begrippen moeten duidelijk gedefinieerd worden, zodat respondenten precies antwoord geven op de manier waarop je wil. Niet ‘jonge kinderen’ maar ‘kinderen onder de 10 jaar’. Double barreled questions moeten vermeden worden: dit zijn vragen waarin er twee dingen tegelijkertijd gevraagd worden. Bijvoorbeeld: ‘Vindt u dat er teveel geweld en seks op televisie te zien is?’ Een ander probleem dat bij het stellen van vragen kan voorkomen, is dat er assumpties / aannames worden gedaan in de vraag. Het antwoord op zo’n vraag kan dan ook over de aanname gaan en is niet per se een antwoord op de vraag zelf.

Manifeste variabelen zijn ‘direct waarneembaar’, dit betekent dat ze niet snel voor meerdere uitleg vatbaar zijn. Bijvoorbeeld geslacht, leeftijd, opleiding of aantal kinderen. Latente variabelen zijn niet direct meetbaar en dus voor meerdere uitleg vatbaar. Hierbij gaat het meer op gevoelens, attitudes en meningen. De meting van latente variabelen is een (potentieel) probleem. De inhoud van het concept is niet zondermeer duidelijk: onderzoekers en respondenten kunnen concepten anders interpreteren. De meeteenheid van het begrip is soms ook niet duidelijk. Het concept kan ook meerdere aspecten omvatten, waardoor je in een enquête verschillende vragen moet stellen om het concept te meten.

In de sociale wetenschappen wordt vaak gebruik gemaakt van meetschalen. Door verschillende vragen voor verschillende aspecten van het begrip te gebruiken, kunnen meerdere aspecten van een complex begrip gemeten worden. Het voordeel hiervan is dat de meting hierdoor betrouwbaarder wordt. Abstracte begrippen kunnen door meetschalen gekwantificeerd worden. Door begrippen te rangschikken op ‘meer – minder’ maak je ze ordinaal te meten. Door de begrippen een numerieke waarde te geven, kun je ze op interval/rationiveau meten. Als je een begrip op meerdere manieren meet, leidt de meting vaak tot een betrouwbaardere uitkomst.

Een meetschaal bevat meerdere vragen (items) om een latent construct te meten. Een antwoordenschaal bevat meerdere antwoordmogelijkheden voor een vraag. De schaal loopt bijvoorbeeld van 1 t/m 5, waarbij 1 voor ‘zeer mee oneens’ staat en 5 voor ‘zeer mee eens’.

Bij de Likertschaal worden stellingen gevolgd door antwoordopties (vaak oplopend van ‘geheel mee oneens’ tot ‘geheel mee eens’). Bij een Likertschaal worden altijd meerdere stellingen gegeven. Deze schaal wordt veel gebruikt in de sociale wetenschappen, omdat er snel veel aspecten mee gemeten kunnen worden. Je kunt namelijk dezelfde antwoordopties gebruiken voor verschillende stellingen. Ook is deze schaal geschikt voor meningen, gedrag en houdingen. Op basis van deze schaal kunnen we scores aan respondenten geven: hoog of laag, latent of manifest.

Bij de meetmethode semantic differential gebruiken we verschillende woorden of begrippen die het concept beschrijven. Semantisch betekent ‘woorden/betekenis’ en differentiaal ‘onderscheid’. Bij een semantische differentiaal worden er tegengestelde woorden gegeven waarbij de respondent moet aangeven bij welk woord zijn mening dichter in de buurt komt.

Bij inhoudsvaliditeit gaat het erom of je alles meet wat je meten wilt. Het weglaten van variabelen (vragen) bedreigt de inhoudsvaliditeit. Voor de betrouwbaarheid is het belangrijk dat de meting consistent is. Om dit te testen kun je meerdere vragen stellen om hetzelfde aspect te meten en dan te kijken of de antwoorden overeen komen. Dit noem je test/hertest en meet de stabiliteit. Ook gaat het erom of alle items hetzelfde latente construct meten. Hiervoor gebruik je een split-halftest: de antwoorden van de eerste helft van de vragen worden vergeleken met de antwoorden van de laatste helft van de vragen.

De populatie is de groep waarover je uitspraken wilt doen. Omdat je niet de hele populatie kunt meten, trek je een steekproef. De representativiteit van de steekproef is erg belangrijk om uitspraken te kunnen doen over de hele populatie. Eerst moet je de populatie definiëren en operationaliseren. Hierop baseer je je steekproefplan en selecteer je je onderzoekseenheden. Vervolgens maak je een selectie van je informanten.

Als je een steekproef compleet door toeval laat bepalen, moet een steekproef in principe representatief zijn. Een steekproefkader is een lijst met alle respondenten die je zou kunnen gebruiken. Hieruit trek je een steekproef. Een representatieve steekproef is een goede afspiegeling van de populatie in het geheel. Onderdekking is als een steekproef niet iedereen omvat die in de steekproef aanwezig hoort te zijn. Soms horen bepaalde mensen niet in een steekproefkader te zitten, maar zitten er (nog) wel. Dit noemen we overdekking.

Bij een enkelvoudige aselecte steekproef is de steekproef op willekeurige wijze uit alle eenheden van de populatie getrokken. Bij een gestratificeerde steekproef wordt de populatie ingedeeld in deelpopulaties (strata). Vervolgens wordt een aselecte keuze van een proportioneel aantal stratumleden uit elk stratum gemaakt. Hierdoor wordt de representativiteit gegarandeerd. Elk lid van elk stratum in de populatie heeft een berekende kans om in de steekproef te komen. Bij een systematische steekproef is er een lijst zonder volgorde van de populatie. Daaruit wordt een startpunt willekeurig gekozen, vanwaar steeds de volgende x wordt gekozen voor de steekproef. Bij een clustersteekproef trek je groepen/clusters zoals straten, huishoudens en schoolklassen als primaire eenheden en ondervraag je alle leden van dat cluster. Als binnen de clusters niet iedereen ondervraagd worden, maar ook binnen de clusters nog een steekproef wordt getrokken, noem je dat een getrapte steekproef. Dit zijn allemaal kanssteekproeven.

In een quotasteekproef worden interviewers verspreid over het land ingezet en die interviewers kiezen zelf de respondenten, die aan bepaalde criteria moeten voldoen. Die criteria zijn bijvoorbeeld bepaalde combinaties van geslacht, leeftijd en welvaartscategorieën. Het verschil met een gestratificeerde steekproef is dat in de quotasteekproef de interviewers de steekproef selecteren, en daardoor is het niet bekend hoe groot de kans is om in de steekproef te worden betrokken. Een sneeuwbalsteekproef kan gebruikt worden als er geen goed steekproefkader is, zoals bij drugsgebruikers. De interviewer probeert in contact te komen met drugsgebruikers, en vraagt hen vervolgens een lijstje te maken van mensen die in dezelfde omstandigheden zitten. Daaruit kiest hij aselect mensen voor ondervraging. Er kan ook gekozen worden voor personen die sociaal het meest ver weg staan van de eerste ondervraagde, om mensen uit andere sociale netwerken te bereiken. Dit zijn beiden niet-kanssteekproeven.

Om te bepalen wat de grootte van je steekproef moet zijn, maakt het niet uit hoe groot de populatie is. Een bepaald aantal is doorgaans genoeg. De grootte van de steekproef maakt alleen uit als de populatie heel klein is. Als je veel deelpopulaties hebt die je wilt onderscheiden, moet je steekproef ook groter zijn. Bij een grotere steekproef kun je ook preciezere uitspraken doen over de populatie.

Bij non-respons onderscheiden we unit non-respons en item non-respons. Unit non-respons betekent dat de geselecteerde respondent niet mee kan doen doordat diegene niet te bereiken is, de taal niet spreekt of niet mee wilt doen. Het gevolg daarvan is dat je vooraf een grotere steekproef moet trekken om te zorgen dat je uiteindelijk ook echt je ingestelde aantal respondenten in je steekproef hebt. Doordat sommige mensen niet geïnteresseerd zijn in een bepaald onderwerp, willen ze misschien niet mee doen aan het onderzoek. Hierdoor is de steekproef niet meer representatief, wat gevolgen heeft voor de externe validiteit. Vaak weet een onderzoeker niet helemaal zeker welke groepen niet bereikt worden. Om zo veel mogelijk groepen te bereiken, kunnen onderzoekers het simpelweg nog een keer proberen of meer interviewers inzetten of beter trainen. Item non-respons betekent dat bepaalde antwoorden van respondenten bij items missen, omdat de respondent bijvoorbeeld de vraag niet snapt of de vraag niet wilt beantwoorden (vraag te intiem, bedreigend of moeilijk). Voor de externe validiteit betekent dit dat deze minder wordt als de item non-respons samenhangen met de eigenschappen van het respondent. Om item non-respons tegen te gaan, kan de onderzoeken de vraag vooraf testen, de vraag anders stellen of de respondent het gevoel te geven dat diegene anoniem kan antwoorden.

De betrouwbaarheid van surveys proberen we te garanderen door standaardisatie toe te passen op de respondenten. Dit doen we door een uniforme manier van vragen stellen aan alle respondenten. Door alles op dezelfde manier te doen, krijg je een vergelijkbare meting. Panelstudies hebben vaak een betere interne validiteit dan cross-sectie, omdat we al gegevens hebben en deze kunnen vergelijken met latere antwoorden. De externe validiteit is goed als de steekproef representatief is voor de populatie.

MCO HC 8A – 3 november: Hoofdstuk 6: Experiment

Bij een experiment heeft de onderzoeker controle over de onafhankelijke variabele. De onderzoekers manipuleren wat er gaande is in het experiment en bepalen welke groep een experimentele ingreep / stimulus krijgt en welke niet. We verwachten dat er bij de groep die een stimulus ontvangt een effect optreedt, en dat er bij de groep die geen stimulus ontvangt geen effect optreedt. Vaak wordt er een voor- en nameting gedaan. Er kunnen ook meerdere meetmomenten voor en na de manipulatie zijn. Er is vaak een experimentele groep en een controlegroep. Een experiment vindt plaats in een gecreëerde situatie. Dit kan een laboratorium of een ‘veld’ zijn. Bij de manipulatiecheck wordt gekeken of de manipulatie goed is uitgevoerd. Dat wil zeggen: heeft de stimulus die (bijvoorbeeld) stress moest veroorzaken ook echt stress veroorzaakt? Als dit het geval is, is de manipulatie goed uitgevoerd.

Een experiment past goed bij een causale vraagstelling, omdat je er goed voor kunt zorgen dat er aan de voorwaarden voor causaliteit wordt voldaan. Dit is zo omdat je alle variabelen kan beïnvloeden.

Voor causaliteit zijn een aantal voorwaarden. Zo moet er een verband zijn tussen x en y: er is covariatie nodig. Het is ook nodig om te weten of deze covariatie wel door x kan komen. Dit kan alleen er sprake is van chronologie: x gaat vooraf aan y. Daarnaast moeten alternatieve verklaringen worden uitgesloten. De covariatie tussen x en y mag niet worden veroorzaakt door een derde variabele (z).

Er zijn verschillende manieren om de groepen in het experiment in te delen. Het is belangrijk om dit goed te doen, want als de groepen niet gelijk zijn, zeggen de resultaten niet zo veel, omdat verschillen dan ook veroorzaakt kunnen zijn door verschillen in de groepen. En dan kun je geen causaliteit aantonen.

Aselecte (willekeurige) toewijzing aan condities moet leiden tot gelijke groepen. De onderzoeker heeft hier namelijk geen invloed in de toewijzing. Toch kan het door toeval dat de groepen erg van elkaar verschillen (in de ene groep komt een eigenschap significant vaker voor dan in de andere groep). Als groepen op sommige individuele vooraf bepaalde kenmerken aan elkaar gelijk worden gemaakt, noemen we dit matching. Hierin onderscheiden we globale matching en precisiematching. Bij precisiematching worden paren van proefpersonen met dezelfde kenmerken gemaakt. Per paar wordt dan het ene persoon in de experimentele conditie en het andere persoon in de controleconditie geplaatst. Bij globale matching wordt ervoor gezorgd dat de groepen op bepaalde kenmerken gelijk zijn.

Er zijn ook andere manieren om ervoor te zorgen dat de groepssamenstelling de uitkomsten van het experiment niet beïnvloedt. Soms is het nodig om een andere manier te gebruiken, omdat matching erg moeilijk kan zijn wanneer je meerdere matchkenmerken hebt. Bij homogenisering kies je alle respondenten uit 1 groep die homogeen en vergelijkbaar is, zoals jonge, laagopgeleide mannen. Het nadeel hiervan is de geringe representativiteit: wanneer de respondenten uit 1 groep komen, is het niet mogelijk om de resultaten naar een andere groep te vertalen. Nog een andere manier is het naderhand controleren van de samenstelling van de groepen met een frequentieverdeling. Indien dit nodig is kun je corrigeren in de statistische analyse door de resultaten van respondenten met een ondervertegenwoordigd kenmerk zwaarder te laten meetellen.

Bij zuivere experimenten is er een aselecte toewijzing van proefpersonen aan condities. Dit is het belangrijkste kenmerk van dit soort experimenten. Zuivere experimenten komen vaak in de volgende drie vormen voor. Bij de eerste vorm wordt er een voor- en nameting gedaan en er is een controlegroep. Als we een effect verwachten van een stimulus, verwachten we op meetmoment 2 bij de experimentele groep een andere meting dan op meetmoment 1. Bij meetmoment 2 bij de controlegroep verwachten we geen verandering in meting. Bij pretest-sensitisatie heeft een voormeting invloed op de effecten van de manipulatie. Dit kun je uitsluiten door geen voormeting te doen. Je kunt dan alleen geen voor- en nameting vergelijken en niet nagaan of de groepen gelijk zijn. Bij de tweede vorm van een zuiver experiment is er ook een controlegroep, maar alleen een nameting. Er is dus geen voormeting. De derde vorm is het vier-groepenontwerp van Solomon. Bij deze opzet worden alle mogelijkheden gecombineerd: er is zowel een experimentele groep met voor- en nameting, een controlegroep met voor- en nameting, een experimentele groep met alleen nameting en een controlegroep met alleen nameting. Bij een verschil tussen nameting bij de twee verschillende experimentele groepen, is er sprake van pre-testsensitisatie door de voormeting bij één van de groepen. Het Solomonontwerp kan veel informatie opleveren, maar is wel ingewikkelder en kost meer moeite en geld dan een simpele opzet.

Bij een quasi-experiment is er geen aselecte toewijzing van de proefpersonen aan condities. Bij een quasi-experiment kan de onderzoeker wel een groep aan de experimentele conditie of de controlegroep toewijzen, maar geen individuen. Dit soort experiment is niet zo sterk als een zuiver experiment. Er is wel een controleconditie. Er kan bij zo’n experiment ook geen controlegroep zijn, maar alleen meerdere metingen over tijd om te kijken of de metingen stabiel zijn.

Bij een pre-experiment is er geen toewijzing en geen controleconditie. Bijvoorbeeld als er geen voormeting is of geen controlegroep of beide.

Er zijn veel bedreigingen voor de interne validiteit. Bij een tussentijds extern voorval gebeurt er iets tussen de twee metingen in wat effect heeft op de respondenten. Hoe groter de tijd is tussen verschillende meetmomenten, hoe groter de kans dat er iets gebeurt. Rijping of groei houdt in dat mensen groeien tijdens het experiment en dat dit invloed heeft op hoe mensen reageren bij de nameting. Bij langdurende experimenten veranderen mensen van nature. Van een testeffect is sprake als een onderzoeker een proefpersoon een test voorlegt en dat persoon anders gaat reageren op de stimulus door alleen de test zelf. Ook door de instrumentatie kan de interne validiteit bedreigd worden: een onbetrouwbare meetmethode veroorzaakt verschil in de voor- en nameting. Als een meting niet betrouwbaar is, is deze automatisch ook niet valide. Bij een bedreiging door selectie is de samenstelling van de groepen niet gelijk. Deze verschillen tussen de groepen veroorzaken dan het verschil in de afhankelijke variabele die gemeten wordt.

Verder kan de interne valide bedreigd worden door statistische regressie en plafond/vloereffecten. Dit wordt veroorzaakt doordat we niet consistent meten. Bij een plafond/vloereffect is het bereik van je meetinstrument onvoldoende aan de bovenkant of aan de onderkant. Stel dat de onderzoeker op een schaal van 1 tot 10 aan een aantal proefpersonen vraagt of zij hoofdpijn hebben, en deze personen scoren allemaal een 9 of 10. Vervolgens wil de onderzoeker een manipulatie uitvoeren die ervoor zou moeten zorgen dat de proefpersonen hoofdpijn krijgen. De proefpersonen scoorden al hoog en kunnen dus niet veel hoger op de meetschaal scoren. Hierdoor denkt de onderzoeker dat de manipulatie niet gewerkt heeft of geen effect heeft. Dit noemen we het plafondeffect. De omgekeerde situatie, als proefpersonen moeilijk nog lager kunnen scoren op de meetschaal, noemen we het vloereffect. De meetschaal moet dan veranderd worden.

Bij statistische regressie gaat het erom dat de meting nooit 100% betrouwbaar is. Soms scoort een proefpersoon bij de voormeting 5, en bij een tweede meting net iets hoger of lager, ook zonder stimulus. Dit geldt voor alle proefpersonen, dus komt dit gemiddeld wel goed uit. Als mensen heel hoog scoren bij de voormeting, kunnen ze niet door een inconsistentie nog veel hoger scoren bij de nameting, maar wel al snel iets lager. Als veel mensen een hoge score hebben bij de voormeting en dit dus bij veel mensen gebeurd, lijkt het alsof de proefpersonen lager scoren door een eventuele stimulus, terwijl dit gewoon door een inconsistentie in het meten is.

Uitval houdt in dat sommige mensen niet meer mee willen doen na de voormeting. De groepen zijn dan niet meer gelijk en dit kan de gemiddelde score veranderen. Van alle bovengenoemde bedreigingen voor de interne validiteit kan ook een combinatie voorkomen bij experimenten.

Bij een verspreiding van de ingreep heeft de manipulatie zich verspreid naar de controlegroep. Informatie van de experimentele groep wordt dan doorgespeeld aan de controlegroep, waardoor de controlegroep hoger scoort dan we verwachten dat ze zouden scoren zonder stimulus. Ook kan de controleconditie niet gelijkgemaakt zijn en dus niet neutraal zijn. Bij compenserende rivaliteit gaan de proefpersonen in de controlegroep extra hun best doen, omdat ze weten dat ze beoordeeld worden. Ze proberen dan net zo goed te zijn als de experimentele groep. Zij zouden niet extra hun best gaan doen als ze niet wisten dat ze beoordeeld worden door een onderzoeker.

Ook voor de externe validiteit zijn er bedreigingen. Zo kan de steekproef niet representatief zijn. Een onderzoeker heeft bijvoorbeeld alleen studenten geselecteerd, terwijl het onderzoek representatief moet zijn voor alle jongeren in Nederland. Bij een interactie tussen de voormeting en de experimentele stimulus gaan de proefpersonen anders reageren op de stimulus door de voormeting die bij ze afgenomen is (pre-testeffect). In de gewone wereld zal men wel stimuli ondergaan, maar geen voormeting die hen extra doet nadenken over de stimuli. Hierdoor kunnen proefpersonen in een experiment anders reageren op de stimulus. Ook kunnen proefpersonen anders reageren op de stimulus omdat ze beïnvloed worden door de onderzoeker. Dit noemen we reactiviteit.

De interne validiteit is bij experimenten belangrijker en relevanter dan de externe validiteit. Bij surveys zijn onderzoekers er juist erg op gericht dat de externe validiteit hoog is. Het aselect selecteren van de steekproef zorgt voor een hogere externe validiteit. Voor een hogere interne validiteit moet men de geselecteerden aselect toewijzen.

MCO HC 9A – 10 november: Hoofdstuk 8: Kwalitatief onderzoek

Bij kwalitatief onderzoek is het doel om meer inzicht te krijgen in de belevingen en de ervaringen van de onderzoekseenheden. Het gaat meer dan bij kwantitatief onderzoek over beweegredenen, meningen en gevoelens. De vragen gaan niet over hoeveel of hoe vaak iets voorkomt, maar hoe dingen ervaren worden door mensen. Er wordt gezocht naar variatie/verschillen in de ervaringen van mensen, niet alleen naar hoe die overeenkomen. We willen een verschijnsel van binnenuit begrijpen. De drie meest gangbare manieren van dataverzameling in kwalitatief onderzoek worden hieronder beschreven.

Bij individuele interviews wil je inzicht verkrijgen in de beleving van de geïnterviewde. Hierbij wil je de beleving noteren in de woorden die diegene gebruikt. De interviewer bepaalt van te voren welke onderwerpen besproken worden, maar geeft vervolgens ruimte aan de geïnterviewde om binnen die onderwerpen zijn verhaal te doen. LSD staat voor wat de interviewer tijdens het interview moet doen. L staat voor luisteren. Het is belangrijk aantekeningen te maken tijdens het interview, om te onthouden wat de geïnterviewde verteld heeft. S staat voor stilte, want de interviewer moet de geïnterviewde de ruimte geven om alles te vertellen wat diegene wilt. S kan ook staan voor samenvatten: de interviewer moet de rode draad uit het verhaal van de geïnterviewde kunnen halen. Als je het verhaal voor de geïnterviewde samengevat herhaalt, kan deze misschien nog meer dingen bedenken die diegene er nog bij wilt vertellen. D staat voor doorvragen. De interviewer moet per onderwerp doorvragen op wat de geïnterviewde vertelt, om genoeg informatie te krijgen om aan het doel van de vraag te voldoen. Op die manier kan een interviewer zonder te sturend zijn, toch de nodige antwoorden verkrijgen. Een antwoord moet volledig, duidelijk, valide (werkelijkheidsgetrouw) en relevant zijn. Het is ook belangrijk dat de interviewer geen suggestieve vragen stelt, want dat beïnvloedt de antwoorden die gegeven zullen worden sterk.

Een andere methode van dataverzameling is het groepsinterview. Dit wordt gehouden in een focusgroep. Je gebruikt de interactie tussen individuen in de groep om tot creatievere resultaten te komen dan als je elk individu een voor een zou interviewen. De groep kan bijvoorbeeld gaan brainstormen, maar er kan ook van andere creatieve gesprekstechnieken gebruik worden gemaakt. Als je veel over de losse personen in de groep wil weten, is dit een minder geschikte techniek, omdat de dynamiek in een groep centraal staat.

Bij participerende observatie doet de onderzoeker zelf mee aan het verschijnsel waar onderzoek naar wordt gedaan. Dit levert hele rijke informatie op en is vaak de handigste methode als het onderzoek over gedrag gaat, omdat het gedrag direct geobserveerd kan worden. Hierbij is het ook heel belangrijk dat de onderzoeker open staat voor de ervaring en hier niet gelijk zijn/haar eigen ideeën op plakt. Deze methode van dataverzameling kan ook gecombineerd worden met individuele interviews en tijdens de participatie kunnen personen benaderd worden voor een interview.

Het onderzoeksproces bij kwalitatief onderzoek moet open zijn. Er is veel ruimte voor de geïnterviewde. Kwalitatief onderzoek gaat om theorieontwikkeling, niet om theorie-toetsing. Het proces is flexibel: je kunt tussentijds je interviewguide aanpassen op basis van eerdere interviews. Misschien merk je tijdens een interview wel dat je toch ook naar andere onderwerpen moet vragen, of dat bepaalde onderwerpen niet relevant zijn. Je kunt dan de onderwerpen in je interviewguide aanpassen. De resultaten uit je dataverzameling analyseer je. Uit de reflectie daarop bepaal je wat je moet veranderen aan je onderzoek. Zo blijft de cyclus dus maar doorlopen. Deze flexibiliteit wijkt sterk af van de kwantitatieve methode, waar het juist belangrijk is om tijdens het onderzoek de vragen niet aan te passen.

Ook bij kwalitatief onderzoek begin je met het bestuderen van bestaande literatuur. Sensitizing concepts (attenderende / richtinggevende begrippen) zijn begrippen die richting geven aan waar de onderzoeker in het interview naar gaat vragen en in de analyse op moet letten. Deze begrippen kunnen in het interview verder ingevuld en ontwikkeld worden.

Voor steekproeven bij kwalitatief onderzoek geldt ook weer dat ze open en flexibel staan. Als de onderzoeker mensen interviewt met een bepaalde mening, kan hij ook mensen gaan zoeken met een tegengestelde mening om te interviewen. Hierbij blijft de cyclus ook weer doorlopen. Bij een theoretische steekproef gaat het om het verkrijgen van kennis en een theorie ontwikkelen. Je selecteert dan mensen om te interviewen die kunnen helpen met het verkrijgen van deze kennis. De theoretische steekproef is dus gefundeerd in de data. Een doelgerichte steekproef lijkt hier erg op, behalve dat de onderzoeker hier het vormen van een theorie niet als doel heeft.

Van de interviews maak je letterlijke transcripten, dus je legt letterlijk vast wat er is gezegd. Je haalt op een gestructureerde manier de belangrijkste punten uit wat er in de interviews is gezegd. Bij participerende observatie maak je aantekeningen van wat je hebt gezien. Je analysemateriaal is dus altijd tekst. Al die informatie is vaak veel en ongestructureerd. In de analyse moet de onderzoeker hier structuur aan geven.

Bij kwalitatief onderzoek kan niet voldaan worden aan de richtlijnen van betrouwbaarheid zoals die gelden bij kwantitatief onderzoek. Er is geen sprake van repliceerbaarheid, want er is geen standaardisatie: je stelt de vragen niet bij iedereen op dezelfde manier en het onderzoek kan wanneer het door iemand anders wordt uitgevoerd niet tot precies dezelfde resultaten leiden. Bij kwalitatief onderzoek kan de betrouwbaarheid toch worden verhoogd als de stappen van de onderzoeker navolgbaar zijn. Die stappen moeten precies worden vastgelegd.

Voor de validiteit bij kwalitatief onderzoek is het belangrijk dat de uiteindelijke resultaten een correcte weergave geven van het fenomeen dat je onderzocht hebt. Membercheck: je vraagt aan de geïnterviewde of de manier waarop je het verhaal begrepen hebt klopt met hoe de geïnterviewde het heeft bedoeld.

MCO HC 10A – 17 november: Hoofdstuk 10: Het communiceren van onderzoekskennis

Kennis die je als onderzoeker hebt opgedaan door je onderzoek kun je in wetenschappelijke publicaties delen. Van praktijkgericht onderzoek maak je een rapportage. Ook kan je vakpublicaties schrijven voor specifieke gebruikers of beroepsgroepen. Populaire wetenschappelijke onderzoeken kunnen ook op televisie komen, op de radio, in tijdschriften etc.

Wetenschappelijke publicaties zijn heel belangrijk om een onderzoek te presenteren. Vaak zit er een tussenstap tussen het af hebben van het onderzoek en het publiceren. Onderzoekers gaan namelijk vaak naar wetenschappelijke conferenties, waar ze papers of posters presenteren. Hun onderzoeken vallen op dat moment nog binnen de grijze literatuur: het onderzoek is nog work in progress. Er kan nog kritiek op de literatuur worden gegeven en het kan nog verbeterd worden. Dit zijn vaak ook nog een soort tussenverslagen. Op conferenties geven onderzoekers presentaties en andere onderzoekers stellen dan vragen, geven kritiek of suggesties. Onderzoekers kunnen hun onderzoek ook presenteren op een poster. Hierna kunnen ze hun onderzoek aanpassen, extra onderzoek doen of literatuur lezen. Dit leidt tot een verbeterde vorm van het onderzoek. Na verbetering wordt het onderzoek opgestuurd voor publicatie en hopelijk gepubliceerd.

De onderzoeker stuurt het manuscript op naar een wetenschappelijk tijdschrift. De editor van het tijdschrift bekijkt het artikel en zoekt reviewers (peers). De peers zijn mede-onderzoekers in hetzelfde veld als het de onderzoeker. Die beoordelen het artikel, geven kritiek en een oordeel. Dit heet een peer review. De reviewer weegt de kritiek en bepaalt dan wat de onderzoeker er mee moet doen: niet publiceren (negatief), verbeteren (onderzoeker past artikel aan) of gelijk publiceren (positief). Als het artikel verbeterd moet worden, stuurt de onderzoeker het na verbetering weer opnieuw op. Het proces dat hier volgt heet het revise & resubmit proces. Dit is het vaakst het geval. Het komt erg weinig voor dat een wetenschapper zijn onderzoek gelijk kan publiceren.

Uit sommige onderzoeken ontstaat valorisatie: er wordt dan iets met de kennis gedaan wat niet de directe bedoeling was van het onderzoek, maar wat wel voor de maatschappij van belang is. Dit wordt steeds belangrijker, omdat veel onderzoeken worden gesteund door de overheid.

In het onderzoek van Rens Vliegenhart is gekeken naar of maatschappelijke ontwikkelingen, parlement, media en steun voor anti-immigratiepartijen elkaar beïnvloeden. Bij deze factoren waren wederzijdse causale relaties mogelijk. Dit was een longitudinaal onderzoek van 1995 tot 2004, op basis van een inhoudsanalyse. Bij regressie werd een asymmetrisch eenzijdige beïnvloeding verwacht tussen de factoren. Dit is moeilijk te onderzoeken, want hoe analyseer je gegevens over 4 actoren? Er werd een Vector auto regressieve analyse gebruikt: een systeem waarbij op tijdstip 1 gekeken wordt welke invloed x op y heeft en op tijdstip 2 welke invloed y op x heeft. Dit is dus een longitudinaal onderzoek. Bij een longitudinaal onderzoek is het mogelijk om ook te zien welke kant een relatie tussen twee factoren opgaat: wat beïnvloedt wat? Je toont dan niet slechts aan dat er een relatie is, maar ook de richting van de relatie. Bij de factor maatschappelijke ontwikkelingen is gekeken naar het aantal asielaanvragen en naar belangrijke gebeurtenissen en rampen (9/11, bomaanslagen in Madrid, moord op van Gogh). Dit is gedaan met een desk research. Bij de factor publiek is gekeken naar wat het belangrijkste politieke probleem was. Omdat hier niet genoeg informatie over was, is gekeken naar de steun aan anti-immigratiepartijen. Dit is gedaan met een survey. Bij de factor media is gekeken naar vijf nationale kranten, door middel van een inhoudsanalyse. Bij de factor parlement is gekeken naar beleidsvoorstellen en schriftelijke vragen, ook met een inhoudsanalyse.

In het onderzoek van Gezduci en d’Haenens is gekeken naar de verschillen tussen allochtone (Turkse, Marokkaanse) jongeren en autochtone (Vlaamse) jongeren in hun voorkeuren en motieven bij nieuwsconsumptie. Dit is gedaan met een cross-sectionele survey. De vergelijking tussen de allochtone en autochtone jongeren is gemaakt middels een regressieanalyse. Dit onderzoek is zowel fundamenteel als praktijkgericht. De motieven van jongeren bij nieuwsconsumptie zijn onderscheden in gespreksstof, surveillance (wat is er gaande in de wereld), betrouwbaarheid, boeiendheid, vermaak en verlangen naar het land van herkomst. Deze motieven zijn door de onderzoeker zelf bedacht. De definitie van Turks, Marokkaans en Vlaams is gebaseerd op bestaande literatuur. De definitie van jongeren is niet heel duidelijk, maar dit blijkt later in het onderzoek jongeren van 12 t/m 18 jaar te zijn. De beoogde populatie is allochtone en autochtone jongeren in Vlaanderen. De operationele populatie is schoolgaande Vlaamse jongeren tussen 12 en 18 jaar. Het steekproefkader is genomen met het Databank Ministerie van Onderwijs. De onderzoekers hebben niet aangegeven waarom West-Vlaanderen niet is opgenomen in onderzoek. Er is geen sprake van een random aselecte steekproef, omdat West-Vlaanderen niet mee deed en er geen individuen werden geselecteerd voor het onderzoek, maar scholen. Er is dus een getrapte steekproef: eerst zijn scholen geselecteerd, vervolgens van die scholen leerlingen. Het voordeel hiervan is dat de onderzoeker niet naar alle scholen van het land hoeft te gaan, maar slechts een aantal scholen neemt en op die scholen leerlingen selecteert.

De representativiteit van het onderzoek komt hierdoor wel in gevaar, want omdat maar 20 scholen mee wilden doen aan het onderzoek, zijn de resultaten misschien niet representatief voor alle Vlaamse jongeren.

MCO HC 11A – 24 november: Responsiecollge

In dit college werd geen nieuwe stof behandeld, het was enkel een herhaling van eerder behandelde stof naar aanleiding van door studenten gestelde vragen.

Bij een steekproef gebruik je voor je onderzoek een groep die kleiner is dan de populatie. Wanneer je gebruikt maakt van een representatieve steekproef, is het niet nodig om een grote groep te gebruiken. In theorie zijn kanssteekproeven representatief, maar in praktijk kan het toch gebeuren dat een willekeurige steekproef door toeval niet representatief is. De termen onderdekking en overdekking zeggen iets over de grootte van het steekproefkader (een lijst van je populatie) ten opzichte van de populatie waarvan een steekproef getrokken wordt. Bij onderdekking bevat het steekproefkader niet je de volledige populatie die je wilt onderzoeken, bij overdekking is je steekproefkader groter dan je populatie.

Bij een sneeuwbalsteekproef vraag je aan de eerste respondent of hij/zij nog andere personen kent die aan het criterium voldoen. Dit kan een handige manier zijn om aan voldoende respondenten te komen wanneer respondenten moeilijk bereikbaar zijn. Bij een lineaire kanssteekproef leidt 1 respondent steeds tot 1 volgende respondent, bij een exponentiele verkrijgt de onderzoeker meerdere potentiele respondenten van 1 respondent.

Er zijn verschillende manieren om de proefpersonen bij een experiment toe te wijzen aan verschillende condities. Bij aselecte toewijzing aan condities wordt dit geheel willekeurig gedaan en heeft de onderzoeker geen invloed. Hierdoor kan het toevallig zo zijn dat de groepen op bepaalde kenmerken significant van elkaar verschillen. Wanneer er gebruik wordt gemaakt van paarsgewijze matching met loting worden er paren gemaakt van mensen met dezelfde kenmerken. Van elk paar komt 1 persoon in elke groep. Bij een gerandomiseerd blokontwerp worden er blokken samengesteld van mensen met dezelfde kenmerken. Vervolgens worden uit iedere groep willekeurig mensen aan de experimentele en aan de controle conditie toegewezen.

De verschillende experimenten zijn op te delen in drie soorten. De belangrijkste voorwaarde voor een experiment om een zuiver experiment te zijn, is dat de proefpersonen aselect aan condities worden toegewezen. Bij een quasi-experiment is er geen aselecte toewijzing, maar wel voor- en nameting en een controlegroep of 1 groep die over tijd zowel voor als na de ingreep wordt gemeten. Daardoor weet de onderzoeker toch (ook zonder controlegroep) dat de groep stabiel is en dat de ingreep hetgene is wat invloed uitoefent op de gemeten variabelen. Deze opzet kan uiteraard ook uitgevoerd worden met een controlegroep. Bij een pre-experiment is er geen voormeting, geen controlegroep of allebei niet.

Unit non-repons is wanneer een geselecteerde respondent niet meedoet aan het onderzoek. Dit kan omdat hij dit niet wil, de taal niet spreekt of niet te bereiken is. Dit hoeft geen probleem te vormen, maar doet dit wel wanneer bij een kleine steekproef de externe validiteit in gevaar komt doordat de verhouding tussen onderzochte groepen uit balans raakt.

Item non-respons is wanneer een respondent een vraag niet beantwoordt. Als de redenen waarom de vraag niet beantwoord wordt samenhangt met het antwoord op de vraag, is dit een probleem voor de externe validiteit. Bijvoorbeeld: vooral rijke mensen willen geen antwoord geven op de vraag hoe hoog hun inkomen is. In dit geval mist er informatie over die specifieke groep.

Intracodeurbetrouwbaarheid is de overeenkomst tussen meerdere momenten. Het zegt dat 1 codeur steeds hetzelfde codeert. Intercodeurbetrouwbaarheid is de overeenkomst tussen meerdere codeurs op dezelfde tekst. Het zegt dat meerdere codeurs op dezelfde manier coderen. Een voordeel van meerdere codeurs is dat het dwingt om preciezer vast te leggen in het codeerboek. Je kunt ook sneller coderen, maar het is wel duurder want voor meerdere codeurs is er meer training nodig. Krippendorffs’s Alpha en Cohen’s Kappa worden veel gebruikt om betrouwbaarheid uit te rekenen.

Belangrijk om te weten voor het tentamen is dat de stof van tot en met het vorige deeltentamen niet direct gevraagd zal worden, maar wel indirect terugkomt. Er wordt namelijk op deze kennis voortgebouwd.

Colleges van (Beschrijvende) Statistiek: zie bijlagen