Boeksamenvatting bij Understanding Research Custom Edition UU - Neuman - 1e druk

Wat is het belang van onderzoek? - Chapter 1

Onderzoek kan uitgevoerd worden om de fenomenen in de (sociale) wereld te begrijpen. Vondsten kunnen gebruikt worden om verbeteringen aan te brengen in de praktijk. Een onderzoek dat uitwees dat het eetgedrag van kinderen deels werd bepaald door de hoeveelheid reclame die zij keken, kan bijvoorbeeld belangrijke implicaties hebben voor het mediabeleid. Het kan tevens gebruikt worden bij het maken van beslissingen in het dagelijkse of zakelijke leven. Onderzoek is het proces, waarbij mensen specifieke principes en technieken gebruiken om tot kennis te komen. Het is een voortdurend proces van het zoeken en werken naar de waarheid. Door onderzoek ontstaat een geheel van informatie en manieren waarop tegen die informatie aangekeken wordt. In het dagelijks leven wordt niet bij iedere beslissing gebruik gemaakt van onderzoeksresultaten. Dat is ook niet altijd nodig.

Echter, wetenschappelijk onderzoek vermindert de kans dat de informatie verstoord of vertekend is. Het garandeert geen absolute waarheden. In de media worden veel resultaten als wetenschappelijk beschreven, terwijl ze dat niet zijn. Tevens kunnen resultaten vertekend gepresenteerd worden. Mede hierom staan velen sceptisch tegenover onderzoek. Ook denken mensen dat onderzoek ingewikkeld en zelfs angstaanjagend is. Een doel van dit boek is om deze perceptie te veranderen. Hoewel onderzoek niet onfeilbaar is, is het niettemin een superieure methode om kennis te verwerven en beslissingen te maken. Veel mensen gebruiken deze methode niet: zij passen kennis niet toe in het dagelijks leven en denken niet kritisch na over wat ze horen.

Wat wordt verstaan onder kritisch denken?

‘Kritisch’ kan meerdere betekenissen hebben: (1) van het grootste belang; (2) negatief en antagonistisch; (3) bewust, evaluatief en overwegend. Met het begrip kritisch denken wordt de derde betekenis bedoeld. Kritisch denken is een perspectief met de volgende kenmerken:

• het vermijden van misvattingen, zoals de ‘gokkermisvatting,’ waarbij mensen denken dat als iets al lang niet is gebeurd, het waarschijnlijk snel zal gebeuren. Een ander voorbeeld van een misvatting is de attributiefout, waarbij mensen negatieve uitkomsten toedichten aan de omstandigheden en positieve uitkomsten aan het eigen toedoen;

• het bekijken van een kwestie vanuit meerdere perspectieven en het vermijden van overhaaste conclusies, het open staan voor alle aspecten van de situatie;

• het opmerken van onderliggende aannames en het erkennen dat deze de keuzes kunnen beperken;

• het gebruik van een empirisch argument, waarbij logisch wordt geredeneerd vanuit empirisch bewijs, bewijs van het bestaan van fenomenen door directe of indirecte observatie. Dit staat tegenover argumenten, waarbij geredeneerd wordt vanuit morele of religieuze (niet bewijsbare) overtuigingen;

Samenvattend laat kritisch denken zich beschrijven als een hoog bewust perspectief, waarbij men zich open en evaluatief opstelt tegenover een kwestie.

Religie en wetenschap

Al van oudsher komen er conflicten voor tussen wat religie voorschrijft en wat wetenschap aantoont. Zo werd Galileo de mond gesnoerd toen hij beweerde dat de aarde om de zon cirkelde en niet andersom, zoals het christendom dicteerde. Sommige mensen vertrouwen alleen op wetenschap, anderen alleen op religie of moraliteit, maar de meesten vallen tussen deze twee extremen. De meeste mensen zijn het erover eens dat wetenschap en religie op andere vragen antwoorden geven. Waar de grens tussen een religieuze en een wetenschappelijke vraag ligt, is echter niet altijd duidelijk. Bovendien zijn er veel kwesties, waarin beide benaderingen overlappen. Wetenschappelijke feiten kunnen een rol spelen bij morele beslissingen. In de meeste gevallen kan er een keuze gemaakt worden waarop de beslissing gebaseerd zal worden: wetenschappelijke feiten of morele overwegingen?

Wat is empirisch sociaal onderzoek?

De term ‘onderzoek’ (Engels: ‘research’) wordt op de volgende vier manieren gebruikt in dit boek:

1. het zorgvuldig lezen en bestuderen van documenten om een dieper begrip te krijgen, om patronen of thema’s te identificeren, of om de ‘ultieme waarheid’ te ontdekken;

2. het verzamelen en evalueren van reeds bestaande informatie uit wetenschappelijke tijdschriften of overheidsrapportages. Niet alle informatie telt hierbij even zwaar mee in de conclusie;

3. het toepassen van geaccepteerde technieken en principes: het verzamelen van informatie door te observeren, vragen te stellen, te meten, te experimenteren en door te analyseren door middel van statistiek;

4. het toepassen van kritisch denken en het aannemen van een sceptisch perspectief.

Empirisch onderzoek kan al deze activiteiten omvatten. Het is een proces van het verzamelen van informatie. De uitkomsten worden vaak in termen van waarschijnlijkheid weergegeven (A heeft invloed op B; de kans is groot dat als A, dan B). Opvattingen kunnen steeds veranderen door nieuw bewijs. Ook de zekerheid van iedere uitkomst is afhankelijk van de mate van bewijs die ervoor is geleverd. Het kan frustrerend zijn dat onderzoek nooit met 100% zekerheid uitsluitsel geeft over een fenomeen. Onderzoek geeft een voortdurende benadering van de waarheid, maar absoluut uitsluitsel kan zelden worden gegeven.

Hoe beoordelen we de kwaliteit van bewijs?

In het dagelijks leven hanteren we allerlei standaarden, die zeggen wanneer bewijs goed en legitiem is. Zonder deze standaarden zouden mensen over hetzelfde bewijs tot verschillende conclusies kunnen komen. Ook in onderzoek gelden er allerlei standaarden over wat wel en wat geen goed bewijs is. Er zijn regels over hoe data verzameld moet worden en hoe het geïnterpreteerd moet worden. Deze standaarden zijn door de jaren heen ontwikkeld binnen de wetenschappelijke gemeenschap. Veel standaarden vinden hun basis in gezond verstand. Zo zal iedereen het ermee eens zijn dat een grote steekproef beter is dan een kleine en dat je een vraag beter op meerdere manieren kan stellen. Een ander voorbeeld van een standaard is dat de uitkomsten een antwoord moeten vormen op een onderzoeksvraag. Onderzoek moet informatie opleveren. Goed onderzoek leidt tevens tot nieuwe vragen en stimuleert tot verder onderzoek.

Empirisch bewijs kan twee vormen aannemen. Kwantitatieve data vormen bewijs in de vorm van cijfers. Kwalitatieve data vormen bewijs in de vorm van beelden, woorden of geluiden. Mensen zijn geneigd te denken dat de eerste vorm van data beter of empirischer is dan de tweede. Echter, of bewijs al dan niet goed is, hangt af van de standaarden en niet van het type data dat gebruikt wordt.

Welke soorten sociaal onderzoek zijn er?

Er bestaan meerdere technieken die gebruikt kunnen worden om antwoord te geven op een onderzoeksvraag. Het vergt vaardigheid en kennis om te bepalen welke techniek de voorkeur verdient in een specifiek onderzoek. Een valkuil is dat onderzoekers één voorkeurstechniek hebben en die techniek ook toepassen als een andere techniek eigenlijk gepaster is. Onderzoekers moeten op de hoogte zijn van alle technieken die ze kunnen gebruiken en van de voor- en nadelen van iedere techniek. Hieronder wordt een aantal technieken globaal besproken. Deze zijn ruwweg in twee categorieën in te delen: kwantitatief en kwalitatief. In latere hoofdstukken worden de technieken uitvoeriger behandeld.

Kwantitatieve dataverzameling

Zoals gezegd, bestaan kwantitatieve data uit informatie die in getallen te vatten is. Er bestaan verschillende technieken waarmee deze data verzameld kunnen worden:

1. Experiment: deze vorm van dataverzameling lijkt sterk op de technieken die in natuurwetenschappelijk onderzoek gebruikt worden. Er wordt een situatie gecreëerd en het effect op personen wordt bestudeerd. Dit kan in een laboratorium plaatsvinden, maar ook in een real life situatie met een kleine groep mensen. Meestal worden de deelnemers in groepen verdeeld, waarbij de ene wel een zekere behandeling ondergaat en de andere niet . In andere aspecten worden de groepen gelijk gehouden. Als er later een verschil tussen de groepen gevonden wordt, kan dat worden toegeschreven aan de behandeling.

2. Vragenlijst (survey): bij vragenlijstonderzoek wordt een groep mensen een set vragen gesteld door middel van een vragenlijst (questionnaire). Meestal worden de antwoorden achteraf samengevat in tabellen of grafieken. Als het onderzoek goed wordt uitgevoerd, kunnen de resultaten van deze groep deelnemers gegeneraliseerd worden naar een grotere groep mensen.

3. Inhoudsanalyse: bij deze techniek wordt symbolisch of geschreven materiaal geanalyseerd, bijvoorbeeld door bepaalde aspecten te kwantificeren. Men kan bijvoorbeeld tellen hoe vaak een bepaald woord voorkomt in een krant. Dergelijke informatie wordt vaak gepresenteerd in tabellen of grafieken.

4. Bestaande statistische bronnen: men kan bestaande statistische data reorganiseren om een nieuwe onderzoeksvraag te beantwoorden.

Kwalitatieve dataverzameling

Kwalitatieve data zijn gegevens, die niet in nummers zijn te vatten. Dit zijn technieken waarmee deze data verzameld kunnen worden:

1. Etnografisch veldonderzoek: bij een veldonderzoek observeer je een kleine groep mensen gedurende een bepaalde periode. Meestal begin je met een los geformuleerd onderwerp, en geraak je later pas tot een specifieke hypothese. Je observeert zorgvuldig en maakt uitgebreide aantekeningen van je bevindingen. Deze verwerk je later in een rapportage.

2. Historisch-vergelijkend onderzoek: hierbij onderzoek je aspecten van het sociale leven binnen een tijdperk of in verschillende culturen. Je kunt verschillende tijdperken of verschillende culturen met elkaar vergelijken of een mengvorm van beide vergelijkingen hanteren. De data worden meestal gevormd door bestaande statistieken en documenten, maar ook directe observatie en interviews kunnen gebruikt worden.

Welke onderzoeksdoelen zijn er?

Het is vaak moeilijk te bepalen welk type onderzoek het beste aansluit bij je onderzoeksvraag. Om een antwoord op die vraag te krijgen, is het eerst nodig een doel te bepalen voor het onderzoek. Een onderzoek kan verschillende doelen dienen: ontdekken, beschrijven, verklaren en evalueren. Hieronder worden deze doelen verder toegelicht.

Ontdekken

In ontdekkend onderzoek wordt onderzoek gedaan naar een nieuw onderwerp, waar nog geen eerder onderzoek naar is gedaan. Het doel is om een algemeen begrip te ontwikkelen en om ideeën voor toekomstig onderzoek te formuleren. Het is vaak de eerste fase van een serie van studies. Meestal worden kwalitatieve methoden gebruikt, omdat er nog geen specifieke theorieën en hypothesen zijn. Dit onderzoek stelt de ‘wat’ vraag en is vooral oriënterend. Vragenlijstonderzoek en veldonderzoek zijn veel toegepaste technieken.

Beschrijven

Onderzoek dat een kwantitatief of kwalitatief beeld presenteert van een situatie, activiteit of groep wordt beschrijvend (descriptief) onderzoek genoemd. Het geeft antwoord op de ‘hoe’ en ‘wie’ vraag: het geeft de details van de situatie weer. Een voorbeeld is een onderzoek dat beschrijft welke kenmerken mannen die veel porno kijken met elkaar gemeen hebben (bijvoorbeeld zwakke sociale verbintenissen). Veel sociaal onderzoek is beschrijvend. Ook zijn er veel combinaties van beschrijvend en ontdekkend onderzoek. Inhoudsanalyse, bestaande statistieken, veldonderzoek en vragenlijstonderzoek zijn technieken die veel gebruikt worden tijdens het uitvoeren van beschrijvend onderzoek.

Verklaren

Op ontdekkend en beschrijvend onderzoek volgt vaak verklarend onderzoek, dat een theorie probeert te testen of te ontwikkelen, met als doel uit te leggen waarom iets plaatsvindt. Het draait om het vinden van oorzaken, redenen, bronnen. Een voorbeeld van een dergelijk onderzoek gaf antwoord op de vraag waarom mishandelde vrouwen vaak niet trouwen. Antwoorden waren onder andere gebrekkige sociale steun, emotionele problemen, lage eigenwaarde en wantrouwen. Het experiment is de voorkeursmethode in dit onderzoek.

Evalueren

Toegepast onderzoek dat ontworpen is om te testen of een programma, product of beleid effectief is, wordt evaluatief onderzoek genoemd. De vraag hier is: ‘werkt het?’. Allerlei technieken worden gebruikt, maar het experiment is het populairst. Overigens zijn uitkomsten van dergelijk onderzoek niet altijd afdoende: veel ineffectieve programma’s blijven in gebruik vanuit politieke overtuigingen.

Hoe en waarvoor wordt onderzoek gebruikt?

Basisonderzoek

Basisonderzoek is erop gericht fundamentele kennis en basisbegrip van een fenomeen te bevorderen door theorieën te creëren en te testen. Dergelijk fundamenteel onderzoek vormt de basis van hoe wij over de wereld denken. Het is niet direct praktisch toepasbaar, maar vormt wel de basis van toegepast onderzoek. Vaak wordt het nut van fundamenteel onderzoek pas jaren later duidelijk, als iemand een manier heeft gevonden waarop de kennis in de praktijk kan worden toegepast.

Toegepast onderzoek

Toegepast onderzoek beantwoordt een specifieke, praktische vraag met direct bruikbare oplossingen. Het zijn vaak snelle, kleinschalige onderzoeken die een pasklaar antwoord bieden op een specifiek probleem. Het meeste toegepaste onderzoek is descriptief of evaluatief. De resultaten worden vaak gebruikt om beslissingen te nemen op beleidsniveau. Om dit onderzoek uit te voeren, wordt gebruik gemaakt van de kennis die het basisonderzoek heeft opgeleverd. Omdat toegepast onderzoek directe implicaties heeft voor de praktijk is het vaak controversiëler dan basisonderzoek. Soms willen mensen niet horen wat onderzoek uitwijst. Een voorbeeld hiervan is een onderzoek naar de effectiviteit van seksuele voorlichting bij tieners ter voorkoming van zwangerschap. Programma’s die als doel hadden om te voorkomen dat tieners überhaupt seksueel actief zouden worden, bleken niet effectief. Programma’s die onderwezen over voorbehoedsmiddelen en seksueel overdraagbare aandoeningen werkten beter. Voorstanders van seksuele onthouding weigeren echter de onderzoeksresultaten te erkennen en stellen dat de programma’s alleen niet effectief bleken, omdat ze niet langdurig genoeg werden ingezet.

Het onderzoeksproces

Het onderzoeksproces is op te delen in zeven stappen:

1. Selecteer een onderwerp.

2. Baken dit onderwerp af en maak het specifiek. Je kijkt hierbij naar eerder gedaan onderzoek (de literatuur) over dit onderwerp en je stelt een specifieke vraag.

3. Maak een plan om de onderzoeksvraag te beantwoorden, en bekijk welke onderzoekstechniek hiervoor het meest geschikt is.

4. Verzamel data om een antwoord op je vraag te vinden.

5. Analyseer de data. Je gaat bij deze stap patronen in de data zoeken.

6. Interpreteer de data – verleen er betekenis aan

7. Publiceer het onderzoek en informeer anderen over je vondsten.

Deze stappen zijn zelden zo strikt van elkaar gescheiden: onderzoek doen is een interactief proces waarbij verschillende stappen door elkaar heen lopen en je soms terug moet gaan naar eerdere stappen van het proces.

Hoe vertaal je een onderzoeksvraag naar een onderzoeksplan? - Chapter 2

Hieronder volgt een stappenplan waarmee een onderzoeksvraag vertaald kan worden naar een onderzoeksplan. Het formele onderzoeksplan is het onderzoeksvoorstel: een gedetailleerde beschrijving van de gebruikte technieken en de bekende onderzoeksliteratuur.

Hoe selecteer je een onderwerp?

Een onderwerp kan alles zijn wat je nieuwsgierigheid heeft geprikkeld. Wel moet het voldoen aan een aantal kenmerken:

• Generaliseerbaar: het onderwerp betreft niet één enkele situatie, maar kan op meerdere situaties worden toepast;

• Sociaal patroon: het onderwerp betreft een structuur of verband tussen fenomenen;

• Verzameling: het onderwerp omvat een verzameling fenomenen;

• Empirisch observeerbaar: het onderwerp betreft fenomenen die waargenomen kunnen worden.

Wat is een literatuur review?

Als tweede ga je samenvatten welke onderzoeken er al gedaan zijn naar het onderwerp dat je hebt gekozen. Dit heet een literatuur review. Het helpt je om je onderwerp af te bakenen en geeft je informatie over wat er al bekend is. Tevens geeft het je een idee van onderzoeksmethoden en schrijfmethoden die je kunt gebruiken bij je eigen onderzoek. Een ideale review bestaat uit zowel verkregen onderzoeksresultaten als een beschrijving van de methode. Het is belangrijk om je bronnen goed te documenteren. Het doen van een review komt voort uit de aanname dat ieder onderzoek voortbouwt op bestaande kennis en slechts een klein onderdeel is van alle opgebouwde wetenschap. Een review bestaat uit de volgende stappen: het vaststellen van je bronnen, literatuur zoeken, het lezen van artikelen, het extraheren van de belangrijkste vondsten en ten slotte het integreren van deze vondsten in eigen onderzoek.

Bronnen

Onderzoek wordt vaak geciteerd in periodieke publicaties, zoals tijdschriften en kranten. Bronnen zijn bijvoorbeeld wetenschappelijke tijdschriften, populaire wetenschappelijke tijdschriften, praktijkgerichte publicaties, opiniebladen en massamedia zoals kranten. De volgende documenten kun je het best gebruiken voor je onderzoek, omdat hierin bruikbare beschrijvingen van onderzoeken worden gegeven:

• Boeken: vaak wordt één complex onderzoek beschreven (monograaf) of een verzameling van gerelateerde artikelen (readers of edited collections). Het nadeel van boeken is dat ze moeilijker te vinden zijn en het meer tijd kost om ze te lezen.

• Doctoraalschriften: artikelen waarop onderzoekers gepromoveerd of afgestudeerd zijn, maar die niet noodzakelijkerwijs gepubliceerd zijn.

• Overheidsdocumenten: overheden die onderzoeken sponsoren, publiceren vaak rapportages van onderzoeken. Deze zijn echter vaak moeilijk te vinden.

• Beleidsrapportages: onderzoeksinstituten en beleidscentra publiceren ook vaak rapportages. Deze zijn meestal alleen beschikbaar op aanvraag bij de organisatie.

• Gepresenteerde papers: op jaarvergaderingen bespreken professionals allerlei bevindingen in hun veld. Vaak zijn geschreven verslagen hiervan beschikbaar op aanvraag bij de auteur.

• Wetenschappelijke tijdschriften: onderzoek wordt vaak gepubliceerd in officiële tijdschriften binnen een wetenschappelijk veld. Dit is de meest toegankelijke en bruikbare bron van onderzoeksrapporten.

Wetenschappelijk tijdschrift

Wetenschappelijke tijdschriften hebben de volgende kenmerken:

• Ze zijn zelden gratis toegankelijk buiten de universiteitsbibliotheken. Op internet moet je vaak geld betalen om ze in te mogen zien.

• Artikelen zijn te vinden met speciale artikel search tools: online systemen die een index, abstractlijst of database bieden, waarmee je allerlei tijdschriften kan doorzoeken op specifieke artikelen.

• De meeste tijdschriften hebben titels met ‘journal’ of ‘review’ in hun naam.

• Ze bevatten voornamelijk rapportages van originele onderzoeken.

• De artikelen zijn ‘peer-reviewed,’ wat inhoudt dat ze onafhankelijk geëvalueerd zijn op hun kwaliteit en verdiensten door professionele onderzoekers. Allereerst moet het artikel aan de minimale eisen van het tijdschrift voldoen – vervolgens wordt het artikel doorgestuurd naar twee tot zes gerespecteerde onderzoekers die het manuscript evalueren en hun aanbevelingen en commentaar op schrift stellen en aan de redacteur doorsturen. Op grond van deze evaluaties besluit de redacteur om het artikel aan te nemen, af te wijzen of het ter herziening terug te sturen naar de auteur. Wetenschappelijke tijdschriften accepteren een derde tot de helft van de ingezonden artikelen. Bij prestigieuze tijdschriften is dit aantal vaak zelfs beperkt tot 10%. Bij een blind review worden de identiteiten van de reviewers en van de auteurs anoniem gehouden, zodat persoonlijke voorkeuren geen rol kunnen spelen.

• De artikelen bevatten een bibliografie met referenties naar de bronnen.

• Ze kunnen ook brieven aan de redacteur, theoretische essays, boekbeschouwingen, wettelijke casusbeschrijvingen en commentaren op andere studies bevatten.

• De meeste tijdschriften verschijnen 4-6 keer per jaar.

• De citatie van een artikel bevat de naam van het tijdschrift, het volume, het jaar, het issue nummer, de auteur, de titel en de paginanummers. Op deze manier kun je een artikel gemakkelijk terugvinden op internet of in de bibliotheek. Een volume is een jaar van artikelen. Een issue is het nummer van het artikel binnen het tijdschrift.

• Artikelen beginnen meestal met een abstract: een korte samenvatting van alle delen van het onderwerp.

Hoe verloopt het proces van het literatuur review?

Het schrijven van een literatuur review valt uiteen in zes stappen.

1. Het verfijnen van je onderwerp. Probeer te zoeken op je onderzoeksvraag in plaats van op een breed onderwerp. Baken het onderwerp af.

2. Baken je zoekmethoden af. Als je niet veel tijd hebt, kun je overwegen om oude artikelen buiten beschouwing te laten of om alleen de bibliotheek op je eigen campus te bezoeken. Tevens moet je overwegen welke search tools je gaat gebruiken en hoe je je vondsten gaat bijhouden.

3. Zoek artikelen op. Dat kan je doen aan de hand van een online database, waarin vooral artikelen uit wetenschappelijke tijdschriften te vinden zijn. Voorbeelden zijn Omega, Google Scholar, PsychInfo en Picarta. Je kunt zoeken op onderwerp, auteursnaam of op kernwoorden. Om artikelen te vinden, formuleer je bij je onderzoeksvraag kernwoorden en synoniemen voor die woorden. Je zoekresultaten kun je scannen op relevantie door te kijken naar titels en abstracts. In de referentielijst van je gevonden artikelen wordt vaak verwezen naar meer relevante stukken. Die kun je ook opzoeken. Daarnaast kun je artikelen zoeken in boeken, maar dit is vaak ingewikkelder. De andere bronnen die hierboven beschreven werden (doctoraalschriften, overheidsdocumenten, etc.) zijn ook moeilijker toegankelijk en kosten meer tijd om te vinden.

4. Lees de vondsten en maak aantekeningen. Het handigst is hierbij om twee documenten te maken: één met de broninformatie (referenties) en één met aantekeningen over de inhoud. Beschrijf het onderwerp, de onderzoeksvraag, de definities en meetwijzen van de belangrijkste artikelen, het onderzoeksdesign, de data, de proefpersonen en de belangrijkste vondsten. Het vergt oefening om artikelen op deze manier te lezen en omdat de artikelen voor wetenschappers zijn geschreven, zijn ze niet altijd makkelijk te volgen. Om tijd en moeite te besparen, kun je ook ieder artikel kopiëren. Het nadeel daarvan is dat je geen kernachtige beschrijving hebt en dat het vanwege het copyright niet altijd mag.

5. Organiseren en synthetiseren van je vondsten in het uiteindelijke literatuur review. Hoe je dit doet hangt af van de situatie, maar meestal organiseer je je vondsten rondom je onderzoeksvraag of rond een aantal kernvondsten. Het doel is niet om een rijtje samenvattingen van artikelen te geven; je probeert deze samenvattingen tot een geheel te integreren dat een duidelijk beeld geeft van de stand van zaken. Je beschrijft doelgericht hoe alle vondsten en ideeën zich tot elkaar verhouden en waar de discrepanties liggen. Hierbij blijf je neutraal: je beschrijft je vondsten objectief.

6. Maak een referentielijst (ook wel: ‘works cited’) of bibliografie. In de referentielijst noem je alle bronnen die je hebt geciteerd. In een bibliografie noem je alle bronnen die je hebt geciteerd en anderszins gebruikt hebt. Er zijn strikte regels waaraan deze referenties moeten voldoen, zoals beschreven in de APA Publication Manual. In de tekst zelf refereer je ook aan de gebruikte bronnen, nu door middel van een citatie: een bronvermelding volgens een vaste opmaak.

Wat is een goede onderzoeksvraag?

Een goede onderzoeksvraag is empirisch testbaar, specifiek, te vatten in variabelen en duidelijk. Je kunt op een onderzoeksvraag komen door de onderzoeksliteratuur erop na te slaan. Door over je idee te praten met anderen, de context en het doel van je studie te specificeren, kun je tot een afgebakende onderzoeksvraag komen. Onderzoeksvragen zijn ruwweg onder te verdelen in twee categorieën: inductieve en deductieve vragen. Inductief onderzoek begint met veel specifieke observaties, waaruit algemene ideeën of theorieën worden geformuleerd. Deductief onderzoek gaat andersom: het redeneert vanuit een algemeen idee of een theorie en test deze door naar specifieke observaties te kijken. Studies zijn niet strak onder te verdelen in deze categorieën, maar neigen meestal wel meer naar één van de twee. Een inductieve onderzoeksvraag gaat vaak samen met kwalitatieve data en een deductieve onderzoeksvraag met kwantitatieve data. Ontdekkend onderzoek is meestal inductief, verklarend onderzoek is meestal deductief en beschrijvend onderzoek gebruikt beide benaderingen. Een deductief onderzoek vraagt veel voorbereiding, maar de uitvoering is relatief gemakkelijk. Bij een inductief onderzoek geldt het omgekeerde. Het is dus belangrijk om je al vroeg in het proces bewust te zijn van welke type onderzoeksvraag en welk type data je gebruik zult gaan maken.

Waaruit bestaat het onderzoeksvoorstel?

In het onderzoeksvoorstel beschrijf je gedetailleerd wat je gaat onderzoeken en hoe je dat gaat doen. Hoe je dit voorstel opstelt, hangt af van het type onderzoek dat je doet. Hieronder worden de kernpunten van het onderzoeksvoorstel behandeld, waarbij steeds onderscheid gemaakt wordt tussen kwalitatief en kwantitatief onderzoek. De verschillen tussen deze twee vormen van onderzoek zijn schematisch weergegeven in de tabel op pagina 52.

Het focussen van je onderzoeksvraag

Als je kwantitatief onderzoek doet, moet je al vroeg een specifieke onderzoeksvraag bedenken, nog voordat je enige data verzamelt. Je bent dus al meteen gefocust op wat voor informatie je gaat verzamelen. In kwalitatief onderzoek begin je met data verzamelen over een onderwerp en specificeer je je onderzoeksvraag in de loop van dat proces. Pas nadat je de eerste data hebt bekeken, stel je deze vraag op. Deze vraag vormt dan de leidraad in verdere fases van dataverzameling.

Generaliseren naar een universum

Slechts zeer zelden wil je met je onderzoeksresultaten alleen een uitspraak doen over de specifieke steekproef die je hebt onderzocht. Over het algemeen wil je je resultaten generaliseren naar een universum: een brede categorie van eenheden waarop de resultaten van toepassing zijn. Een voorbeeld hiervan is een populatie, een groep mensen die in alle relevante aspecten lijkt op de groep die je onderzocht hebt en waarvoor je resultaten dus ook gelden.

Onderzoekspad volgen

Het onderzoeksproces kan ruwweg op twee manieren verlopen: via het lineaire en via het non-lineaire pad. Bij het lineaire pad is er sprake van een relatief vaste opeenvolging van stappen in een bepaalde richting. Er zit weinig herhaling in dit proces en het loopt op een directe wijze naar een conclusie. Het voordeel van dit pad is dat het efficiënt en simpel te volgen is. Een nadeel is de rigiditeit (onbuigzaamheid) van dit proces. Bij het non-lineaire pad is er geen vaste volgorde. Vaak wordt er teruggegaan naar een eerdere stap en is er sprake van een zich herhalende cyclus. Het doel wordt op een meer indirecte wijze behaald. Het voordeel van dit pad is dat het zich aan kan passen aan veranderende omstandigheden en dat het meer zicht geeft op het geheel. Een nadeel is dat het minder efficiënt en minder duidelijk uitgestippeld is.

Variabelen vaststellen

Een variabele is een kenmerk van iets dat meerdere waarden aan kan nemen. Een voorbeeld is de variabele sekse, die de waarden ‘man’ en ‘vrouw’ aan kan nemen. ‘Man’ is geen variabele: het varieert niet en heeft maar één waarde/niveau. ‘Mannelijkheid’ is weer wel een variabele: mensen variëren in hun mate van mannelijkheid. Er zijn verschillende soorten variabelen. Een onafhankelijke variabele is een factor, die verandering veroorzaakt in een andere variabele. Die andere variabele is de afhankelijke variabele. Een onafhankelijke variabele is zogezegd een oorzaak, in de afhankelijke variabele manifesteert zich het gevolg. De onafhankelijke variabele komt dus altijd vóór de andere variabele en heeft daar effect op. Een derde type variabele is de interfererende variabele (ook wel: ‘derde’ variabele). Deze staat tussen de oorzaak-gevolg relatie van de onafhankelijke en afhankelijke variabele. Het is het mechanisme waardoor deze relatie opereert. De relatie tussen gezinsproblematiek en slechte schoolprestaties verloopt bijvoorbeeld via een lage eigenwaarde. Deze lage eigenwaarde is hier de interfererende variabele. Hij werkt zogezegd als een afhankelijke variabele voor gezinsproblematiek en als een onafhankelijke voor slechte schoolprestaties. Gezinsproblematiek veroorzaakt namelijk een lage eigenwaarde en een lage eigenwaarde zorgt weer voor slechte prestaties.

Een hypothese is een bewering over de relatie tussen twee (of meer) variabelen, die getest kan worden door empirische data. Het is een voorspelling over hoe een afhankelijke variabele gaat reageren op een onafhankelijke variabele. De hypothese vormt een verondersteld antwoord op de onderzoeksvraag. Als je vraag is ‘Heeft leeftijd invloed op burgerlijke staat?’ kan je hypothese zijn ‘Jonge mensen zijn minder vaak getrouwd dan oude mensen’ of ‘Mensen boven de 80 jaar zijn vaker alleenstaand’. Als een dergelijke voorspelling herhaaldelijk getest is en steeds overeind blijft, wordt hij geaccepteerd. Echter, als de hypothese één keer niet is uitgekomen, wordt hij direct afgewezen. Aan negatief bewijs wordt dus meer waarde toegekend dan aan positief bewijs. Dit is omdat negatief bewijs zonder meer uitsluit dat de hypothese waar is. Positief bewijs doet dit niet: de hypothese is dan een mogelijke verklaring van het effect, maar een alternatieve hypothese die dezelfde uitkomst voorspelt, zou net zo goed waar kunnen zijn. Je kan positief bewijs dus niet als de absolute waarheid zien. Daarom wordt in onderzoek meestal de nulhypothese als uitgangspunt genomen. Dit is een hypothese, die stelt dat er geen relatie is tussen de variabelen. Als het bewijs zegt dat er wel een relatie is, kun je deze hypothese in alle zekerheid verwerpen. Dit uitgangspunt lijkt een beetje op de regel dat een verdachte ‘onschuldig is, tenzij het tegendeel is bewezen.’ Kwalitatief onderzoek houdt zich veel minder bezig met variabelen en hypothesen, maar meer met individuele gevallen. In dit onderzoek worden vaak enkele gevallen zeer gedetailleerd onderzocht, waarbij sterk gelet wordt op context en betekenis van de fenomenen in die context. In verschillende culturen hebben dezelfde acties bijvoorbeeld verschillende betekenissen.

Patronen ontdekken

Onderzoekers zoeken naar patronen in hun data. Kwantitatieve onderzoekers doen dit door te kijken naar regelmatigheden in de nummers. Ze kunnen hierbij grafieken, tabellen en statistieken gebruiken. Ook kwalitatieve onderzoekers zoeken naar patronen door hun data te bestuderen, te herschikken of te bespreken. Ze proberen vaste opeenvolgingen, cycli of contrasten te ontdekken in de fenomenen in hun context. Die patronen worden beschreven als terugkerende thema’s of als een narratief, een verhaal. Kwalitatieve data zijn vaak betekenisvol en complex en niet makkelijk te begrijpen voor een buitenstaander. Onderzoekers houden zich dan ook bezig met het ‘vertalen’ van hun data. Hiermee proberen ze hun ontdekking van de fenomenen inzichtelijk te maken voor het publiek.

Type verklaring

Een verklaring is een antwoord op een ‘waaromvraag’. Een causale uitleg identificeert één of meerdere oorzaken voor een uitkomst en plaatst die in een groter kader. De oorzaak correspondeert met de onafhankelijke variabele, het gevolg met de afhankelijke variabele. In een goede causale uitleg komt de oorzaak altijd vóór het gevolg, hangen het gevolg en de oorzaak samen en zijn alternatieve oorzaken uitgesloten. Een causale uitleg heeft de volgende vorm: in de regel is A de oorzaak van B. Er is sprake van A. Dus moet er ook sprake zijn van B. In kwalitatief onderzoek kunnen dergelijke regels zelden opgesteld worden. De uitleg neemt hier vaak de vorm van motieven, thema’s of onderscheiden aan. Verklaringen kunnen de vorm van een onderlegde theorie aannemen. Dit is een geheel van ideeën en thema’s dat is opgebouwd uit data-observatie. Er worden steeds vergelijkingen gemaakt. Bijvoorbeeld: als A plaatsvindt in situatie 1 en ook in situatie 2, wat is het dan dat de situaties gemeen hebben, waardoor A plaatsvindt?

Eenheden van analyse

De eenheid waarin je je variabelen meet, wordt de eenheid van analyse genoemd. Dit is bijvoorbeeld het individu, de groep of de organisatie. In sociaal onderzoek worden veelal individuen vergeleken, maar ook groepen (zoals mannen en vrouwen) vormen vaak een eenheid van analyse.

Niveau van analyse

Het niveau van realiteit waarop je uitkomsten betrekking hebben, wordt het niveau van analyse genoemd. Dit bestaat uit de grootte van de groep, de tijdsspanne, de beslagen afstand en de omvang van de activiteit. Een micro-onderzoek bestaat bijvoorbeeld uit een interactie van 30 minuten tussen vijf mensen in een kleine ruimte. Een macro-onderzoek zou zich kunnen richten op de mate van ongelijkheid in de afgelopen twintig jaar op alle continenten. Het niveau van analyse is zogezegd de omvang, de reikwijdte van je studie. Een micro-onderzoek is vooral geschikt voor individuele onderwerpen, zoals interpersoonlijk contact. Macro-onderzoek kan zich richten op grootschalige sociale fenomenen.

Vermijden van onjuiste veronderstellingen

Als het lijkt alsof twee variabelen causaal gerelateerd zijn, maar de relatie in werkelijkheid bepaald wordt door een derde, onvoorziene variabele, is er sprake van een onjuiste veronderstelling (‘spuriousness’). Het is heel belangrijk om dergelijke variabelen op te sporen en alternatieve verklaringen uit te sluiten alvorens je een causaal verband veronderstelt. Op basis van theorie bedenk je welke factoren als derde variabele op zouden kunnen treden. Je kunt testen of dit het geval is door ze als controlevariabele op te nemen in de statistische analyse.

Welke rol speelt ethiek in onderzoek? - Chapter 3

Wat zijn ethische richtlijnen?

Tegenwoordig moet ieder onderzoek voldoen aan strikte ethische richtlijnen. Dat is niet altijd zo geweest. Een voorbeeld van een zeer onethisch onderzoek was de ‘Tuskegee Study of Untreated Syphilis in the Negro Male,’ waarbij de participanten behandeling van hun ziekte geweigerd werd om het verloop van de ziekte te kunnen bekijken. Veel deelnemers overleden door hun ziekte, die in de loop van de studie overigens steeds beter behandelbaar was geworden. Bij deze studie werd er geen rekening gehouden met ethiek, met wat moreel te verantwoorden is. Ethiek in onderzoek draait om verantwoordelijk en moreel gedrag. Vaak moet er een balans gezocht worden tussen ethische en praktische overwegingen. Het is belangrijk om je al vroeg in het onderzoeksproces bezig te houden met ethiek. Je moet je bewust zijn van moeilijkheden die kunnen optreden en die voorkomen. Onderzoekers zijn altijd zelf verantwoordelijk voor hun gedrag: ze moeten te allen tijde en in iedere situatie ethisch handelen. Er zijn geen excuses waarmee je verantwoordelijkheid af kan schuiven. Ethiek in onderzoek draait uiteindelijk om je persoonlijke integriteit. Soms zijn er onderzoekers die ethische richtlijnen schenden. Hierbij kan eigenbelang een rol spelen, maar de onderzoeker kan het ook teveel gedoe vinden. Ethisch onderzoek verrichten kost tijd en moeite, maar die moet je wel nemen.

Wat wordt verstaan onder wetenschappelijk wangedrag?

Als algemeen geaccepteerde standaarden voor eerlijk wetenschappelijk onderzoek geschonden worden, is er sprake van wetenschappelijk wangedrag. Hieronder vallen onderzoeksfraude en plagiaat. Onderzoeksfraude is het bedenken, falsificeren of vertekenen van data of het liegen over hoe een onderzoek uitgevoerd is. Plagiaat is het gebruiken van andermans woorden of ideeën zonder de bron te vermelden. Het is het presenteren van het werk van anderen als jouw eigen werk. Je moet altijd zorgen dat je refereert naar de bron die je gebruikt hebt om beschuldigingen van plagiaat te voorkomen. Ethisch is niet hetzelfde als wettelijk. Soms is iets wel wettelijk toegestaan, maar niet ethisch. Liegen is hier een voorbeeld van. Een ander heel duidelijk en gruwelijk voorbeeld is dat van de onderzoekers in de concentratiekampen in nazi-Duitsland. Zij werden aangemoedigd door hun regering om de meest vreselijke experimenten op onschuldige mensen uit te voeren. Ook andersom komt het een enkele keer voor: soms is iets niet wettelijk toegestaan, maar is het wel ethisch te verantwoorden. Vertrouw bij het opzetten van je onderzoek dus niet alleen op wat de wet voorschrijft. Er zijn tegenwoordig verschillende bronnen waarin te vinden is wat wel en niet ethisch verantwoord is binnen wetenschappelijk onderzoek.

Hoe zijn ethische richtlijnen ontstaan?

Onder andere de nazi-experimenten hebben bijgedragen aan het ontstaan van op schrift gestelde ethische richtlijnen. Ook het eerder genoemde syphilisonderzoek heeft bijgedragen aan de ontwikkeling van een code. Eén van de eerste principes die geformuleerd werd, was het principe van vrijwillige deelname. Ondanks deze ontwikkelingen zijn er veel misstanden geweest. De verschillende richtlijnen worden hieronder besproken

Waar moeten participanten tegen beschermd worden?

Eén van de belangrijkste richtlijnen is dat deelnemers aan studies geen schade berokkend mag worden. Het gaat hier om fysieke, emotionele, wettelijke en sociale beschadiging.

Fysieke beschadiging

Ten eerste is de fysieke veiligheid van participanten heel belangrijk. Je moet basisveiligheidsmaatregelen nemen, bijvoorbeeld omtrent brandveiligheid. Ook moeten kwetsbare mensen uitgesloten worden van onderzoek waarbij ze aan hevige stress worden blootgesteld. Op het moment dat de fysieke veiligheid van de deelnemers ter discussie staat, moet het onderzoek direct afgebroken worden.

Emotionele of psychologische beschadiging

Soms is het voor een onderzoek nodig om deelnemers in een stressvolle situatie te plaatsen, bijvoorbeeld om hun reactie op stress te onderzoeken. Het is moeilijk om vast te stellen wanneer dit gerechtvaardigd is. Een controversieel voorbeeld is het Milgram experiment. Hierbij moesten deelnemers (denkbeeldige) stroomstoten uitdelen aan een ander persoon. Veel participanten gingen tot zo’n hoog voltage, dat ze de ander hadden kunnen doden als het echte stroomschokken waren geweest. Dit onderzoek heeft veel emotioneel ongemak veroorzaakt onder de deelnemers. Hoewel de resultaten nuttig waren voor onze kennis over waartoe mensen in staat zijn, is het de vraag of het de emotionele beschadiging van de participanten waard was. Bij je afweging tussen het nut van het onderzoek en de schade die je de participanten berokkent, kun je advies vragen aan collega’s en experts op het gebied van mentale gezondheid. Eén regel moet je sowieso in je hoofd houden: je mag participanten nooit aan méér dan de minimaal effectieve hoeveelheid stress blootstellen.

Wettelijke beschadiging

Het mag niet zo zijn dat deelnemers risico lopen om gearresteerd te worden, alleen omdat ze deelnemen aan een studie. Tegelijkertijd kan het zijn dat je tijdens een onderzoek achter allerlei criminele praktijken komt, die anderen schade berokkenen. Dan moet je de afweging maken of je het vertrouwen van je participant schendt door de politie in te schakelen, of niet. Soms kan het ook nodig zijn om criminele activiteiten te observeren voor je onderzoek. Het is moeilijk te zeggen tot op welke hoogte je onpartijdig mag observeren, zonder dat je ingrijpt.

Wat is het principe van vrijwillige instemming?

Onderzoeksdeelname moet altijd vrijwillig zijn. Dit is het principe van vrijwillige instemming. Niemand mag gedwongen worden om deel te nemen, participanten moeten expliciet en vrijwillig toestemming geven. Om deze beslissing te kunnen maken, moeten ze wel weten wat hen in het onderzoek te wachten staat. Hiertoe dient de informed consent (geïnformeerde instemming): een formulier waarop participanten aangeven dat ze weten wat het onderzoek inhoudt en dat ze akkoord gaan met deelname aan het onderzoek. Er wordt informatie gegeven over de inhoud en de procedures van de studie. In het algemeen geldt dat hoe groter de kans op schade is, hoe belangrijker het geschreven, volledige informed consent is. Als er weinig persoonlijke of gevoelige componenten met onderzoek gemoeid zijn, kan ook een korte, mondelinge informed consent volstaan. Informed consent beschermt participanten tegen frauduleuze praktijken. Een informed consent bestaat uit de volgende onderdelen:

• Beschrijving van het doel en de procedures van het onderzoek;

• Beschrijving van de risico’s en ongemakken die met het onderzoek gemoeid kunnen zijn;

• Een garantie van anonimiteit en vertrouwelijkheid van de gegevens van de participanten;

• Identificatie van de onderzoeker en contactinformatie;

• De opmerking dat deelname vrijwillig is en dat participanten te allen tijde kunnen stoppen met het onderzoek;

• Een beschrijving van alle eventuele alternatieve gebruikte procedures;

• Een beschrijving van de compensatie of beloning die participanten voor hun deelname ontvangen;

• Het aanbod om participanten na afronding van het onderzoek op de hoogte te stellen van de onderzoeksresultaten.

Wat is deceptie?

In sommige gevallen vertellen onderzoekers in hun informed consent niet wat het doel van de studie is. Dit doen ze omdat het gedrag van de deelnemers anders vertekend kan worden. Als mensen bijvoorbeeld weten dat hun hulpgedrag onderzocht wordt, zullen ze meer geneigd zijn om te helpen. Daarom houden onderzoekers soms informatie achter of verzinnen ze een ander doel. Deceptie (bedrog) is soms nodig, maar het moet zo min mogelijk toegepast worden. Als het niet hoeft, doe het dan niet. Het is niet toegestaan om informatie over risico’s die met het onderzoek gemoeid zijn, achter te houden. Je bent verplicht om na het onderzoek alsnog duidelijk uit te leggen wat het ware doel van de studie was. Ook moet je naar je participanten rechtvaardigen waarom je deceptie hebt gebruikt. Een andere omstreden onderzoeksmethode is ongemerkte observatie. Hierbij weten mensen niet dat ze in de gaten gehouden worden. Ook dit mag alleen als het noodzakelijk is en openlijke observatie onmogelijk is.

Dwang

Het informed consent heeft onder andere als doel om te voorkomen dat mensen onvrijwillig deelnemen aan een onderzoek. Dwang vermijden is soms minder gemakkelijk dan het lijkt. Onderzoekers kunnen beloningen bieden voor deelname, die mensen niet op een andere wijze kunnen verwerven. Op die manier kunnen mensen zich gedwongen voelen om deel te nemen. Als een gevangene aangeboden wordt om deel te nemen aan een experiment in plaats van in de gevangenis te blijven, bied je hem eigenlijk geen eerlijke keuze. In dat geval moet je overwegen of het doel van het onderzoek deze mate van dwang rechtvaardigt. Ook op scholen worden studenten in zekere mate gedwongen om mee te werken aan onderzoeken, bijvoorbeeld omdat ze anders een vak niet kunnen halen. Dit is alleen ethisch verantwoord als studenten ook een alternatieve opdracht kunnen doen en als deelname aan het onderzoek een educatief doel heeft.

Privacy

Een belangrijk doel van het informed consent is om mensen duidelijk te maken dat er op verantwoorde wijze met hun gegevens omgegaan zal worden. Ten eerste moet je rekening houden met hun privacy. In onderzoek kun je door vragenlijsten, experimenten of observatie persoonlijke informatie over personen verwerven. Deze schending van de privacy is alleen gerechtvaardigd in zoverre het noodzakelijk is voor het onderzoek. Tevens moet voorkomen worden dat deze informatie verspreid wordt. Hiertoe dient anonimiteit, het loskoppelen van de naam van de participant en zijn gegevens. Het is niet altijd voldoende om de naam van de participant weg te laten of te vervangen door een code. Als je gedetailleerde demografische informatie vraagt, kun je in een kleine steekproef nog steeds makkelijk achterhalen welke vragenlijst bij welk persoon hoort. In een veldonderzoek kan het helemaal moeilijk zijn om anonimiteit te betrachten. Zelfs als participanten niet anoniem kunnen blijven, moet je altijd optimale vertrouwelijkheid (confidentiality) betrachten. Dit is het geheim houden van de informatie, die je te weten bent gekomen. Gegevens mogen nooit naar derden verspreid worden. Je geeft je data alleen vrij in de vorm van samengevatte getallen (percentages, gemiddelden) en niet als zijnde gekoppeld aan individuen. Anonimiteit en vertrouwelijkheid zijn twee verschillende dingen, zoals je hieronder kunt zien:

• Anonimiteit met vertrouwelijkheid: de identiteit van de participanten is onbekend en data worden alleen als samengevatte getallen gepresenteerd;

• Anonimiteit zonder vertrouwelijkheid: gegevens van een individu worden gepubliceerd, maar zijn identiteit blijft verborgen;

• Vertrouwelijkheid zonder anonimiteit: de identiteit van je deelnemers is aan jou bekend, maar je presenteert je data alleen als percentages;

• Noch anonimiteit noch vertrouwelijkheid (onethisch): je publiceert gegevens over individuen en maakt duidelijk wat hun identiteit is.

Soms kunnen anonimiteit en vertrouwelijkheid bedreigd worden door autoriteiten. Een school kan bijvoorbeeld eisen dat de onderzoeker doorgeeft welke leerlingen drugs gebruiken. Onderzoekers mogen hier nooit op ingaan. De enige ethische uitzondering op vertrouwelijkheid en anonimiteit is als het achterhouden van informatie schade kan veroorzaken, bijvoorbeeld als iemand moordplannen heeft.

Speciale populaties

Sommige participanten zijn niet in staat om oprechte, vrijwillige toestemming voor een onderzoek te geven. Speciale populaties zijn mensen, die onvoldoende cognitieve capaciteiten hebben of die onvoldoende vrijheid voelen om informed consent te geven voor een onderzoek. Voorbeelden zijn kinderen, gehandicapten, gevangenen of werknemers. Bij cognitief incapabele participanten is het belangrijk dat een ouder/wettelijke voogd toestemming geeft. Ook de participant zelf moet bij dit soort gevallen toestemming geven. In het onderzoek moet extra voorzichtig omgegaan worden met de veiligheid van de deelnemers.

Hoe worden participanten formeel beschermd?

In de VS bestaat er een overheidsinstantie die regels heeft vastgelegd om participanten te beschermen tegen risico’s die met wetenschappelijk onderzoek gemoeid zijn. Technisch gezien gelden deze regels alleen voor overheidsgesubsidieerde onderzoeken, maar in de praktijk houden de meeste onderzoekers zich eraan. Op iedere plek waar onderzoek plaatsvindt (instituten, universiteiten, ziekenhuizen), zijn daarnaast institutional review boards (IRB’s) ingesteld. Dit zijn commissies die de impact van het onderzoek op de participanten inschatten en vervolgens al dan niet toestemming verlenen om het onderzoek uit te voeren. Bijna iedere beroepsgroep heeft zijn eigen organisatie die ethische richtlijnen opstelt. Een ethische code is een geschreven, formele set van standaarden die uitkomst biedt als er ethische vragen ontstaan. Leden van een beroepsgroep houden zich aan de ethische code die voor hun groep geldt. De eerste code was de Neurenberger Code. Hierin stond onder andere dat participanten vrijwillig moeten deelnemen, dat hen geen kwaad gedaan mag worden en dat onderzoekers gekwalificeerd moeten zijn. Deze regels vormden de basis van latere ethische codes. Mensen die een dergelijke code breken, kunnen niet gerechtelijk worden vervolgd. Echter, het breken van een code kan leiden tot reputatieverlies, ontslag en weigering om resultaten te publiceren.

Wat is de invloed van sponsoring door een bedrijf of instelling?

Specifieke ethische kwesties kunnen ontstaan als je onderzoek gesponsord wordt door een bedrijf of instelling. Sommige sponsoren vragen onderzoekers om ethische standaarden te compromitteren. Een opdrachtgever kan je bijvoorbeeld vertellen wat voor resultaten je geacht wordt te vinden. Een ethisch onderzoeker laat zich niet verleiden om de resultaten te vertekenen omwille van zijn sponsor. Sponsoren kunnen ook grenzen opleggen aan de methoden die je gebruikt: sommige methoden zijn voor hen goedkoper dan andere. Echter, als de verstrekte middelen niet toereikend zijn om een onderzoek te financieren, zou de ethische onderzoeker moeten weigeren het uit te voeren. Soms vragen sponsoren je om vertekende steekproeven te gebruiken of om leidende vragen te stellen. Deze mensen zijn niet zozeer geïnteresseerd in de waarheid als wel in een rechtvaardiging van waar ze mee bezig zijn. Ook kan het voorkomen dat je resultaten niet bekend worden gemaakt, omdat ze de sponsor niet goed uitkomen. Als onderzoeksresultaten conflicteren met politieke doelen kunnen leiders ervoor kiezen om die weg te moffelen. Dergelijke gebeurtenissen kunnen voorkomen worden door van tevoren met de sponsor vast te leggen dat je resultaten hoe dan ook gepubliceerd zullen worden. Ook kunnen bedrijven of politici controle proberen uit te oefenen over jouw onderzoek doordat ze alleen onderwerpen sponsoren die zij van belang vinden, en kunnen ze manipulatie en psychische druk gebruiken. Als je te maken krijgt met deze of met andere misstanden, kun je overgaan tot klokkenluiden (‘whistle-blowing’). Dit is het publiekelijk bekend maken van onethisch gedrag, bijvoorbeeld van je sponsor. Eerst probeer je de misstanden van binnenuit te veranderen door superieuren erop te attenderen. Als dit niet lukt, kun je de publiciteit zoeken. Klokkenluiden is riskant: het kan je je baan en de waardering van je collega’s kosten. Tevens kan de door jou beschuldigde ontkennen en zelfs een rechtszaak tegen je aanspannen. Bovendien is er geen garantie dat je actie helpt.

Wat wordt verstaan onder waardevrij en objectief onderzoek?

Waardevrij betekent dat het onderzoek niet vertekend is door persoonlijke opvattingen en vooroordelen van de onderzoeker. Het betekent niet dat er in onderzoek geen enkele aanname of theorie een rol mag spelen. Dit is namelijk onmogelijk te bereiken. Wel is het belangrijk om expliciet te maken welke aannames je doet. De onderzoeker gebruikt standaardprocedures en laat het niet afhangen van zijn persoonlijke voorkeuren. Sommige onderzoekers stellen dat onderzoek niet waardevrij hoeft te zijn, maar dat waarden en nadrukken wel expliciet kenbaar gemaakt moeten worden. Op die manier kan de lezer zelf oordelen of waarden een rol hebben gespeeld in het onderzoek en of dat een probleem is. Praktisch gezien kan een onderzoek ook niet waardevrij zijn. Alleen al in je onderwerpkeuze speelt je persoonlijke achtergrond een rol. Dat onderzoek objectief moet zijn, betekent niet dat alleen zichtbare of externe onderwerpen onderzocht kunnen worden. Ook innerlijke, niet observeerbare processen kunnen onderwerp van onderzoek zijn. Objectief betekent wel dat onderzoekers standaard en algemeen geaccepteerde procedures gebruiken en geen zelfbedachte procedures gaan hanteren.

Hoe werkt het nemen van steekproeven? - Chapter 4

Als je onderzoek over vrouwen gaat, kun je moeilijk alle vrouwen ter wereld onderzoeken. Daarom wordt gebruik gemaakt van steekproeven: een kleine verzameling eenheden die getrokken wordt uit de gehele populatie. De bedoeling is dat de steekproef representatief is voor de populatie. Dat wil zeggen dat de steekproef alle kenmerken heeft die de populatie ook heeft. Om dit te bereiken, wordt gebruik gemaakt van willekeurige steekproeven, waarbij individuen op basis van toeval zijn geselecteerd om deel te nemen aan het onderzoek. Het idee is dat als je de gemiddelde resultaten van een groep van 1000 mensen bekijkt, die hetzelfde zullen zijn als die van een groep van een miljoen mensen. Bij kwalitatief onderzoek gaat het meer om individuele cases en is het minder de bedoeling om te generaliseren.

Welke types niet-willekeurige steekproeven zijn er?

Soms is het niet mogelijk om op toevalsbasis een steekproef te trekken. Dan wordt gebruik gemaakt van niet-willekeurige steekproeven. Hiervan bestaan verschillende varianten.

Gemakssteekproef

Als je een onsystematische (‘haphazard’) manier gebruikt om een niet-willekeurige (‘random’) steekproef te trekken, maak je gebruik van convenience sampling, ofwel een gemakssteekproef. Deze methode is snel en gemakkelijk. Je kiest bijvoorbeeld één middelbare school uit om uitspraken te doen over alle middelbare schoolleerlingen. Het nadeel hiervan is dat de steekproef vaak niet representatief is voor de gehele populatie. De mensen die reageren op een oproep van een televisieprogramma verschillen bijvoorbeeld op bepaalde vlakken van mensen die niet reageren, waardoor je een inaccuraat beeld van de groep krijgt. De bruikbaarheid van deze methode is dan ook beperkt tot ontdekkend onderzoek.

Quotasteekproef

Een quotasteekproef is een niet-willekeurige steekproef, waarbij je van tevoren vaststelt hoeveel deelnemers van elke kenmerkcategorie je wil selecteren. Je wil bijvoorbeeld 10 mannen en 10 vrouwen waarvan de helft onder de 30 en de andere helft boven de 30 jaar oud is. Het voordeel van deze methode boven convenience sampling is dat verschillen die optreden in de populatie ook voorkomen in je steekproef. Een nadeel is dat je nog steeds alleen de mensen selecteert die je tegenkomt en die er bereidwillig genoeg uitzien. Een ander nadeel is dat je selecteert op een paar kenmerken die optreden in de populatie, zoals leeftijd en sekse, maar niet op andere kenmerken. Een laatste nadeel is dat je op de gok vaststelt hoeveel mensen je van iedere categorie nodig hebt, zonder te weten hoeveel mensen in de populatie onder die categorie vallen. Misschien selecteer je 50% mannen en 50% vrouwen, maar is in de populatie (bijvoorbeeld winkelpubliek) 70% vrouw.

Doelgerichte steekproef

Als je doel niet is om een representatieve steekproef te krijgen, kun je een doelgerichte steekproef trekken. Hierbij selecteer je eenheden, die voldoen aan heel specifieke kenmerken. Dit doe je om zo informatief mogelijke cases te krijgen. Ook als je te maken hebt met een specifieke, moeilijk te bereiken populatie kun je doelgerichte steekproeftrekking gebruiken.

Sneeuwbalsteekproef

Als een steekproef gebaseerd is op een al bestaand sociaal netwerk maak je gebruik van sneeuwbalsteekproeftrekking. Deze naam komt van het idee dat je begint met één individu en dat je via connecties die hij met anderen heeft op een steeds groter netwerk uitkomt, zoals een sneeuwbal steeds groter wordt als hij van de helling rolt. Leden van het netwerk hoeven elkaar niet allemaal te kennen. Ze staan via andere personen met elkaar in verbinding. Voorbeelden zijn leden van een organisatie.

Begrippen

Voordat de voornaamste steekproefmethode (willekeurige steekproeftrekking) besproken wordt, zullen eerst enkele belangrijke begrippen uitgelegd worden.

• Steekproefelement: een eenheid van analyse van de populatie, die geselecteerd kan worden voor een steekproef, bijvoorbeeld een groep mensen of een gedragshandeling. Het betreft het soort subjecten, waarover het onderzoek uitspraak zal doen.

• Het universum is de brede groep, waar je de theoretische resultaten naar wil generaliseren. De populatie is de verzameling elementen waaruit je de steekproef trekt. De ‘doelpopulatie’ is de specifieke populatie die je hebt gebruikt. Voordat je een steekproef kunt trekken, moet je de populatie vertalen naar een doelpopulatie.

• Het steekproefkader is een specifieke lijst van alle steekproefelementen in de doelpopulatie. Het bevat bijvoorbeeld alle telefoonnummers van de doelpopulatie. Hieruit kun je een steekproef selecteren. Een dergelijke lijst is helaas niet altijd beschikbaar, wat het moeilijk maakt een goede willekeurige steekproef te trekken.

• Een populatieparameter is een getal, dat de populatie beschrijft en dat je geschat hebt op basis van een steekproef. Een parameter is bijvoorbeeld de 20% van de populatie die rookt. Als de steekproef alle elementen van de populatie bevat, zijn de parameters perfect. Bij grotere steekproeven zijn parameters schattingen.

• Een steekproefverhouding is de ratio van de steekproefgrootte tot de populatiegrootte en is te berekenen door het aantal mensen in de steekproef te delen door het aantal mensen in de populatie.

Willekeurige steekproeftrekking

Het idee van willekeurige steekproeftrekking is dat ieder lid van de populatie een even grote kans heeft om geselecteerd te worden. Deze selectie vindt plaats op mechanische of wiskundige wijze, waardoor menselijke fouten niet kunnen optreden. Niettemin kan de steekproef nog steeds afwijken van de populatie. De mate waarin een steekproef afwijkt van de populatie wordt de steekproef error genoemd. Deze error kan berekend worden. Als je een element selecteert om deel te nemen in je onderzoek, moet je proberen om dit ook echt te gebruiken en niet te vervangen door een ander. Als een door jou geselecteerd subject bijvoorbeeld de telefoon niet opneemt, moet je terugbellen in plaats van zomaar een ander te selecteren. Als je dat laatste doet, breng je de willekeurigheid van de steekproef in gevaar.

Welke types willekeurige steekproeven zijn er?

Simpele willekeurige steekproef

Bij een simpele willekeurige steekproef ontwikkel je eerst een steekproefkader. Aan alle elementen in de populatie ken je nummers toe. Dan laat je een computer willekeurige nummers genereren. Je selecteert de elementen die corresponderen met deze nummers. Wiskundig gezien zou je bij selectie van een nummer het nummer de volgende selectieronde weer mee laten dingen, zodat de selectiekans voor ieder element hetzelfde blijft. Praktisch gezien is dit zinloos: je kunt niet twee keer hetzelfde element deel laten nemen. In de praktijk gebeurt dit dan ook niet.

Steekproefdistributie

Een steekproefdistributie is een grafiek (een normaalcurve) met de uitslagen van veel willekeurige steekproeven, met de meest voorkomende uitslag in het midden en minder voorkomende uitslagen naar de zijkanten. Dit is toe te lichten met het bekende knikkervoorbeeld. Als je 5000 knikkers hebt waarvan de helft blauw en de andere helft wit is en je trekt een steekproef van 100 knikkers, trek je meestal 50 witte en 50 blauwe knikkers. Maar soms trek je ook 48 witte en 52 blauwe en een heel enkele keer trek je 20 witte en 80 blauwe. De meest voorkomende uitslag (50-50) is de top van de klokvormige grafiek. De minst voorkomende uitslag (0-100 of 100-0) liggen aan de uiteinden van de grafiek, bijna op de x-as. De ‘ware’ populatieparameter is het hoogste punt van de grafiek. Dat betekent niet dat onderzoekers heel veel verschillende steekproeven nemen en kijken welk resultaat het meest voorkomt. Ze gebruiken echter wel deze wiskundige kennis. Aan de hand van wat we weten over de steekproefdistributie, kunnen we berekenen hoe groot de kans is dat onze willekeurige steekproef representatief is. We kunnen de steekproef error berekenen. Hoewel we geen garantie hebben dat onze resultaten generaliseerbaar zijn, kunnen we precies berekenen hoe groot de kans is dat dit het geval is.

Systematische steekproef

Toen er nog geen computers waren om toevalsnummers te genereren, werd er gebruik gemaakt van systematische steekproeftrekking. Hierbij worden steeds om de zoveel elementen één element geselecteerd. Het steekproefinterval vertelt je hoeveel elementen je overslaat, voordat je er één selecteert. Je berekent het steekproefinterval door het totale aantal elementen in je steekproef kader te delen door de steekproefgrootte. Je begint niet aan het begin van de lijst met tellen, maar kiest een willekeurige beginplek. Als je dan aan het eind van de lijst bent, ga je gewoon bovenaan verder tot je weer bij je beginplek aankomt. Systematische steekproeftrekking moet niet gebruikt worden als het steekproefkader in een zekere herhaalde volgorde staat. Als er steeds man-vrouw-man-vrouw wordt gebruikt en je gebruikt een interval met een even nummer, selecteer je steeds maar mensen van één sekse. In dit geval kan je beter simpele willekeurige steekproeftrekking gebruiken.

Gestratificeerde steekproef

Bij een gestratificeerde steekproef laat je bepaalde kenmerken in verhouding met de populatie terugkomen in de steekproef. Als 8% van de populatie gehandicapt is, zorg je dus dat 8% van je steekproef dat ook is. Voor dit type steekproef moet je dus weten in welke proportie dergelijke kenmerken voorkomen in de populatie. Vervolgens creëer je meerdere steekproefkaders, namelijk één voor elke subcategorie (bijv. gehandicapten en niet-gehandicapten). Daaruit selecteer je willekeurige steekproeven. Deze methode geeft net iets meer representatieve steekproeven dan simpele willekeurige steekproeftrekking.

Clustersteekproef

In veel situaties heb je geen goed steekproefkader met de namen van alle elementen in de populatie. Het is bijvoorbeeld moeilijk om een lijst op te stellen van alle studenten in een land. In dat geval kun je gebruik maken van clustersteekproeftrekking: een methode waarbij er eerst een steekproef getrokken wordt uit alle clusters en daarna uit de elementen in de geselecteerde clusters. Een cluster is een bestaande groep elementen. Als je geïnteresseerd bent in studenten is de Universiteit Utrecht bijvoorbeeld een cluster. Je behandelt de clusters tijdelijk als elementen waaruit een steekproef getrokken wordt. Als je een aantal clusters geselecteerd hebt, kun je een steekproefkader opstellen van de elementen binnen de clusters. Een lijst namen van alle studenten op een universiteit is makkelijker te maken dan een lijst namen van alle studenten in het land. Hieruit selecteer je dan weer een aantal elementen. Het nadeel van deze stapsgewijze selectie is dat met iedere stap de kans op steekproef error groter wordt. Als je clusters van ongelijke grootte hebt, moet je de hoeveelheid geselecteerde elementen per cluster aanpassen. Iedereen moet een even grote kans hebben om geselecteerd te worden. Daarom moet je werken met percentages. Als je 5 mensen (1%) selecteert uit een cluster van 500, moet je er 20 selecteren uit een cluster van 2000. Op die manier heeft iedereen een even grote kans om geselecteerd te worden, ongeacht in welke cluster hij zich bevindt.

Wat zijn speciale technieken van steekproeftrekken?

Steekproeftrekken met behulp van random-digit dialing

Als steekproefkader wordt vaak een lijst met telefoonnummers gebruikt. Het probleem hiermee is dat je de mensen mist die geen telefoon hebben, alleen een mobiele telefoon gebruiken, net verhuisd zijn of een geheim nummer hebben. Mensen met een telefoonnummer kunnen op relevante punten verschillen van mensen zonder een telefoonnummer, waardoor je steekproef niet representatief is voor de populatie. Een oplossing hiervoor is random-digit dialing, waarbij een computer willekeurige telefoonnummers genereert. Het nadeel is dat veel van de gegenereerde nummers niet in gebruik zijn of toebehoren aan bedrijven. Zelfs als het telefoonnummer wel van een huishouden is, ben je er nog niet. Eerst moet je bepalen wie van het huishouden je selecteert voor het onderzoek.

Steekproeftrekken binnen een huishouden

Vaak is het gemakkelijker om een steekproefkader te vormen van huishoudens dan van individuen, bijvoorbeeld in het geval van random-digit dialing. Je behandelt de huishoudens dan als clusters waaruit je op toevalsbasis elementen selecteert. Je selecteert niet simpelweg degene die de deur opendoet of de telefoon opneemt. Je selecteert bijvoorbeeld om en om mannen en vrouwen of oudere en jongere volwassenen.

Steekproef trekken van verborgen populaties

Een verborgen populatie is een groep, die moeilijk te lokaliseren is en die vaak ook niet gevonden wíl worden. Een steekproef trekken uit een dergelijke populatie kan ingewikkeld zijn. Het draait vaak om groepen als criminelen, homoseksuelen of drugsgebruikers. Om een steekproef uit een dergelijke groep te krijgen, moet je creatief zijn. Doelgerichte en sneeuwbalsteekproeven kunnen uitkomst bieden. Bij een speciale vorm van de sneeuwbaltechniek, respondentgestuurde steekproeftrekking, vraag je iedere participant om andere participanten door te verwijzen. Je geeft hem bijvoorbeeld voor iedere extra participant 10 euro. Op die manier kom je op steeds meer namen binnen een netwerk. De types niet-willekeurige en willekeurige steekproeven staan op een rijtje in de tabel op pag. 105.

Conclusies trekken over de populatie

Als je resultaten hebt verzameld over de steekproef heb je het doel van je studie nog niet bereikt. Het idee is dat je op basis van deze resultaten uitspraken doet over de populatie. Er is een aantal voorwaarden waaraan je moet voldoen, voordat je conclusies mag trekken over de populatie. Deze voorwaarden worden hieronder besproken.

Reduceren van steekproef errors

De steekproef error laat zich omschrijven als de afwijking van jouw resultaat van de ware parameter. Stel dat de ware parameter 70 is en jij komt uit op 69, dan is de steekproef error 1. De steekproef error wordt door twee factoren bepaald: de steekproefgrootte en de homogeniteit van de steekproef. Hoe groter de steekproef, hoe kleiner de error. Als je van veel mensen het gemiddelde neemt, is de kans groter dat je op de ware parameter uitkomt. Hoe homogener de steekproef, hoe kleiner de error. Hoe minder diversiteit er in de steekproef is, hoe kleiner de afwijking van de ware parameter zal zijn.

Steekproefgrootte

Een grote steekproef is geen garantie voor een representatieve steekproef. De manier waarop je een steekproef trekt is minstens zo belangrijk. Toch zijn er richtlijnen voor hoe groot je steekproef minimaal moet zijn. Over het algemeen geldt dat hoe kleiner de populatie is, hoe groter het deel moet zijn dat je opneemt in je steekproef. Als je een populatie van 50 hebt, heb je ongeveer 49 mensen nodig om representatieve resultaten te krijgen. Bij kleine populaties (5000) selecteer je 17-27%. Als je populatie eenmaal groter is dan 250.000 neemt de steekproefgrootte nauwelijks toe (1060-1840 elementen). Samengevat geldt: hoe kleiner de populatie, hoe groter de steekproefratio.

Betrouwbaarheidsinterval

Zoals gezegd, ben je er nooit zeker van dat jouw resultaat precies overeenkomt met de ware populatieparameter. Om dit aan te geven, kun je een betrouwbaarheidsinterval berekenen. Dit is een bereik van getallen boven en onder je geschatte parameter, waar de ware parameter met een zekere waarschijnlijkheid in valt. Je kunt bijvoorbeeld met 95% zekerheid zeggen dat de ware parameter tussen de 30 en de 33 ligt. Het interval is het bereik (30 tot 33) en de betrouwbaarheid is de waarschijnlijkheid waarmee je iets zegt (95%). De grootte van de steekproef beïnvloedt het betrouwbaarheidsinterval. Hoe groter de steekproef, hoe smaller het interval. Dat wil zeggen dat je een preciezere schatting maakt op basis van een grote steekproef dan op basis van een kleine.

Waarom en hoe meten we? - Chapter 5

Een centrale kwestie in sociaalwetenschappelijk onderzoek is het meetbaar maken van abstracte concepten. We meten dingen om een uitleg te evalueren, een hypothese te testen, een theorie te ondersteunen, beslissingen te maken over medische behandelingen of om een praktisch probleem te onderzoeken. Om dergelijke uitkomsten te krijgen, moet je concepten meetbaar en concreet maken. Meten is belangrijker in kwantitatief dan in kwalitatief onderzoek. In kwantitatief onderzoek moet je concepten zozeer concretiseren dat ze in getallen te vatten zijn. In kwalitatief onderzoek probeer je tot begrip te komen door inductie. Hoe concepten gemeten worden, kan grote invloed hebben op de praktijk. Als intelligentie alleen als analytisch denkvermogen wordt gemeten, worden veel meer mensen als onintelligent bestempeld dan als er een meting met meer aspecten wordt gebruikt. En hoe je armoede concretiseert, bepaalt welke mensen in aanmerking komen voor een uitkering en welke niet.

Hoe meet je het onzichtbare?

In de natuurwetenschappen bestaan allerlei instrumenten om aspecten van de fysieke wereld te meten, zoals een thermometer. Op die manier wordt iets wat je niet precies kunt waarnemen specifiek gemaakt. Als we de sociale wereld ‘meten’, zijn we meestal erg onspecifiek. We vinden dat iemand ‘veel’ verdient of ‘aantrekkelijk’ is. In sociaalwetenschappelijk onderzoek wordt getracht deze oordelen om te vormen tot concrete metingen met de precisie van een thermometer. Abstracte en onzichtbare concepten, zoals welzijn, worden op die manier meetbaar gemaakt.

Hoe werkt het meten in woorden of in nummers?

De manier waarop je concepten meetbaar maakt, hangt af van of je onderzoek van kwantitatieve of kwalitatieve aard is:

• Timing: in kwantitatief onderzoek maak je concepten eerst meetbaar voordat je begint met data verzamelen. Je bedenkt hoe je een concept in nummers kunt vatten. Bij kwalitatief onderzoek creëer je je meetinstrumenten tijdens de dataverzameling. Hierbij is het meetbaar maken van concepten geïntegreerd met andere fases van het onderzoek en vindt het dus niet van tevoren plaats.

• Richting: in kwantitatief onderzoek volg je een deductieve route: je begint met concepten en eindigt met empirische data. In kwalitatief onderzoek volg je een inductieve route: je begint met data en eindigt met concepten.

• Vorm van de data: in kwantitatief onderzoek heeft de data de vorm van nummers. In kwalitatief onderzoek wordt de data niet vertaald naar nummers, maar behoudt het zijn eigen vorm (woorden, symbolen, geschriften, etc.).

• Verbindingen: in kwantitatief onderzoek verbind je een abstract idee aan een concreet idee en verbind je hier een numeriek meetinstrument aan. In kwalitatief onderzoek verbind je de data pas achteraf aan concepten.

Wat is de rol van onceptualisatie en operationalisering?

Voordat je aan een onderzoek begint, moet je het onderwerp eerst conceptualiseren. Dat is het verfijnen van het idee door er een duidelijke, expliciete definitie aan te geven. Dit is de conceptuele definitie, waarin je een concept in theoretische termen beschrijft, gemaakte aannames noemt en waarbij je verwijst naar andere, gerelateerde concepten. Om een dergelijke definitie te geven, moet je goed nadenken, overleggen met anderen en kijken wat er al over het onderwerp is gezegd. Ook moet je goed kijken naar de eenheid van analyse die je zult gebruiken. Gaat het concept over individuen of groepen? Als er meerdere mogelijkheden zijn, moet je er eentje kiezen, zodat je daar de meetinstrumenten op aan kunt passen. In de conceptualisatie moet je ook aangeven hoe het concept zich verhoudt tot andere concepten. Wat is het verschil tussen dit concept en overlappende concepten? Als je een definitie hebt opgesteld, loop je ieder deel van de definitie na om te kijken of het klopt. Zijn er geen uitzonderingen op de beweringen die je doet? Na de conceptualisatie volgt de operationalisering: het definiëren van het concept in termen van meetinstrumenten. De operationele definitie is een concept, gevat in termen van acties die je uit moet voeren om het te meten. Het is bijvoorbeeld een set vragen of een bepaalde observatie. De operationele definitie van discriminatie zou bijvoorbeeld kunnen zijn dat iemand de vragen ‘ik word met minder respect behandeld’ of ‘mensen denken dat ik gevaarlijk ben’ bevestigend beantwoordt.

Bij kwantitatief onderzoek

Kwantitatief onderzoek kent drie stappen: conceptualisatie, operationalisering en dataverzameling. De eerste stap is theoretisch, de tweede operationeel en de derde empirisch. De eerste stap is het meest abstract en de laatste stap het meest concreet. Deze relaties staan weergegeven in fig. 5.1 op pag. 120. In de eerste stap wordt een conceptuele hypothese geformuleerd: een voorspelling in de meest algemene, abstracte termen. De empirische hypothese is dezelfde hypothese, maar dan geformuleerd in operationele termen, specifieke variabelen en meetinstrumenten. Een conceptuele hypothese is bijvoorbeeld ‘Minderheden hebben eerder het idee dat ze gediscrimineerd worden dan meerderheden.’ Een bijbehorende empirische hypothese kan zijn ‘Afro-Amerikanen en Latino’s scoren hoger op de discriminatievragenlijst dan blanken.’

Bij kwalitatief onderzoek

Bij kwalitatief onderzoek begin je met het verzamelen van data. Tijdens dat proces conceptualiseer en operationaliseer je de ideeën die je tegenkomt. Het conceptualiseren op zich gaat op dezelfde manier als bij kwantitatief onderzoek: je geeft duidelijke, expliciete definities. Hierbij baseer je je op de data, je beschrijft wat je hebt geobserveerd of citeert wat je proefpersonen hebben gezegd. Operationaliseren doe je in kwalitatief onderzoek door te beschrijven hoe je data hebt verzameld. Je beschrijft hoe je een concept gevonden hebt. Dit doe je dus achteraf. De scheiding tussen kwalitatief en kwantitatief onderzoek is echter niet zo scherp: ook in kwantitatief onderzoek hebben de data invloed op de conceptualisering en hoeven de stappen niet strikt gescheiden te zijn.

Creëren van een meetinstrument

Een aantal dingen is belangrijk bij het ontwerpen van een meetinstrument. Ten eerste moet je een goede conceptualisatie en operationalisering hebben. Het tweede belangrijke is dat je open staat voor verschillende meetinstrumenten en dat je creatief bent in het gebruik ervan. Ten derde is het goed om te kijken wat voor soort instrumenten andere onderzoekers hebben gebruikt voor vergelijkbare concepten. Ten vierde moet je goed anticiperen op moeilijkheden en die door goede planning proberen te voorkomen. Ten slotte moet je altijd de eenheid van analyse in gedachten houden bij het creëren van een meetinstrument.

Betrouwbaarheid

De betrouwbaarheid van het meetinstrument is een voorwaarde voor de geloofwaardigheid en waarheidsgetrouwheid van de resultaten. Betrouwbaarheid is dat het meetinstrument consistente resultaten geeft. Als je twee keer dezelfde meting verricht, geeft een betrouwbaar meetinstrument twee keer hetzelfde resultaat. Als je twee keer achter elkaar op een weegschaal gaat staan, moet er twee keer hetzelfde gewicht op het schermpje verschijnen. Betrouwbaarheid kun je verbeteren door duidelijk te conceptualiseren. Op die manier meet je iedere keer precies hetzelfde concept, en niet een ander overlappend concept. Ook het niveau van meting (zie verderop dit hoofdstuk) is van belang: je moet het meest precieze en hoogst mogelijke niveau kiezen. Daarnaast is het goed om meerdere indicatoren te gebruiken. Dat houdt in dat je meerdere meetinstrumenten hebt om het concept te meten. Zo vermijd je dat je op één mogelijk onbetrouwbaar instrument vertrouwt: je spreidt zogezegd het risico. Ten slotte is het voor de betrouwbaarheid goed om pilot studies uit te voeren. Dat houdt in dat je de meetinstrumenten eerst uitprobeert, voordat je ze in je studie gebruikt. Ook replicaties zijn zinvol: hierbij voer je een onderzoek uit dat al eerder is gedaan om te kijken of je precies dezelfde resultaten krijgt.

Validiteit

Ook validiteit is een voorwaarde voor de geloofwaardigheid en waarheidsgetrouwheid van de onderzoeksresultaten. Validiteit beschrijft of het gemeten concept inderdaad gemeten wordt door het meetinstrument. Het is de overeenkomst tussen de gebruikte methode (de operationalisering) en het concept in werkelijkheid (conceptualisering). Validiteit hangt dus af van het doel van het onderzoek. Voor het ene concept kan een meetinstrument valide zijn, voor een ander concept niet. Validiteit is moeilijker te bereiken dan betrouwbaarheid. Het mentale plaatje van een concept is heel moeilijk te concretiseren zonder het te veranderen. Validiteit lijkt een klein beetje op steekproef error: bij steekproef error wijkt de meting af van de parameter; bij een invalide instrument wijkt de meting af van het concept. Er zijn meerdere soorten validiteit. Ten eerste is er oppervlaktevaliditeit (‘face validity’). Dit is of een operationalisering op het eerste gezicht zinnig lijkt te zijn. Als experts oordelen dat een instrument waarschijnlijk doet wat het moet doen, heeft het oppervlaktevaliditeit. Inhoudsvaliditeit is of een conceptuele definitie alomvattend is: bevat het alle aspecten van het concept? Is het volledig? Criteriumvaliditeit gaat over of de resultaten van het meetinstrument overeenkomen met die van een instrument, waarvan bekend is dat het werkt. Als je met een nieuwe IQ-test aankomt, die totaal andere resultaten geeft dan de tot dan toe gebruikte IQ-testen, is het niet criteriumvalide.

Hoe bereik je betrouwbaarheid en validiteit in kwalitatief onderzoek?

Betrouwbaarheid is moeilijker te bereiken in kwalitatief onderzoek. Het houdt in dat je consistent observeert en niet bij de één anders dan bij de ander. Je probeert je zo goed mogelijk bewust te zijn van je eigen observatiemethode en probeert om zoveel mogelijk hetzelfde te reageren op verschillende situaties. Verschillende onderzoekers kunnen tot verschillende observaties komen. Op zich is dit geen probleem, als ze daarin maar consistent zijn. Verschillende mensen kunnen verschillende aspecten van een situatie observeren. Validiteit in kwalitatief onderzoek betekent dat je authentiek observeert: je bent eerlijk en geeft een gebalanceerd beeld van hoe de situatie is vanuit het perspectief van degene die het meemaakt. Je leeft je in de ervaring van je participanten in. In die zin is validiteit in kwalitatief onderzoek hetzelfde als in kwantitatief onderzoek: het draait om de waarheidsgetrouwheid van je metingen. Je wil dat de resultaten zoveel mogelijk overeenkomen met de werkelijkheid.

Verbinding tussen betrouwbaarheid en validiteit

Een valide meting is noodzakelijkerwijs ook een betrouwbare meting: een instrument dat meet wat het meten moet (valide), doet dat op consistente wijze (betrouwbaar). Andersom geldt het niet: een betrouwbaar instrument hoeft niet valide te zijn. Als een instrument consistent de verkeerde resultaten geeft is het betrouwbaar, maar niet valide.

Welke meetniveaus zijn er?

Variabelen kunnen verschillen in de mate van precisie waarmee ze gemeten kunnen worden. Het meetniveau (level of measurement) is de mate van precisie van een meting. Over het algemeen zijn continue variabelen preciezer dan discrete variabelen.

Continue en discrete variabelen

Een variabele die gemeten kan worden in getallen waarbij de tussenliggende waarden betekenis hebben, wordt een continue variabele genoemd. Een voorbeeld is lengte. Je hebt een lengte van 1 meter en van 2 meter, en alle tussenliggende waarden, maakt niet uit hoeveel decimalen, hebben betekenis. Ook temperatuur, leeftijd of inkomen zijn voorbeelden van continue variabelen. Een discrete variabele kan slechts een paar vaste waarden aannemen. Een dergelijke variabele bestaat uit categorieën. Een voorbeeld is sekse: een variabele die maar twee waarden aan kan nemen. De tussenliggende waarden hebben geen betekenis.

Vier meetniveaus

Er zijn vier meetniveaus, waarvan er twee continu en twee discreet zijn. Sommige variabelen kunnen alleen op discreet niveau gemeten worden, zoals burgerlijke staat. Andere variabelen kunnen zowel discreet als continu gemeten worden. Je kunt bijvoorbeeld leeftijd in cijfers meten (continu) of in categorieën van kind tot bejaarde (discreet). Alle continue variabelen kunnen dus discreet gemaakt worden, maar niet alle discrete variabelen kunnen continu gemaakt worden. Je hebt geen glijdende schaal tussen man en vrouw. Wel kun je een gerelateerd concept nemen dat continu is, bijvoorbeeld masculiniteit. In onderzoek is het aan te raden om te werken met een zo hoog mogelijk meetniveau. Dit omdat je continue variabelen makkelijk achteraf discreet kan maken, maar het andersom niet het geval is. Je kunt beter zo precies mogelijk meten en dan achteraf overbodige informatie weglaten. Discrete variabelen vallen onder de nominale en ordinale niveaus. Continue variabelen vallen onder de interval en ratio niveaus. Een nominale variabele geeft alleen verschillen aan tussen categorieën. Sekse, religie of nationaliteit zijn hiervan voorbeelden. Een ordinale variabele geeft ook verschillen aan tussen categorieën, maar doet dit in een zekere rangorde. Voorbeelden zijn goed – redelijk – matig – slecht of xs-s-m-l-xl. Een interval variabele specificeert de afstand tussen categorieën. Voorbeelden zijn temperatuur en IQ-scores. Bij deze variabelen kunnen metingen ook waarden aannemen tussen de ronde getallen. Een ratio variabele is hetzelfde als een interval variabele, behalve dan dat het een absoluut nulpunt heeft. Een voorbeeld is leeftijd: 0 jaar is de afwezigheid van leeftijd. Bij interval variabelen heb je geen nulpunt: 0°C is niet de afwezigheid van temperatuur, het is gewoon een punt op de schaal. Het is een willekeurig gekozen punt: 0°C is iets heel anders dan 0° Fahrenheit. Bij variabelen met een waar nulpunt kun je ook verhoudingen uitrekenen: 40 jaar is 2 keer zo lang als 20 jaar. Bij interval variabelen is dat niet zo: 40°C is niet twee keer zo warm als 20°C. De kenmerken van de vier meetniveaus staan duidelijk samengevat in de tabel op pag. 127.

Wat zijn schalen en indexen en hoe werken ze?

Schalen en indexen zijn meetinstrumenten van variabelen, die kwantitatieve data genereren. Je kunt zelf een schaal of index creëren of die van een ander gebruiken en/of aanpassen. Van ieder sociaal fenomeen kun je een schaal of index creëren. Sommige schalen meten variabelen direct, andere indirect. De termen schaal en index worden vaak door elkaar gebruikt, maar er is een nuanceverschil. Een schaal meet de intensiteit, richting of het niveau van een concept op het ordinale (of interval) meetniveau. Een index is een samengestelde meting, die verschillende indicatoren in één score combineert. Een index is bijvoorbeeld de som van waarden op verschillende items. Meestal is de index van interval meetniveau.

Mutueel exclusief

Je wilt dat de categorieën van de variabele mutueel exclusief zijn. Dat betekent dat iedere eenheid maar in één van de categorieën past. De categorieën sluiten elkaar uit. Als je moslim bent, ben je geen christen. Deze categorieën zijn mutueel exclusief. Maar als je moslim bent, ben je ook niet-christen. Deze twee categorieën zijn dus niet mutueel exclusief: ze sluiten elkaar niet uit. In een schaal wil je geen overlap. Je zorgt dus dat je antwoordmogelijkheden elkaar uitsluiten. Als je wilt weten hoeveel jaar iemand gewerkt heeft, bied je dus de categorieën 6-10 en 11-15, niet 6-10 en 10-15. Als iemand namelijk 10 jaar gewerkt heeft, past hij in beide categorieën.

Uitputtend (exhaustief)

Ook wil je dat de categorieën van de variabelen uitputtend (exhaustief) zijn. Dat betekent dat alle eenheden in één van de categorieën passen. Je wilt dus alle antwoordmogelijkheden dekken. Als je vraagt hoeveel jaar iemand gewerkt heeft, vraag je dus: ‘minder dan 6 jaar, 6-10, 11-15 en 15 of meer jaar.’ Op die manier valt iedereen binnen één van de categorieën. Mutuele exclusiviteit en uitputtendheid zijn onafhankelijk: een vraag kan mutueel exclusief zijn, maar niet uitputtend en andersom.

Unidimensionaal

Ten slotte wil je dat de schaal unidimensionaal is. Dat betekent dat alle items van de meting hetzelfde concept meten of dezelfde dimensie hebben. Je kunt wel subkenmerken van een concept meten, maar het is belangrijk dat deze allemaal vallen onder één concept. Anders meet je verschillende dingen en weet je niet wat de eindscore nu zegt over het concept dat jij als onderwerp hebt.

Wat is een index en een indexconstructie?

Een index is zoals gezegd een samenstelling van verschillende metingen in één numerieke score. Zo is de misdaadindex een samenstelling van diefstal, moord, zedendelicten, etc. Om een index te creëren, moet je dus minstens twee numerieke scores hebben die je bij elkaar optelt of die je op een andere manier samenstelt. Meestal wordt in een index ieder item even zwaar meegeteld. Soms echter is het ene item veel belangrijker dan het andere en wordt het zwaarder meegeteld. Als dit gebeurt, staat het vaak vermeld. De veiligheid van de buurt wordt bijvoorbeeld zwaarder meegeteld dan het aantal zonne-uren in een index voor woontevredenheid. Een probleem bij het creëren van een index kan missende data zijn. Een voorbeeld hiervan is wanneer je een nationaal onderzoek doet, maar slechts informatie hebt van vijf provincies. In dat geval komen de validiteit en betrouwbaarheid van je index in gevaar.

Wat is een schaalconstructie?

Schalen worden meestal ordinaal geconstrueerd. Meestal meten ze de intensiteit van een mening. Dit kun je bijvoorbeeld doen door mensen hun positie aan te geven op een lijn tussen ‘helemaal mee eens’ en ‘helemaal mee oneens.’

Likertschaal

Ook kun je een Likertschaal gebruiken. Hierbij gebruik je een puntenschaal met antwoordcategorieën, bijvoorbeeld ‘helemaal mee eens – een beetje mee eens – geen mening – een beetje mee oneens – helemaal mee oneens.’ Bij een Likertschaal gebruik je meestal 4 tot6 antwoordcategorieën. Met minder categorieën is je informatie erg beperkt en bij meer categorieën kunnen de items onoverzichtelijk worden voor de participanten. Je kunt ook een ‘weet niet’ categorie toevoegen. Dit heeft het voordeel dat het voorkomt dat mensen die geen idee hebben wat ze moeten antwoorden, een willekeurig antwoord geven. Als de items de mening over een concept meten, is het goed om niet iedere vraag in dezelfde richting te stellen. Als iedere vraag een variatie is op ‘ben je het eens met de abortuswetgeving?’ zijn mensen heel snel geneigd om overal hetzelfde antwoord op te geven, zonder de vraag nog te lezen. Het beste is om de helft van de vragen in tegengestelde richting te stellen, zoals ‘ben je tegen de abortuswetgeving?’ Zo moeten mensen iedere vraag goed lezen. De antwoorden van een Likert schaal zijn gemakkelijk te combineren in een index. Het voordeel van een index is dat het een grotere betrouwbaarheid en inhoudsvaliditeit heeft dan een enkel item. Een index bereken je door de antwoordcategorieën nummers toe te kennen en de scores op te tellen. De schaal wordt dan niet van ratio niveau: je hebt geen nulpunt en de cijfers zijn willekeurig gekozen. Als je ervan uitgaat dat de afstand tussen de categorieën steeds hetzelfde is, kan de schaal wel van interval niveau worden. Een voorbeeld van een Likertschaal is Bogardus’ ‘sociale afstand schaal.’ Hierbij wordt gemeten hoeveel afstand mensen comfortabel vinden tegenover mensen uit andere groepen. Ze moeten op een schaal aangeven hoe comfortabel ze zich voelen met situaties van wisselende sociale afstand, bijvoorbeeld ‘woonachtig in hetzelfde land – woonachtig in dezelfde straat – werkend als naaste collega – vriend.’

Semantisch differentiaal

Bij een semantisch differentiaal wordt een item weergegeven in verschillende bipolaire adjectieven. Je moet op een continuüm aangeven in welke mate je iemand bijvoorbeeld warm – koud vindt. Op die manier meet je iemands mening op meer indirecte en inhoudelijke wijze. Ook kun je je mening meer differentiëren: je kunt iets of iemand bijvoorbeeld op sommige punten positief en op andere negatief beoordelen. Veelgebruikte adjectieven zijn actief – passief, snel – langzaam, krachtig – zwak, en goed – slecht.

Guttmanschaal

Met de Guttmanschaal evalueer je de data nadat je die verzameld hebt. Je kijkt of er een hiërarchisch patroon in je data aanwezig is. Als je bijvoorbeeld moeilijkere en makkelijkere vragen hebt, krijg je een antwoordpatroon, waarbij mensen die de moeilijke vragen goed hadden, ook de makkelijke vragen goed hadden. Aan zo’n antwoordpatroon kan je zien dat er een structuur aanwezig is. Hetzelfde geldt voor meningsvragen: als iemand het met de extreme items eens is, is hij dat ook met de minder extreme. Andersom geldt dat niet. Met een Guttmanschaal kun je meten in welke mate een item voldoet aan een hiërarchische schaal. Met 0% is het responspatroon willekeurig: er is geen patroon. Met 100% is er een volmaakt hiërarchisch patroon.

Wat is vragenlijstonderzoek en welke vormen zijn er? - Chapter 6

Wat is vragenlijstonderzoek?

Vragenlijstonderzoek (Engels: survey) bestaat uit het afnemen van vragenlijsten en is de meest gebruikte methode om data te verzamelen. Een survey kun je houden over alles wat mensen zelf kunnen rapporteren. Alleen onbewuste processen en onderwerpen waarover mensen niet willen praten zijn onderwerpen die zich niet lenen voor een survey. In een sociale survey beantwoordt een grote groep mensen (‘respondenten’) dezelfde set vragen. Aan de hand van deze vragen kunnen meerdere hypothesen getest worden. Vaak wordt gekeken naar het verband tussen meerdere variabelen, bijvoorbeeld leeftijd en mening. Een poll is een voorbeeld van een survey. Een poll is een korte vragenlijst, die de mening van het publiek over een actueel onderwerp meet. Surveys kunnen zich ook richten op specifieke groepen en ze kunnen verschillen in lengte. Ook kunnen ze zowel meningen als kennis, gedragingen, achtergronden en persoonskenmerken uitvragen. De data worden gebruikt om theorieën te testen, relaties tussen variabelen te bestuderen en om een beeld te vormen van het gedrag en de opvattingen van mensen. Causaliteit is niet zo duidelijk in survey-onderzoek als in experimenteel onderzoek. Survey-onderzoek voldoet namelijk niet aan de voorwaarde dat de onafhankelijke variabele vóór de afhankelijke variabele komt: de variabelen worden op hetzelfde moment gemeten. Wel kan er een verband tussen de variabelen worden aangetoond. In correlationeel onderzoek worden relaties tussen verbanden aangetoond en wordt causaliteit op een indirecte manier afgeleid. Voor het afleiden van causaliteit is het nodig dat er geen andere variabelen zijn die het verband tussen de onafhankelijke en afhankelijke variabelen ook kunnen verklaren. Eventuele alternatieve verklaringen kun je aan de hand van statistische technieken controleren. Daarom heten deze variabelen ook wel controlevariabelen. De controlevariabelen moeten in een vragenlijst ook uitgevraagd worden.

Hoe zet je een vragenlijstonderzoek op?

Vragenlijstonderzoek bestaat uit verschillende fases en stappen:

Fase 1: Opstartfase - voorbereiding

• Stap 1: ontwikkel hypothesen, kies het type survey, schrijf vragen, bedenk antwoordcategorieën en maak de lay-out in orde;

• Stap 2: plan hoe je de data gaat opnemen, test of je vragenlijst in orde is;

• Stap 3: kies de doelpopulatie, maak een steekproefkader, bepaal de steekproefgrootte, trek een steekproef;

Fase 2: Uitvoeringsfase - dataverzameling

• Stap 4: lokaliseer respondenten, neem interviews af, teken je data op;

Fase 3: Analysefase - data-analyse en –interpretatie

• Stap 5: voer de data in, check de data, voer statistische analyses uit;

• Stap 6: schrijf een rapportage met methoden en resultaten, maak je bevindingen bekend voor kritiek en evaluatie.

Fase 1: voorbereiding

In de eerste fase stel je jezelf de volgende vragen: wie zijn de respondenten, wat voor informatie wil je krijgen, en hoe krijg je die informatie? Het soort respondenten bepaalt welke onderwerpen relevant zijn en hoe je je vragen formuleert. Zorg dat je doelgericht te werk gaat en dat je je bewust bent van wat je precies wil weten. De gewenste informatie verkrijg je door een meetinstrument te maken, bijvoorbeeld een vragenlijst (questionnaire), een vaste verzameling van vragen. Een ander meetinstrument is een interview schema, een vragenlijst die mondeling afgenomen wordt. Als je een meetinstrument gekozen hebt, ga je vragen bedenken. Dit is niet zo gemakkelijk als het lijkt en het kost veel tijd en herziening. De vragen moeten bovendien in een goede, logische volgorde gesteld worden. Als je vragen hebt bedacht, kun je een pilot test doen. Hierbij laat je een aantal mensen de vragenlijst invullen en vraag je feedback. Moeten er nog vragen duidelijker? Komen er bruikbare resultaten uit? Als je andere interviewers vraagt mee te werken, zal je hen moeten trainen, zoals je later in dit hoofdstuk zal lezen. Ten slotte moet je in deze fase een steekproef samenstellen.

Fase 2: uitvoeringsfase

In deze fase ga je data verzamelen. Hierbij moet je respondenten uitleggen wat ze precies moeten doen. Nadat de vragenlijst is ingevuld, controleer je of er niets is overgeslagen. Je moet de data goed bewaren en opschrijven. Als je alle data verzameld hebt, organiseer je deze en maak je de data klaar voor statistische analyse.

Fase 3: analysefase

Hoe data precies geanalyseerd wordt, staat in hoofdstuk 9 en 12 van dit boek.

Welke fouten worden er gemaakt in het opstellen van vragen?

Woordgebruik

In vragen moet je vakjargon en straattaal zoveel mogelijk voorkomen, tenzij je een specifieke groep ondervraagt waarvan je zeker weet dat ze je taalgebruik begrijpen. Ambiguïteit (dubbelzinnigheid) moet ook voorkomen worden. Als je naar iemands inkomen vraagt, moet je daarbij vermelden of het gaat om jaarlijks of maandelijks, bruto of netto inkomen. Verschillende respondenten kunnen de vraag namelijk verschillend interpreteren, waardoor je resultaten niet meer met elkaar te vergelijken zijn. Daarnaast moet je niet al te emotioneel beladen termen gebruiken. Die kunnen de antwoorden van mensen namelijk sturen. Als je iemands mening over abortus vraagt, maakt het uit of je de term ‘abortus’ of ‘kindermoord’ gebruikt. Tot slot moet je dubbele ontkenningen vermijden.

Leidende vragen

Leidende vragen worden gebruikt als de onderzoeker het antwoord van de respondent wil manipuleren en het in een bepaalde richting wil sturen. In een eerlijk, neutraal onderzoek moeten deze vragen vermeden worden. Een leidende vraag is zo verwoord, dat een respondent naar een bepaald antwoord toe wordt geduwd. Een voorbeeld van een dergelijke vraag is: ‘De meeste mensen vinden dat… Vindt u ook niet dat…’ of: ‘Heb je voldaan aan je burgerlijke plicht en gestemd bij de verkiezingen?’. Een gerelateerde fout is om foute vooronderstellingen te maken. Je vraagt bijvoorbeeld niet: ‘Sinds wanneer slaat u uw vrouw?’, maar: ‘Heeft u uw vrouw wel eens geslagen?’.

Andere fouten

Een andere fout die je kunt maken, is prestige vertekening. Hierbij worden mensen beïnvloed, doordat je eerst vertelt wat de mening van een belangrijk figuur is. Mensen kunnen dan een antwoord geven dat meer uitdrukt dat ze het eens zijn met die figuur dan dat het hun eigen mening vertolkt. Ook dubbele (‘double-barreled’) vragen moeten vermeden worden. Hierbij stel je twee vragen in één. Een voorbeeld is: ‘Ben je voor homohuwelijk en abortus?’. Als de respondent het eens is met homohuwelijk, maar tegen abortus, kan hij dus twee antwoorden geven. Nog een andere fout is de fout waarin je de mening van respondenten gebruikt als antwoord op je hypothese. Als je het verband tussen inkomen en opleiding onderzoekt, stel je een vraag over opleiding en een vraag over inkomen. Je stelt niet de vraag: ‘Wat denkt u dat het verband is tussen opleiding en inkomen?’. Nog een fout is vragen stellen die respondenten niet kunnen beantwoorden. Verder moeten vragen niet te gedetailleerd zijn, zoals ‘Hoeveel uur televisie per maand keek u toen u 10 jaar oud was?’. Ook moeten ze niet te ver vooruit vragen, zoals: ‘Hoeveel procent van uw inkomen zult u investeren als u 40 jaar oud bent?’. Ten slotte moet je ervoor zorgen dat de antwoordcategorieën in balans zijn. Als je vraagt om een beoordeling van service, geef je niet alleen de categorieën ‘goed’ en ‘uitstekend,’ maar ook ‘matig’ en ‘slecht.’

Wat is het format van vragen?

Open en gesloten vragen

In een open vraag format kan een respondent ieder antwoord geven dat hij wil. Dit wordt ook wel een ‘ongestructureerd’ of ‘vrij’ antwoord genoemd. Bij een gesloten vraag format moet de respondent kiezen tussen een bepaald aantal vaste antwoordmogelijkheden. Een gesloten vraag moet mutueel exclusief, uitputtend en gebalanceerd zijn. Om deze termen nog even te herhalen, mutueel exclusief houdt in dat antwoordcategorieën niet overlappen. Uitputtend betekent dat iedere respondent een keuze heeft. Een gebalanceerde vraag houdt in dat je evenveel antwoordmogelijkheden aan de ene kant van het continuüm geeft als aan de andere kant. Ongebalanceerde antwoordmogelijkheden zijn bijvoorbeeld: slecht – goed – zeer goed – uitstekend. Een gebalanceerde variant is: slecht – matig – redelijk – goed. Ieder format heeft voor- en nadelen.

Een open vraag kost meer tijd en vergt meer verbale vaardigheid van de respondent. De antwoorden zijn moeilijk te coderen. Tegelijkertijd geven de antwoorden meer informatie en zijn ze geschikt voor ontdekkend onderzoek. Tevens zijn open vragen beter in staat om het gedachteproces van de respondent te meten. Niettemin zijn dergelijke vragen alleen praktisch in kleine steekproeven met korte vragenlijsten. Gesloten vragen zijn sneller en makkelijker voor zowel respondent als onderzoeker. Wel vraagt het een hoop voorbereiding om dergelijke vragen op te stellen. Bijvoorbeeld: hoeveel antwoordmogelijkheden geef je? Hoe specifiek stel je je vraag? Grootschalige onderzoeken dwingen je om gesloten vragen te stellen. Het nadeel is dat je informatie verliest. Om de nadelen van beide formats te vermijden, kun je een combinatie maken van open en gesloten vragen, of gedeeltelijk open vragen gebruiken. Een gedeeltelijk open vraag is een vraag met vaste antwoordmogelijkheden en één antwoordmogelijkheid waarbij je zelf een alternatief kunt bedenken (‘anders, namelijk…’). De voor- en nadelen van beide formats staan verder uitgelicht in de tabel op pag. 161.

Contingente vragen

Een contingente vraag bestaat uit twee delen, waarbij in het eerste deel wordt bepaald wie de vervolgvraag moet beantwoorden. Dit wordt ook wel een screen vraag of een skip vraag genoemd. Een contingente vraag is bijvoorbeeld: ‘Heeft u gestemd? Zo ja, op wie? Zo nee, ga naar vraag 2.’

Het ‘weet ik niet’ alternatief

Onderzoekers bediscussiëren of het goed is om een ‘weet ik niet’ of ‘geen mening’ alternatief aan te bieden in een vragenlijst. Je moet een afweging maken tussen het risico dat iemand zonder mening gedwongen wordt een mening te geven en het risico dat iemand met een mening invult dat hij geen mening heeft. In een standaard format vraag bied je geen ‘weet ik niet’ alternatief. Er zijn twee formats voor vragen die dat alternatief wel bieden. Bij een quasi-filter vraag bied je simpelweg een ‘weet ik niet’ antwoordmogelijkheid. Bij een volledige filter vraag, vraag je de respondent eerst of hij ergens een mening over heeft en pas daarna wat die mening dan is. Dit proces kun je ook omdraaien: je stelt een quasi-filter vraag en vraagt degene met mening wat die mening dan is, en degene zonder mening stuur je door naar de volgende vraag.

Welke vragen worden op welke manier beantwoord?

Vragen naar vroegere gebeurtenissen

Als je vragen stelt over gebeurtenissen die lang geleden zijn, geven respondenten vaak inaccuraat antwoord. Ze nemen te weinig tijd om antwoord te geven of herinneren zich de gebeurtenis simpelweg niet goed. Ook kan het lastig zijn als het gaat om gevoelige gebeurtenissen, dingen die werden overschaduwd door andere gebeurtenissen, als de gebeurtenis niet betekenisvol was, of als de persoon bang is iets te zeggen wat in tegenspraak is met zijn huidige attitudes. Om te zorgen dat je een zo accuraat mogelijk antwoord krijgt, kun je respondenten duidelijk(er) instrueren, hen extra tijd geven of hen een duidelijk tijdskader verschaffen. Dat laatste doe je bijvoorbeeld door niet te vragen hoeveel ze het afgelopen jaar gesport hebben, maar per maand uit te vragen hoeveel ze gesport hebben, waarbij je achteraf zelf het rekenwerk doet.

Vragen naar gevoelige informatie

Soms wil je vragen naar informatie waar mensen zich voor schamen. De meeste respondenten proberen een positief beeld van zichzelf neer te zetten, waardoor ze negatieve dingen over zichzelf verzwijgen en positieve overdrijven. Mensen zijn bijvoorbeeld geneigd te liegen over hun gezondheid, illegaal gedrag of hun financiële status. Er zijn verschillende technieken om toch een accuraat antwoord te krijgen. Zo kun je gevoelige vragen beter pas na enige tijd stellen, nadat de onderzoeker het vertrouwen van de respondent heeft gewonnen en vertrouwelijkheid heeft verzekerd. Ook kun je een bepaalde context verschaffen. Als je zegt: ‘Veel mensen geven toe wel eens gestolen te hebben. Heeft u wel eens gestolen?’ is die vraag makkelijker te beantwoorden dan wanneer je simpelweg vraagt of iemand wel eens gestolen heeft. Ook kun je eerst ‘ernstigere’ vragen stellen. Als je eerst vraagt of iemand wel eens een moord heeft gepleegd, is hij geneigd om de vraag of hij wel eens gestolen heeft als minder bedreigend te ervaren. Ook je woordkeuze is van belang. De vraag: ‘Heeft u zich wel eens schuldig gemaakt aan winkeldiefstal?’ wordt eerder ontkennend beantwoordt dan Heeft u wel eens iets uit een winkel meegenomen zonder ervoor te betalen?’. Het effect dat mensen zo antwoorden dat ze denken dat ze zouden moeten antwoorden of zo dat ze een positief beeld van zichzelf neerzetten, wordt sociale wenselijkheidsvertekening genoemd. Je kunt dit tegengaan door de verwerpelijkheid van de activiteit af te zwakken. Ook kun je gezichtsreddende alternatieven bieden. Als je bijvoorbeeld vraagt: ‘Heeft u gestemd dit jaar?’ kun je naast de antwoordmogelijkheden ‘ja’ en ‘nee’ ook de mogelijkheid ‘normaal gesproken wel, maar dit jaar helaas niet’ bieden.

Waarom is de lengte van de vragenlijst belangrijk?

Hoe lang je vragenlijst moet zijn, hangt af van het type onderzoek. Een telefonisch onderzoek duurt zelden langer dan een kwartier. Voor een webonderzoek geldt hetzelfde. Vragenlijsten die over de mail worden gestuurd, kunnen wat langer zijn, maar weinig mensen nemen de tijd om meer dan 100 vragen te beantwoorden. Een face-to-face interview duurt meestal zo’n halfuur. Ook het type respondenten maakt uit. Hoogopgeleiden en mensen voor wie het onderwerp relevant is, zijn vaker bereid om lange vragenlijsten in te vullen.

Vraagvolgorde

De volgorde waarin je je vragen stelt, heeft invloed op de antwoorden van de respondent. Dit heet een volgorde-effect. In een onderzoek werd bijvoorbeeld gevraagd of de respondent zich zorgen maakte over misdaad. Ook werd gevraagd wat hij over een nieuwe wet dacht. Als de misdaadvraag eerst gesteld werd, was zijn attitude over de nieuwe wet anders dan wanneer de wetvraag eerst gesteld werd. Dit volgorde-effect treedt dus op als de inhoud van de vraag gevoelens oproept die een rol spelen bij de andere vraag. Het kan ook optreden als de respondent aanneemt dat twee vragen met elkaar te maken hebben, terwijl dat niet het geval is. Het volgorde-effect is het sterkst voor mensen die geen extreme mening hebben, minder hoogopgeleiden of ouderen. Ook andere factoren in de context kunnen antwoorden beïnvloeden. Als onderzoeker moet je je hiervan bewust zijn en er rekening mee houden in de organisatie van je vragen. Je stelt bijvoorbeeld eerst een algemene vraag en daarna een specifieke. Vragen die elkaar kunnen beïnvloeden, moeten niet direct achter elkaar worden gesteld. Je kunt een vragenlijst het beste beginnen met interessante, niet al te moeilijke vragen. Demografische informatie kun je beter achteraf vragen. Onderwerpen moeten logisch uit elkaar voortvloeien en verschillende delen van de vragenlijst moeten door korte uitleg aan elkaar verbonden worden. Aan al deze vragen moet worden voldaan om goed bruikbare data te verkrijgen.

Op welke manier kun je vragenlijsten afnemen?

Schriftelijke vragenlijsten

Je kunt vragenlijsten e-mailen naar of uitreiken aan mensen en hen vragen ze ingevuld terug te sturen. Het voordeel hiervan is dat het erg goedkoop is en dat je een grote groep kunt bereiken. Tevens garanderen vragenlijsten anonimiteit en voorkomen ze vertekening door aanwezigheid van een interviewer. Een nadeel is een lage respons. Dit is vooral een probleem, omdat mensen die de vragenlijst wel opsturen op relevante punten kunnen verschillen van mensen die hem niet opsturen. Op die manier is de steekproef niet representatief. Een ander nadeel is dat je geen controle hebt over de situatie waarin de vragenlijst wordt ingevuld. Gebeurt dat tijdens een feestje? Of zitten er weken tussen het beantwoorden van de ene en de andere vraag? Ook kun je je afvragen of de vragenlijst wordt ingevuld door degene die jij had uitgekozen. Ten slotte zijn sommige vragen van zichzelf al niet geschikt om via een schriftelijke vragenlijst te stellen, bijvoorbeeld vragen die een lang, open antwoord behoeven.

Telefonische interviews

Het telefonische interview is populair, omdat je er op gemakkelijke wijze zo’n 95% van de bevolking mee kunt bereiken. Je steekproefkader is een telefoonboek of random-digit dialing. Het is een flexibele methode en het heeft dezelfde kracht als een face-to-face interview. Een nadeel is dat het duurder is. Ook heeft niet iedereen een telefoon en is lang niet iedereen bereid deel te nemen aan het interview. Daarnaast bestaat de kans op interviewervertekening (zie volgende pagina) en wordt de respondent minder anoniem. Open vragen zijn ook hier minder geschikt.

Face-to-face interviews

Bij een rechtstreeks, face-to-face interview heb je de hoogste respons en kun je de langste interviews houden. Je kunt de context observeren en gebruik maken van non-verbale communicatie. De kosten van een dergelijk interview zijn echter veel hoger. Ook is de kans op interviewer vertekening in dit survey format het hoogst.

Internet surveys

Online vragenlijsten zijn goedkoop en snel. Het geografische bereik is bovendien wereldwijd. Bij dit format kunnen ook visuele vragen gesteld worden. Een nadeel is dat niet iedereen toegang tot internet heeft. Net als bij schriftelijke vragenlijsten kan een lage respons tot een niet representatieve steekproef leiden en kun je de omstandigheden, waarin iemand de vragenlijst invult niet controleren.

Wat zijn belangrijke aspecten van een interview?

Het interview (telefonisch of rechtstreeks) is een moeilijke vorm van vragenlijstonderzoek. Een interview is een kortdurende interactie waarbij de sociale rollen vastliggen: de één stelt de vragen, de ander beantwoordt ze. De interviewer bedenkt zijn vragen vooraf, de geïnterviewde is niet voorbereid. Sommige respondenten weten niet wat hun rol is, waardoor zij een zelfbedachte rol kunnen aannemen, die hun antwoorden vertekent. Het is aan de interviewer om dit te corrigeren en duidelijk te communiceren wat er van de respondent verwacht wordt. Interviewers moeten een warme houding aannemen en ervoor zorgen dat de respondent meewerkt. Tegelijkertijd moeten ze zo neutraal en objectief mogelijk zijn. De interviewer verbergt zijn eigen mening (zowel verbaal als non-verbaal) en laat geen oordeel doorschemeren. De interviewer stuurt de interactie en creëert een situatie waarin de respondent eerlijke antwoorden durft te geven.

Interviewfases

Het interview bestaat uit verschillende fasen. In de introductie bouwt de interviewer een samenwerkingsrelatie op met de respondent. Hij legt uit wat het doel van het interview is en schept duidelijke rolverwachtingen. Ook het informed consent vindt plaats in deze fase. In de hoofdfase van het interview worden de vragen gesteld en beantwoord. De vragen worden letterlijk voorgelezen van de vragenlijst. De interviewer schrijft de antwoorden op. Hij parafraseert niet en vat niet samen, omdat dan belangrijke informatie verloren kan gaan. Een interviewer gebruikt doorvragen (‘probes’): een neutraal verzoek aan de respondent om een antwoord te verhelderen, aan te vullen of relevant te maken. Dit kun je non-verbaal doen, door een pauze te laten vallen of door de respondent vragend aan te kijken. Ook kun je neutrale vragen stellen, zoals ‘kunt u dat toelichten?’. Men moet voorzichtig omspringen met doorvragen, omdat het de antwoorden van de respondent kan beïnvloeden. Toch kan het de accuratesse van de antwoorden verbeteren. In de laatste fase vertrekt de interviewer en bedankt hij de respondent. Daarna schrijft hij de details van het interview op. Hij noteert de datum, maar ook of er nog bijzonderheden optraden tijdens het interview en hoe de respondent op hem overkwam.

Trainen van interviewers

Interviewen is geen gemakkelijke taak en vergt voorbereiding. Een goede interviewer is verantwoordelijk, intelligent, stabiel, kalm, betrouwbaar en tactvol. Hij/zij heeft een niet-bedreigend uiterlijk. Interviewers kunnen leren door naar anderen te kijken, door zelf te oefenen en door informatie over ‘interviewen’ te lezen.

Interviewervertekening

In het ideale geval zijn de antwoorden van respondenten volledig onafhankelijk van de interviewer. Interviewers worden getraind om objectief en neutraal te zijn en de respondenten zo min mogelijk te beïnvloeden. Echter, ook zichtbare kenmerken die interviewers niet kunnen verhullen, zoals sekse of ras, kunnen de antwoorden van respondenten vertekenen. Dit geldt vooral als de vragen gerelateerd zijn aan deze kenmerken. Ook in telefonische interviews treedt dit effect op. Uit onderzoek blijkt dat het ras en de sekse van de onderzoeker invloed heeft op prestaties van deelnemers. Als in dit onderzoek een man een wiskundetest afnam gingen vrouwen slechter presteren, omdat ze zich door de sekse van de onderzoeker (man) bewust werden van het stereotype dat vrouwen slecht(er) zijn in wiskunde. Door deze bewustwording, en de bijbehorende angst die dit opwekte, gingen ze slechter presteren. Dit fenomeen heet stereotype threat. Waarschijnlijk treedt dit effect ook op in interviews. De angst die wordt opgewekt door bewustzijn van het stereotype kan antwoorden op allerlei vragen vertekenen. In het algemeen geldt dat een interview het beste kan worden afgenomen door iemand van dezelfde sekse en hetzelfde ras.

Computer geassisteerd telefonisch interview

Veel telefonische interviews maken gebruik van technologie die het telefonische interview integreert met een computer waar de vragen van kunnen worden afgelezen en waarop de antwoorden kunnen worden ingevoerd. Dit heet computer geassisteerd telefonisch interview (CATI). Met CATI gaat het interviewen sneller en wordt ook de aparte stap van het invoeren van gegevens in de computer verwijderd. Bovendien kan de computer een antwoord direct controleren en aangeven wanneer een antwoord fout wordt ingevoerd (bijvoorbeeld H i.p.v. M om de sekse aan te geven).

Waar komt ethiek kijken bij vragenlijstonderzoek?

Er is een aantal ethische kwesties, waarmee je rekening moet houden bij vragenlijstonderzoek. Zo moet je de privacy van de respondenten garanderen. Je mag mensen nooit dwingen deel te nemen. Je doelen moeten oprecht zijn. Bij een pseudosurvey wordt een vragenlijst gebruikt als voorwendsel om mensen iets te verkopen of om hen te overtuigen van het één of ander. Ten slotte is het belangrijk om je methoden te vermelden. Je noemt je steekproefkader, je data, de populatie, de steekproefgrootte, de steekproeftrekkingsmethode, de gestelde vragen, het survey format, de sponsors en de hoeveelheid respons. In de media worden methoden vaak niet beschreven, waardoor een slecht uitgevoerd onderzoek soms net zoveel waarde krijgt toegekend als een goed onderzoek.

Hoe werkt het uitvoeren van experimenteel onderzoek? - Chapter 7

Wat zijn experimenten en welke onderdelen hebben deze?

In het dagelijks leven voer je onbewust allerlei experimenten uit. Je maakt bijvoorbeeld een voor-na vergelijking. Je kijkt naar een situatie, verandert iets in de situatie en kijkt wat de uitkomst is. Je weet dat de nieuwe situatie veroorzaakt is door de verandering die je hebt aangebracht. Ook maak je zij-aan-zij vergelijkingen. Hierbij kijk je naar twee gelijke zaken, waarbij je slechts bij één van de twee een verandering aanbrengt. Je hebt bijvoorbeeld twee blikjes frisdrank en je schudt de een, maar niet de ander. Dan weet je dat het schudden de oorzaak is dat de frisdrank uit het ene blikje spuit, maar niet uit het andere. Dit is de simpele logica van het wetenschappelijke experiment. Je formuleert een hypothese over een causale relatie. Vervolgens verander je iets aan de situatie. Je vergelijkt daarna de veranderde situatie met een niet-veranderde situatie en kijkt wat voor effect je verandering heeft gehad. Het experiment is het meest geschikt om causale relaties te testen. Deze methode voldoet het beste aan de voorwaarden voor causaliteit, zoals beschreven in hoofdstuk 2.

Hieronder worden de onderdelen van het experiment behandeld. De volgende stappen van het experiment worden in dit hoofdstuk uitgelegd:

1. Bedenk een hypothese;

2. Bedenk een experimenteel design;

3. Besluit hoe je de onafhankelijke variabele gaat manipuleren;

4. Bedenk hoe je de onafhankelijke variabele gaat meten;

5. Ontwerp een experimentele setting en pilot test je instrumenten;

6. Lokaliseer participanten;

7. Wijs participanten willekeurig toe aan condities;

8. Verzamel pre-test data;

9. Introduceer de manipulatie bij de experimentele groep;

10. Verzamel posttest data;

11. Debrief de participanten;

12. Analyseer de data.

Wanneer is een experiment geschikt?

Een vragenlijstonderzoek is het meest geschikt om de meningen van mensen te meten, om zelfrapportage te verkrijgen van die dingen waarvan mensen zich bewust zijn. Een experiment is hiervoor niet geschikt. Een experiment is vooral bruikbaar in specifieke, nauw te definiëren situaties, waarin je de relatie bekijkt tussen twee tot drie variabelen. Voor grote, complexe fenomenen is het experiment te beperkt. Tevens heb je te maken met ethische en praktische beperkingen: je kunt niet alles met mensen doen om te kijken wat het effect op hen is. Stel dat je wilt vergelijken hoe enige kinderen het doen in vergelijking met kinderen die wel broers en zussen hebben. In een experiment zou je dan willekeurig ouders selecteren waarvan de ene helft een kind krijgt en de andere helft meerdere kinderen. Dit is natuurlijk niet mogelijk. Een ideaal onderzoek bestaat uit zowel experimentele als non-experimentele technieken. Op die manier vul je de nadelen van beide methoden aan.

Wat is de rol van willekeurige toewijzing?

In experimenteel onderzoek vergelijk je zaken met elkaar die op alle gebieden hetzelfde zijn, behalve op de factor die jij in het onderzoek manipuleert. Je wilt dat de groepen zo gelijk mogelijk zijn, zodat de uitkomsten alleen veroorzaakt kunnen zijn door jouw manipulatie en niet door verschillen tussen de groepen die er al waren. Om dit te bereiken, maak je gebruik van willekeurige toewijzing, waarbij participanten op willekeurige wijze in groepen worden ingedeeld. Dat betekent dat iedereen een even grote kans heeft om in de ene dan wel in de andere conditie terecht te komen. Op die manier worden alle individuele verschillen gelijk verdeeld over de condities en zijn de groepen min of meer gelijk. Willekeurige toewijzing is iets anders dan willekeurige steekproeftrekking: bij steekproeftrekking gaat het om willekeurige selectie van een steekproef uit een populatie; bij toewijzing gaat het om willekeurige indeling van groepen. In het ideale geval maak je gebruik van beide willekeurige methoden. Bij kleinere groepen is de kans minder groot dat je door willekeurige toewijzing gelijke (equivalente) groepen krijgt. Daarom maken sommige onderzoekers gebruik van 'matchen': ze zorgen dat een bepaald kenmerk evenredig is verdeeld over de groepen. Als in de ene groep 80% man is, moet dat in de andere groep eveneens het geval zijn. Matchen is echter onpraktisch: je weet niet van tevoren welke factoren invloed zullen hebben op je resultaten en waarop je dus zou moeten matchen. Hoe meer factoren dat zijn, hoe onmogelijker het wordt om precies gematchte groepen te creëren. Over het algemeen geldt dat willekeurige toewijzing een effectievere methode is.

Welke kenmerken heeft een experiment?

Experimenten kunnen de volgende onderdelen hebben:

• Een onafhankelijke variabele: de variabele waarvan het effect op een andere variabele gemeten wordt; hetgeen wat in een experiment gemanipuleerd wordt. Dit heet ook wel: behandeling, interventie, manipulatie. Dit kunnen allerlei dingen zijn. Je kunt dit zien als de oorzaak.

• Een afhankelijke variabele: de variabele waarop de onafhankelijke variabele effect heeft. Deze kan op allerlei manieren gemeten worden, bijvoorbeeld fysiologisch, door een vragenlijst of door gedragsobservatie. Je kunt zit zien als het gevolg.

• Pre-test: een meting van de afhankelijke variabele vóór de introductie van de onafhankelijke variabele. Dit is het basisniveau van de afhankelijke variabele voordat er iets wordt gemanipuleerd. Een pre-test is vergelijkingsmateriaal: hiermee vergelijk je de posttest om te zien of er na de manipulatie iets is veranderd.

• Posttest: een meting van de afhankelijke variabele na de manipulatie. Aan deze meting kun je zien of er iets is veranderd ten opzichte van de pre-test.

• Experimentele groep: in een onafhankelijke groepen design (een design waarbij twee groepen vergeleken worden) heb je ten eerste een experimentele groep. Dit is de groep die de manipulatie ondergaat, de groep waarin de onafhankelijke variabele gemanipuleerd wordt. De andere groep is de controlegroep, zie hieronder. Een onafhankelijke groepen design is de tegenhanger van het herhaalde metingen design, waarbij er maar één groep is die alle manipulaties ondergaat.

• Controlegroep: in een onafhankelijke groepen design is dit de groep, waarbij de variabele niet gemanipuleerd wordt. Deze groep dient als vergelijkingsmateriaal met de experimentele groep. Als de onafhankelijke variabele meerdere niveaus heeft, creëer je meerdere groepen die elk een andere manipulatie krijgen. Deze groepen worden vergelijkingsgroepen genoemd.

• Willekeurige toewijzing: ook wel randomisatie, waarbij je participanten willekeurig toewijst aan één van de groepen in het experiment

Hoe hou je controle over het experiment?

Het is heel belangrijk om alle aspecten van de experimentele situatie constant te houden. Als de situatie iedere keer verschillend is, kunnen die verschillen optreden als alternatieve verklaringen voor je resultaten. Je wilt het geïsoleerde effect van de onafhankelijke variabele op de afhankelijke variabele meten, en zult dus iedere andere mogelijke invloed moeten uitsluiten. Een aspect van de situatie dat je moet controleren, is het spontane gedrag van participanten. Als participanten weten wat er gemeten wordt, kunnen ze hun gedrag daaraan aanpassen. Daarom maken onderzoekers vaak gebruik van deceptie: misleiding over het ware doel van het onderzoek. Ook kunnen participanten worden misleid over de variabelen, die gemeten worden. Bij deceptie worden ook wel confederates gebruikt, medewerkers van de onderzoeker die doen alsof ze participanten of buitenstaander zijn, maar die eigenlijk een bepaalde taak hebben in het onderzoek.

Welke types experimentele designs zijn er?

Het experimentele design van een studie beschrijft hoe delen van het experiment zijn gearrangeerd. Er bestaan verschillende standaard designs. Er zijn ware experimentele designs, die voldoen aan de noodzakelijke voorwaarden voor causale gevolgtrekkingen, en pre-experimentele en quasi-experimentele designs, die hieraan minder goed voldoen. Hieronder wordt een aantal designs besproken dat onder deze groepen valt.

Ware experimentele designs

• Het klassieke experimentele design bevat alle sleutelelementen die het experiment versterken: willekeurige toewijzing, controlegroepen en experimentele groepen, en pre-test en posttest. Dit is zogezegd het ideale experiment.

• In het tweegroepen met alleen posttest design ontbreekt de pre-test. Hoewel er sprake is van willekeurige toewijzing, kun je nooit zeker weten of er een verandering heeft plaatsgevonden, omdat je niet weet wat de staat van de afhankelijke variabele eerst was. Een reden om geen pre-test uit te voeren, is dat het invloed kan hebben op het gedrag van participanten. Zij kunnen nu immers raden waar het onderzoek over gaat.

• In het Solomon viergroepen design wordt gebruik gemaakt van het weglaten van een pre-test, maar wordt tegelijkertijd gecontroleerd of er een verandering heeft plaatsgevonden. Bij dit design zijn er vier groepen: twee experimentele groepen waarbij de ene wel een pre-test krijgt en de andere niet, en twee controlegroepen waarbij de ene wel een pre-test krijgt en de andere niet. In dit design controleer je eigenlijk voor de effecten van de pre-test.

• In het Latijns vierkant design controleer je voor volgorde-effecten: je laat iedere groep iedere experimentele conditie doorlopen, maar iedere groep doet dit in een andere volgorde. Je hebt bijvoorbeeld een groep die eerst de experimentele conditie doet en dan de controleconditie en een groep die eerst de controleconditie en dan de experimentele conditie doet.

Soms is een onderzoeker geïnteresseerd in het (gecombineerde) effect van meer dan één variabele. In het factorieel design onderzoek je de impact van meer dan één onafhankelijke variabele op een afhankelijke variabele. Hierbij kijk je namelijk naar ieder mogelijke combinatie tussen de niveaus van de onafhankelijke variabelen. Stel dat je het gecombineerde effect van sekse en beleefdheid op het aantal fooien wil bekijken, dan heb je vier condities nodig, namelijk man-beleefd, man-onbeleefd, vrouw-beleefd en vrouw-onbeleefd. Bij het toevoegen van een extra niveau groeit het aantal condities snel. In een factorieel design kun je twee soorten effecten opsporen.

Een hoofdeffect is het simpele effect van een onafhankelijke variabele op een afhankelijke variabele. Een interactie-effect is het gecombineerde effect van twee of meer onafhankelijke variabelen op een afhankelijke variabele. Dit effect is groter dan de hoofdeffecten van de onafhankelijke variabelen afzonderlijk. Er wordt dan gesteld dat het effect van de ene variabele afhangt van het niveau van de andere variabele. Een voorbeeld is dat beleefdheid alleen invloed heeft op de hoeveelheid fooi bij vrouwen en niet bij mannen. De invloed van de factor beleefdheid hangt dus af van het niveau van de factor sekse. Er bestaat een speciale notatie voor factoriële designs, bijvoorbeeld 2x3x2. Het aantal cijfers is het aantal onafhankelijke variabelen (factoren). De waarde van de cijfers geeft aan hoeveel niveaus iedere variabele heeft. Als je de cijfers met elkaar vermenigvuldigt, krijg je het totale aantal condities van het design. In dit voorbeeld is er sprake van drie factoren, met respectievelijk 2, 3 en 2 niveaus. Er zijn dan dus 12 condities.

Pre-experimentele designs

Designs die één of meer van de essentiële elementen van het klassieke design missen, worden pre-experimentele designs genoemd. Deze designs zijn zwakker, maar kunnen uitkomst bieden in situaties waarin het onmogelijk is om te voldoen aan alle voorwaarden van het klassieke design. Er zijn verschillende soorten pre-experimentele designs:

• One-shot case study design, ook wel one-group posttest-only design: in dit design is er één groep die een manipulatie ondergaat. Er is geen pre-test, maar wel een posttest. Er is geen sprake van willekeurige toewijzing. In dit design gaat men er simpelweg van uit dat de waarden op de posttest veroorzaakt zijn door de manipulatie. Het is een relatief zwak design.

• Enkele groep pre-test-posttest design: dit design kent één groep, een pre-test, een manipulatie en een posttest, maar er is geen willekeurige toewijzing. Met dit design kun je verandering na de manipulatie meten, maar je hebt geen controlegroep, waardoor je niet weet of eventuele verandering echt veroorzaakt is door de manipulatie.

• Statische groepsvergelijkingen, ook wel alleen-posttest non-equivalente groependesign genoemd: hierin zijn er twee ongelijke (non-equivalente) groepen, die een manipulatie ondergaan. Er is een posttest, maar geen pre-test. Er is geen willekeurige toewijzing, waardoor de groepen ongelijk zijn. Hierdoor weet je niet of verschillen tussen de groepen veroorzaakt zijn door de manipulatie, of dat deze al bestonden.

Quasi-experimentele designs

In veel gevallen kun je geen waar experimenteel design opzetten, bijvoorbeeld omdat de onafhankelijke variabele niet gemanipuleerd kan worden, zoals het meemaken van een trauma. Toch kunnen in dergelijke situaties experimenten worden uitgevoerd, namelijk middels quasi-experimentele designs. In deze designs heb je minder controle over de variabelen. Velen ervan zijn herhaalde metingen designs (meerdere metingen van dezelfde variabele(n) bij dezelfde persoon). Hieronder staat een aantal voorbeelden van dit design:

• Onderbroken tijd seriedesign: in dit design heb je slechts één groep. Je doet meerdere metingen van de afhankelijke variabele zowel voor als na de manipulatie. Zo kun je veranderingen na de manipulatie meten.

• Equivalente tijd seriedesign: lijkt sterk op het onderbroken tijd seriedesign, maar in plaats van een manipulatie alléén heeft het een pre-test, dan een manipulatie en dan een posttest. Dan weer een manipulatie en posttest, enzovoorts.

Designnotatie

Om het experimentele design op een overzichtelijke en snelle wijze te kunnen noteren, zijn er symbolen bedacht. Dit heet designnotatie. De X staat voor de onafhankelijke variabele. Een subscript bij de X kan aangeven welk niveau van de variabele onderzocht wordt. De O staat voor de meting van de afhankelijke variabele. Een subscript kan aangeven of het om een voor- of nameting gaat. De R staat voor willekeurige toewijzing. Bij design notatie zet je de symbolen op volgorde van hoe je ze hebt uitgevoerd. Bij een klassiek experimenteel design krijg je eerst R, dan twee keer O (voormetingen van de twee groepen), dan X (de manipulatie) en dan weer twee keer O (nametingen van de twee groepen). In figuur 7.8 op pag. 193 staan de eerder behandelde designs volgens de designnotatie weergegeven.

Wat is interne validiteit?

In een experiment wil je de uitspraak doen dat de onafhankelijke variabele een oorzakelijke relatie heeft met de afhankelijke variabele. Je wilt dus alternatieve verklaringen uitsluiten. Dit is interne validiteit: je kan zeggen dat de onafhankelijke variabele verandering in de afhankelijke variabele heeft veroorzaakt. Interne validiteit is niet vanzelfsprekend. Er zijn verschillende fouten die in het experiment kunnen optreden die een bedreiging voor de interne validiteit vormen:

• Selectievertekening: het effect dat de mensen die geselecteerd worden voor de ene groep verschillen van de mensen die geselecteerd worden voor de andere groep. Dit treedt bijvoorbeeld op als eerst alleen participanten voor groep 1 worden geworven en dan alleen voor groep 2. Het kan zijn dat de mensen voor groep 1 zich eerder hadden opgegeven, omdat ze gemotiveerder waren dan de mensen in groep 2. Deze vertekening kan worden voorkomen door gebruik te maken van willekeurige toewijzing. Ook kun je met een pre-test kijken of de groepen al dan niet van elkaar verschillen.

• Geschiedenis: een onverwachte, ongerelateerde gebeurtenis heeft invloed op de afhankelijke variabele. Dit effect treedt eerder op in experimenten die lang duren.

• Maturatie: een psychologisch proces veroorzaakt veranderingen in de afhankelijke variabele. Mensen worden bijvoorbeeld moe en gaan daardoor slechter presteren. Dit effect is te detecteren door controlegroepen en pre-testen te gebruiken.

• Testeffect: soms verandert de voormeting de uiteindelijke prestatie van participanten in het experiment. Ze kunnen bijvoorbeeld raden wat er onderzocht wordt en hun gedrag aanpassen. Ook kan het zijn dat de voormeting fungeert als een soort oefening, waardoor ze later beter gaan presteren. Dit effect kan worden voorkomen met het Solomon viergroepen design.

• Experimentele mortaliteit, ook wel uitval (attritite): participanten vallen tussendoor af en maken het experiment niet af. Het risico hiervan is dat de participanten die afvallen op relevante punten verschillen van degenen die niet afvallen. Om dit effect te kunnen detecteren, moet je bij ieder testmoment het aantal participanten noteren.

• Contaminatie, ook wel diffusie van behandeling: het risico dat participanten van verschillende groepen met elkaar spreken over de behandeling die zij ontvangen en daardoor beïnvloed worden. Dit kun je voorkomen door de groepen te isoleren of door de participanten geheimhouding te laten beloven.

• Experimentator verwachting: het effect dat het gedrag van de experimentleider de scores van de participanten beïnvloedt. De experimentator kan indirect en onbedoeld zijn verwachtingen communiceren naar de participanten, waardoor de participanten in overeenstemming met die verwachtingen gaan presteren. Dit kun je voorkomen door onderzoeksassistenten te gebruiken, die niet weten in welke conditie de participanten verkeren. Dit is een dubbel blind experiment. Noch de participanten, noch de experimentleider weten in welke conditie de participanten zitten. Zo kunnen er geen verwachtingen gecommuniceerd worden.

Wat is externe validiteit?

Interne validiteit is geen garantie voor externe validiteit. Externe validiteit is de mate waarin je je resultaten naar andere situaties kunt generaliseren. Er zijn verschillende situaties die een bedreiging vormen voor externe validiteit:

• Niet-representatieve participanten: misschien verschilt de steekproef sterk van de populatie, waardoor je de resultaten niet naar de populatie kunt generaliseren.

• Kunstmatige setting: misschien is de situatie onnatuurlijk, waardoor de resultaten niet naar andere situaties te generaliseren zijn.

• Kunstmatige manipulatie: misschien is de manipulatie niet realistisch genoeg en is deze niet te generaliseren naar de gebeurtenis die werd nagebootst.

• Reactiviteit: het effect dat participanten hun gedrag aanpassen, omdat ze weten dat ze onderzocht worden. Dit wordt ook wel het Hawthorne effect genoemd, naar een studie waarbij participanten steeds productiever werden, ongeacht de manipulatie, puur omdat ze wisten dat ze onderzocht werden.

Veldexperimenten

Er zijn experimenten die per definitie een hogere externe validiteit hebben omdat ze plaatsvinden in een natuurlijke setting. Dit zijn veldexperimenten. Het grote nadeel van deze experimenten is dat de onderzoeker weinig controle heeft over de situatie, wat betekent dat de interne validiteit in gevaar komt. In laboratoriumexperimenten heb je meer controle en dus een grotere interne validiteit, maar is de setting minder natuurlijk en heb je minder externe validiteit. In veldexperimenten is de situatie dus andersom.

Natuurlijke experimenten

Soms vinden er gebeurtenissen plaats die post facto als experiment worden gebruikt, maar die niet als zodanig gepland waren. Dit kan als er voldoende gegevens verzameld kunnen worden om als data te fungeren. De interne validiteit is hierbij in gevaar: omdat de gebeurtenis niet gepland was, hebben de onderzoekers er geen controle over gehad. De externe validiteit is wel weer hoog: het gaat om een werkelijke gebeurtenis en het is dus te generaliseren naar de werkelijkheid.

Hoe analyseer je de resultaten van een experiment?

Het vergelijken van de resultaten van de groepen is het uiteindelijke doel van het experiment. Door de resultaten te vergelijken, kun je zien of de onafhankelijke variabele het voorspelde effect had op de afhankelijke variabele. Tevens kun je aan de data zien of er sprake is geweest van bedreigingen voor de interne validiteit. Zo kun je aan het aantal participanten bij iedere meting zien of er sprake is geweest van experimentele sterfelijkheid. Aan de voormeting kun je zien of de groepen equivalent waren aan het begin of dat er sprake was van selectievertekening. Als de voorspellingen niet uitkwamen, kun je overwegen of er sprake is geweest van maturatie, geschiedenis of diffusie van behandeling.

Waar komt ethiek kijken bij experimenten?

Ook in experimenten moet je je aan ethische richtlijnen houden. IRB’s (Instituational Review Boards) bepalen waaraan je participanten mag blootstellen. Je probeert zo min mogelijk gebruik te maken van deceptie. Ten slotte is het belangrijk dat je de participanten goed en volledig debrieft. Hierbij onthul je het ware doel van het experiment en ga je na hoe de participanten het experiment hebben beleefd en begrepen.

Wanneer doe je non-reactief onderzoek en hoe werkt dit? - Chapter 8

Als je iets wilt weten over het eetgedrag van mensen kun je meerdere aanpakken kiezen. Je kunt ze vragen naar hun eetgewoonten (vragenlijstonderzoek) of je kunt kijken naar de invloed van verschillende variabelen op het eetgedrag van mensen (experiment). Wat je ook kunt doen, is kijken naar de voedselverpakkingen die mensen hebben weggegooid. Het voordeel van deze laatste methode is dat mensen niet weten dat ze onderzocht worden. Ze kunnen zich dus niet anders gaan gedragen om een beter beeld van zichzelf te presenteren. Dit is een voorbeeld van non-reactief onderzoek: onderzoek waarbij de participanten zich niet bewust zijn van het feit dat ze deel uitmaken van een onderzoek. Non-reactief onderzoek maakt meestal gebruik van onopvallende (unobtrusive) metingen: metingen die zich niet aan een persoon opdringen of waarvan een persoon niets merkt. Dataverzameling gaat snel en indirect. Het nadeel is dat je weinig controle hebt over de onderzoekssituatie. In dit hoofdstuk worden vier non-reactieve technieken besproken, namelijk fysiek bewijsanalyse, inhoudsanalyse, bestaande statistiekenanalyse en secundaire data-analyse.

Hoe werkt fysiek bewijsanalyse?

Non-reactief onderzoek maakt vaak gebruik van fysiek bewijs, zoals afval. Non-reactieve data wijzen soms iets anders uit dan reactieve data. Uit onderzoek naar afval bleek bijvoorbeeld dat mensen meer alcohol dronken dan dat ze rapporteerden in een vragenlijst. Het afval-onderzoek gaf een eerlijker beeld. Antwoorden op een vragenlijst of gedrag in een experiment komen niet altijd overeen met de werkelijkheid. Als je op meer onopvallende, indirecte wijze meet, kom je soms meer te weten over de werkelijke situatie. Een onderzoek met fysiek bewijs bestaat uit de volgende stappen:

• Operationaliseer een variabele in termen van fysiek bewijs;

• Noteer het fysieke bewijs op systematische wijze;

• Identificeer en meet andere variabelen;

• Ga na wat voor alternatieve verklaringen er voor het fysieke bewijs kunnen zijn;

• Vergelijk de variabelen door middel van kwantitatieve data-analyse.

Omdat fysiek bewijs altijd indirect is, weet je nooit zeker of het inderdaad een meting is van de beoogde variabele of van een alternatieve, niet overwogen factor. Daarom moet je de conclusies altijd ondersteunen door onderzoek met reactieve metingen. Een onderzoeker moet creatief zijn en goed nadenken over wat zijn resultaten precies betekenen. Tevens is het goed om grote steekproeven te gebruiken, zodat alternatieve factoren gelijk verdeeld zijn en de resultaten hierdoor niet te sterk vertekenen. Een laatste beperking van deze techniek is mogelijke privacyschending. Mensen hebben namelijk nooit toestemming gegeven voor het onderzoek. Het is daarom extra belangrijk om vertrouwelijkheid en anonimiteit te garanderen. Je verzamelt data, maar koppelt deze niet aan een naam.

Wat is een inhoudsanalyse?

Een inhoudsanalyse is een non-reactieve techniek, waarbij communicatieboodschappen worden bestudeerd. De ‘inhoud’ kan woorden, symbolen, ideeën, foto’s en dergelijke zijn. Hetgeen wat onderzocht wordt, is de tekst: de schriftelijke dan wel visuele inhoud. Met inhoudsanalyse kun je bijvoorbeeld trends in kranten, seksestereotypen in films of persoonlijkheidskenmerken in zelfmoordbrieven analyseren. Inhoudsanalyse wordt vooral toegepast als er sprake is van grote volumes tekst, van onderwerpen ‘op afstand,’ zoals in de geschiedenis, en als de inhoud moeilijk op directe wijze te observeren is. In dit hoofdstuk wordt gefocust op de kwantitatieve variant van inhoudsanalyse, waarbij de inhoud gevat wordt in getallen. Dit gebeurt door aspecten van de inhoud te coderen.

Waarvoor wordt coderen gebruikt?

Om in inhoudsanalyse betrouwbare, repliceerbare data te genereren, maak je gebruik van een coderingssysteem. Dit is een set van regels die beschrijven hoe je op systematische en consistente wijze tekst naar variabelen converteert. De regels beschrijven hoe je observaties categoriseert. De categorieën die je vormt, moeten uitputtend en mutueel exclusief zijn. Bij het formuleren van categorieën denk je goed na over de eenheid van analyse en daarop stem je de dataverzameling af. Voordat je een definitief coderingssysteem instelt, voer je een pilot uit om te kijken of de regels werken. Je kunt een variabele op vijf aspecten coderen:

• Richting: is het onderdeel van de tekst in positieve of negatieve richting?

• Frequentie: hoe vaak komt een onderdeel voor?

• Intensiteit: hoe sterk komt het onderdeel voor?

• Ruimte: hoeveel ruimte of tijd krijgt een onderdeel?

• Prominentie: hoeveel aandacht wordt er aan een onderdeel besteed?

Er zijn twee manieren om een tekst te coderen. Bij manifeste codering noteer je informatie over de zichtbare, oppervlakkige inhoud van een tekst. Je telt bijvoorbeeld hoe vaak een woord of gedraging voorkomt. Deze methode is heel betrouwbaar, omdat er geen interpretatie aan te pas komt. Een nadeel is dat je geen rekening houdt met connotaties of context: in de ene zin kan iets anders bedoeld worden met een woord dan in de andere. Bij latente codering kijk je naar de onderliggende, impliciete betekenis van de inhoud. Je bestudeert een teksteenheid en interpreteert of er sprake is van een bepaald thema of een zekere stemming. Deze methode is minder betrouwbaar, omdat verschillende mensen verschillende thema’s kunnen ontdekken. Latente codering is wel meer valide dan manifeste codering, omdat het rekening houdt met betekenis en context. In het ideale geval gebruik je bij inhoudsanalyse zowel manifeste als latente codering. Als de resultaten van beide methoden overeenkomen, kun je meer vertrouwen hebben in de conclusies die je aan het einde trekt.

Wat is tussen-beoordelaarbetrouwbaarheid?

Zoals gezegd, kunnen verschillende beoordelaars een tekst anders coderen. Om de betrouwbaarheid van je onderzoek te vergroten moet je de beoordelaars goed trainen en moet je het coderingssysteem goed aan hen uitleggen. Iedere keer als je een beslissing over een ambigue situatie maakt, noteer je deze en gebruik je hem voor latere vergelijkbare situaties. Het is goed om te controleren of verschillende beoordelaars tekst op dezelfde wijze beoordelen. Dit kun je meten met interbeoordelaarbetrouwbaarheid (Engels: inter-rater reliability): een coëfficiënt tussen de 0 en 1 die aangeeft hoe consistent de inhoudsanalyse is. Een betrouwbaarheid van 0.7 is acceptabel, een betrouwbaarheid van 0.8 is zeer goed. Als het coderingsproces gedurende een lange tijd plaatsvindt, moet je de interbeoordelaarbetrouwbaarheid tussendoor controleren. Dit doe je door een beoordelaar na een tijdje weer dezelfde tekst te laten coderen als die hij/zij in het begin heeft gecodeerd en te kijken of hier weer hetzelfde uitkomt.

Hoe kun je visueel materiaal coderen?

Het coderen van visueel materiaal is vaak moeilijker dan het coderen van geschreven materiaal. Visueel materiaal bevat meer indirecte, emotionele boodschappen. Symbolen kunnen door verschillende mensen (in verschillende culturen) op verschillende manieren worden geïnterpreteerd. Bij het coderen moet je nagaan wat de betekenis van het materiaal in de context is.

Welke stappen zijn er in inhoudsanalyse?

1. Formuleer een onderzoeksvraag: als je vraag variabelen bevat die je het makkelijkst kunt meten met een tekst, is een inhoudsanalyse gepast. Conceptualiseer iedere variabele in termen van de tekst. Dit houdt in dat je moet bedenken wát je wilt onderzoeken, en wat je daar precies onder verstaat. Als je bijvoorbeeld gaat kijken naar hoeveel aandacht de politieke partijen in de media krijgen vlak voor de verkiezingen, ga je dan kijken naar de plek in de media (voorpagina/artikel ergens onopvallend), of naar de lengte van het artikel? Hierin moet je duidelijke keuzes maken voor je aan je onderzoek begint.

2. Identificeer de tekst die je gaat analyseren: zoek het meest geschikte communicatiemedium, selecteer een specifiek type tekst en bepaal het bereik.

3. Bepaal de eenheid van analyse: de eenheid van analyse is centraal voor de verdere planning. Ga je bijvoorbeeld artikelen, kranten of zinnen analyseren? Bepaal tevens wat er allemaal onder deze eenheid valt. Is een column of een advertentie ook een artikel?

4. Trek een steekproef: ook bij inhoudsanalyse kun je willekeurige steekproeftrekking gebruiken. Je populatie (ieder artikel over Amerikaanse presidenten) is vaak te groot om compleet te analyseren. Je selecteert een steekproefelement (de eenheid van analyse, bijvoorbeeld een artikel). Je stelt een steekproefkader op (de titels van alle artikelen) en daaruit selecteer je op willekeurige wijze een steekproef. Je kunt ook gebruik maken van gestratificeerde steekproeftrekking (zie hoofdstuk 4) als je er bijvoorbeeld zeker van wilt zijn dat je van ieder jaar minstens 2 artikelen hebt. Bij erg grote of moeilijk te identificeren populaties kun je ook gebruik maken van clustersteekproeftrekking.

5. Creëer een coderingssysteem: operationaliseer de variabelen in termen van te coderen eenheden. Bepaal of je latent of manifest of allebei zult coderen. Bepaal welk(e) aspect(en) je van de onderdelen wil coderen (bijv. richting of intensiteit).

6. Stel categorieën voor codering op: bepaal in hoeveel en in welke categorieën je de eenheden gaat coderen. Maak je bijvoorbeeld drie categorieën (laag, gemiddeld, hoog) of meerdere? Meet je een variabele in zijn geheel of meet je subcategorieën?

7. Codeer de data op recording sheets: stel een formulier op (op papier of bijvoorbeeld in Excel) waarop je de data kan invullen. Maak ruimte voor iedere variabele met haar categorieën en ook voor basisgegevens van het onderzoek, zoals de datum waarop het onderzoek plaatsvond. Ieder element (bijvoorbeeld één artikel) heeft zijn eigen sheet.

8. Analyseer de data: voer de kwantitatieve data in op de computer en gebruik dezelfde kwantitatieve data-analysetechnieken als bij andere vormen van onderzoek.

Welke beperkingen heeft inhoudsanalyse?

De conclusies uit inhoudsanalyse zijn vooral interpretatief. Je weet niet hoe significant de inhoud is. Je kunt alleen zeggen wat de inhoud is, maar niet wat voor invloed deze ergens op heeft gehad. Je kunt niet zeggen wat de bedoeling van de auteur van de tekst was. Kortom: je kunt geen uitspraken doen die verder reiken dan de inhoud van de tekst zelf. Als je dergelijke uitspraken wilt doen, moet je een ander onderzoek uitvoeren dat zich baseert op de inhoudsanalyse, bijvoorbeeld een vragenlijstonderzoek of een experiment.

Wat is bestaande statistiekenanalyse?

In deze techniek vindt het onderzoek in een andere volgorde plaats dan bij andere methoden. Normaal gesproken begin je met een onderzoeksvraag. Nu begin je echter met data: je kijkt welke gegevens er zijn. Deze data conceptualiseer je in variabelen. Je identificeert variabelen met dezelfde eenheid van analyse om met elkaar te vergelijken. Op grond van deze variabelen verzin je een hypothese. Je gebruikt de bestaande data om deze hypothese te testen. Er zijn allerlei bureaus die routinematig enorme hoeveelheden data verzamelen zonder deze voor onderzoeksdoeleinden te gebruiken. Meestal worden sociale indicatoren gemeten: factoren die aangeven in welke sociale condities of in welke mate van welzijn mensen verkeren. Deze data worden verzameld voor beleidsvoering. Als je een onderzoeksvraag hebt die gerelateerd is aan welzijn, sociale, economische of politieke condities kun je gebruik maken van deze data. Een deel van deze data is aanvankelijk op reactieve wijze verzameld. Als jij het echter in je bestaande statistiekenanalyse gaat gebruiken, is de data non-reactief geworden. Participanten weten immers niet dat hun gegevens in onderzoek gebruikt worden. Bij deze techniek word je geconfronteerd met drie uitdagingen: het lokaliseren van databronnen, het vaststellen van datakwaliteit en het converteren van data in variabelen.

Lokaliseren van data

Vele data zijn beschikbaar, maar deze vinden kan problemen opleveren. Je weet vaak niet precies wat je zoekt, omdat je nog geen onderzoeksvraag hebt geformuleerd. Bibliothecarissen kunnen je vaak verwijzen naar databronnen. Online zijn ook vaak grote databases beschikbaar. In Nederland is dit bijvoorbeeld het CBS; in de VS het Statistical Abstract of the United States. Voor andere bronnen die ook andere landen als eenheid gebruiken kun je internationale kantoren raadplegen (bijvoorbeeld de World Bank). De informatie die je tegenkomt, moet je goed bewaren. Veel informatie is gratis te downloaden, vaak zelfs in een format dat je direct kunt gebruiken voor je eigen analyse, zoals in Excel of SPSS.

Vaststellen van de datakwaliteit

Er kunnen verschillende problemen optreden die de datakwaliteit beperken:

• Missende data: soms ontbreken de data die jij nodig hebt. Overheden kunnen bijvoorbeeld om allerlei politieke en geldelijke redenen besluiten te stoppen met data verzamelen. Soms zijn de data simpelweg niet verzameld, soms zijn ze verloren gegaan en soms zijn ze niet specifiek genoeg. In het laatste geval zijn variabelen bijvoorbeeld in twee categorieën onderverdeeld (blank en niet-blank), terwijl jij meer categorieën nodig hebt (blank, Afrikaans, Indisch, etc.).

• Betrouwbaarheid: vaak veranderen de definities van gemeten concepten door de tijd heen. De metingen zijn dan niet consistent en dus niet betrouwbaar. Ook kunnen de metingen veranderen. In de vorige eeuw werden misdaadcijfers bijvoorbeeld minder goed bijgehouden dan nu, waardoor het lijkt alsof de misdaad is toegenomen.

• Validiteit: een probleem voor de validiteit is als het onderzoeksbureau een andere conceptuele definitie heeft gebruikt voor de dataverzameling dan jij. Een ander probleem dat kan optreden, is dat de data slechts een benadering zijn van de variabele die je wilt meten. Je bent bijvoorbeeld geïnteresseerd in het aantal berovingen en gebruikt politiedata. Het probleem is dat niet iedere beroving gemeld wordt bij de politie. Bovendien kunnen de gerapporteerde berovingen op relevante punten verschillen van niet gerapporteerde. Een derde probleem voor de validiteit is dat de kwaliteit van jouw onderzoek afhangt van het onderzoek waarvan je de data gebruikt. Veel onderzoeksinstanties maken fouten. Deze fouten schemeren dan weer door in jouw onderzoek.

• Kennis van zaken: als je data zoekt over een onderwerp waarvan je niet veel afweet, bestaat de kans dat je ze verkeerd interpreteert. Je moet je goed verdiepen in het onderwerp, zodat je de data in de juiste context kan plaatsen.

• Misvatting van misplaatste concreetheid: van deze misvatting is sprake als statistische informatie op zo’n manier wordt gerapporteerd dat er een verkeerde indruk van de precisie van de meting ontstaat. Je zegt bijvoorbeeld niet dat de bevolking van Australië 19.179.083 is, maar 19,2 miljoen. Anders creëer je het idee dat je meting zo precies was, dat je er zeker van bent dat deze telling exact is. Natuurlijk moet je het wel goed rapporteren als je zelf een onderzoek doet, waarbij je de exacte nummers wel hebt. Je moet dan niet gaan afronden (bijv. 18 participanten, en niet 20)

• Ecologische misvatting: hierbij maak je verkeerde interpretaties, doordat je data van een hogere eenheid van analyse gebruikt om uitspraken te doen over een lager niveau van eenheid. Als je weet dat in staten (hoge eenheid van analyse) waar veel gerookt wordt de werkloosheid hoog is, kun je niet concluderen dat individuen (lage eenheid van analyse) die werkloos zijn ook roken. Om uitspraken op een lagere eenheid van analyse te doen, zal je een andere databron moeten gebruiken.

Converteren van data in variabelen

Als je bestaande data gebruikt, moet je vaak creatief zijn in het definiëren van je variabelen. Vaak moet je een indirecte meting of een benadering van de variabele gebruiken. Als je bijvoorbeeld geïnteresseerd bent in mensen met een hoog inkomen, maar er bestaan geen data over deze mensen, dan kun je variabelen als huizenprijs, beroepsgroep of autoprijs gebruiken als benadering. Op die manier creëer je je eigen indicator van hoog inkomen. Standaardisering is belangrijk bij het vergelijken van je data. Hierbij pas je een meting aan door het te delen door een basis: een getal dat bepaalt hoe je je data moet interpreteren. De meest voorkomende methode van standaardisering is het vatten van je meting in percentages. Stel dat 2 van de 10 mensen gestemd hebben, dan deel je 2 door 10 (de basis) en vermenigvuldig je het met 100% om het percentage te krijgen. Door data in percentages te vatten, zijn groepen van verschillende groottes te vergelijken. Het is niet altijd gemakkelijk te bepalen welke basis je gebruikt. Als je wilt weten hoeveel mensen hebben gestemd, kun je het aantal stemmers delen door de gehele bevolking. Correcter is het echter om het aantal stemmers te delen door het aantal stemgerechtigden. Verschillende bases kunnen verschillende cijfers produceren. Het is belangrijk dat je goed nagaat welk getal je het beste als basis kan gebruiken.

Wat is secundaire data-analyse?

Secundaire data-analyse lijkt sterk op bestaande statistieken analyse. Het verschil is dat het data gebruikt die verzameld zijn voor onderzoek en al eerder geanalyseerd zijn. Het maakt gebruik van data, die (gratis) beschikbaar gesteld worden voor andere onderzoekers. Bij secundaire data-analyse stel je vaak een vraag die niet gesteld werd in het aanvankelijke onderzoek. De meest gebruikte bron is de General Social Survey: een grootschalig vragenlijstonderzoek met veel verschillende vragen, die gesteld worden aan een grote steekproef van Amerikaanse volwassenen. Deze survey wordt sinds 1972 vrijwel jaarlijks gehouden. De data komen uit rechtstreekse interviews. Sommige vragen worden jaarlijks gesteld, andere eens in de 5 jaar en weer andere worden alleen in een specifiek jaar gesteld. Data van dit onderzoek worden meestal gratis beschikbaar gesteld in formats die geschikt zijn voor computerbewerking.

Beperkingen van secundaire data-analyse

Een groot probleem bij seundaire data-analyse is dat de meeste organisaties statistieken in samengevoegde vorm presenteren of alleen grote eenheden van analyse gebruiken. Dat betekent dat de specifieke variabele die jij wilt onderzoeken alleen op een hoger niveau gemeten is. Specifieke subgroepen of gebieden zijn niet apart onderzocht. Een ander probleem kan zijn dat de vragen die jij had willen stellen niet gesteld zijn en dat vragen die jij irrelevant vindt wel gesteld zijn. Ook kunnen variabelen niet overeenkomstig met jouw plannen zijn gedefinieerd en/of geoperationaliseerd. De beperkingen die gelden voor bestaande statistiekenanalyse komen ook terug bij secundaire data-analyse. De validiteit en betrouwbaarheid zijn in veel gevallen in gevaar.

Waar komt ethiek kijken bij non-reactief onderzoek?

Er zijn niet veel ethische kwesties gemoeid met non-reactief onderzoek, aangezien de participanten niet weten dat ze deelnemen en hen dus geen schade berokkend kan worden. Een ethisch vraagstuk dat wel een rol speelt in dit onderzoek is privacy. Omdat mensen geen toestemming voor het onderzoek geven, moeten gegevens extra vertrouwelijk en anoniem behandeld worden. Een andere ethische kwestie is de bron van de data. Vaak zijn de data afkomstig van overheden of beleidsmakers. Deze groepen kunnen politieke redenen hebben om sommige dingen wel te willen weten en andere niet. Impliciete aannames liggen ten grondslag aan de aard van de dataverzameling. Op het moment dat je deze data gebruikt, voeg je je naar deze aard. Zo houd je eventuele misstanden van achtergehouden informatie in stand.

Hoe werkt het statistisch analyseren van de data? - Chapter 9

Als je eenmaal data hebt verzameld, zal je deze moeten analyseren. Pas als je je getallen hebt samengevat, kun je ze interpreteren en er conclusies aan verbinden.

Hoe kun je data coderen?

Voordat je de data kunt analyseren, moet je deze in de computer invoeren. Daarvoor moet je de ruwe informatie vatten in een format dat de computer kan lezen. Dit proces heet data coderen. In een computerbestand wordt iedere eenheid (proefpersoon) in een data record aan zijn data gekoppeld. Het computerbestand heeft vaak de vorm van een rooster, waarbij de kolommen de variabelen zijn en de rijen de verzamelde data. Een vragenlijstonderzoek met 250 proefpersonen en 12 vragen heeft dus 250 rijen en 12 kolommen, plus de kolommen die nodig zijn voor informatie over de proefpersoon (bijvoorbeeld sekse en leeftijd).

Codeboek

De nummers die je in het databestand gebruikt, zijn ofwel kwantitatieve metingen, ofwel codes voor kwalitatieve metingen. Zo wordt sekse aangegeven met een nummer, zoals man=1 en vrouw=2. Ook attitudes kun je op die manier coderen, zoals helemaal mee eens=5 en helemaal mee oneens=1. Deze codering is willekeurig: je kunt ook mannen met 8 en vrouwen met 3 aanduiden. Belangrijk is wel dat je consistent bent. Om later de gecodeerde data weer te kunnen ontcijferen, moet je een codeboek bijhouden, waarin je beschrijft welke waarden je in welk nummer hebt gecodeerd.

Precoderen

Je kunt de data coderen op het moment dat je ze gaat invoeren in de computer, maar je kunt ook ‘precoderen.’ Dan geef je de data direct al een code. Je schrijft bijvoorbeeld op de vragenlijst of je met een 1 (man) of met een 2 (vrouw) te maken hebt. Tevens kun je direct al nummers toekennen aan de proefpersonen en hun data records. Dit precoderen scheelt tijd en maakt het proces simpeler.

Codering controleren

Als je fouten in het coderingsproces hebt gemaakt, kunnen de resultaten waardeloos geworden zijn. Het is daarom belangrijk de data records goed te controleren. Codeer bijvoorbeeld 10% van de data opnieuw en kijk of hier fouten zijn gemaakt. Zo ja, controleer de rest van de data dan ook. Kijk ook of je onmogelijke data hebt ingevoerd, zoals waarde 3 bij sekse (als je 1 voor man en 2 voor vrouw hebt gebruikt).

Wat is statistiek en waarvoor gebruik je dit?

Statistiek is een vorm van toegepaste wiskunde, die je vertelt hoe je getallen kunt manipuleren en samenvatten. Descriptieve statistiek beschrijft numerieke informatie en vat deze samen. Inferentiële statistiek heeft een ander doel, waar later in dit hoofdstuk op zal worden teruggekomen. Univariate statistiek beschrijft één variabele, bivariate twee variabelen en multivariate meer dan twee variabelen.

Wat is een frequentieverdeling?

Een frequentieverdeling is een tabel die laat zien hoeveel van de proefpersonen in elk van de categorieën van een variabele vallen. Deze informatie kan ook visueel gepresenteerd worden. In een cirkeldiagram worden aantallen vaak in percentages weergegeven. In een staafdiagram worden vaak discrete variabelen (variabelen die alleen in bepaalde waarden kunnen voorkomen) samengevat. In deze grafiek is er ruimte tussen de balken. In een histogram worden meestal ratio of interval variabelen samengevat en is er geen ruimte tussen de balken. Bij geografische informatie kun je ook nog gebruik maken van een kaart waarop je frequenties aangeeft (bijvoorbeeld door kleur). Een andere methode is een tijdslijn, waarbij je de frequentie van de variabele aangeeft op een x-as die je verschillende tijdsaanduidingen hebt gegeven.

Centrale tendens

Een eerste manier om de data samen te vatten, is een meting van centrale tendentie geven. Dit is een getal dat het gemiddelde of de hoofdtendens van de data weergeeft. Hieronder vallen het (wiskundig) gemiddelde, de mediaan en de modus. De modus is het makkelijkst te berekenen, maar de minst zinvolle meting van centrale tendentie: het is namelijk de meest voorkomende waarde in een frequentieverdeling. De mediaan is het middelpunt van de dataverdeling: de helft van de waargenomen waarden valt boven dit punt en de andere helft eronder. Als er een even aantal waarden is, neem je het gemiddelde van de middelste twee waarden als mediaan. Het (wiskundig) gemiddelde is de som van de waarden gedeeld door het totale aantal waarden. Extreme waarden hebben een grote invloed op het gemiddelde, maar geen invloed op de modus of de mediaan.

Normaalverdeling

Als je een frequentieverdeling plot, krijg je vaak een normaalverdeling. Dit is een klokvormige curve met de meest voorkomende waarden piekend in het midden en de minst voorkomende waarden dicht bij de uiteinden van de curve links en rechts op de x-as. Veel natuurlijke fenomenen volgen deze curve (bijvoorbeeld lichaamslengte en IQ-scores). In een normaalverdeling liggen de modus, mediaan en het wiskundig gemiddelde allemaal op hetzelfde punt, namelijk precies in het midden van de curve. Sommige fenomenen hebben een scheve verdeling, waarbij er veel gevallen zijn die in de extreme waarden vallen. Een voorbeeld is de leeftijd waarop mensen trouwen. Heel veel mensen scoren hier ergens tussen de 20 en de 30 jaar, en veel minder mensen scoren hoger. Dat betekent dat je een curve krijgt, die piekt aan het linkereind en snel begint te dalen. Dit is een rechtsscheve (positively skewed) verdeling. Hierbij is het gemiddelde hoger dan de mediaan, en de mediaan hoger dan de modus. Als de verdeling andersom (linksscheef, negatively skewed) is, dat wil zeggen dat er veel mensen hoog scoren en weinig laag, is de modus hoger dan de mediaan en de mediaan hoger dan het gemiddelde.

Spreiding

Twee steekproeven kunnen precies hetzelfde gemiddelde hebben, maar een heel andere variatie in scores. In de ene populatie varieert de leeftijd bijvoorbeeld van 0 tot 90 en in de andere van 40 tot 50: het gemiddelde voor beide populaties is 45. De hoogste en de laagste score waartussen alle waarden vallen, wordt het bereik genoemd. Het bereik van de eerste populatie is 90 jaar en voor de tweede is het 10 jaar. Het nadeel van deze spreidingsmaat is dat totaal verschillende waarden hetzelfde bereik kunnen hebben. Een percentiel is een score waaronder een bepaald percentage scores valt. Het 50^ste percentiel staat gelijk aan de mediaan. Het betekent dat 50% van de scores op of onder deze specifieke waarde ligt. De meest gebruikte spreidingsmaat is de standaardafwijking (standard deviation). Dit getal geeft de gemiddelde afstand van de waarden tot het gemiddelde weer. Bij een lage standaarddeviatie scoren veel mensen dicht bij het gemiddelde: de spreiding is laag en de groep is homogeen. Bij een hoge standaarddeviatie scoren veel mensen ver van het gemiddelde af: de spreiding is nu hoog en de groep is heterogeen. De standaarddeviatie bereken je als volgt:

• Trek van iedere score de gemiddelde score af en kwadrateer het resultaat.

• Tel deze gekwadrateerde uitkomsten bij elkaar op.

• Deel de uitkomst door het aantal proefpersonen – 1.

• Trek de wortel uit de uitkomst.

Het idee hiervan is dat je het gemiddelde van alle afwijkingen van het gemiddelde berekent. Je kwadrateert om te voorkomen dat je uitkomst 0 is.

Standaardiseren in z-scores

Je kunt een frequentieverdeling standaardiseren door de waarden te vatten in z-scores. Een z-score van 1 indiceert een afwijking van +1 standaarddeviatie boven het gemiddelde. 50% van de verdeling valt boven een z-score van 0 en 50% daaronder. Je berekent de z-score van een waarde door het gemiddelde van de score af te trekken en de uitkomst door de standaarddeviatie te delen. Het standaardiseren van een verdeling in z-scores doe je om waarden met elkaar te kunnen vergelijken. Een populatie met een hoog gemiddelde zal ook een hoge standaarddeviatie hebben. Om spreiding tussen verschillende populaties te kunnen vergelijken, vat je deze afwijking in z-scores.

Hoe onderzoek je het verband tussen twee variabelen?

In onderzoek zijn we vaak niet alleen geïnteresseerd in de frequentie van een zekere gebeurtenis: meestal willen we de relatie tussen variabelen onderzoeken. In experimenten draait het bijvoorbeeld altijd om de causale relatie tussen de onafhankelijke en afhankelijke variabele. Met bivariate statistiek kun je deze relaties onderzoeken. Covariatie betekent dat twee variabelen samengaan, dat ze met elkaar geassocieerd zijn. Een verandering in de ene variabele wordt gevolgd door verandering in de andere variabele. Statistieke onafhankelijkheid is het tegenovergestelde: er is dan geen associatie tussen de variabelen. Er zijn drie technieken om te achterhalen of er sprake is van een statistisch verband: spreidingsdiagrammen, bivariate tabellen en correlatie.

Spreidingsdiagrammen

Het doel van een spreidingsdiagram is het visualiseren van de relatie tussen variabelen. In een spreidingsdiagram (‘scatterplot’) plot je de waarde van iedere observatie. Op de x-as zet je de waarden van de ene variabele, meestal de onafhankelijke variabele. Op de y-as zet je de waarden van de andere variabele, meestal de afhankelijke. Iedere observatie is een punt in dit assenstelsel. Deze diagrammen werken goed voor variabelen van interval of ratio niveau en werken bij ordinale variabelen alleen als er veel categorieën zijn. Uit een spreidingsdiagram kun je ten eerste de vorm van de relatie tussen de variabelen aflezen. Als er duidelijk een schuine lijn ontstaat, is er sprake van een lineaire relatie. Als er helemaal geen patroon te herkennen is, is er geen sprake van een relatie. Als het patroon geen rechte lijn volgt, maar wel een verband laat zien, is de relatie non-lineair (ook wel: curvilineair). Het tweede dat je kunt aflezen, is de richting van de relatie. Een lijn van linksboven naar rechtsonder is een negatieve relatie: een toename in de ene variabele veroorzaakt een afname in de andere variabele. Een positieve relatie is een lijn van linksonder naar rechtsboven: een toename in de ene variabele gaat gepaard met een toename in de andere variabele. Ten slotte kun je aflezen hoe precies de relatie tussen de variabelen is: hoe dichter de datapunten op een rechte lijn liggen, hoe sterker de relatie.

Bivariate tabellen

Als je variabelen hebt van een nominaal of ordinaal niveau, kun je gebruik maken van bivariate tabellen. Hierbij zet je de waarden van variabelen tegenover elkaar in een tabel. Als je de variabelen autokleur en burgerlijke staat hebt, noem je bijvoorbeeld het aantal mensen dat ongetrouwd is en een rode auto heeft, het aantal getrouwde mensen met een groene auto, etc. Dit proces wordt cross-tabulatie genoemd. Op deze manier krijg je een contingentietabel: een tabel die aangeeft hoe twee variabelen tegenover elkaar zijn gezet. Vrijwel altijd worden de gemiddelden van de waarden berekend. Dit moet zeker gebeuren wanneer er sprake is van groepen met een verschillende grootte (bijv. 12 rode auto’s en 9 groene), want anders kun je de waarden niet goed met elkaar vergelijken. Je kunt de contingentietabel op drie manieren in percentages vatten: kolom percentages (per cel de proportie van het kolomtotaal), rij percentages (de proportie van het rijtotaal) of totale percentages (proportie van het totaal). Deze laatste vorm is meestal onbruikbaar. Of je rij- of kolompercentages gebruikt, hangt af van de richting van de hypothese. Meestal zetten onderzoekers de onafhankelijke variabele in de kolommen. De percentages worden dan dus ook over de kolommen berekend. Een contingentietabel kun je op dezelfde manier scannen voor een relatie als een spreidingsdiagram. Als de percentages in alle cellen min of meer hetzelfde zijn, is er waarschijnlijk geen relatie tussen de variabelen. Als de diagonalen hoge percentages bevatten, is er sprake van een lineaire relatie. Als er een curve van hoge percentages bestaat, is er een curvilineaire relatie.

Correlatie

Een correlatie is een getal dat de sterkte en de richting van een verband tussen twee variabelen aangeeft. Het is een meting van associatie. Als dit getal 0 is, is er sprake van statistische onafhankelijkheid. Hoe verder het getal van 0 afligt, hoe sterker de relatie. Een correlatie kan waardes aannemen tussen de -1 en 1. Een waarde van -1 of 1 indiceert een perfecte relatie: als je de waarde van de onafhankelijke variabele weet, kun je die van de afhankelijke variabele met 100% zekerheid voorspellen. Een correlatie van 0.5 geldt als een sterk verband. Als de correlatie positief is (+), is de relatie tussen de variabelen ook positief (als X groter wordt, wordt Y ook groter). Als de correlatie negatief is (-), is de relatie tussen de variabelen juist negatief (als X groter wordt, wordt Y kleiner).

Hoe onderzoek je multivariate verbanden tussen meer dan twee variabelen?

Er zijn meerdere redenen om meer dan twee variabelen mee te nemen in je onderzoek. Soms zijn er verschillende onafhankelijke variabelen, die de afhankelijke variabele beïnvloeden en is dat interessant om te onderzoeken. Soms gebruik je meerdere variabelen juist omdat je alternatieve verklaringen uit wil sluiten door gebruik te maken van controlevariabelen: variabelen die verklaringen kunnen vormen voor de relatie die je tussen de onafhankelijke en afhankelijke variabele gevonden hebt. Dit is alleen nodig in niet-experimenteel onderzoek. Daarbij is er namelijk onvoldoende controle over de onderzoekssituatie om er zeker van te zijn dat er geen alternatieve verklaringen mogelijk zijn. Als een controlevariabele invloed heeft, moeten de resultaten verschillen per niveau van deze variabele.

Multipele regressie-analyse

Deze analysetechniek gebruikt men om het (gecombineerde) effect van meerdere onafhankelijke variabelen op een afhankelijke variabele te meten. Het is alleen geschikt voor data van interval of ratio meetniveau. Met deze techniek kun je controleren voor de effecten van de andere variabelen en kun je zien hoeveel invloed iedere variabele onafhankelijk van de anderen heeft. Deze invloed wordt gekwantificeerd in de bèta (β) coëfficiënt. Dit is eigenlijk een soort correlatie: een getal dat voor iedere onafhankelijke variabele de sterkte en de richting van het verband met de afhankelijke variabele weergeeft. Multipele regressie-analyse produceert nog een andere waarde: R², dit is de proportie verklaarde variantie. Het is het percentage van voorspellingsaccuratesse. Als je een R² van 0.20 hebt, betekent dat dat de voorspelling van de afhankelijke variabele met 20% is toegenomen door die onafhankelijke variabele mee te nemen. Tevens betekent het dat 20% van de verandering in de afhankelijke variabele verklaard wordt door de onafhankelijke variabele. Een R² van 0.20 wordt over het algemeen als tamelijk hoog beschouwd.

Waarvoor wordt inferentiële statistiek gebruikt?

Met behulp van inferentiële statistiek kun je ten slotte bepalen of de resultaten significant zijn. Dat wil zeggen: is er werkelijk sprake van een relatie of berusten je resultaten op toeval? Om dit te beoordelen, maakt de statistiek gebruik van de waarschijnlijkheidstheorie. Dit beschrijft de kans dat de resultaten toe te schrijven zijn aan toeval. Deze kans is de statistische significantie. Het is een kansberekening en kan daarom niets met zekerheid zeggen.

Niveau van significantie

Een niveau van statistische significantie is een indicatie van de statistische significantie van een relatie. Meestal wordt er uitgegaan van een niveau van 5%. Dit betekent dat de toevalskans dat je een relatie gevonden hebt die in werkelijkheid niet aanwezig is, 0.05 is. Er kan ook gekozen worden voor een niveau van 0.01 of zelfs 0.001. 0.05 wordt meestal gezien als goed genoeg en vormt het uitgangspunt. In tabellen wordt een significantieniveau van 0.05 meestal met één * aangegeven, een niveau van 0.01 met ** en een niveau van 0.001 met ***.

Type I en type II fout

Er is nog een andere reden dat er meestal voor een significantieniveau van 5% gekozen wordt. Als je de kans namelijk veel kleiner maakt, wordt de kans op een type II fout groter. Een type II fout houdt in dat je een nulhypothese accepteert, terwijl er in werkelijkheid wel sprake is van een effect. Als je het significantieniveau echter heel groot maakt om deze kans te minimaliseren, vergroot je weer de kans op een type I fout: de fout dat je een nulhypothese verwerpt, terwijl er in feite geen sprake is van een echt effect.

Beperking inferentiële statistiek

De voornaamste beperking van inferentiële statistiek is dat je het alleen kunt gebruiken als je willekeurige steekproeven hebt. Een ander nadeel is dat je statistische significantie nog niets zegt over andere fouten die je kunt maken, zoals het gebruik maken van een slecht meetinstrument. Ten slotte hoeft iets wat statistisch significant is nog niet theoretisch of praktisch significant te zijn: niemand zou er wat aan hebben als de relatie tussen de lengte van vingernagels en je vermogen om Frans te spreken statistisch significant zou zijn.

Hoe werkt observatie in veldonderzoek en op welke manieren kan dit? - Chapter 10

In veldonderzoek participeren onderzoekers direct in een natuurlijke setting. Er zijn geen deductieve hypotheses en geen statistische analyses. De onderzoekers nemen deel aan de situatie die ze willen onderzoeken. Vaak blijven onderzoekers een lange periode in deze situatie om de mensen te observeren. Veldonderzoek is het meest geschikt om fenomenen op microniveau te onderzoeken en om te kijken naar directe, kleinschalige sociale interactie. Veldonderzoek wordt meestal toegepast als een andere onderzoeksmethode niet gebruikt kan worden. Het uitgangspunt is naturalisme: het idee dat we het meest te weten komen door mensen te observeren in alledaagse situaties in een natuurlijke setting. Meestal wordt veldonderzoek uitgevoerd door één onderzoeker, hoewel kleine teams ook effectief kunnen zijn. Veldonderzoek is persoonlijker dan laboratoriumonderzoek en kan een grote emotionele impact hebben op de onderzoeker en de participanten. Het vergt veel van een onderzoeker: hij moet zeer flexibel zijn en zich kunnen aanpassen aan voortdurend veranderende situaties. Er is geen vooropgestelde hypothese, waardoor een onderzoeker het overzicht gemakkelijk kwijt kan raken.

Wat is etnografie?

Een voorbeeld van veldonderzoek is etnografie, een onderzoeksmethode uit de culturele antropologie. Hierbij wordt een gedetailleerde beschrijving gegeven van betekenissen en culturele kennis binnen een bepaalde groep. De onderzoeker bekijkt het vanuit het perspectief van de leden van deze groep. Culturele kennis heeft twee componenten: expliciete kennis en impliciete (‘tacit’) kennis. Expliciete kennis is kennis die we makkelijk kunnen observeren en die we op directe wijze bezitten. Impliciete kennis is niet te observeren en blijft vaak onbesproken. Onder impliciete kennis vallen impliciete culturele normen, waarvan je pas weet dat ze bestaan als ze gebroken worden. Om dergelijke kennis te onderzoeken, moet je observaties doen en interpretatieve conclusies trekken. Het doel van etnografie is het beschrijven van een cultuur, zowel de expliciete als de impliciete kenmerken ervan. Een etnograaf moet heel bekend worden met een cultuur of sociale context, omdat hij zeer gedetailleerde beschrijvingen geeft van situaties die volgens hem dergelijke kennis indiceren. Ook probeert hij ieder aspect van de situatie te belichten door steeds van perspectief te wisselen.

Wat gebeurt er in de voorbereidingsfase?

In de voorbereidingsfase van het veldonderzoek zijn verschillende dingen belangrijk. Ten eerste moet je een goed zelfbewustzijn ontwikkelen: omdat je zo persoonlijk betrokken raakt bij de onderzoekssituatie zijn jouw persoonskenmerken van belang. Weet waar jouw valkuilen liggen in sociale interactie en wanneer je te zeer betrokken raakt. Besef dat je zeker in het begin te maken kunt krijgen met angst, heimwee en frustratie. Ten tweede moet je goed achtergrondonderzoek doen. Je leest niet alleen de onderzoeksliteratuur, maar je verdiept je ook in andere bronnen, zoals films, boeken, nieuwsberichten en biografieën. Ten derde is het belangrijk dat je oefent met je observatie- en schrijfvaardigheid. Een goede oefening is bijvoorbeeld een dagboek bijhouden. Een veldonderzoeker moet niet alleen goede sociale vaardigheden hebben, hij moet ook georganiseerd zijn en goed zijn in het maken van gedetailleerde aantekeningen.

Hoe wordt een veldonderzoek opgestart?

Open instelling

Bij het opstarten van een veldonderzoek moet je je mentale instelling veranderen. Zorg dat je open staat voor nieuwe dingen en dat je niet vooringenomen bent. Focus je aandacht niet te snel op één aspect van de situatie, maar neem de tijd om de onderzoeksvraag te ontwikkelen. Oefen onder andere met het hebben van geduld.

Field site selectie

Daarna ga je over tot het selecteren van een field site: een locatie of set van locaties waarin het veldonderzoek plaats zal vinden. Meestal worden deze locaties gekenmerkt door een voortdurende sociale interactie en een gedeelde cultuur. Een voorbeeld is alle ruimtes waarin een voetbalteam samenkomt (voetbalveld, kleedkamer, kantine). Onderzoekers proberen vaak meerdere sites uit, voordat ze er een selecteren. Vier factoren zijn belangrijk bij deze keuze:

• Omvatting: een site is geschikter als er kleine groepen een voortdurende interactie hebben die afgesloten is voor anderen.

• Rijkdom en verscheidenheid: sites waar veel en rijke sociale interacties en activiteiten plaatsvinden zijn geschikter voor veldonderzoek.

• Onbekendheid: een situatie waarmee een onderzoeker niet bekend is, heeft de voorkeur. In een onbekende situatie is het gemakkelijker om culturele gebeurtenissen te observeren.

• Toepasbaarheid: ga na of er praktische beperkingen zijn, zoals je budget, je persoonskenmerken of je fysieke veiligheid.

Toegang verkrijgen

Hierna probeer je toegang te krijgen tot de field site. Je vraagt toegang aan een gatekeeper: iemand met de formele of informele autoriteit om de toegang tot een field site te controleren. Voorbeelden van gatekeepers zijn conciërges of stamhoofden. Bij het verkrijgen van toegang kunnen persoonskenmerken als ras of sekse in de weg staan. Vaak is het nodig om te onderhandelen over de toegang. Hierbij moet je alleen nooit zo ver gaan dat je integriteit als onderzoeker in het geding komt, bijvoorbeeld als een gatekeeper je vraagt om alleen maar positieve dingen te schrijven.

Het veld binnentreden

Het eerste waar je rekening mee moet houden als je eenmaal toegang hebt gekregen, is de manier waarop je jezelf presenteert. Alles wat je doet of zegt, is van belang. Het uitgangspunt is dat je jezelf aan wilt passen aan de mensen die je bestudeert, maar tegelijkertijd wil je ook je persoonlijke identiteit bewaren. Een tweede afweging die je moet maken, is de mate van onthulling over jezelf en je onderzoek: enige mate van onthulling kan zinvol zijn om een vertrouwensrelatie op te bouwen met je participanten. In sommige onderzoeken is iedereen zich ervan bewust dat er een onderzoeker is die hen observeert. Andere onderzoekers onthullen hun identiteit helemaal niet en integreren in de groep. Het draait hier om de sociale rol die je aanneemt. Je kunt de rol van onderzoeker aannemen of je neemt een bestaande rol aan als winkelbediende of iets dergelijks. Ook kun je een nieuwe sociale rol bedenken. Allerlei praktische en persoonlijke factoren bepalen welke rollen je aan kunt nemen en welke niet. Sekse kan hierbij wel een beperking zijn: in een mannenwereld liggen lang niet alle rollen voor vrouwen open en vice versa.

Wat is er belangrijk als je 'in het veld' bent?

Relatie opbouwen

Als je eenmaal in het veld bent en je sociale rol hebt aangenomen, ben je er nog niet. Aan het begin voel je je veelal een buitenstaander. Je bent je nog niet bewust van de specifieke impliciete normen die gelden op de field site. Mensen kunnen negatief staan tegenover het feit dat er een onderzoeker in hun midden is. Het eerste wat je doet, is de situatie normaliseren: je probeert de situatie zo te maken dat de deelnemers aan het onderzoek je niet als bedreigend en onbekend zien, maar als iets normaals, bekends en aangenaams. Dit doe je door jezelf niet bedreigend op te stellen en te doen alsof het de normaalste zaak van de wereld is dat je aanwezig bent. Ook moet je investeren in een vertrouwensrelatie. Hierin spelen allerlei factoren een rol, bijvoorbeeld hoe je jezelf presenteert, wat je rol is en hoe je je gedraagt. Een goede relatie vergt een voortdurende sociale interactie. In sommige settings is het simpelweg niet mogelijk om een dergelijke relatie op te bouwen, bijvoorbeeld in conflictgebieden. Meestal leidt een vertrouwensrelatie echter tot een dieper begrip en tot empathie. Empathie, het innemen van het perspectief van de ander, is noodzakelijk voor veldonderzoek.

Toegang behouden

Daarnaast moet je je bewust zijn van het feit dat je voortdurend moet blijven onderhandelen over toegang tot de field site. Eén keer toestemming krijgen is vaak niet genoeg: je moet toegang hebben tot verschillende locaties en gatekeepers kunnen zich bedenken. Ook als de focus van je onderzoek verandert of als er nieuwe leden tot de groep toetreden, zal je moeten onderhandelen over je sociale positie.

Mate van betrokkenheid

In het veld moet je weloverwogen beslissingen maken over je mate van betrokkenheid bij de groep. Een afzijdige onderzoeker interacteert niet direct met de groepsleden. Met deze opstelling ben je minder tijd kwijt om geaccepteerd te worden en is de kans op overmatige betrokkenheid kleiner. Sommige groepen zijn eerder geneigd informatie te delen met een afzijdige onderzoeker. Het nadeel is dat je geen begrip van binnenuit opdoet, waardoor je het risico loopt gebeurtenissen verkeerd te interpreteren. Een onderzoeker die juist heel betrokken is, kan door empathie een dieper begrip verwerven. Het gevaar is dat de onderzoeker te sterk betrokken raakt, heet going native. De onderzoeker verliest dan zijn professionele rol en wordt een volwaardig groepslid. Hij gaat voorkeur geven aan zijn relaties met de groepsleden boven zijn onderzoeksdoelen, wat het onderzoek sterk in gevaar kan brengen. Een onderzoeker moet een zekere afstand bewaren tot zijn data om deze op objectieve wijze te kunnen analyseren.

Welke strategieën voor succes in het veld zijn er?

Het succes van je veldonderzoek hangt voor het grootste deel af van jouw opstelling als onderzoeker.

• Een goede relatie met de participanten: je investeert tijd in mensen, je onthoudt persoonlijke details en besteedt tijd aan small talk. Als je een vriend maakt, kan deze optreden als bondgenoot en een belangrijke bron van informatie worden. Tegelijkertijd kan een vriend je echter ook blokkeren in je onderzoek. Je moet groot inzicht hebben in de sociale relaties in de groep. Je kan dan antwoord geven op vragen als wie is de leider? En wie kunnen goed met elkaar opschieten? Ook moet je inzicht hebben in jouw eigen relatie met de groep. Je moet een relatie opbouwen met participanten, maar tegelijkertijd een zekere professionele afstand bewaren.

• Gunsten bewijzen: als je vaak vriendelijke dingen doet zonder daar iets voor terug te verwachten, zijn mensen eerder geneigd om mee te werken aan je onderzoek.

• Geïnteresseerd overkomen: je zorgt dat je altijd geïnteresseerd overkomt, ook al ben je dat niet. Niets is zo funest voor de vertrouwensrelatie als een verveelde onderzoeker. Dit valt eigenlijk onder normaal beleefd gedrag. Daaronder valt ook selectieve inattentie (het focussen op één aspect van een scène en tegelijkertijd dus andere aspecten negeren), waarbij je de fouten van mensen zoveel mogelijk negeert.

• Een novice opstelling: je gedraagt je als een leerling die minder weet dan de participanten. Je luistert en stelt vragen. Op deze manier kom je veel meer te weten dan wanneer je je opstelt als betweter. Mensen zijn eerder geneigd om iemand iets te vertellen als deze zich een tikje onderdanig opstelt.

• Conflict vermijden: als je in een conflict terecht komt, moet je zoveel mogelijk voorkomen dat je een kant kiest. Als je een standpunt in gaat nemen, verlies je je toegang tot een aantal leden van de groep. Probeer het vertrouwen van ieder lid te behouden zonder dat je een positie neemt in het conflict.

• Houding van vreemdheid: in het normale leven negeer je allerlei details die op je afkomen om te voorkomen dat je erdoor overweldigd wordt. Je neemt dingen als vanzelfsprekend aan, zodat je er geen aandacht aan hoeft te besteden. In veldonderzoek probeer je de wereld niet op deze manier te zien; je probeert juist een houding van vreemdheid aan te nemen. Bij zo’n houding kijk je door de ogen van een vreemdeling en merk je allerlei normale details op. Door deze houding wordt de impliciete kennis van een cultuur beter zichtbaar. Je bent veel sensitiever voor de gebeurtenissen om je heen. Deze houding heb je al automatisch als je naar een geheel andere cultuur gaat, waarbij alles daadwerkelijk vreemd is. In veldonderzoek wil je zowel deze outsider als een insider perspectief innemen. Je wilt het vreemde van de groep observeren en tegelijkertijd de cultuur van binnenuit begrijpen.

Wat observeer je in een veldonderzoek?

In veldonderzoek is de onderzoeker het belangrijkste instrument om data te verzamelen. De data zijn namelijk alles wat de onderzoeker ervaart en waarneemt. Dat betekent dat de onderzoeker heel sensitief moet zijn voor wat er gebeurt in het veld en dat hij alles goed moet noteren. Het betekent ook dat persoonlijke ervaringen en sociale relaties van de onderzoeker data zijn. Wat hij in een bepaalde situatie voelt, kan iets zeggen over de situatie en in die hoedanigheid als data worden gebruikt. In andere soorten onderzoek probeert men de persoonlijkheid van de onderzoeker zoveel mogelijk uit te sluiten. Bij veldonderzoek is dit juist een onderdeel van de data.

Wat observeer je in een veldonderzoek? In feite alles. Je begint met de fysieke setting. Je beschrijft gedetailleerd hoe de setting eruit ziet en wat voor sfeer er hangt. Dit kan belangrijk zijn, omdat veel ruimtes gecreëerd zijn om een zekere atmosfeer op te roepen. Je wilt weten welke sfeer er hangt en hoe deze sfeer sociale interacties zou kunnen beïnvloeden. Zelfs schijnbaar triviale details zijn op deze manier een belangrijk aspect van het sociale leven van de groep. Het tweede dat je observeert, zijn de mensen en hun gedrag. Je kijkt eerst naar observeerbare kenmerken, zoals sekse, ras en leeftijd. Dergelijke kenmerken hebben namelijk invloed op de interactie. Ook uiterlijke kenmerken, zoals kleding en verzorgdheid, zijn relevant. Vervolgens zijn er de acties van mensen. Non-verbale signalen en positionering van personen zijn belangrijk. Hierbij kijk je ook naar de context: wat hebben deze details te betekenen in deze context? Ten slotte schrijf je letterlijk op wat mensen zeggen en hoe ze het zeggen. Dat betekent soms dat je gesprekken moet afluisteren. Je schrijft alle details op, alles wat eventueel relevant zou kunnen worden bevonden in een later stadium van het onderzoek. Van tevoren weet je niet wat je zult vinden, daarom kan je maar beter te veel dan te weinig data verzamelen. Vaak lijkt het alsof er niets gebeurt. Echter, je weet niet wat de relevantie van je observaties later zal zijn. Daarom blijf je ook ogenschijnlijk minder interessante situaties observeren. Op die manier is ook ‘wachttijd,’ een tijd waarin je niets kan doen, zinvol. In deze tijd kun je blijven observeren en aan je relaties blijven werken.

Steekproeftrekking

In veldonderzoek wordt geen gebruik gemaakt van willekeurige steekproeftrekking. Er worden wel steekproeven getrokken van verschillende tijdstippen, locaties, mensen, situaties of gebeurtenissen. Observaties op verschillende tijdstippen en verschillende plaatsen geven een vollediger beeld van de situatie. Ook kun je steekproeven trekken uit verschillende typen situaties: routinematige, speciale en onverwachte situaties.

Op welke manier verzamel je data?

Aantekeningen maken is ontzettend belangrijk in veldonderzoek. Je aantekeningen zijn uiteindelijk je data. Maak je aantekeningen nadat je een tijdje in het veld bent geweest. Meestal kost het maken van aantekeningen net zoveel tijd als het observeren van de situatie waarvan je aantekeningen maakt. Over het algemeen worden mensen steeds beter in het maken van aantekeningen. Je moet je aantekeningen goed georganiseerd houden en er altijd de tijd en datum bijschrijven. Behandel je aantekeningen vertrouwelijk. Je aantekeningen maak je onmiddellijk na je terugkeer uit het veld, je bespreekt je observaties niet eerst met iemand anders. Je noteert de gebeurtenissen in de juiste volgorde en je noteert ook de tijdslengte. Wees zo specifiek, concreet en compleet mogelijk. Probeer woorden exact op te schrijven. Wees niet berekenend in je aantekeningen: schrijf alles op wat in je opkomt. Beschrijf ook je eigen woorden en gedragingen. Vermijd evaluaties en generalisaties en vat zo min mogelijk samen.

Niveaus van aantekeningen

Niet iedere aantekening is even belangrijk. Er zijn verschillende niveaus van aantekeningen. Het is belangrijk om deze niveaus uit elkaar te houden door aparte bladzijdes of andere lettertypes te gebruiken.

• Jotted notes: heel korte aantekeningen, onopvallend gemaakt in het veld om later uit te werken.

• Aantekeningen van directe observatie: kern van je data, bestaand uit gedetailleerde optekening van je observatie.

• Aantekeningen van de gevolgtrekkingen van de onderzoeker: de premature gevolgtrekkingen die een onderzoeker tijdens de dataverzameling maakt, noteert hij in een aparte sectie. Deze gevolgtrekkingen kunnen later worden uitgewerkt.

• Analytische aantekeningen: premature ideeën en theorieën over de data. Een vroege poging om betekenis te geven aan de data.

• Persoonlijke aantekeningen: aantekeningen over de persoonlijke ervaringen van de onderzoeker. Deze dienen als dagboek, als data en als een manier om de directe observatie aantekeningen te evalueren.

Ander materiaal bij de aantekeningen

Behalve aantekeningen kun je ook kaarten, diagrammen, interviews, geluids- of video-opnames en foto’s verzamelen. Onderzoekers gebruiken vaak plattegronden en diagrammen om ideeën en gebeurtenissen te organiseren. Een ruimtelijke plattegrond plaatst de data in een fysieke setting. Een sociale plattegrond geeft aan hoe de relaties zijn tussen verschillende groepsleden. Een tijdsplattegrond geeft aan wanneer gebeurtenissen begonnen en ophielden. Dergelijke plattegronden maken data vaak inzichtelijker. Het is goed om je te realiseren dat ander materiaal geen vervanging is voor aantekeningen. Geluids- of video-opnames kunnen bijvoorbeeld niet overal toegepast worden, want mensen zien deze vaak als een bedreiging. Tevens spelen de gebeurtenissen zich vaak net af buiten het bereik van de opnameapparatuur. Ten slotte kost het analyseren van opnames vaak nog meer tijd dan gewoon aantekeningen maken.

Welke vormen van interviews worden gebruikt?

In veldonderzoek gebruik je ongestructureerde, non-directieve, diepgaande interviews. De geïnterviewden zijn actieve deelnemers in het gesprek. Het interview vindt plaats in een informele setting waarin de geïnterviewde zich op zijn gemak voelt. Je probeert zo dicht mogelijk bij de ervaringen van de geïnterviewde te blijven; je stelt concrete vragen en vraagt naar voorbeelden. Ook let je goed op non-verbale communicatie en maak je daar aantekeningen van. Vaak maak je gebruik van een serie van interviews, waarbij je aanvankelijk vooral investeert in een vertrouwensrelatie en pas later gevoelige vragen stelt. Het interview in veldonderzoek is meer een gesprek dan het interview in vragenlijstonderzoek. Het verschil met een normaal gesprek is dat jij meer vragen stelt en de ander meer antwoorden geeft dan andersom. Je hoeft verschillende mensen niet precies dezelfde vragen te stellen. Je stemt je vragen af op het individu. Dit is allemaal anders in een interview binnen vragenlijstonderzoek. Daar ben je neutraal, gestructureerd, professioneel en afstandelijk. Je standaardiseert je interview en je hebt de controle over het gesprek. Bij een interview in veldonderzoek is er een meer gelijkwaardige relatie. Het interview is niet gestructureerd en je bent als onderzoeker meer informeel en betrokken. Je stelt meestal geen gesloten vragen en de geïnterviewde heeft meer controle over de interviewsituatie.

Soorten vragen in interviews

In een interview kun je gebruik maken van verschillende soorten vragen. Bij descriptieve vragen vraag je de geïnterviewde om beschrijvingen te geven van de situatie. Je vraagt bijvoorbeeld naar tijd en ruimte, gebeurtenissen, objecten of hypothetische situaties. Deze vragen stel je vooral in de beginfase van je onderzoek. Als je al wat concepten hebt ontwikkeld en bent begonnen met de data-analyse kun je structurele vragen gaan stellen. Je probeert daarmee te achterhalen hoe concepten binnen de (cultuur van) de site zijn georganiseerd. Als je al een idee over categorieën hebt, vraag je om verheldering en bevestiging. Kloppen jouw observaties met de ideeën van de groepsleden? Aan het eind van het onderzoek stel je vooral contrastvragen. Hierbij kijk je of jouw categorieën correct geïdentificeerd zijn door ze te contrasteren met andere. Wat zijn de verschillen en overeenkomsten tussen verschillende concepten?

Informanten

Een onderzoeker ontwikkelt vaak een relatie met een specifieke persoon die hem meer informatie verschaft over details van de situatie. Een dergelijk persoon wordt een informant genoemd. De ideale informant bevindt zich op het moment van onderzoek op de field site en is geheel bekend met de cultuur ervan. Mensen die hoogopgeleid zijn en voortdurend analyseren wat ze hebben geobserveerd, zijn minder geschikt als informant. Omdat zij zelf analyses aan de field site kunnen opleggen, bestaan hun rapportages namelijk niet uit hun eigen perspectief. In een langdurig veldonderzoek kun je verschillende soorten informanten gebruiken, zoals nieuwe leden en groepsleiders.

Hoe rond je een velonderzoek af?

Veldonderzoek, hoe lang ook, moet vroeg of laat aflopen. Soms eindigt het op een natuurlijke manier, als de onderzoeker zijn doelen heeft bereikt. Het kan echter ook zijn dat een onderzoek voortijdig eindigt of juist geen einde lijkt te hebben. Afhankelijk van de mate van betrokkenheid van de onderzoeker kan het moeilijk zijn om te vertrekken. Je moet afwegen of je in één keer verdwijnt of je aanwezigheid geleidelijk afbouwt. Ook moet je bepalen of en hoe lang van tevoren je mensen waarschuwt dat het einde eraan zit te komen. Houd rekening met het effect dat je vertrek op de participanten heeft. Soms zijn er intieme sociale relaties ontstaan en zijn mensen gekwetst als je zomaar vertrekt. Sommige onderzoekers blijven sociale relaties onderhouden met enkele van hun participanten.

Wat schrijf je in het onderzoeksrapport?

In het onderzoeksrapport beschrijft de onderzoeker vaak zijn ervaringen en observaties in het veld in eerste persoon. De kwaliteit van het rapport hangt vaak af van de schrijfvaardigheid van de onderzoeker en zijn vermogen om zijn observaties over te brengen op anderen. Kwalitatieve onderzoeksrapporten hebben geen vast patroon. Wel is een kenmerk dar er zelden tabellen of cijfers worden opgenomen in deze rapportages. De onderzoeker gebruikt quotes uit zijn aantekeningen of foto’s om zijn verhaal te illustreren en onderbouwen.

Waar komt ethiek kijken bij veldonderzoek?

Privacy is de meest optredende ethische kwestie in veldonderzoek. Je komt intieme details over het leven van mensen te weten, en dient vertrouwelijk om te gaan met deze gegevens. Een andere kwestie is of je mag verhullen dat je een onderzoeker bent. Zo weten mensen niet dat ze onderzocht worden en is er minder kans op reactiviteit. Dit roept echter ethische vragen op over informed consent. In het algemeen geldt dat je niet over je identiteit liegt, tenzij het absoluut noodzakelijk is. Een andere kwestie die kan optreden, is dat je tijdens je veldonderzoek getuige bent van illegale activiteiten. Blijf je indirect betrokken of zet je het onderzoek stop? Onderzoekers maken vaak van tevoren expliciete afspraken over dergelijke situaties.

Wat zijn focusgroepen?

Een andere vorm van kwalitatief onderzoek dat op veldonderzoek lijkt, is focusgroep-onderzoek. Hierbij worden informele interviews gedaan met kleine groepen mensen. De overeenkomst met veldonderzoek is dat het draait om een naturalistische, open groep conversatie. Vaak zijn er 4-12 deelnemers die hun mening geven over bepaalde kwesties. De discussieleider is zo non-directief mogelijk en probeert ervoor te zorgen dat iedereen evenveel te zeggen heeft. In een studie wordt vaak gebruik gemaakt van 4-6 focusgroepen. Met deze methode worden attitudes, gedrag en relaties onderzocht. Ook evalueren focusgroepen vaak nieuwe producten of politici.

Wat is historisch-vergelijkend onderzoek? - Chapter 11

Historisch-vergelijkend (H-V) onderzoek richt zich op het vergelijken van verschillende tijdperken of culturen. De onderwerpen zijn vaak van macroniveau: het draait vooral om maatschappelijke vraagstukken die grote populaties betreffen. Er kleven nadelen aan deze vorm van onderzoek: zo neemt het vaak veel tijd in beslag en is de praktische toepasbaarheid niet altijd even duidelijk. Er zijn echter ook grote voordelen. Zo kunnen lang vergeten praktijken of praktijken uit andere culturen inspiratie bieden voor de oplossing van een huidig probleem. Omdat H-V onderzoek vooral op macroniveau gedaan wordt, reiken de implicaties verder dan bij andere vormen van onderzoek. In H-V onderzoek kun je allerlei technieken gebruiken, maar meestal zijn de data kwalitatief. Net als bij veldonderzoek is het doel om zoveel mogelijk te kijken vanuit het perspectief van de subjecten die onderzocht worden.

Wat zijn de verschillen en overeenkomsten tussen veldonderzoek en H-V onderzoek?

Er bestaan meerdere overeenkomsten tussen veldonderzoek en H-V onderzoek.

1. Beide vormen van onderzoek zijn niet ‘waardenvrij’: de onderzoeker probeert niet zijn eigen persoonlijkheid uit te wissen, maar maakt deze deel van het onderzoeksproces. De invloed van de onderzoeker op het onderzoek wordt erkend en beschreven.

2. Ze hebben allebei te maken met uiteenlopende soorten (kwalitatieve) data, zoals films, dagboeken, statistieken, observaties, etc.

3. Beide vormen richten zich op processen: je kijkt naar een steeds veranderende situatie, niet naar een statisch kenmerk.

4. Beide ontwikkelen nieuwe concepten op grond van de data: ze maken gebruik van een ‘onderlegde theorie’ (zie hoofdstuk 2).

5. De externe validiteit van deze onderzoeksvormen beperkt: er kan niet goed gegeneraliseerd worden naar andere situaties.

Er zijn echter ook verschillen tussen veldonderzoek en H-V onderzoek:

1. Beperkt en indirect bewijs: historisch onderzoek gaat uit van data uit het verleden. Of die data compleet en van goede kwaliteit zijn, is altijd de vraag. In vergelijkend onderzoek ben je als observator altijd een buitenstaander: je zult nooit het volledige begrip van een cultuur hebben, zoals een lid van die cultuur dat heeft.

2. Rekening houden met context: data in H-V onderzoek is zelden niet ambigu of voor één interpretatie vatbaar. Om de data te begrijpen, moet je je er volledig in ‘onderdompelen’ en oog hebben voor de gehele context. Hierbij moet je waken voor de volgende valkuilen:

3. Kennis van de supracontext: als onderzoeker ben je je vaak bewust van situaties en gebeurtenissen waar jouw subjecten niets vanaf weten. Bij historisch onderzoek weet je bijvoorbeeld wat er daarna allemaal nog gebeurd is. Je moet uitkijken dat je de acties en mensen niet gaat interpreteren of beoordelen in termen van wat er later of in een andere cultuur gebeurd is.

4. Coherentie opleggen: je moet acties van mensen niet logischer willen maken dan ze zijn. Mensen handelen vaak niet consistent. Leg niet jouw behoefte aan orde op aan de gebeurtenissen, maar beschrijf accuraat wat er gebeurt.

5. Overschatten van capaciteit: wees niet te snel met je oordeel over wanneer mensen iets zouden moeten doen. Overschat hun vermogen om te handelen niet. Je weet niet wat jij in hun plaats zou doen.

6. Integreren macro- en microniveaus: vaak verzamel je bij H-V onderzoek data op microniveau (een zekere klas) en op macroniveau (het scholensysteem van een land). Deze data integreer je: je plaatst kleinschalige gebeurtenissen in het grote systeem.

7. Gebruik specifieke en universele concepten: sommige concepten zijn universeel (transcultureel/ transhistorisch) in dat ze gelden in iedere situatie. Andere concepten zijn specifiek of uniek voor een bepaalde situatie. Weer andere concepten liggen hier tussenin. Beide soorten concepten kun je gebruiken: specifieke concepten om inzicht te geven in een bepaalde situatie, universele concepten om vergelijkingen te maken tussen tijden en culturen.

Welke stappen zijn er bij historisch-vergelijkend onderzoek?

Hoewel bij H-V onderzoek, net als bij veldonderzoek, de stappen van het onderzoek niet vastliggen, is er wel een algemene volgorde te onderscheiden:

1. Verzamel achtergrondinformatie: verdiep je in het tijdperk of in de cultuur waarin je onderzoek wilt gaan doen.

2. Conceptualiseer de kwestie: begin met een paar concepten, met een theoretische basis en aannames. Naarmate je data verzamelt, verfijn je de concepten en breid je de theorie uit. Net als bij veldonderzoek begin je vrij breed en ontwikkel je pas later een focus.

3. Verzamel bewijs: data verzamelen is in H-V onderzoek een enorme opgave. Voor historisch onderzoek moet je vaak vele boeken en artikelen doorspitten. Voor vergelijkend onderzoek moet je naar een ander land reizen en vaak zelfs een andere taal leren. Vraag je bij de dataverzameling steeds af of de data relevant zijn voor de onderzoeksvragen die je ontwikkelt. Als de focus van je onderzoek verschuift, kan ook veranderen welke data relevant zijn en welke niet. Sta ook stil bij de kwaliteit van het bewijs. Als er elementen missen, vraag je dan af waarom, en of dat een probleem is.

4. Organiseer bewijs: categoriseer en label je bewijs. Op die manier houd je niet alleen het overzicht, maar krijg je ook een idee welke kant het heen gaat met je concepten. Er ontstaat een interactie tussen je data en je theorie.

5. Integreer en ontwikkel concepten: probeer een compleet plaatje van je data te integreren. Zoek naar patronen, zoek verbindingen met abstracte concepten, synthetiseer alles in één verhaal. Gebruik hierbij bijvoorbeeld schema’s of metaforen.

6. Schrijf het onderzoeksrapport: presenteer je bewijs, argumenten en conclusies in een onderzoeksartikel. Creëer een coherent plaatje. Noem details om je verhaal te ondersteunen, maar gebruik er niet te veel. Je moet een goed evenwicht zoeken tussen concrete details en een gegeneraliseerd principe.

Wat is historisch onderzoek?

Historisch onderzoek is vooral een tak van geschiedkunde, maar ook sociaal wetenschappers houden zich bezig met historisch onderzoek. Een historicus gaat op een andere wijze te werk dan een sociaal wetenschapper. De historicus ziet het verzamelen van gegevens als een doel op zich, de sociaal wetenschapper ziet het als een middel om tot theorieën te komen. Deze theorieën zijn verklarend en toepasbaar op het heden. Daarnaast gebruikt een historicus in tegenstelling tot de sociale wetenschapper alleen primaire bronnen en recollectie (zie hieronder).

Soorten historisch bewijs

Historisch onderzoek maakt gebruik van verschillende soorten bronnen:

• Primaire bronnen: bronnen die in het verleden gecreëerd zijn en het overleefd hebben tot in het heden. Voorbeelden zijn brieven, kranten, films of objecten (kleding, wapens). Het nadeel van geschreven primaire bronnen is dat in het verleden vaak alleen de rijken konden schrijven. Dit kan een eenzijdig beeld geven. Bij het gebruik van primaire bronnen moet je supracontext bewustzijn vermijden. Een speciale vorm hiervan bij historisch onderzoek is presentisme, het gebruiken van je eigen tijdperk om daar alle andere tijdperken aan af te meten. Je kijkt dan vanuit een enkel perspectief, namelijk je eigen perspectief. Je moet je bronnen behandelen met externe kritiek, waarbij je de authenticiteit van de bron vaststelt, en met interne kritiek, waarbij je de geloofwaardigheid van de bron vaststelt.

• Running records: bestanden van een organisatie waarin gegevens worden bijgehouden. Veel kerken, ziekenhuizen en scholen hebben dergelijke bestanden, die vaak vele jaren teruggaan. Het nadeel is dat zulke gegevens vaak inconsistent bijgehouden gehouden.

• Recollectie: de mondelinge of geschreven herinnering van een persoon aan een ervaring in het verleden, enige tijd na die ervaring opgeschreven of verteld. Een mondelinge geschiedenis is een interview waarin deze recollecties worden uitgevraagd. Dit is vooral zinvol als mensen hun recollecties niet op schrift hebben gesteld.

• Secundaire bronnen: vaak zijn primaire bronnen niet voorhanden of niet makkelijk toegankelijk. Dan kan je gebruik maken van secundaire bronnen, artikelen over het onderwerp van interesse, geschreven door historici. Deze bronnen kunnen gaten bevatten. Tevens kan de auteur inaccuraat zijn geweest of verkeerde interpretaties gegeven hebben. Vaak zijn bepaalde interpretaties of thema’s extra in trek in bepaalde periodes of bij bepaalde historici. De historicus schrijft vaak in narratieve (verhalende) vorm. Je weet dan niet hoe hij zich hierbij gebaseerd heeft op de primaire data: wat heeft hij weggelaten? Wat heeft hij er zelf bij verzonnen?

Wat is vergelijkend onderzoek?

Vergelijkend onderzoek richt zich op het onderzoeken van verschillen en overeenkomsten tussen culturen. Sommige onderzoeken zijn erop gericht om de universaliteit van een concept in verschillende culturen aan te tonen, andere richten zich juist op het aantonen van de uniciteit van een cultureel concept. Vergelijkend onderzoek versterkt de conceptualisering van bepaalde begrippen. Als je een concept op vergelijkend onderzoek baseert, heb je een betere definitie die geldig is voor meerdere culturen. Vergelijkend onderzoek kan ook causale factoren aan het licht brengen die in de cultuur een rol spelen (maar niet daarbuiten). Binnen de Amerikaanse cultuur speelt de wapenwetgeving een belangrijke rol in geweldsdelicten. Dit wordt pas duidelijk als je Amerika met andere landen vergelijkt. Door een variabele in verschillende culturen te bekijken, zie je deze in al haar variatie. Er kleven echter ook vele nadelen aan vergelijkend onderzoek: bijna alle problemen die voor verschillende soorten sociaal onderzoek gelden, gelden ook voor vergelijkend onderzoek. Tevens is het duur en kost het veel tijd. Je kunt geen willekeurige steekproef trekken uit verschillende culturen en je hebt te maken met het probleem dat de groepen niet gelijk zijn. Ook is het mogelijk dat informatie over de ene cultuur wel en over de andere cultuur niet beschikbaar is.

Eenheid van vergelijking

Het meeste vergelijkende onderzoek gebruikt landen als eenheid van vergelijking. Mensen die een land delen, delen vaak ook een taal en een cultuur. Voor vergelijkend onderzoek is de relevante eenheid van vergelijking meestal de cultuur. De landsgrenzen komen helaas niet altijd overeen met de grenzen van een cultuur. Een cultuur kan zich uitstrekken over meerdere landen, of meerdere culturen kunnen bestaan binnen één land. Voordat je een onderzoek gaat uitvoeren, vraag je je hierom eerst af wat de meest gepaste eenheid van vergelijking is. Als dat cultuur is, moet je goed nagaan wat voor culturen, minderheden en interne verdeeldheden er bestaan binnen een land. Op basis van deze analyse bepaal je of je een heel land of alleen een subgroep als eenheid van vergelijking zult gebruiken. Om een valide vergelijking te maken, moeten de eenheden van vergelijking onderscheidbaar en niet-overlappend zijn. Het probleem van Galton beschrijft de vertekening die optreedt als je eenheden van vergelijking eigenlijk deel zijn van eenzelfde grotere eenheid. Stel dat je de relatie tussen valuta en taal bekijkt in verschillende culturen, dan vind je een perfecte correlatie. Echter, die correlatie duidt niet op een werkelijk verband, maar op een gemeenschappelijke bron voor beide variabelen, namelijk natie.

Data verzamelen

Vergelijkend onderzoek maakt gebruik van verschillende methoden van dataverzameling:

• Vergelijkend veldonderzoek: veldonderzoek in een andere cultuur. Dit is vaak moeilijker dan veldonderzoek in de eigen cultuur.

• Bestaande kwalitatieve data: bestaande primaire of secundaire kwalitatieve bronnen.

• Crossnationaal vragenlijstonderzoek: vragenlijsten en interviews afnemen in andere culturen. De vragenlijst of het interview moet aangepast worden aan de culturele normen. De onderzoeker moet kennis hebben van taal, attitudes ten opzichte van survey, taboeonderwerpen en sociale gebruiken.

• Bestaande kwantitatieve data: het analyseren van statistieken, die voor een ander doel verzameld zijn. Nadelen van deze methode zijn dat de gebruikte definities in verschillende landen sterk uiteen kunnen lopen en dat de betrouwbaarheid en de volledigheid van de gegevens verschillen per land.

Gelijkheid

Voor iedere vorm van sociaal onderzoek, maar zeker voor vergelijkend onderzoek, geldt dat er een zekere equivalentie moet bestaan tussen de te vergelijken groepen. Op relevante punten moeten de groepen gelijk zijn, zodat je geen appels (de Westerse wereld) met peren (een jager-verzamelaarstam in Papoea) vergelijkt. Natuurlijk hoeven de groepen niet helemaal gelijk te zijn, dan is de vergelijking namelijk niet interessant. Er zijn vier belangrijke soorten van equivalentie:

• Lexicon equivalentie: het vermogen om hetzelfde te zeggen in een andere taal in een andere cultuur of ander tijdperk. Woorden hebben niet alleen letterlijke betekenissen, maar ook cultureel bepaalde connotaties. Ga er niet zonder meer van uit dat je je eigen concepten zonder meer kunt vertalen.

• Conceptuele equivalentie: het vermogen om hetzelfde concept in verschillende culturen of tijdperken toe te passen. Sommige concepten betekenen iets heel anders in een andere cultuur of zijn überhaupt niet relevant. Net als in historisch onderzoek vermijd je dat je je eigen achtergrond als standaard gebruikt. Je vermijdt etnocentrisme: het bekijken en evalueren van andere culturen vanuit je eigen cultuur.

• Contextuele equivalentie: een gebeurtenis of activiteit beschouwen in zijn context over verschillende culturen of tijdperken. De context geeft betekenis aan een gebeurtenis of handeling. Als je twee gebeurtenissen vergelijkt, wil je dat ze dezelfde betekenis hebben, daarom zoek je naar vergelijkbare contexten. Als je bijvoorbeeld fooien wilt vergelijken, neem je twee contexten waarin het allebei gebruikelijk is om fooien te geven. Je vergelijkt niet een door en door corrupte cultuur met een niet corrupte cultuur, want in die contexten betekenen fooien twee totaal verschillende dingen.

• Metingsequivalentie: vaak kun je een concept niet op dezelfde manier meten in verschillende culturen of tijdperken. Sommige landen houden bijvoorbeeld betere demografische bestanden bij dan andere. Dergelijke non-equivalentie kan problemen opleveren: je weet niet of een verschil werkelijk bestaat of dat het veroorzaakt is door verschillende meetinstrumenten.

Waar komt ethiek kijken bij historisch vergelijkend onderzoek?

Ethische kwesties die spelen bij H-V onderzoek zijn min of meer dezelfde als bij non-reactief onderzoek. De onderzoeker moet bijvoorbeeld goed documenteren welke primaire en secundaire bronnen hij gebruikt. Tevens moet hij rekening houden met privacy kwesties: soms willen participanten bepaalde informatie niet delen. Specifiek voor vergelijkend onderzoek is dat een onderzoeker zich aan moet passen aan de morele waarden en opvattingen in een andere cultuur. Als iets in een andere cultuur als beledigend wordt gezien, houd je daar rekening mee. Je moet dus leren wat een cultuur acceptabel acht en wat niet. Er zijn ook gevallen bekend, waarbij mensen uit andere culturen wantrouwig tegenover onderzoekers staan en hen verdenken van spionage. Politieke belangen kunnen wel degelijk een rol spelen in onderzoek. Zo kan een regering niet willen dat een onderzoeker bepaalde maatschappelijke problemen onderzoekt en aan het licht brengt. Dergelijke diplomatieke problemen hebben al regelmatig een obstakel gevormd voor onderzoekers in het verleden. Hiermee dient bij dit soort onderzoek ook rekening te worden gehouden.

Hoe schrijf je een onderzoeksverslag binnen de psychologie? - Chapter 12

Nadat je je onderzoek hebt voltooid, schrijf je een onderzoeksverslag: een document waarin je beschrijft hoe je de studie hebt uitgevoerd en welke resultaten je hebt gevonden. Het is een complete rapportage van het onderzoeksproces. Je onderzoeksverslag moet leesbaar (begrijpelijk) zijn voor wetenschappelijk onderlegde lezers. Deze lezers zijn kritisch in het onderscheiden van data en mythen, hebben inzicht in de tentatieve aard van onderzoek en zijn in staat om te zien hoe de data tot een antwoord leiden. Je begint al vroeg in het onderzoeksproces na te denken over je verslag. Je documenteert alles goed om het later in je verslag te kunnen gebruiken. Het verslag beschrijft de reden waarom je het onderzoek uitvoert, hoe je het gedaan hebt, en wat eruit kwam. Je voegt ook een referentielijst toe met verwijzingen naar alle bronnen die je hebt gebruikt.

Wat is belangrijk bij het schrijfproces?

Publiek

Het is belangrijk om bij het schrijven van je onderzoeksverslag rekening te houden met het publiek dat jouw verslag zal gaan lezen. Als je voor een docent schrijft, moet je vooral laten zien hoe je logisch hebt nagedacht en moet je je richten op je schrijfvaardigheid. Docenten zijn minder geïnteresseerd in je vondsten. Als je voor (mede)studenten schrijft, moet je alle technische termen goed definiëren en minder formele taal gebruiken. Als je voor wetenschappers schrijft, hoef je je technische termen niet uit te leggen. Zij zijn vooral geïnteresseerd in het hoe en wat van de resultaten. Praktijkmensen zijn meer geïnteresseerd in de hoofdresultaten en in de praktische implicaties daarvan en minder in de methoden en technieken.

Stijl en toon

Je schrijfstijl betreft het type woorden en de zinslengte en –vorm, die je gebruikt. In het onderzoeksverslag moet je een informele, grappige of kleurrijke stijl vermijden. Een te rigide, formele stijl met lange en complexe zinnen is echter ook niet aan te raden. Onderzoeksverslagen hebben een formele, maar bondige stijl. De toon die je in je verslag aanslaat, is ook van belang. Door je toon laat je doorschemeren wat jouw relatie is met het onderwerp en met de lezer. In een onderzoeksverslag sla je een iets afstandelijke toon aan. Je bent professioneel en serieus en je bent je lezer niet aan het vermaken of overtuigen.

Beginnen met schrijven

Schrijven is vooral een proces. Je bent bezig met het voortdurend organiseren en herorganiseren van je gedachten. Je brengt de informatie onder in verschillende onderdelen zoals onderzoeksvraag, methoden, dataverzameling, resultaten en implicaties. Het is aan te raden om een outline te maken. Hierin groepeer je je ideeën. Je zet de hoofdideeën links in de kantlijn en de sub ideeën daar onder. Je zet de ideeën op volgorde. Je eerste outline is vaak nog vaag en algemeen. Tijdens het schrijfproces kun je nieuwe ideeën en nieuwe connecties gaan zien. Vermijd uitstelgedrag, dit kan namelijk leiden tot een ‘writer’s block’, waarbij je tijdelijk niet in staat bent om wat dan ook te schrijven. Als de taak je te groot en onoverzichtelijk lijkt, kun je het onderwerp in kleinere behapbare onderdelen verdelen. Het beste is om iedere dag te schrijven, al is het maar een beetje. Op die manier vermijd je een black-out en tevens sta je jezelf niet toe om uit te stellen tot het laatste moment. Ook is het goed om je bezig te houden met ‘prewriting’ activiteiten, zoals het maken van een tijdschema, het rangschikken van je aantekeningen, het maken van een eerste outline, etc. Prewriting wordt gedefinieerd als het geheel van activiteiten, dat je voorbereidt op een serieus schrijfproces. Een voorbeeld van een prewriting activiteit is freewriting, vrij schrijven. Hierbij schrijf je alles wat je denkt zo snel mogelijk rechtstreeks op papier, zonder je druk te maken over verwoording of spelling. Dit helpt je om te beginnen met schrijven doordat het schrijven zelf je gedachteproces in gang zet.

Terug naar de literatuur

Voordat je aan je onderzoek begon, heb je een literatuur review gemaakt. Nu ga je voor het maken van je onderzoeksverslag terug naar de literatuur. Misschien zijn er nieuwe onderzoeken bijgekomen. Je kijkt welke artikelen in het licht van je afgeronde studie nog steeds relevant zijn en welke niet. Misschien mis je informatie en moet je nieuwe artikelen als aanvulling zoeken. Tevens check je of de referenties compleet zijn om plagiaat te voorkomen. Als je direct uit een artikel citeert, moet je de specifieke locatie van het citaat in de bron aangeven. Als je parafraseert, andermans idee in je eigen woorden vat, hoef je alleen het artikel te noemen.

Herschrijven

De first draft van je onderzoeksverslag is vrijwel nooit je eindproduct. Je moet je verslag meestal meer dan één keer herschrijven. Hierbij kijk je naar mechanische kenmerken (grammatica, spelling, interpunctie) en je woordgebruik. Ook kijk je of je niet overbodig veel de passieve vorm gebruikt in je zinnen. Check of je verhaal coherent is en of de zinnen logisch in elkaar doorvloeien. Vermijd te veel herhaling en wees niet omslachtig. Maak de structuur van je verslag duidelijk door titels en ondertitels te gebruiken. Zorg voor een goede balans tussen abstracte ideeën en concrete voorbeelden. Gebruik metaforen gedoseerd en alleen als ze iets toevoegen. Het werkt goed om je verslag door anderen te laten beoordelen. Zij zien vaak meer dan jij. Revising is het proces waarbij je ideeën verplaatst, toevoegt of verwijdert. Editing is het proces waarbij je puur kijkt naar de mechanische aspecten van het schrijven, zoals de grammatica of de zinsstructuur. Vertrouw hierbij niet volledig op de computer, deze haalt niet alle fouten uit je tekst. Schrijf je introductie (abstract) en titel op het laatst, zodat je zeker weet dat je je hele onderzoek erin samenvat. Houd je titel kort maar neem hierin wel de belangrijkste variabelen en het onderwerp allemaal op.

Hoe toon je oorzakelijke relaties aan?

Experimenteel onderzoek demonstreert oorzakelijke relaties het gemakkelijkst; deze vorm van onderzoek voldoet namelijk aan alle voorwaarden voor het aantonen van causaliteit. Onderzoekers die gebruik maken van surveys of van bestaande statistieken analyse willen echter ook causale relaties aantonen. Deze onderzoeksvormen zijn wel in staat om correlaties aan te tonen, maar extra aanpassingen moeten worden gemaakt om ook bewijs te vinden voor een tijdsvolgorde. Alternatieve verklaringen kunnen met enige inspanning ook onderzocht worden door de mogelijke variabelen te meten en hiervoor te controleren in de analyse. In veldonderzoek en H-V onderzoek wil je ook causale relaties aantonen. De enige voorwaarde waar je makkelijk aan voldoet, is de tijdsvolgorde: meestal bestudeer je het onderwerp van interesse over een zekere tijdspanne. Om het gezamenlijk voorkomen van variabelen te bestuderen, moet je zorgvuldig observeren en moet je op eventuele correlaties bedacht zijn. Om alternatieve verklaringen uit te sluiten, moet je van tevoren over mogelijke variabelen nadenken. Dit doe je bijvoorbeeld door de literatuur erop na te slaan. Deze mogelijke variabelen moet je zorgvuldig observeren om de relatie tussen deze en de andere variabelen vast te stellen.

Wat is een kwantitatief onderzoeksverslag?

Hoe een onderzoeksverslag eruit ziet, hangt ervan af of het kwantitatief of kwalitatief onderzoek beschrijft. Het kwantitatieve onderzoeksverslag bestaat uit een vrij vaste opeenvolging van secties, die hieronder besproken wordt.

Abstract

Een onderzoeksverslag begint met een abstract: een korte samenvatting van het onderzoek. De lengte varieert, maar is meestal om en nabij de 100 woorden. Deze abstracts zijn bedoeld om de lezer de mogelijkheid te geven om te bepalen of het verslag relevant voor hem is en of hij het helemaal wil lezen. Verslagen van toegepast onderzoek beginnen vaak met een executieve samenvatting. Deze is langer dan een abstract, vaak een paar pagina’s. Dat is omdat praktijkmensen en beleidsmakers vaak niet meer nodig hebben dan een samenvatting; ze hoeven niet alle details van de onderzoeksmethoden en -resultaten te weten.

Introductie

In de introductie leid je de onderzoeksvraag in. Je geeft een definitie van het probleem, plaatst jouw onderzoek in de context van de eerdere literatuur (literatuur review), beschrijft de hypothesen en definieert concepten die belangrijk zijn voor het begrijpen van het onderzoek.

Methoden

In deze sectie vertel je hoe het onderzoek is opgezet en hoe de data zijn verzameld. Je noemt het type onderzoek (bijv. survey of experiment). Je beschrijft het studiedesign, de meetinstrumenten en de praktijk van het data verzamelen. Je beschrijft alle steekproefkenmerken: hoe heb je een steekproef getrokken? Wat voor participanten heb je gebruikt? Ten slotte behandel je welke ethische kwesties optraden en hoe je daarmee omgegaan bent.

Resultaten

In dit gedeelte vat je de data samen. Je presenteert je vondsten, zonder daar al conclusies of interpretaties aan te verbinden. In deze sectie kun je ook tabellen en grafieken opnemen om je verhaal te verduidelijken. Gebruik er echter niet teveel: ze moeten wel iets toevoegen.

Discussie

In de discussie wordt een duidelijke interpretatie gegeven van de data. De discussiesectie wordt soms samengetrokken met de resultatensectie, maar meestal wordt aan het einde een aparte discussie ingevoegd. Dit gebeurt zodat lezers kunnen onderscheiden wat objectieve resultaten en wat subjectieve interpretaties zijn. In de discussie bespreek je of de hypothesen uitgekomen dan wel verworpen zijn. Ook noem je onverwachte nevenvondsten. Je geeft alternatieve verklaringen voor de resultaten en ontkracht deze eventueel. Ten slotte noem je de mogelijke zwakten en beperkingen van het onderzoek.

Conclusie

In de conclusie vat je het onderzoek en de belangrijkste resultaten samen. Je kunt ook implicaties voor de praktijk of voor toekomstig onderzoek bespreken. De conclusie is vaak verweven met de discussie en staat niet altijd onder een apart kopje.

Appendices en referentielijst

Als laatste kun je bijlagen toevoegen met uitvoerige details (zoals de vragen die je gebruikt hebt in je vragenlijst). Altijd aanwezig is de referentielijst: een lijst met alle literatuur waar je in het onderzoeksverslag naar verwezen hebt. Deze referenties moeten volgens een standaard format zijn opgemaakt, zoals voorgeschreven door de APA.

Wat is een kwalitatief onderzoeksverslag?

Het kwalitatieve onderzoeksverslag is minder gestructureerd en vastomlijnd dan het kwantitatieve verslag. Het is langer en neemt vaak zelfs de proporties van een boek aan. Dit komt doordat het moeilijk is om kwalitatieve data samen te vatten; je moet voortdurend voorbeelden en citaten geven. Ook creëer je vaak een nieuwe theorie, nieuwe concepten en nieuwe technieken, die meer uitleg behoeven dan gestandaardiseerde technieken, zoals meestal gebruikt in kwantitatief onderzoek.

Verslag van veldonderzoek

In een verslag van een veldonderzoek kun je een minder objectieve en formele schrijfstijl gebruiken. Je kunt vanuit de eerste persoon schrijven, omdat jouw ervaringen als onderzoeker een belangrijke rol spelen binnen de data. Veel onderzoekers voegen een korte autobiografie toe om zichzelf als persoon voor te stellen. Er zijn geen aparte secties voor data en conclusies: deze worden vaak door elkaar besproken. Je kunt meerdere volgordes aanhouden in dit verslag, bijvoorbeeld chronologisch of thematisch. In het laatste geval kun je abstracte analytische thema’s of de thema’s zoals onderscheiden door je proefpersonen aanhouden. Waar je de methoden bespreekt, hangt af van de vorm die je kiest. In boeken worden de methoden vaak achteraf besproken, bij een chronologisch verteld verslag worden ze vaak in de introductie al genoemd. In deze verslagen worden vaak ook andere datavormen opgenomen, zoals foto’s of transcripties van geluidsopnames. Onderzoekers schrijven zo dat ze de privacy van hun subjecten beschermen. Ze gebruiken bijvoorbeeld verzonnen namen voor personen en plaatsen.

Verslag van historisch-vergelijkend onderzoek

Dit verslag is meestal narratief, het vertelt een verhaal. Er wordt een beschrijving gegeven en er worden enkele beperkte generalisaties gemaakt. In het verslag worden abstracte concepten gekoppeld aan empirische details. Onderzoekers beschrijven zelden de gebruikte methoden, behalve dan in de vorm van een referentielijst. H-V verslagen bevatten vaak ook foto’s, kaarten, diagrammen en tabellen. Net als veldonderzoeksverslagen wordt er vaak gebruik gemaakt van een thematische of chronologische organisatie. In H-V onderzoek worden deze volgordes vaak gecombineerd, waarbij ieder onderwerp in chronologische volgorde wordt besproken. Als het verslag volledig vergelijkend is, kun je ook kiezen voor vergelijking per onderwerp.

Wat is belangrijk bij het onderzoeksvoorstel?

Sponsoring

Voordat je een onderzoek gaat doen, schrijf je een onderzoeksvoorstel. Dit is eigenlijk een soort onderzoeksverslag, maar dan op voorhand geschreven. Dit doe je om goedkeuring voor je plannen te vragen van je supervisor of om fondsen te werven. Onderzoek kost geld en je moet een goede reden kunnen aandragen waarom men jou zou moeten sponsoren. Het doel is anderen ervan te overtuigen dat jij als onderzoeker in staat bent om dit onderzoek uit te voeren en dat het onderzoek de moeite waard is om uitgevoerd te worden. Universiteiten, stichtingen en overheden hebben vaak programma’s om onderzoek te financieren. Het is echter niet makkelijk om fondsen te krijgen; vaak is er sprake van veel competitie. Fondsen stellen vaak speciale eisen aan onderzoek dat zij willen sponsoren. Zorg dat je je voor het schrijven van het onderzoeksvoorstel op de hoogte stelt van deze eisen. Wat voor soorten onderzoek worden gesponsord? Wat zijn de deadlines en instructies voor het voorstel? Hoe groot is de kans dat je voldoende budget krijgt toegekend? Veel instellingen geven periodiek requests for proposals (RFP’s) uit: aankondigingen dat er voorstellen ter sponsoring kunnen worden ingediend. Hierin staat beschreven wie de sponsor precies is, wat de vereisten zijn voor het uit te voeren onderzoek, wat de eventueel beschikbare fondsen inhouden en wat voor onderzoekers worden toegelaten. Ook wordt beschreven hoe je te werk dient te gaan bij het indienen van je onderzoeksvoorstel. Fondsen worden toegekend aan de hoofdonderzoeker, de principal investigator (PI). Onderzoekers met een indrukwekkend cv, veel ervaring en aanbevelingen van andere onderzoekers hebben meer kans op sponsoring.

Vereisten voor je onderzoeksvoorstel

In je onderzoeksvoorstel staan alle onderdelen die later in het verslag komen, behalve de resultaten en discussie. Een onderzoeksvoorstel is gemakkelijker te schrijven voor kwantitatief onderzoek dan voor kwalitatief onderzoek. Dit is zo omdat kwalitatief onderzoek vaak niet uitgebreid van tevoren is gepland. Het enige dat je in het voorstel op kunt nemen, is een beschrijving van het probleem en een literatuurreview. Als je het onderzoekvoorstel goed schrijft en onderbouwt en als je een pilot studie beschrijft, is de kans groter dat je kwalitatieve onderzoeksvoorstel wordt aangenomen. In je voorstel volg je strikt de instructies en vereisten die beschreven stonden in het RFP. Geef, indien gevraagd, een realistische inschatting van het benodigde budget en maak een duidelijk tijdsschema. Benoem of je onderzoek voldoet aan standaardregulaties, zoals goedkeuring van een IRB. Stuur het voorstel voor de deadline in. Beschrijf duidelijk wat je doelen en je te gebruiken methoden en technieken zijn. Maak duidelijk dat je alles goed doordacht hebt en dat je een realistische planning hebt.

Keuring door de sponsor

Als het voorstel is ingediend, wordt het vaak door andere onderzoekers of door leken geëvalueerd. Er wordt gekeken of het onderzoeksdoel in overeenstemming is met dat van de sponsor. Vaak worden de ingediende voorstellen gerangschikt en worden alleen de beste onderzoeken gesponsord. Als een voorstel niet wordt ingewilligd, wordt het voorzien van feedback en teruggestuurd. Herziene voorstellen kunnen opnieuw worden ingediend. Als een voorstel wel wordt ingewilligd, kan het onderzoek van start gaan. Naderhand vragen sponsoren vaak een verslag van hoe de onderzoeker zijn fondsen precies heeft besteed. Tevens worden zij graag op de hoogte gesteld van de uitkomsten van het onderzoek. Als een onderzoeker de fondsen heeft misbruikt, kan dit in het minst erge geval leiden tot terugvordering van het budget en in het ergste geval tot gevangenisstraffen en boetes.

Understanding Research - Neuman - BulletPoints

Wat is het belang van onderzoek? Chapter 1

• Kritisch denken omvat het vermijden van misvattingen, het bekijken van een kwestie vanuit meerdere perspectieven, het opmerken van onderliggende aannames en het gebruiken van een empirisch argument.

• Empirisch bewijs kan kwantitatief (in de vorm van cijfers) zijn of kwalitatief (in de vorm van beelden, woorden of geluiden). Of bewijs goed is, is afhankelijk van de standaarden en niet van het type data.

• De technieken waarmee kwantitatieve data verzameld kunnen worden, zijn: het experiment; de vragenlijst; de inhoudsanalyse en bestaande statistische bronnen.

• Kwalitatieve data kunnen verzameld worden met etnografisch veldonderzoek en historisch-vergelijkend onderzoek.

• De vier onderzoeksdoelen zijn (1) ontdekken (de ‘wat’ vraag); (2) beschrijven (de ‘hoe’ en ‘wie’ vraag); (3) verklaren (de ‘waarom’ vraag) en (4) evalueren (de ‘werkt het’ vraag).

• Twee soorten onderzoek zijn (1) basisonderzoek, waarbij fundamentele kennis en basisbegrip van een fenomeen worden bevorderd door theorieën te creëren en (2) toegepast onderzoek, waarbij een specifieke, praktische vraag wordt beantwoord met direct bruikbare oplossingen.

• Het onderzoeksproces is op te delen in zeven stappen: (1) een onderwerp selecteren; (2) het onderwerp afbakenen en specifiek maken; (3) een plan opstellen om de onderzoeksvraag te beantwoorden; (4) data verzamelen; (5) data analyseren; (6) data interpreteren en (7) het onderzoek publiceren.

• Twee soorten onderzoek zijn basisonderzoek, waarbij fundamentele kennis en basisbegrip van een fenomeen worden bevorderd door theorieën te creëren en toegepast onderzoek, waarbij een specifieke, praktische vraag wordt beantwoord met direct bruikbare oplossingen.Het onderzoeksproces is op te delen in 7 stappen: (1) een onderwerp selecteren; (2) het onderwerp afbakenen en specifiek maken; (3) een plan opstellen om de onderzoeksvraag te beantwoorden; (4) data verzamelen; (5) data analyseren; (6) data interpreteren en (7) het onderzoek publiceren.

Hoe vertaal je een onderzoeksvraag naar een onderzoeksplan? Chapter 2

• Een onderwerp voor onderzoek moet generaliseerbaar, een sociaal patroon, een verzameling en empirisch observeerbaar zijn.

• Een literatuur review wordt geschreven in zes stappen: (1) verfijn je onderwerp; (2) baken je zoekmethoden af; (3) zoek artikelen; (4) lees de vondsten en maak aantekeningen; (5) organiseer en synthetiseer je vondsten in het uiteindelijke literatuur review en (6) maak je referentielijst.

• Een goede onderzoeksvraag is empirisch testbaar, te vatten in variabelen en duidelijk.

• Onderzoeksvragen zijn op te delen in inductieve en deductieve vragen. Inductieve vragen beginnen met veel observaties, die leiden tot theorieën en die vaak kwalitatieve data omvatten. Bij deductieve vragen wordt vanuit een theorie geredeneerd en getest en is er vaak sprake van kwantitatieve data. Ontdekkend onderzoek is vaak inductief, verklarend onderzoek deductief en beschrijvend onderzoek gebruikt beide benaderingen.

• De kernpunten van een onderzoeksvoorstel zijn: (1) focussen op de onderzoeksvraag; (2) generaliseren naar een universum; (3) het onderzoekspad volgen (lineair, een vaste opeenvolging van stappen, of non-lineair, zonder vaste volgorde); (4) variabelen vaststellen, (5) patronen ontdekken; (6) type verklaring (antwoord op de ‘waarom’ vraag); (7) eenheden van analyse (de eenheid waarin je de variabelen meet); (8) niveau van analyse (het niveau van realiteit waarop je uitkomsten betrekking hebben) en (9) het vermijden van onjuiste veronderstellingen.

Welke rol speelt ethiek in onderzoek? Chapter 3

• Onder wetenschappelijk wangedrag vallen onderzoeksfraude (het bedenken, falsificeren of vertekenen van data over hoe een onderzoek is uitgevoerd) en plagiaat (het gebruiken van andermans woorden of ideeën zonder de bron te vermelden).

• Participanten van onderzoeken worden met ethische richtlijnen beschermd tegen fysieke beschadiging; emotionele of psychologische beschadiging en wettelijke beschadiging.

• Deelname aan een onderzoek moet altijd vrijwillig zijn. Daarom moeten participanten van tevoren een informed consent tekenen, dat bestaat uit de volgende 8 onderdelen: (1) beschrijving van het doel en de procedures van het onderzoek; (2) beschrijving van de risico’s en ongemakken; (3) garantie van anonimiteit en vertrouwelijkheid; (4) identificatie van de onderzoeker en contactinformatie; (5) de opmerking dat deelname vrijwillig is en dat te allen tijde gestopt kan worden; (6) een beschrijving van eventuele alternatieve gebruikte procedures; (7) een beschrijving van de compensatie of beloning en (8) het aanbod om na afronding op de hoogte gehouden te worden van onderzoeksresultaten.

• Soms kan het ware doel van een onderzoek niet vooraf verteld worden, omdat het invloed zou hebben op het gedrag van de participanten. Dan wordt deceptie gebruikt, waarbij na afloop wel alsnog een debriefing moet plaatsvinden. In alle gevallen moeten participanten anoniem blijven en moet vertrouwelijk met hun gegevens omgegaan worden.

• Sponsoring en politiek zijn factoren die invloed kunnen hebben op de onderzoeker. Deze wordt echter altijd geacht ethisch te handelen en moet zich daar ook altijd voor verantwoorden.

• Waardevrij onderzoek is niet vertekend door persoonlijke opvattingen en vooroordelen van de onderzoeker. Objectief onderzoek houdt in dat onderzoekers standaard en algemeen geaccepteerde procedures gebruiken en geen zelfbedachte.

Hoe werkt het nemen van steekproeven? Chapter 4

• Als het niet mogelijk is om op basis van toeval een steekproef te trekken, gebruik je een van de volgende 4 niet-willekeurige steekproeven: (1) convenience sampling (gemakksteekproef, een onsystematische steekproef. Je kiest bijvoorbeeld 1 middelbare school om uitspraken te doen over alle middelbare scholen); (2) quoatasteekproef (je stelt van tevoren vast hoeveel deelnemers je van elke categorie wilt. Je wilt bijvoorbeeld 10 mannen en 10 vrouwen, waarvan de ene helft onder en de andere helft boven de 30 jaar oud is); (3) doelgerichte steekproef (je selecteert eenheden, die voldoen aan hele specifieke kenmerken, om zo informatief mogelijke cases te krijgen) en (4) sneeuwbalsteekproef (een steekproef, die gebaseerd is op een al bestaand sociaal netwerk, zoals bijvoorbeeld leden van een organisatie).

• Belangrijke begrippen bij willekeurige steekproeftrekking zijn: (1) steekproefelement (eenheid van analyse van de populatie, die geselecteerd kan worden voor een steekproef); (2) universum (groep waarnaar je wil generaliseren); (3) steekproefkader (lijst van alle steekproefelementen in de doelpopulatie); (4) populatieparameter (getal dat de populatie beschrijft en dat je schat op basis van je steekproef); (5) steekproefverhouding (ratio van steekproefgrootte tot populatiegrootte) en (6) steekproef error (mate waarin de steekproef afwijkt van de populatie).

• Bij willekeurige steekproeftrekking heeft ieder lid van de populatie een even grote kans om geselecteerd te worden. Er zijn 4 soorten: (1) simpele willekeurige steekproef (een computer berekent willekeurige nummers en je selecteert de bijbehorende elementen); (2) systematische steekproef (van een lijst wordt om de zoveel elementen een element geselecteerd); (3) gestratificeerde steekproef (je laat bepaalde kenmerken in verhouding met de populatie terugkomen in je steekproef. Niet te verwarren met quotasteekproef) en (4) clustersteekproef (je trekt eerst een steekproef uit alle clusters en daarna uit de elementen daarin. Als cluster kan je bijvoorbeeld de UU nemen en als elementen de studenten).

• Speciale technieken van steekproeftrekking zijn: (1) random-digit dialing (een computer genereert willekeurige telefoonnummers, zodat iedereen zonder vaste telefoon ook bereikt kan worden); (2) binnen een huishouden en (3) verborgen populaties.

• De drie voorwaarden waaraan voldaan moet worden voordat je conclusies mag trekken over de populatie, zijn: (1) het reduceren van steekproef errors; (2) steekproefgrootte en (3) betrouwbaarheidsinterval.

Waarom en hoe meten we? Chapter 5

• Vier verschillen tussen kwantitatief en kwalitatief onderzoek zijn: (1) timing (bij kwantitatief onderzoek maak je concepten meetbaar vóór dataverzameling en bij kwalitatief onderzoek creëer je meetinstrumenten tijdens dataverzamling); (2) richting (bij kwantitatief onderzoek volg je een deductieve route en bij kwalitatief onderzoek een inductieve); (3) vorm van data (bij kwantitatief onderzoek is de data in de vorm van nummers en bij kwalitatief onderzoek in de vorm van woorden, symbolen en geschriften) en (4) verbindingen (in kwantitatief onderzoek verbind je ideeën aan meetinstrumenten, bij kwalitatief onderzoek verbind je data pas achteraf aan concepten).

• Voordat je een onderzoek begint, moet je eerst het onderwerp conceptualiseren door het idee een duidelijke, expliciete definitie te geven (conceptuele definitie). Daarna volgt de operationalisering: het definiëren van het concept in termen van meetinstrumenten (operationele definitie). Bij kwantitatief onderzoek volgt na deze twee stappen de dataverzameling. Bij kwalitatief onderzoek gaat het anders: daar begin je met dataverzameling en conceptualiseer en operationaliseer je de ideeën, die je tegenkomt.

• Bij het creëren van een meetinstrument moet je aan de volgende vijf dingen denken: (1) goede conceptualisatie en operationalisering; (2) open staan voor verschillende meetinstrumenten; (3) goed kijken welke meetinstrumenten anderen hebben gebruikt voor vergelijkbare concepten; (4) anticiperen op moeilijkheden en (5) eenheid van analyse.

• Betrouwbaarheid is dat het meetinstrument consistente resultaten geeft: dus dat je als je twee keer hetzelfde meet twee keer dezelfde resultaten krijgt.

• Validiteit is dat het meetinstrument daadwerkelijk het te meten concept meet. Er zijn drie soorten validiteit: oppervlaktevaliditeit, inhoudsvaliditeit en criteriumvaliditeit.

• Een valide meting is altijd ook een betrouwbare meting, maar een betrouwbare meting hoeft niet valide te zijn!

• Er zijn verschillende meetniveaus. Discrete variabelen kunnen slechts een paar waarden aannemen. Hieronder vallen de nominale en ordinale meetniveaus. Continue variabelen kunnen gemeten worden in getallen, waarbij tussenliggende waarden ook betekenis hebben. Hieronder vallen de interval en ratio meetniveaus.

• Een schaal meet de intensiteit, richting of het niveau van een concept op ordinaal of interval meetniveau. Een index combineert verschillende indicatoren in een score, meestal op interval meetniveau.

• Je wilt dat de categorieën van je variabele mutueel exclusief, uitputtend en unidimensionaal zijn.

Wat is vragenlijstonderzoek en welke vormen zijn er? Chapter 6

• Vragenlijstonderzoek (survey) is de meest gebruikte methode van dataverzameling en kan gehouden worden over alles wat mensen zelf kunnen rapporteren. Met de vragen kunnen meerdere hypothesen getoetst worden en vaak wordt gekeken naar verbanden tussen variabelen waarbij causaliteit niet duidelijk is.

• De drie fasen waaruit vragenlijstonderzoek bestaat zijn: (1) de opstartfase, (2) uitvoeringsfase en (3) analysefase.

• Fouten die gemaakt worden bij het opstellen van vragen zijn: fouten in woordgebruik (zoals vakjargon, straattaal en ambiguïteit); leidende vragen (en foute vooronderstellingen) en andere fouten, zoals prestigevertekening (mensen beïnvloeden met de mening van een belangrijk figuur); dubbele vragen (twee vragen in één vraag); de mening van de participant gebruiken als antwoord op je hypothese; en ten slotte vragen die respondenten niet kunnen beantwoorden, die te gedetailleerd zijn of die te ver vooruit vragen en antwoordcategorieën die niet in balans zijn.

• De volgorde van je vragen moet kloppen: je stelt dus eerst een algemene vraag, en daarna een specifieke.

• Een gesloten vraag moet mutueel exclusief (antwoordcategorieën overlappen niet), uitputtend (alle mogelijke omstandigheden zitten erbij) en gebalanceerd (evenveel antwoordopties aan beide kanten van het continuüm) zijn.

• Sociale wenselijkheidsvertekening is het fenomeen, waarbij mensen een zo positief mogelijk beeld van zichzelf proberen neer te zetten. Dit kun je als onderzoeker tegengaan door de verwerpelijkheid van de activiteit af te zwakken of door gezichtsreddende alternatieven te bieden.

• Survey formats zijn schriftelijke vragenlijsten, telefonische interviews, face-to-face interviews en internet surveys.

• Het interview bestaat uit drie fasen: (1) introductie (doel van het interview uitleggen, rolverwachtingen scheppen en informed consent overleggen); (2) hoofdfase (vragen stellen door letterlijk op te lezen en het beantwoorden ervan, antwoorden letterlijk optekenen en doorvragen) en (3) slotfase (respondent bedanken en vertrekken). Daarna tekent de interviewer details als de datum en bijzonderheden op.

• Bij het fenomeen stereotype threat is iemand zich bewust van een bepaald stereotype, waaraan hij/zij ook voldoet, wat de prestaties beïnvloedt.

• Ethische kwesties waarmee rekening gehouden moet worden bij vragenlijstonderzoek, zijn het garanderen van de privacy van respondenten; mensen niet dwingen deel te nemen; oprechte doelen hebben en het vermelden van je methoden.

Hoe werkt het uitvoeren van experimenteel onderzoek? Chapter 7

• Het experiment bestaat uit twaalf stappen: (1) een hypothese bedenken; (2) een experimenteel design bedenken; (3) besluiten hoe je de onafhankelijke variabele gaat manipuleren; (4) bedenken hoe je de onafhankelijke variabele gaat meten; (5) een experimentele setting ontwerpen en de instrumenten pilot testen; (6) de participanten lokaliseren; (7) participanten willekeurig toewijzen aan condities; (8) pretest data verzamelen; (9) de manipulatie toepassen bij de experimentele groep; (10) posttest data verzamelen; (11) de participanten debriefen en (12) de data analyseren.

• Het experiment is vooral bruikbaar in specifieke, nauw te definiëren situaties waarin de relatie tussen twee tot drie variabelen bekeken wordt.

• In het experiment wil je dat de groepen zo gelijk mogelijk zijn. Daarom gebruik je bij voorkeur willekeurige toewijzing. Matchen wordt bij kleine groepen gebruikt om te proberen kenmerken gelijk te houden in de verschillende groepen. Bij grotere groepen werkt dit echter niet en wordt willekeurige toewijzing gebruikt.

• Experimenten hebben zeven kenmerken: (1) een onafhankelijke variabele, (2) een afhankelijke variabele, (3) een pretest, (4) een posttest, (5) een experimentele groep, (6) een controlegroep en (7) willekeurige toewijzing.

• Er zijn drie typen experimentele designs: (1) ware experimentele designs, waaronder het klassieke experimentele design, het tweegroepen met alleen posttest design, het Solomon viergroepen design, het Latijns vierkant design en het factoriële design; (2) pre-experimentele designs, waaronder het one-shot case study design, enkele groep pretest-posttest design en het statistische groepsvergelijkingendesign; en (3) quasi-experimentele designs, waaronder het onderbroken tijd seriedesign en het equivalente tijd seriedesign.

• Bij de designnotatie staat de X voor de onafhankelijke variabele, de O voor de meting van de afhankelijke variabele en de R voor willekeurige toewijzing.

• De interne validiteit stelt of de onafhankelijke variabele de afhankelijke variabele heeft beïnvloed. Verschillende factoren kunnen hiervoor een bedreiging vormen (selectievertekening, geschiedenis, maturatie, testeffect, mortaliteit, contaminatie, en verwachtingen)

• De externe validiteit is de mate waarin resultaten gegeneraliseerd kunnen worden naar andere situaties. Niet-representatieve participanten, een kunstmatige setting of manipulatie en reactiviteit vormen een bedreiging voor de externe validiteit.

• Ook bij een experiment moet rekening worden gehouden met de ethische richtlijnenZeven factoren die een bedreiging vormen voor de interne validiteit zijn: (1) selectievertekening (verschillen tussen de twee groepen door de selectiemethode); (2) geschiedenis (een onverwachte, ongerelateerde gebeurtenis heeft invloed op de afhankelijke variabele); (3) maturatie (een psychologisch proces veroorzaakt veranderingen in de afhankelijke variabele); (4) testeffect (participanten hebben door de pretest ervaring met het experiment en presteren daarna anders); (5) experimentele mortaliteit/uitval (attritie) (participanten die afvallen, hebben andere kenmerken dan degenen die het experiment afmaken); (6) contaminatie (participanten uit verschillende groepen beïnvloeden elkaar) en (7) experimentator verwachting (het gedrag van de experimentleider beïnvloedt de scores van de participanten).

• De externe validiteit is de mate waarin resultaten gegeneraliseerd kunnen worden naar andere situaties. Vier situaties vormen een bedreiging voor de externe validiteit: (1) niet-representatieve participanten; (2) kunstmatige setting; (3) kunstmatige manipulatie en (4) reactiviteit (participanten passen hun gedrag aan, omdat ze weten dat ze onderzocht worden).

Wanneer doe je non-reactief onderzoek en hoe werkt dit? Chapter 8

• Bij non-reactief onderzoek zijn mensen zich er niet van bewust dat ze onderzocht worden. Er zijn vier non-reactieve technieken: fysiek bewijsanalyse; inhoudsanalyse; bestaande statistiekenanalyse en secundaire data-analyse.

• Een variabele kan op vijf aspecten gecodeerd worden: richting; frequentie; intensiteit; ruimte en prominentie. Bij manifeste codering kijk je naar de zichtbare, oppervlakkige inhoud van een tekst. Bij latente codering kijk je naar de onderliggende, impliciete betekenis van de inhoud.

• De interbeoordelaarbetrouwbaarheid is een getal tussen de 0 en 1 en geeft aan hoe consistent de inhoudsanalyse is. Een score van 0.7 is acceptabel en 0.8 is zeer goed.

• Een inhoudsanalyse gaat volgens de volgende acht stappen: (1) formuleer een onderzoeksvraag; (2) identificeer de tekst die je gaat analyseren; (3) bepaal de eenheid van analyse; (4) trek een steekproef; (5) creëer een coderingssysteem; (6) stel categorieën voor codering op; (7) codeer de data op recording sheets en (8) analyseer de data.

• De verschillende problemen die de datakwaliteit bij bestaande statistiekenanalyse kunnen beperken, zijn: missende data; betrouwbaarheid; validiteit; kennis van zaken; misvatting van misplaatste concreetheid en ecologische misvatting

• Bij het vergelijken van de data is standaardisering erg belangrijk; je past je meting aan door het te delen door een basis, zoals het omzetten van de data in percentages. Zo kun je bijvoorbeeld groepen van verschillende groottes vergelijken.

• Ethische kwesties die bij non-reactief onderzoek van belang zijn, zijn de privacy van de participanten en de bron van de data. De participanten weten namelijk niet dat ze deelnemen en dus moet extra voorzichtig met vertrouwelijkheid en anonimiteit omgesprongen worden.

• De data zijn vaak afkomstig van overheden en beleidsmakers, die politieke redenen kunnen hebben voor het verzamelen van bepaalde data. Dit is belangrijk om te realiseren voordat je je uitkomsten interpreteert.

Hoe werkt het statistisch analyseren van de data? Chapter 9

• Om data te kunnen analyseren, moet je het coderen. In een rooster worden in de kolommen de variabelen gezet en in de rijen de verzamelde data. Nummers die hierbij gebruikt worden zijn ofwel kwantitatieve metingen, ofwel codes voor kwalitatieve metingen. Om later de codes weer te kunnen ontcijferen, moet je een codeboek bijhouden, waarin je bijhoudt welke waarden met welke nummers zijn gecodeerd.

• Descriptieve statistiek beschrijft numerieke informatie en vat deze samen, inferentiële statistiek bepaalt of de resultaten significant zijn. Univariate statistiek beschrijft één variabele, bivariate statistiek twee variabelen en multivariate meer dan twee variabelen.

• Een frequentieverdeling is een tabel die laat zien hoeveel van de proefpersonen in elk van de categorieën van een variabele vallen. In een staafdiagram worden discrete variabelen samengevat, met ruimte tussen de balken. In een histogram worden ratio of intervalvariabelen samengevat en is er geen ruimte tussen de balken.

• Een manier om de data samen te vatten, is door middel van centrale tendens. Dit getal geeft het gemiddelde of de hoofdtendens van de data weer. Er zijn drie metingen van centrale tendens: (1) de modus, de meest voorkomende waarde in de frequentieverdeling; (2) de mediaan, het middelpunt van de dataverdeling en (3) het gemiddelde, de som van de waarden gedeeld door het aantal waarden.

• Als je een frequentieverdeling plot, krijg je vaak een normaalverdeling: een klokvormige curve met de meest voorkomende waarden piekend in het midden en de minst voorkomende waarden bij de uiteinden links en rechts op de x-as.

• Bij een linksscheve verdeling liggen de hoogste waarden rechts en zit er dus rechts een piek en loopt de staart naar links, bij een rechtsscheve verdeling zit de piek links en loopt de staart naar rechts.

• De hoogste en laagste score waartussen alle waarden vallen, heet het bereik. Een percentiel is een score waaronder een bepaald percentage scores valt^e percentiel betekent dat 50% van de scores op of onder deze specifieke waarde lag. De standaardafwijking geeft de gemiddelde afstand van de waarden tot het gemiddelde weer.

• Door waarden in z-scores om te zetten, kun je een frequentieverdeling standaardiseren. Een z-score van 1 betekent een afwijking van +1 standaardafwijking boven het gemiddelde.

• Drie technieken om te achterhalen of er sprake is van een statistisch verband zijn spreidingsdiagrammen, bivariate tabellen, en de correlatie.

• Multipele regressieanalyse wordt gebruikt om het effect van meerdere onafhankelijke variabelen op een afhankelijke variabele te meten. De ß (bèta) geeft aan hoeveel invloed iedere variabele onafhankelijk van de anderen heeft. R² is de proportie verklaarde variantie en het geeft aan hoeveel procent van de verandering in de afhankelijke variabele wordt verklaard door de onafhankelijke variabele.

• Het niveau van statistische significantie geeft aan hoe groot de kans is dat je een relatie gevonden hebt, die er in werkelijkheid niet is.

• Een type I fout is de fout dat je een nulhypothese verwerpt, terwijl er geen effect is. Een type II fout is de fout dat je een nulhypothese accepteert, terwijl er wel een effect is.

Hoe werkt observatie in veldonderzoek en op welke manieren kan dit? Chapter 10

• Het uitgangspunt van veldonderzoek is naturalisme: het idee dat we het meeste te weten komen door mensen in alledaagse situaties in een natuurlijke setting te observeren. Een voorbeeld van veldonderzoek is etnografie, waarbij een gedetailleerde beschrijving wordt gegeven van betekenissen en culturele kennis binnen een bepaalde groep.

• Culturele kennis bestaat uit expliciete kennis (makkelijk observeerbaar en op directe wijze in ons bezit) en impliciete kennis (niet observeerbaar en onbesproken, zoals normen).

• Bij het selecteren van een field site voor veldonderzoek moet met vier factoren rekening worden gehouden: de omvatting, de rijkdom en verscheidenheid, de onbekendheid, en de toepasbaarheid.

• Eenmaal in het veld moet je een relatie opbouwen, de toegang behouden en bepalen in hoeverre je betrokken wilt raken bij de groep. Om succes te bewerkstelligen kun je een goede relatie met de participanten opbouwen en behouden, gunsten bewijzen, geïnteresseerd overkomen, een novice opstelling innemen, conflicten vermijden, en een houding van vreemdheid aannemen.

• Een aantal strategieën voor succes in het veld houdt in dat je een goede relatie met de participanten opbouwt, Bij veldonderzoek observeer je de fysieke setting, de mensen en hun gedrag en letterlijk wat mensen zeggen en hoe ze het zeggen.

• De vijf verschillende niveaus van aantekeningen zijn: (1) jotted notes (korte aantekeningen, gemaakt in het veld om later uit te werken); (2) aantekeningen van directe observatie (kern van de data bestaand uit gedetailleerde optekening van je observatie); (3) aantekeningen van de gevolgtrekkingen van de onderzoeker (premature gevolgtrekkingen, deze worden later uitgewerkt); (4) analytische aantekeningen (premature ideeën en theorieën over de data, een vroege poging om er betekenis aan te geven) en (5) persoonlijke aantekeningen (persoonlijke ervaringen, dienen als dagboek om later te kunnen evalueren).

• Verschillende vragen die je tijdens een interview kunt stellen, zijn descriptieve vragen (beschrijvingen van de situatie); structurele vragen (om te achterhalen hoe concepten zijn georganiseerd) en contrastvragen (om te onderzoeken of jouw categorieën correct zijn geïdentificeerd).

• Een informant is een specifiek persoon binnen de groep die de onderzoeker meer informatie verschaft over details. Dit kan beter geen hoogopgeleid persoon zijn, omdat zij zelf analyses maken en hun rapportages dus niet meer uit hun eigen perspectief bestaan.

• De meest optredende ethische kwestie is privacy en of je moet onthullen dat je een onderzoeker bent. Ook komt het soms voor dat illegale praktijken worden geobserveerd.

• Focusgroep-onderzoek lijkt op veldonderzoek. Er worden informele interviews gedaan met kleine groepen mensen, er zijn zo’n 4-12 deelnemers.

Wat is historisch-vergelijkend onderzoek? Chapter 11

• Historisch-vergelijkend onderzoek vergelijkt verschillende tijdperken of culturen. Hiermee kunnen oplossingen gevonden worden voor huidige problemen. De data zijn vaak kwalitatief en niet waardenvrij.

• De algemene volgorde van stappen die in het onderzoek worden genomen, zijn als volgt: (1) achtergrondinformatie verzamelen; (2) de kwestie conceptualiseren; (3) bewijs verzamelen; (4) bewijs organiseren; (5) concepten integreren en ontwikkelen en (6) het onderzoeksrapport schrijven.

• De vier soorten bronnen die gebruik maken van historisch bewijs zijn: (1) primaire bronnen (in het verleden gecreëerde bronnen die het overleefd hebben tot het heden); (2) running records (bestanden van een organisatie, waarin gegevens worden bijgehouden); (3) recollectie (mondelinge of geschreven herinnering van een persoon aan een ervaring in het verleden) en (4) secundaire bronnen (artikelen over het onderwerp, geschreven door historici).

• Vergelijkend onderzoek maakt gebruik van vier soorten dataverzameling: vergelijkend veldonderzoek; bestaande kwalitatieve data; crossnationaal vragenlijstonderzoek en bestaande kwantitatieve data.

• De vier belangrijke soorten van gelijkheid bij dit type onderzoek zijn: (1) lexicon equivalentie (hetzelfde zeggen in een andere taal in een andere cultuur of ander tijdperk); (2) conceptuele equivalentie (hetzelfde concept in verschillende culturen of tijdperken toepassen); (3) contextuele equivalentie (een gebeurtenis of activiteit beschouwen in zijn context over verschillende culturen of tijdperken) en (4) metingsequivalentie (een concept op dezelfde manier meten in verschillende culturen of tijdperken).

• Ethische kwesties die spelen bij H-V onderzoek zijn min of meer dezelfde als bij non-reactief onderzoek. Specifiek voor vergelijkend onderzoek is dat een onderzoeker zich aan moet passen aan de morele waarden en opvattingen in een andere cultuur.

Hoe schrijf je een onderzoeksverslag binnen de psychologie? Chapter 12

• Een onderzoeksverslag is een document, waarin je beschrijft hoe je de studie hebt uitgevoerd en wat de resultaten zijn. Het is een complete rapportage van het onderzoeksproces.

• Bij het schrijfproces moet je goed nadenken over het publiek en veel aandacht besteden aan stijl en toon. Ook moet je goed nadenken over de opbouw en kun je niet te laat beginnen. Het is belangrijk dat je goed bijhoudt welke bronnen je hebt gebruikt en dat je goed refereert.

• Alleen experimenteel onderzoek kan makkelijk oorzakelijke relaties demonstreren, omdat het aan alle voorwaarden voor causaliteit voldoet. Bij vragenlijsten en bestaande statistiekenonderzoek moeten extra aanpassingen worden gedaan om bewijs te kunnen vinden voor een tijdsvolgorde.

• Het kwantitatieve onderzoeksverslag bestaat uit de volgende onderdelen: abstract; introductie; methoden; resultaten; discussie; conclusie en de bijlagen en referentielijst.

• Het kwalitatieve onderzoeksverslag is veel minder gestructureerd en lijkt soms zelfs meer op een boek, omdat het samenvatten erg moeilijk is en omdat tijdens het schrijven vaak nieuwe theorieën geformuleerd worden, die dan weer uitgelegd moeten worden. Een verslag van een veldonderzoek is minder objectief en formeel en kan vanuit de eerste persoon geschreven worden. Een verslag van historisch-vergelijkend onderzoek is meestal narratief en vertelt een verhaal.

• Je onderzoeksvoorstel is een soort van tevoren geschreven onderzoeksverslag, waarmee je goedkeuring voor je plannen vraagt van je supervisor of waarmee je fondsen probeert te werven. Alle onderdelen die in je latere onderzoeksverslag komen, staan hier ook in, behalve de resultaten en discussie. Je moet duidelijk maken dat je alles goed doordacht hebt, zodat je anderen ervan kan overtuigen dat jouw onderzoek de moeite waard is om uitgevoerd en gesponsord te worden.