Samenvatting introductie tot wetenschappelijk onderzoek in de sociale wetenschap

Deze samenvatting over methoden van wetenschappelijk onderzoek in de sociale wetenschap is gebaseerd op Exploring research van Salkind. De samenvatting is geschreven in 2015

Hoofdstuk 1. Waarom is onderzoek belangrijk?

Menselijk gedrag heeft nog veel vragen open staan. Onderzoekers in dit veld proberen met behulp van wetenschappelijk onderzoek antwoord te vinden op deze vragen of delen van deze vragen. Onderzoekers proberen kennis te vergaren zodat de volgende generatie onderzoekers beroep kunnen doen op een steeds bredere kennisdatabank. Onderzoek is het proces waarbij geprobeerd wordt nieuwe kennis te ontdekken. Deze informatie kan vervolgens geordend worden in een theorie. Theorieën kunnen vervolgens gebruikt worden om gebeurtenissen in het verleden te verklaren en gebeurtenissen in de toekomst te voorspellen. Goed onderzoek heeft verschillende kenmerken. Zo is een goed onderzoek repliceerbaar. Dat wil zeggen dat andere onderzoekers met andere onderzoeksdeelnemers vergelijkbare resultaten moeten vinden als ze dezelfde methoden gebruiken als in het originele onderzoek.

Goed onderzoek is vaak gebaseerd op het werk van anderen. Een nieuw onderzoek kan bijvoorbeeld gebruikt worden om de resultaten van een eerder onderzoek te repliceren of als uitbreiding op eerder onderzoek. Bovendien biedt eerder onderzoek informatie die al bewezen en waarmee je rekening kunt houden in je eigen onderzoek. Het wiel hoeft immers niet elke keer opnieuw uitgevonden te worden. Een andere belangrijke vereiste voor een goed onderzoek is dat het gebaseerd dient te zijn op een logische rationale en verbonden moet zijn met een theorie. Dit geeft het onderzoek richting en biedt de mogelijkheid om het onderzoek te relateren aan andere onderzoeken. Wanneer een onderzoek goed uitgevoerd is, moeten de onderzoeksresultaten generaliseerbaar zijn naar andere settingen. De gegevens hoeven dan niet exact hetzelfde te zijn in de andere setting, maar wel ongeveer vergelijkbaar zijn. Wanneer onderzoeksgegevens niet generaliseerbaar blijken, is het de vraag hoe betrouwbaar het originele onderzoek geweest is.

Goed onderzoek wordt in een ideaal scenario uitgevoerd om maatschappelijke vooruitgang te boeken en heeft geen politieke agenda. In de praktijk zijn er vaak nogal wat belanghebbenden als het gaat om bepaald onderzoek en deze zullen proberen het onderzoek in hun voordeel te beïnvloeden. Vaak zijn er ook allerlei politieke belangen omdat bepaalde wetenschappelijke ontdekkingen kunnen leiden tot grote problemen als de ontdekkingen in verkeerde handen vallen. Verder is het belangrijk dat een onderzoek uitvoerbaar moet zijn. Ook is onderzoek incrementeel, dat wil zeggen dat nieuw onderzoek nieuwe informatie geeft en oude informatie in een ander licht kan zetten. Zo wordt de kennis en de theorie steeds verder uit gebouwd. Als laatste zorgt nieuw onderzoek voor nieuwe vragen of heeft het een cyclisch karakter. Onderzoekers verschillen nogal van elkaar bijvoorbeeld in het onderwerp dat ze bestuderen. Maar allemaal maken ze gebruik van dezelfde serie stappen in het opzetten en uitvoeren van hun onderzoek. We noemen dit ook wel de wetenschappelijke methode.

De eerste stap is het stellen van een vraag of het signaleren van een behoefte. Onderzoek begint dus met nieuwsgierigheid. De volgende stap is het identificeren van factoren die van belang zijn voor het beantwoorden van de vraag. Het is vooral van belang factoren te selecteren die niet eerder zijn onderzocht, die je interesse hebben, die bij kunnen dragen aan het begrijpen van de vraag, die leiden tot andere vragen en die beschikbaar zijn voor onderzoek. De derde stap in de wetenschappelijke methode is het opstellen van hypotheses. De beginvraag wordt omgevormd tot een stelling die het verband tussen factoren aangeeft. Een hypothese moet testbaar zijn. In de volgende stap wordt relevante informatie verzameld. In deze fase wordt informatie verzameld die gebruikt kan worden bij het toetsten van de hypotheses. Onderzoekers moeten hypotheses testen, niet ze proberen te bewijzen. De onderzoeker moet dus zo objectief mogelijk te werk gaan. Wanneer een onderzoeker een bias heeft in een bepaalde richting wat betreft de onderzoeksresultaten, dan kan dat de integriteit van het gehele onderzoek aantasten. Bovendien moet men zich realiseren dat ook het vinden van gegevens die niet overeenkomen met je hypotheses leidt tot nieuwe kennis en tot mogelijke nieuwe onderzoeksvragen. Het onderzoek wordt dus niet voor niets uitgevoerd.

De volgende stap is het werkelijk testen van de hypotheses. Hierbij komt veel statistiek kijken. Je moet namelijk onder andere de kans berekenen dat een eventueel gevonden verschil ook werkelijk bestaat en niet alleen maar bestaat op basis van toeval. Soms is het ook mogelijk om te berekenen welke invloed de verschillende losse factoren hebben gehad en wat de invloed is van zogenaamde derde variabelen. Daarna kun je conclusies trekken met betrekking tot de hypotheses en ze aannemen of verwerpen. Welke kant het ook op gaat, het kan bruikbare informatie opleveren en de basis vormen voor verder onderzoek. De op een na laatste stap is het heroverwegen van de theorie die de basis vormt voor het onderzoek. Het kan zijn dat de gevonden informatie overeenstemt met de theorie en de theorie daardoor versterkt. Maar het kan ook zo zijn dat de informatie niet overeenkomt met de theorie en dat de theorie daarom aangepast dient te worden. De laatste stap is het stellen van nieuwe vragen. Deze nieuwe vragen kunnen een verfijning zijn van de originele vraag of een variatie op de originele vragen.

Niet-experimenteel onderzoek

Er bestaan verschillende vormen van onderzoek. De vormen verschillen van elkaar om het gebied van de aard van de vragen, de gebruikte methode en de mate van nauwkeurigheid waarmee de methode de vraag kan beantwoorden. Grofweg kun je onderzoeksmethoden in twee categorieën delen: niet-experimenteel en experimenteel onderzoek. Bij niet-experimenteel onderzoek wordt het verband tussen variabelen onderzocht zonder aandacht te besteden aan de oorzaak en gevolg relatie. Dat wil ook zeggen dat er niet geprobeerd wordt variabelen te manipuleren. Er worden een drietal vormen van niet-experimenteel onderzoek beschreven in het boek. Zo is daar het correlationeel onderzoek. Bij deze vorm van onderzoek wordt de relatie tussen variabelen weergegeven in correlatie coëfficiënten. Deze coëfficiënt is een index die de sterkte van het verband tussen variabelen aangeeft. Correlationeel onderzoek kan zich bezig houden met gebeurtenissen in het verleden en het heden, maar kan ook gebruikt worden om toekomstige gebeurtenissen te voorspellen. Bij correlationeel onderzoek kan echter nooit uitspraken worden gedaan over oorzaak en gevolg.

Een andere vorm van niet-experimenteel onderzoek is beschrijvend onderzoek. Eigenlijk zegt de naam het al, deze vorm van onderzoek beschrijft alle kenmerken van een bepaald fenomeen. Dit is onder andere belangrijk om een goed beeld te krijgen van het onderwerp waarin je geïnteresseerd bent. Daarom kan beschrijvend onderzoek heel goed een basis vormen voor andere vormen van onderzoek, hoewel het natuurlijk ook op zich zelf kan staan. De derde vorm van niet-experimenteel onderzoek is kwalitatief onderzoek. Meestal wordt bij deze vorm menselijk gedrag bestudeerd in de natuurlijke omgeving. Bij kwalitatief onderzoek wordt bijvoorbeeld gebruik gemaakt van interviews en case studies. Het gaat om meer om de kwaliteit en inhoud van de verzamelde gegevens dan om de kwantiteit.

Experimenteel onderzoek

Naast de niet-experimentele vormen van onderzoek zijn er ook twee vormen van experimenteel onderzoek. Bij allebei de vormen wordt in een zoveel mogelijk gecontroleerde omgeving een onafhankelijke variabele gemanipuleerd om te kijken welke gevolgen dit heeft voor de afhankelijke variabele(n). Experimenteel onderzoek houdt zich dus nadrukkelijk bezig met de oorzaak en gevolg relatie tussen variabelen. De eerste vorm is het ware experimentele onderzoek. Hierbij wordt de oorzaak en gevolg relatie direct onderzocht. De onderzoeksdeelnemers in een waar experimenteel onderzoek zijn op een random manier verdeeld over de verschillende condities, de onderzoeker heeft verder controle over alle variabelen die mogelijk van invloed kunnen zijn op de veranderingen in de afhankelijke variabelen. Op deze manier kan de mogelijke invloed van derde variabelen geminimaliseerd worden. Alleen door deze controle is het mogelijk betrouwbare uitspraken te doen over een oorzaak en gevolg relatie tussen variabelen.

De tweede vorm is het quasi-experimentele onderzoek. Het grote verschil tussen waar experimenteel en quasi-experimenteel onderzoek is dat bij experimenteel onderzoek de onderzoeksdeelnemers door de onderzoeker random worden verdeeld over de condities, terwijl bij quasi-experimenteel onderzoek de onderzoeksdeelnemers al ingedeeld zijn in groepen. De onderzoeker heeft hierbij dus geen controle over de indeling van de onderzoeksdeelnemers. Dit vind je vooral terug bij indelingen die buiten het laboratorium worden bepaald zoals indeling op basis van leeftijd, geslacht, sociaal economische status en woonsituatie. De conclusies die voortkomen uit quasi-experimenteel onderzoek zijn door het gebrek aan controle bij de groepsindeling minder betrouwbaar dan conclusies uit waar experimenteel onderzoek. In de praktijk is het vaak niet mogelijk om controle uit te oefenen op de groepsindeling, onderzoekers kunnen bijvoorbeeld het geslacht of de leeftijd van hun onderzoeksdeelnemer niet veranderen. Omdat het onderzoek dus plaatsvindt na de indeling in groepen, wordt quasi-experimenteel onderzoek ook wel post hoc onderzoek genoemd.

Behalve de indeling in experimenteel en niet-experimenteel onderzoek kan onderzoek ook nog ingedeeld worden in fundamenteel en toegepast onderzoek. Fundamenteel onderzoek wordt uitgevoerd om inzicht te krijgen in een bepaald fenomeen zonder dat daar direct een toepassing aan wordt verbonden. Toegepast onderzoek is juist gericht op deze praktische toepassing. Fundamenteel onderzoek kan echter wel degelijk handvaten bieden voor toepassing in de praktijk. De praktische waarde van fundamenteel onderzoek kan soms pas jaren later duidelijk worden.

Hoofdstuk 2. Basiskennis over onderzoek

Onderzoek volgt vaak een vast patroon. Het begint met een vraag en daar moet een antwoord voor gevonden worden. Om tot een antwoord te komen kan men de stappen van het onderzoeksproces volgen. Het onderzoeksproces is een effectieve en efficiënte manier om van een vraag tot een antwoord te komen. Het onderzoeksproces heeft eigen regels en taal die je zult moeten beheersen als je een goede onderzoeker wilt worden. Één van de belangrijkste termen binnen de onderzoekswereld is variabele. Een variabele kan gedefinieerd worden als een grootheid die elke willekeurige waarde aan kan nemen. Er zijn dus heel veel variabelen beschikbaar. Om het nog verwarrender te maken: een variabele met dezelfde naam, kan vaak verschillende waardes aannemen. Bovendien kan een variabele vaak op meerdere manieren gemeten worden. Hoe preciezer de variabele gemeten kan worden, hoe beter deze meting bruikbaar is. Zo kan het aangeven van het precieze gewicht van een aantal personen meer informatie geven dan een rangorde van de lichtste tot de zwaarste persoon.

Variabelen

Binnen het onderzoek zijn er verschillende soorten variabelen van belang. Ten eerste is er de onafhankelijke variabele. Dit is de variabele die door de onderzoeker wordt gemanipuleerd om te onderzoeken welke invloed dit heeft op de afhankelijke variabele. Deze variabele wordt ook wel eens aangeduid met behandelingsvariabele, voorspellende variabele of factor. Een onderzoek gebruikt vaak maar één onafhankelijke variabele, maar deze kan wel verschillende levels hebben. Dat wordt waarschijnlijk het beste duidelijk met een voorbeeldje: in een onderzoek naar de werkzaamheid van cognitieve therapie bij depressie maakt men gebruik van de onafhankelijke variabele behandeling. Deze variabele heeft twee levels: cognitieve therapie en wachtlijst. Over deze levels worden de onderzoeksdeelnemers verdeeld. Bij sommige onafhankelijke variabelen kan de onderzoeker zelf de levels creëren, bij andere variabelen bestaan de verschillende levels al van nature en heeft de onderzoeker er geen invloed meer op.

Het is ook mogelijk om de relatie tussen twee variabelen te onderzoeken zonder één van beide te manipuleren. Het is dan ook mogelijk om onderzoek te doen waarbij je niet spreekt van een onafhankelijke en een afhankelijke variabele. Een onafhankelijke variabele moet altijd minimaal twee levels hebben. Het is mogelijk om een onderzoek uit te voeren met meerdere onafhankelijke variabelen. We spreken dan van een factoriaal design. Een onderzoek dat zowel leeftijd als geslacht gebruikt als onafhankelijke variabele heeft dan een twee factoren design.

Naast de onafhankelijke variabele is ook de afhankelijke variabele erg belangrijk. Dit is de variabele die gemeten wordt om het effect van de manipulatie van de onafhankelijke variabele te onderzoeken. Deze variabele wordt ook wel de uitkomstvariabele, de criteriumvariabele of resultaatvariabele genoemd. De afhankelijke variabele wordt voor elk level van de onafhankelijke variabele gemeten. De meting van de afhankelijke variabele wordt vaak per level van de onafhankelijke variabele weergegeven in een tabel. Bij een onderzoek met meerdere onafhankelijke variabelen kan dit betekenen dat je veel cellen in de tabel krijgt.

Een goede onafhankelijke variabele is niet afhankelijk van een andere variabele binnen het onderzoek. Wanneer de onafhankelijke variabele wel afhankelijk is van een andere variabele is het namelijk niet mogelijk te achterhalen welke variabele verantwoordelijk is voor de verandering in de afhankelijke variabele. Een goede afhankelijke variabele moet gevoelig zijn voor verandering in de levels van de onafhankelijke variabele. Dit is de enige manier om te achterhalen of een onafhankelijke variabele invloed heeft gehad. Er zijn nog drie soorten variabelen die van belang kunnen zijn bij onderzoek. De moderator variabele is een variabele die gerelateerd is aan dan wel de onafhankelijke, dan wel aan de afhankelijke variabele en zo invloed heeft op de afhankelijke variabele. Dit noemen we ook wel een interacterende variabele. Een controle variabele wordt ook wel een beperkende variabele genoemd. Dit komt omdat dit soort variabele verbonden is met de afhankelijke variabele. De invloed van de controle variabele moet verwijderd worden uit het onderzoek of op zijn minst gecontroleerd worden. Een irrelevante (extraneous) variabele is gerelateerd aan de afhankelijke of de onafhankelijke variabele, maar is geen onderdeel van het onderzoek. Deze soort wordt dan ook wel bedreigende variabele genoemd. De invloed van een bedreigende variabele is vaak onvoorspelbaar en daarom moet geprobeerd worden bedreigende variabelen zoveel mogelijk buiten het onderzoek te sluiten.

Andere belangrijke begrippen

Een ander heel belangrijk begrip binnen het onderzoek is de hypothese. Een hypothese is een stelling die nog niet bewezen is en dient als uitgangspunt voor het onderzoek. Deze veronderstelling geeft het centrale probleem weer. Een hypothese moet bovendien toetsbaar zijn. Binnen onderzoek wordt vaak gebruik gemaakt van twee soorten hypotheses: de nulhypothese en de onderzoekshypothese. De nulhypothese is een veronderstelling dat er geen verband bestaat tussen de variabelen die je onderzoekt. Anders gezegd: het is een stelling van gelijkheid. In formulevorm: H0 : μ1 = μ2. De nulhypothese kan goed gebruikt worden als uitgangspunt voor onderzoek omdat een staat van gelijkheid een goede aanname is bij gebrek aan meer informatie. Zolang er niet bewezen is dat er een verschil is tussen μ1 en μ2, kun je namelijk niet stellen dat er een verschil is. Je kunt het vermoeden, maar dat is niet voldoende.

Ook zou je kunnen stellen dat als er wel een verschil is tussen μ1 en μ2 dit verklaard kan worden door toeval. Dit klinkt misschien een beetje vaag, maar zolang je niet meer informatie en bewijs hebt is toeval altijd de beste verklaring voor verschil tussen μ1 en μ2. In onderzoek wil je proberen toeval als verklaringsfactor zoveel mogelijk uit te sluiten. De onafhankelijke factoren worden onderzocht als mogelijke verklaringen voor verschillen tussen μ1 en μ2. Daarom kan de nulhypothese ook gebruikt worden als een soort norm om de uitkomsten van je onderzoek mee te vergelijken. De nulhypothese geeft namelijk een grens aan waarbinnen er geen verschil bestaat of het bestaande verschil toegewezen kan worden aan toeval. Als het gevonden verschil buiten deze grenzen valt wordt het aannemelijker dat het verschil niet op toeval berust, maar toegeschreven kan worden aan de manipulatie van de onafhankelijke variabele(n). Vooral correlationeel, waar experimenteel en quasi-experimenteel onderzoek maakt nog al eens gebruik van een nulhypothese.

Een ander soort hypothese is de onderzoekshypothese. Dit soort hypothese veronderstelt wel een relatie tussen de variabelen en is daarmee een stelling van ongelijkheid. Voor elke nulhypothese is het mogelijk een bijbehorende onderzoekshypothese op te stellen, hoewel deze verschillende vormen aan kan nemen. Een onderzoekshypothese kan directioneel of niet-directioneel zijn. Bij een directionele onderzoekshypothese wordt de richting van het verschil tussen X1 en X2 aangegeven. In formulevorm krijg je: H1 : X1 > X2 of H1 : X1 < X2. Bij een niet-directionele onderzoekshypothese wordt er wel gesteld dat er een verschil is tussen X1 en X2, maar worden er geen uitspraken gedaan over de richting van dit verschil. In formulevorm krijg je: H1 : X1 ≠ X2. Vervolgens kun je je onderzoeksresultaten toetsen aan zowel de nulhypothese als aan de onderzoekshypothese om te bepalen welke van deze verklaringen het meest waarschijnlijk lijkt. Als onderzoeker is het belangrijk je goed te realiseren dat het doel van onderzoek is om hypotheses te testen, niet om een hypothese te bewijzen!

Er zijn meerdere verschillen tussen een nulhypothese en een onderzoekshypothese. Naast dat de eerste een stelling van gelijkheid en de tweede een stelling van ongelijkheid is, heeft de nulhypothese betrekking op de gehele populatie en de onderzoekshypothese op de steekproef. Het is namelijk vaak niet mogelijk om een gehele populatie te onderzoek, waardoor onderzoekers gedwongen worden om gebruik te maken van een steekproef. Een nadeel hiervan is dat je nooit met volledige zekerheid kan zeggen dat er geen verschil bestaat tussen X1 en X2. Als je onderzoeksgegevens meer overeenkomen met de nulhypothese dan met de onderzoekshypothese kun je wel tot deze conclusie komen, maar zekerheid zul je niet hebben. Omdat de nulhypothese betrekking heeft op de populatie wordt het symbool μ gebruikt in de formule, bij de onderzoekshypothese wordt er gebruikt gemaakt van het symbool X (eigenlijk X met een streep er boven, maar dat doet de computer niet). Dat de nulhypothese handelt met de gehele populatie impliceert ook dat de nulhypothese nooit direct getoetst kan worden.

Nu je het verschil weet tussen een nulhypothese en een onderzoekshypothese is het ook belangrijk om te weten wat een hypothese eigenlijk goed maakt. Een goede hypothese is een stelling, geen vraag en geeft op een duidelijke manier een verwachte relatie tussen variabelen aan. Daarmee geeft de onderzoeker een duidelijke richting aan zijn onderzoeker en gaat hij niet op avontuur uit om maar te zien wat hij vindt. Verder vormt een goede hypothese een goede afspiegeling van de onderliggende theorie of literatuur. Dit geeft aan hoe de onderzoeker tot de hypothese gekomen is, waar de basis van zijn onderzoek ligt. Een goede hypothese is zo kort en bondig mogelijk. Dit is vooral nodig om het onderzoek begrijpelijk te maken en te houden voor anderen. En misschien nog wel het allerbelangrijkste: een goede hypothese is testbaar. Dat betekent dat de stellingen zo duidelijk en expliciet mogelijk moeten zijn.

Eerder is al besproken dat het in de meeste gevallen niet mogelijk is om de hele populatie waarin de onderzoeker geïnteresseerd is te onderzoeken. Dit is te duur, te tijdrovend en vaak praktisch onhaalbaar. Daarom wordt er een steekproef van de populatie van interesse genomen en deze wordt gebruikt voor het onderzoek. Het is belangrijk dat de steekproef representatief is (dus een goede weerspiegeling van de gehele populatie vormt), omdat het anders niet mogelijk is de onderzoeksresultaten te generaliseren naar de gehele populatie.

Een term die binnen het onderzoek nog wel eens voor de nodige verwarring wil zorgen is significantie. Significantie is een maatstaaf voor de kans dat het gevonden verschil berust op toeval. Omdat het niet mogelijk is om absolute zekerheid te krijgen moeten onderzoekers een significantieniveau kiezen. Bij een significantieniveau van .05 wil zeggen dat de kans dat het gevonden verschil op toeval berust kleiner als 5% is. Dat wil ook zeggen dat de kans 95% of groter is dat het gevonden verschil verklaard wordt door de reden in de hypothese. Het is belangrijk het significantieniveau goed te kiezen.

Hoofdstuk 3. Onderzoek en ethiek

Ethiek is een belangrijk onderdeel van onderzoek doen. Vooral als je onderzoek doet met mensen is het cruciaal om de ethische regels en richtlijnen na te leven. Dit betekent ook dat een onderzoeker soms creatief moet zijn om antwoord te krijgen op zijn onderzoeksvraag zonder daarbij de onderzoeksdeelnemer op welke manier dan ook te schaden. Sommige onderzoeksvragen zouden ontzettend interessant zijn om te beantwoorden, maar zullen nooit onderzocht kunnen worden omdat de ethiek dat niet toestaat. Niet alleen bij onderzoek waar direct mensen bij betrokken zijn is ethiek belangrijk, ook onderzoek waarbij dieren betrokken zijn, of onderzoek waar mensen alleen indirect bij betrokken zijn, zullen zich moeten houden aan ethische richtlijnen.

Eén van de bekendste en ook meest logische ethische regels is dat het onderzoek de onderzoeksdeelnemers op geen enkele wijze schade toe mag brengen. Geen lichamelijke schade, maar ook geen psychologische schade. Een onderzoek dient afgekeurd te worden wanneer er toch een kans op schade bestaat. Wel is het zo dat dit gewogen moet worden tegen de mogelijke opbrengsten. Als de kans op schade klein is, maar de mogelijke opbrengsten erg groot, dan kan het toch verantwoord zijn het onderzoek uit te voeren. Een andere belangrijke regels is dat onderzoeksdeelnemers vrijwillig moeten deelnemen aan een onderzoek en op geen enkele manier gedwongen mogen worden tot deelname. Toch gebeurt dit in de praktijk wel een beetje. Denk maar aan alle eerstejaars studenten die ‘gedwongen’ worden aan een bepaald aantal onderzoeken mee te werken.

Bij onderzoek is het ook belangrijk dat de privacy van de onderzoeksdeelnemers gegarandeerd wordt. Het gaat er dan vooral om dat de onderzoeksgegevens van een deelnemer niet gekoppeld kunnen worden aan de onderzoeksdeelnemer als persoon. Het streven is dan ook de onderzoeksdeelnemers anoniem te houden. Wat ook met privacy te maken heeft is dat een onderzoeker alleen gegevens van de onderzoeksdeelnemer mag gebruiken als deze daar toestemming voor gegeven heeft. Vertrouwelijkheid is hieraan gerelateerd, maar toch net anders. Bij vertrouwelijkheid gaat het erom dat de gegevens op een veilig manier behandeld en bewaard worden. Om de gegevens van de onderzoeksdeelnemer zoveel mogelijk te beschermen is het vaak het beste zo min mogelijk mensen met de data te laten werken. Vertrouwelijkheid is altijd belangrijk, maar dit geldt des te meer wanneer er gewerkt wordt met gevoelige informatie.

Deze regels hebben geleidt tot het gebruik van het informed consent. Tegenwoordig is dit een verplichting bij onderzoek. Een informed consent bevat informatie over het doel van het onderzoek, de onderzoekers, hoe het onderzoek in zijn werk gaat, wat er van de onderzoeksdeelnemer verwacht wordt, mogelijke kosten en baten, de rechten van de onderzoeksdeelnemer, de belofte van vertrouwelijke afhandeling van de gegevens, waar je terecht kunt met vragen en hoe je eventueel de uitkomsten van het onderzoek zou kunnen bemachtigen.

De onderzoeksdeelnemer moet de tijd krijgen om het informed consent goed door te lezen en eventuele vragen te stellen. Vervolgens zal de onderzoeksdeelnemer het formulier ondertekenen als hij akkoord gaat met de inhoud van de brief. Voordat het informed consent is ondertekend mag er niet worden begonnen met het onderzoek. Bij het opstellen van een informed consent voor je onderzoek is het belangrijk er voor te zorgen dat het in begrijpelijke taal is geschreven.

Bij onderzoek met kinderen moet je een informed consent hebben van de ouders en/of verzorgers voor je aan het onderzoek kunt beginnen. Onderzoek met kinderen brengt geheel eigen ethische dilemma’s met zich mee, omdat kinderen niet altijd in staat zijn om te beslissen of ze voortijdig met een onderzoek willen stoppen (recht van de onderzoeksdeelnemer dat in het informed consent vermeldt staat) of om de risico’s en consequenties van deelname te overzien. Hierin ligt een belangrijke taak voor de onderzoeker. Wanneer je als onderzoeker met kinderen werkt moet je altijd voor ogen blijven houden dat kinderen geen volwassenen zijn en daarom ook een andere behandeling vereisen. Dit betekent echter niet dat je kinderen niet moet respecteren en in hun waarde moet laten. Bij oudere kinderen kom je een ander probleem tegen. Wie laat je het informed consent ondertekenen? De ouders? Het kind? Allebei? Zolang het gaat om minderjarige kinderen is het wettelijk verplicht om toestemming te vragen aan de ouders. Voor de medewerking van het kind kan het ook goed zijn om deze ook te vragen om een informed consent. Wanneer je onderzoek doet op bijvoorbeeld een school kan het ook nodig zijn om schriftelijke toestemming van de instelling te verkrijgen.

Na afloop van de deelname heeft een onderzoeksdeelnemer recht op een debriefing. Dit geldt vooral wanneer een onderzoek gebruik maakt van misleiding. Het is dan zaak uit te leggen waarom er gebruik gemaakt is van misleiding en eventuele vragen hierover te beantwoorden. Debriefing kan plaatsvinden mondeling direct na deelname, maar het is ook mogelijk om de onderzoeksdeelnemers een brief met uitleg te sturen. Vaak is directe debriefing het beste. Verder is het een ethische verplichting van de onderzoeker om de baten van het onderzoek gelijk te verdelen over de onderzoeksdeelnemers. Wanneer een onderzoeker bijvoorbeeld in zijn onderzoek gevonden heeft dat een bepaalde behandeling effectief is, dan dient hij de onderzoeksdeelnemers in de controleconditie (deze hebben de behandeling niet gekregen) na afloop van het onderzoek alsnog deze behandeling aan te bieden.

Wat kun je om zo ethisch mogelijk te werk te gaan?

Het is vrij ingewikkeld en het kost wat tijd, maar er zijn complexe modellen van het menselijk gedrag beschikbaar die je kunt gebruiken om via computer simulatie een beeld te krijgen van de mogelijke gevolgen van je onderzoek. Soms kom je tot de conclusie dat één van je variabelen schadelijk is of waarschijnlijk zal zijn. Geen reden om je idee meteen overboord te gooien.

Wees creatief en kijk bijvoorbeeld of er groepen mensen zijn die al blootgesteld zijn aan deze schadelijke variabele zodat je hen als onderzoeksdeelnemer kan gebruiken (quasi-experimenteel onderzoek). Wanneer het mogelijk is moet je alleen groepsgegevens gebruiken voor publicatie en geen individuele gegevens in verband met de vertrouwelijkheid. Zorg voor een duidelijke en volledige informed consent. Ben je bang dat je onderzoek toch negatieve effecten kan hebben, gebruik dan in eerste instantie alleen een kleine steekproef om zo meer informatie te verzamelen over de effecten.

In Nederland moet je eigenlijk altijd toestemming vragen voor een onderzoek bij een onderzoekscommissie. Deze commissie kijkt dan naar de mogelijke kosten en baten en bepalen of het onderzoek al dan niet op de voorgestelde wijze uitgevoerd kan worden. Mocht je geen gebruik maken van een officiële commissie (bijna uitgesloten), dan nog is het verstandig om vakgenoten te vragen je onderzoeksvoorstel te beoordelen. De vakorganisaties hebben formele ethische regels waar hun leden zich aan dienen te houden. Overschrijding van deze regels kan gevolgen hebben voor de bevoegdheden van de onderzoeker. De American Psychological Association (APA) heeft bijvoorbeeld algemene ethische regels omtrent onderzoek, maar ook rond behandeling. In Nederland komen de ethische richtlijnen van het Nederlands Instituut van Psychologen. Op de sites van dergelijke beroepsorganisaties kun je de richtlijnen terugvinden. Hierin staan de zaken die reeds besproken zijn bij het informed consent, maar ook nog wat extra zaken. Zo wordt de onderzoeker gezien als de belangrijkste beoordelaar van de ethische kwesties rondom zijn of haar onderzoek.

De onderzoeker is niet alleen verantwoordelijk voor het eigen ethische handelen, maar ook voor dat van zijn medewerkers. Misleiding mag alleen gebruikt worden als dat dit gerechtvaardigd kan worden en de onderzoeksdeelnemers na afloop van de deelname een duidelijke debriefing ontvangen. Voor onderzoek met kinderen zijn nog aanvullende richtlijnen ontwikkeld die onder andere stellen dat de onderzoeker altijd de wensen van het kind moet respecteren, ongeacht de leeftijd van het kind. Wanneer het kind te jong is om zelf te begrijpen wat het onderzoek inhoudt en dergelijke, moet een ouder en/of verzorger hier nauw bij betrokken worden. Wanneer bijvoorbeeld een ouder of docent ook betrokken is bij het onderzoek moet niet alleen van het kind (en de ouder/verzorger) een informed consent verkregen worden, maar ook van de betrokken volwassene. Je moet altijd schriftelijke toestemming hebben van de ouders/verzorgers van een kind voor je kunt beginnen met het onderzoek. Voor je begint aan het onderzoek is het verstandig om je onderzoeksvoorstel goed te laten keuren door een onderzoekscommissie, soms is het zelfs verplicht als je met kinderen werkt. Ethische richtlijnen kunnen alleen maar werken als mensen in de praktijk deze overnemen en toepassen. Tegenwoordig wordt ook steeds vaker gebruik gemaakt van het internet om onderzoek uit te voeren. Hiervoor bestaan aparte ethische richtlijnen in aanvulling op de algemene richtlijnen.

Hoofdstuk 4. Het onderzoeksproces: probleemselectie

Veel mensen hebben het idee dat een idee leidt tot een onderzoeksvraag wat leidt tot een onderzoekshypothese dat vervolgens weer leidt tot het onderzoeken van de literatuur. Dit klinkt in theorie heel aannemelijk, maar in de praktijk gaat het vaak anders. Wetenschappers hebben namelijk heel vaak ideeën voor een onderzoek en ze besteden ook standaard veel tijd aan literatuuronderzoek. Deze voortdurende interactie leidt tot het opstellen van onderzoeksvragen en vervolgens tot onderzoekshypotheses. De onderzoekshypotheses kunnen dan ook nog veranderen tijdens het literatuuronderzoek. Vaak is het goed mogelijk om je hypotheses nog aan te scherpen op basis van eerder onderzoek. Daarom is een voortdurend literatuuronderzoek ook van belang.

Onderzoek doen kost tijd en energie en daarom moet je een onderwerp kiezen dat je echt interesseert. Het kiezen van een onderwerp is de eerste stap in het onderzoeksproces. Bij deze stap zijn er een aantal dingen waar je rekening mee moet houden. Zo moet je niet te veel hooi op je vork nemen. Vooral beginnende onderzoekers hebben vaak de neiging om dusdanig ambitieus te zijn, dan hun plannen bij voorbaat al gedoemd zijn te mislukken. Deze negatieve ervaring kan mensen voorgoed afschrikken van wetenschappelijk onderzoek en dat is zonde. Zorg er dus voor dat je onderzoek haalbaar is. Daarnaast is het belangrijk dat je enthousiast bent over je onderwerp, maar er niet overenthousiast over wordt. Dat zorgt er namelijk voor dat je minder goed in staat bent objectief te zijn en te luisteren naar feedback over je onderzoek. Ook is het niet verstandig om altijd vast te houden aan je eerste idee. Denk er nog eens goed over na, praat er eens met anderen over en schaam je niet om je originele idee aan te passen. Terwijl je bezig bent met onderzoek pas je eigenlijk constant je ideeën en je werk aan.

De wetenschap is een soort grote puzzel en alle onderzoeken hebben hier een plaats in. Het is vaak een slecht idee om een onderzoek uit te willen voeren dat nergens aansluit bij de puzzel. Je loopt dan namelijk het risico dat je onderzoek alleen voor jezelf interessant is. Aan de andere kant is het ook niet verstandig om iets te onderzoeken wat al onderzocht is. Het is goed om te proberen eerdere resultaten te repliceren, maar dat kun je beter doen door voort te bouwen op eerder onderzoek en hierbij gebruik te maken van een duidelijke rationale. Het kan bijvoorbeeld zijn dat het oorspronkelijke onderzoek enkele zwakke punten had die je in je nieuwe onderzoek probeert te ondervangen. Voor beginnende onderzoekers is het vaak lastig om een onderzoeksonderwerp te kiezen. Persoonlijke ervaring is een goede bron voor ideeën over een onderwerp. Verder is er ook niets mis mee om je mentor of docent te vragen om ideeën. Deze mensen zijn vaak goed op de hoogte van de huidige ontwikkelingen in een bepaald veld en kunnen je zo een kant op sturen waar er veel behoefte is aan bepaald onderzoek.

Verder kun je kijken naar welke volgende stap logisch is binnen het onderzoeksproces. Informatie hierover kun je bijvoorbeeld vinden in onderzoeksartikelen. Aan het einde van een artikel worden nog wel eens suggesties gegeven voor verder onderzoek. Sommige mensen hebben wel een idee bij welk gebied hun interesse ligt, maar dat maakt het nog niet altijd makkelijker om een duidelijk idee te bedenken voor een onderzoek. Het bedenken van een idee is weliswaar de eerste stap in het onderzoeksproces, maar dan begint het ook pas echt. Dit idee moet omgezet worden in een onderzoeksvraag. Het opstellen van een onderzoeksvraag kun je het beste schriftelijk doen omdat je om die manier meer binding krijgt met de vraag dan als je het alleen maar in gedachten houdt of uitspreekt. Een onderzoeksvraag weerspiegelt een interesse en een intentie. Een duidelijk geformuleerde vraag maakt het makkelijker om vervolgens goede hypotheses op te stellen en gericht literatuuronderzoek te plegen. De hypothese of hypotheses moeten stellingen zijn die zijn afgeleidt van de onderzoeksvraag. Ook moet duidelijk aangegeven worden welke variabelen betrokken zullen worden bij het onderzoek.

Literatuuronderzoek

Daarna is de tijd aangebroken voor het literatuuronderzoek. Deze fase is erg belangrijk omdat het je voorziet van informatie uit eerder onderzoek: wat is er in het verleden al onderzocht, wat is daaruit gekomen, welke stukjes van de puzzel ontbreken nog, enzovoorts. Literatuuronderzoek kan je ook ideeën geven over hoe je het onderzoek het beste uit zou kunnen voeren. Het doen van een gedegen literatuuronderzoek is een tijdrovend karwei en veel mensen hebben moeite met het overzien van alle gegeven. Daarom is het belangrijk om eerst je idee in algemene termen te definiëren door algemene bronnen te gebruiken. Deze bronnen vormen vaak een overzicht van of introductie op een bepaald onderwerp. Daarna moet je secundaire bronnen doorzoeken. Hieronder vallen meta-analyses, overzichtsartikelen, encyclopedieën, en dergelijke.

Vervolgens doorzoek je de primaire, de belangrijkste bronnen. Dit zijn de onderzoeksartikelen van het onderzoek dat gedaan is op een bepaald gebied. Van alle bronnen die je doorzoekt maak je aantekeningen. Deze aantekeningen moet je vervolgens ordenen om uiteindelijk een onderzoeksvoorstel te schrijven. In het verleden was de bibliotheek de plek waar je allerlei beschikbare bronnen kon vinden. Hoewel dat tegenwoordig nog steeds zo is, is ook het zoeken van bronnen via bijvoorbeeld internet erg belangrijk geworden. Wel is het zaak goed de herkomst van bronnen in de gaten te houden, niet alle bronnen zijn betrouwbaar. Vaak staat de meest recente informatie alleen nog maar online. Als je goed literatuuronderzoek wil doen kun je het beste gebruik maken van zowel de bibliotheek als het internet. Verschillende onderwijsinstellingen geven een soort cursus literatuuronderzoek in hun programma.

Bronnen

Het gebruik van algemene bronnen geeft je een introductie in het onderwerp en het kan je leiden naar andere bruikbare bronnen. Er zijn veel betrouwbare algemene bronnen bekend. Voorbeelden hiervan zijn The Reader’s Guide to Periodical Literature, Facts on File en betrouwbare kranten. Ook zijn er verschillende online algemene bronnen. Tijdschriften en nieuwsmagazines kunnen ook dienen als algemene bron, de betrouwbaarheid kan echter nogal variëren. Een bron die erg populair is, is Wikipedia. Hoewel deze site over het algemeen als betrouwbaar wordt gezien, zijn er de laatste jaren tal van incidenten geweest rondom foutieve informatie op de site.

Secundaire bronnen zoals overzichtartikelen kunnen je een goed beeld geven van het onderzoek dat reeds gedaan is op een bepaald gebied. Ook kunnen secundaire bronnen goed gebruikt worden om verdere referenties te zoeken. Naast overzichtsartikelen kun je ook gebruik maken van review boeken. Vaak worden deze één maal per jaar uitgebracht en bieden een overzicht van het onderzoek dat het afgelopen jaar gedaan is op verschillende vakgebieden. Dit soort boeken kun je terugvinden in de bibliotheek van je onderwijsinstelling. Vaak zijn er ook review boeken van een bepaald vakgebied, zoals psychologie en soms zelfs van een specialisatie binnen een dergelijk vakgebied. Een andere goede secundaire bron wordt gevormd door boeken bedoeld ter introductie van een bepaald gebied. Veel van de beschreven bronnen hebben tegenwoordig ook online tegenhangers.

Primaire bronnen zijn van cruciaal belang voor wetenschappelijk onderzoek. Deze bronnen horen dan ook het leeuwendeel te vormen van je literatuuronderzoek. Voor een literatuuropgave worden ook bijna alleen maar primaire bronnen gebruikt, mogelijk af en toe aangevuld met een secundaire bron, maar voor algemene bronnen is hier geen plaats. Onderzoeksartikelen kun je vooral terugvinden in vakbladen en wetenschappelijke tijdschriften. Het aanbod hierin is erg groot en vaak heeft elke specialisatie/ interessegebied een eigen blad, soms zelfs wel meerdere. Vaak kun je in een bibliotheek de populairste van deze bladen wel terugvinden en online kun je vaak hele lijsten vinden van beschikbare tijdschriften. Tijdschriften zijn de belangrijkste primaire bron.

Auteurs kunnen kun artikelen inleveren bij een dergelijk tijdschrift. Hierbij moeten ze een bepaald format volgen. Het artikel wordt vervolgens eerst gecontroleerd door een kundige redacteur van het blad. Daarna worden drie andere experts op dat gebied benaderd om het stuk kritisch onder de loep te nemen. Dit proces wordt peer review genoemd. De reviewers weten niet wie de auteur van het artikel is, om zo te voorkomen dat de reviewer bevooroordeeld raakt. Al deze reviewers geven hun mening over de mate waarin het artikel geschikt is voor publicatie. Soms is het nodig dat de auteur bepaalde aanpassingen doet voor het artikel gepubliceerd kan worden. Pas als de reviewers overeenstemming hebben bereikt kan het proces verder gaan. Wanneer overeenstemming niet bereikt kan worden is het aan de redacteur om te bepalen of hij het artikel wel of niet publiceert of dat hij toch aanvullend commentaar wenst van andere experts.

Door een uitvoerig review-proces is een tijdschrift er redelijk goed van verzekerd dat het alleen artikelen publiceert die een bepaalde kwaliteit hebben. Hoe hoger aangeschreven het tijdschrift staat, hoe lastiger het is om er een artikel in te publiceren. Deze tijdschriften krijgen dusdanig veel inzendingen dat ze zich kunnen permitteren heel kieskeurig te zijn. De beste wetenschappelijke artikelen kun je dan ook meestal terugvinden in de beste tijdschriften. Behalve in de bibliotheek en online kun je vakbladen ook vaak terugvinden bij begeleiders en docenten.

Bij een onderzoeksartikel is de abstract van groot belang. In een abstract staat in het kort (1 tot 2 paragrafen) uitgelegd wat er in het artikel beschreven wordt. Door het lezen van abstracts kun je in relatief korte tijd een beeld krijgen van het onderzoek en bepalen of het artikel interessant genoeg oogt om in zijn geheel te lezen. Er zijn hele goede online databases beschikbaar die ongelooflijk veel abstracts bevatten. Binnen de psychologie is dat bijvoorbeeld PsycINFO, een bron waar je eigenlijk niet onderuit komt als je ooit wil afstuderen. Bij PsycINFO kun je zoeken met behulp van verschillende zoekmogelijkheden, bijvoorbeeld op auteur, kernwoorden en jaar van publicatie. Vaak moet je even zoeken voor je artikelen gevonden hebt die voor jou van belang zijn, maar als je eenmaal goed op weg bent is het echt een hele bruikbare bron. Een beetje oefenen met PsycINFO kan dan ook geen kwaad. Er zijn ook abstract databases beschikbaar die meer gespecialiseerd zijn in een bepaald onderwerp en er zelfs een database met abstracts van heel erg veel afstudeerscripties. Indices kunnen je helpen bij het zoeken naar belangrijke informatie. In een index van een tijdschrift kun je bijvoorbeeld op titel of auteur vinden waar een artikel te vinden is.

Evaluatie van het gevonden materiaal

Door het lezen en beoordelen van onderzoek dat al gedaan is op een bepaald gebied, kun je argumenten verzamelen waarom de factoren die jij graag wilt onderzoeken zo belangrijk zijn. Een eerste stap is uit te zoeken welke tijdschriften binnen je vakgebied goed staan aangeschreven staan. De meeste (vooral beginnende) onderzoekers vinden het lastig om een onderzoeksartikel te beoordelen. De auteur van het boek raadt aan om daarom gebruik te maken van een checklist. Hij geeft een voorbeeld van een dergelijke checklist met acht punten: review van eerder onderzoek, het probleem en het doel van het onderzoek, de hypotheses, de methodes die gebruikt zijn, de totstandkoming en representativiteit van de gebruikte steekproef, de resultaten en discussie, de referenties en ten slotte algemene opmerkingen over het rapport. Elk van deze punten komt met een aantal vragen die je kunt stellen bij het lezen van een onderzoeksartikel om de inhoud van het artikel duidelijk te krijgen.

Door de opkomst van het internet is steeds meer informatie online beschikbaar. Tegenwoordig kunnen studenten vaak ook vanuit huis gebruik maken van de databases die de onderwijsinstelling heeft. Hierdoor zal steeds meer van het literatuuronderzoek elektronisch plaatsvinden in de toekomst. Deze mogelijkheid heeft als voordeel dat je niet gebonden bent aan plaats, openingstijden of beschikbaarheid van papieren versie van materiaal. Bovendien is een elektronische zoektocht vaak een stuk minder tijdrovend omdat veel materiaal op eenzelfde plaats beschikbaar is, hierdoor hoef je niet steeds te zoeken in de bibliotheek naar het juiste boek of de juiste uitgave van een tijdschrift. Eigenlijk ben je als onderzoeker tegenwoordig nergens als je niet met een computer en elektronische databases overweg kunt. Het enige nadeel dat een online/ elektronische zoektocht heeft is dat je de ervaring van de speurtocht door een bibliotheek misloopt. Maar of dat nou echt een nadeel is…

Internet en onderzoek

Behalve de elektronische databases kun je ook gebruik maken van allerlei zoekmachines in je speurtocht naar bruikbare informatie. De bekendste en meest gebruikte zoekmachine is zonder twijfel Google. Net als bij andere zoekmachines kun je hier zoeken naar informatie door een zoekterm in te vullen. De zoekmachine biedt je dan verschillende links aan naar websites waarop informatie staat die te maken heeft met jouw zoekterm. Het kiezen van een goede zoekterm is echter makkelijker gezegd dan gedaan. Bovendien zit er het nodige verschil tussen de verschillende zoekmachines als het gaat over de kwaliteit. Het kan dan ook even duren voor je de zoekmachine hebt gevonden die het beste past bij jouw voorkeuren en werkwijze. Het is verstandig om je zoektocht te beginnen met een zo nauwkeurig mogelijke zoekterm, je kunt later altijd bredere zoektermen gebruiken als je niet gevonden hebt wat je zoekt. Bij een te algemene zoekterm loop je het risico bedolven te worden onder de vondsten.

Sommige zoekmachines hebben uitgebreidere zoekmogelijkheden, het kan de moeite waard zijn om daarmee bekend te raken en deze te gebruiken. Veel zoekmachines zijn commercieel van aard en geven ook gesponsorde links weer. Meestal staan deze wel op een andere manier aangegeven als de andere zoekresultaten. Gesponsorde links betalen de zoekmachine vaak veel geld om zo duidelijk en opvallend geplaatst te worden bij de zoekresultaten. Dit zegt alleen helemaal niets over de kwaliteit van deze links, kijk er dus mee uit. Ga er niet domweg vanuit dat omdat de link bovenaan staat, het ook betrouwbare en goede informatie bevat. Bij het kiezen van een zoekterm is het belangrijk na te denken bij de volgorde van de woorden als je meerdere woorden hebt. Ook kun je een belangrijk woord herhalen in de zoekterm om er zo meer de nadruk op te leggen.

Zowel bij het schrijven van een onderzoeksvoorstel als bij het schrijven van het uiteindelijke onderzoeksartikel heb je een kloppende referentielijst nodig. Het kan erg veel en vervelend werk zijn om deze goed bij te houden en in het juiste format weer te geven.

Gelukkig zijn er tegenwoordig bibliografische database programma’s op de markt die je hiervoor kunt gebruiken. Het kost misschien even wat tijd om een dergelijk programma onder de knie te krijgen, maar daarna bespaard het je zeeën van tijd. Bij een bibliografisch database programma moet je de gegevens over het artikel slechts één keer invullen en daarna kun je via het programma er van alles mee doen, zoals de referenties doorzoeken, een algehele referentielijst maken en de referenties in het gewenste format zetten.

Het internet vergroot niet alleen de mogelijkheden wat betreft het zoeken naar bronnen, maar het vergemakkelijkt ook de communicatie tussen onderzoekers. Het kost immers minder tijd om even een mailtje te sturen naar een onderzoeker als je een vraag hebt over zijn of haar onderzoek dan om een brief te sturen (dit moet vaak via de onderwijsinstelling en kan veel tijd in beslag nemen). Verder kun je je op internet aansluiten bij online nieuwsgroepen en zo op de hoogte gehouden worden over de laatste ontwikkelingen in een bepaald gebied. Voor zowel de e-mail als de nieuwsgroepen geldt dat het niet alleen makkelijker en sneller is dan de traditionele tegenhanger, het kost meestal ook nog niets of erg weinig en het is ook buitenshuis beschikbaar. Hoewel e-mail over het algemeen erg snel is, kan het voorkomen dat je server een storing of virus heeft. Het kan dan ook verstandig zijn om twee e-mailadressen bij verschillende servers te hebben, zodat je over een back-up beschikt. In de meeste gevallen heeft een online mailserver de voorkeur boven een computergebonden mailserver. Het grootste probleem met e-mail is spam. Dat is ongewenste mail die soms ook een virus bevatten. Het is dan ook zaak te zorgen voor een goede virusscanner.

Er bestaan online nieuwsgroepen voor heel veel verschillende onderwerpen. Door je aan te melden bij een nieuwsgroep kun je vaak beschikken over een grote hoeveelheid informatie. Om gebruik te kunnen maken van de informatie binnen een nieuwsgroep moet je wel beschikken over een nieuwslezer programma. Binnen een nieuwsgroep vindt vaak ook veel discussie plaats rondom bepaalde onderwerpen. Vaak kun je deze discussies alleen volgen als je lid bent van de nieuwsgroep. Als lid van een nieuwsgroep kun je bovendien zelf ook nieuwe onderwerpen voor discussies aanvoeren. Er bestaan ook listserv groepen. Als je je daarvoor aanmeldt krijg je alles toegestuurd wat aan deze lijst wordt toegevoegd. Bij populaire lijsten kun je je voorstellen hoeveel mail je dan krijgt. Maar op deze manier beschik je wel vrijwel moeiteloos over de meest recente informatie. Het enige wat je zelf moet doen is het ordenen van de enorme stroom informatie. Als je er voor kiest om gebruik te maken van zo’n lijst moet je wel zorgen dat de inbox van je emailaccount de stroom aan kan. Wanneer je bepaalde internetsites vaker gebruikt, of een site tegen komt die je later nog eens wilt kunnen terug lezen is het verstandig deze sites toe te voegen aan je lijst met favorieten. Dat scheelt een hoop schrijfwerk en doorbladeren van losse papiertjes. Als je een site gevonden hebt die interessante informatie bevat, kan het de moeite waarde zijn om te kijken of deze site een link-sectie heeft. Wanneer deze sectie aanwezig is, kan dat nieuwe bronnen opleveren.

Het schrijfwerk

Het is natuurlijk hartstikke leuk om een hele stapel bruikbare bronnen te hebben gevonden, maar je zult er toch ook iets mee moeten doen. De eerste stap is om de gevonden informatie te ordenen. Het is het beste om echt een review te schrijven van deze informatie. Voor je begint doe je er goed aan om andere literatuur reviews te lezen om een beeld te krijgen van wat er van je verwacht wordt. Vervolgens moet je een rode draad voor de review kiezen om je review rond dit thema vorm te kunnen geven. Ook moet je zorgen dat je een systeem vindt om je materiaal te ordenen. Als je deze voorbereidingen getroffen hebt kun je beginnen met het schrijven van een opzet. Vaak heb je verschillende gebieden in je onderzoek verwerkt met elk hun eigen literatuur. Om er een goed geheel van te kunnen maken moet je proberen de verschillende gebieden met elkaar te verbinden, als het mogelijk is met literatuur. Niet iedereen heeft een aangeboren talent om te schrijven, dus kan het nodig zijn veel te oefenen en geschreven stukken later aan te passen. Het is altijd verstandig om feedback te vragen van anderen. Zij kunnen helpen om eventuele fouten uit het stuk te filteren, onduidelijkheden aan te pakken en de puntjes op de i te zetten.

Hoofdstuk 5. Het onderzoeksproces: verkrijgen van een steekproef

Onderzoekers zijn vaak geïnteresseerd in een grote populatie. Maar het is niet haalbaar om de gehele populatie te onderzoeken, dat is veel te duur, te tijdrovend en vaak ook gewoon onmogelijk. Om toch iets te kunnen zeggen over de gehele populatie moet de onderzoeker een steekproef nemen uit deze populatie. Wanneer de steekproef groot genoeg is en een goede afspiegeling vormt van de populatie, is de onderzoeker in staat redelijk betrouwbare conclusies te trekken. Dan zijn de onderzoekresultaten generaliseerbaar. Het klinkt misschien makkelijk, maar er komt een hoop kijken bij het selecteren van onderzoeksdeelnemers.

Generaliseerbaarheid is belangrijk binnen onderzoek. Wanneer resultaten generaliseerbaar zijn wil dat zeggen dat het mogelijk is om de conclusies van het onderzoek ook toe te passen op andere populaties en in andere settingen. Eigenlijk krijgen onderzoeksresultaten pas betekenis wanneer ze generaliseerbaar zijn. Zonder generaliseerbaarheid zeggen de resultaten alleen iets over de onderzochte steekproef. Hoe meer een steekproef een weerspiegeling vormt van de populatie, hoe groter de kans dat de resultaten generaliseerbaar zijn. Grofweg gesteld zijn er twee soorten strategieën om aan een steekproef te komen (sampling): waarschijnlijkheidsstrategieën en niet-waarschijnlijkheidsstrategieën. Bij waarschijnlijkheidsstrategieën is de kans dat een lid van de populatie geselecteerd wordt voor het onderzoek bekend, bij niet-waarschijnlijkheidsstrategieën is dat niet het geval.

Steekproefstrategieën

Bij het gebruik van een niet-waarschijnlijkheidsstrategie moet je er rekening mee houden dat niet ieder lid van de populatie een gelijke kans heeft om geselecteerd te worden. Een vaak gebruikte niet-waarschijnlijkheidsstrategie is gemak sampling. Hierbij worden de leden van een populatie gebruikt die voor handen zijn. Dit is vaak makkelijk en goedkoop, maar meestal niet bevorderlijk voor de generaliseerbaarheid van de resultaten. Bij quota sampling selecteer je onderzoeksdeelnemers omdat ze een bepaald kenmerk hebben, maar niet op een random manier. Dit blijf je doen totdat je quota voor onderzoeksdeelnemers met dat kenmerk bereikt is. Er is ook wel een waarschijnlijkheidsstrategie die als tegenhanger voor quota sampling fungeert, maar die is vaak veel tijdrovender. Het voordeel van quota sampling is dat je toch een bepaalde mate van representativiteit krijgt, maar omdat de selectie niet random plaats vindt is de generaliseerbaarheid van de resultaten in het gedrang.

De meest gebruikte waarschijnlijkheidsstrategie is de simpele random sampling. Elk lid van de populatie heeft een gelijke en onafhankelijke kans om geselecteerd te worden. Selectie berust hierbij op toeval en sluit zo de voorkeuren van een onderzoeker buiten. Door deze manier van sampling krijg je een representatieve steekproef.

Simpele random sampling is vooral geschikt bij populaties waarvan de leden niet echt verschillen op belangrijke variabelen. Er zijn vier stappen die je moet volgen bij deze strategie: definieer de populatie die je wilt onderzoeken, maak een lijst met alle leden van deze populatie, geef elk lid op de lijst een getal en gebruik een criterium om een steekproef te selecteren. Hierbij kun je bijvoorbeeld gebruik maken van een lijst met random getallen. Deze lijsten zijn samengesteld op een volledig niet gebiasde manier en geven elk getal en daarmee elke persoon dezelfde kans om geselecteerd te worden.

Werken met een random getallenlijst doe je als volgt: prik blind een beginpunt op de lijst, staat dit getal op je lijst met namen, dan is die persoon geselecteerd en ga je door naar het volgende getal op de lijst, staat dit getal er niet op, dan ga je zonder iemand te selecteren door naar het volgende getal. Dit doe je tot je het aantal personen hebt geselecteerd dat je nodig hebt. Het is belangrijk dat je een criterium gebruikt dat niet samenhangt met hetgeen je wilt onderzoeken. Hoewel je mooie representatieve steekproeven krijgt op deze manier, kost het natuurlijk wel een hoop tijd. Met de komst van de computer werd het er beter op: de computer kan veel sneller en vaak beter een random steekproef genereren. Er zijn tegenwoordig allerlei software programma’s op de markt die je hiervoor kunt gebruiken.

Bij systematische sampling wordt elke zoveelste naam van de lijst geselecteerd om deel te nemen aan het onderzoek. Deze vorm van sampling geeft echter niet alle leden van de populatie een gelijk kans geselecteerd te worden en is hierdoor iets gevoeliger voor bias. Ook deze strategie kun je gebruiken wanneer de leden van een populatie op elkaar lijken wat betreft bepaalde belangrijke variabelen. Het voordeel van systematische sampling is dat je geen lijst met random getallen nodig hebt en het sneller is. Zo gaat het in zijn werk: Deel de grootte van de populatie door de gewenste grootte van de steekproef, hieruit volgt de grootte van de stap. Kies vervolgens blind een naam op de lijst en van hieruit selecteer je steeds de zoveelste naam van de lijst.

Bij gestratificeerde sampling werk je met een populatie die verschillende groepen bevat waarvan sommige samenhangen met het onderwerp van het onderzoek. Het gaat dus om een heterogene populatie, bij de waarschijnlijkheidsstrategieën die hiervoor besproken zijn ging het om een meer homogene populatie. Bij gestratificeerde sampling bestaat de populatie uit meerdere groepen die allemaal op een goede manier vertegenwoordigd moeten worden in de steekproef. De groepen verschillen onderling op een variabele die van belang is voor het onderzoek. Bij gestratificeerde sampling worden aparte lijsten gemaakt van de groepen en krijgt elke lijst eigen getallen. Per lijst kan vervolgens met behulp van bijvoorbeeld een random getallenlijst het gewenste aantal onderzoeksdeelnemers geselecteerd worden. Deze manier van sampling kan erg tijdrovend zijn, maar zorgt wel voor een representatieve afspiegeling van de verschillende groepen in de populatie. Cluster sampling is geschikt wanneer je groepen selecteert in plaats van individuen. Hierbij is het wel van belang dat de groepen homogeen zijn omdat anders verschillen binnen de groepen kunnen bijdragen aan een bias. Deze strategie is vaak wel snel en gemakkelijk.

Overige kwesties rond sampling

Het is onmogelijk een steekproef te krijgen die een perfecte weerspiegeling is van de populatie. De term sampling error geeft het verschil tussen de kenmerken van de steekproef in vergelijking met de kenmerken van de populatie weer. Wanneer de waarden van de steekproef meer divers zijn, wordt de sampling error groter en dus de representativiteit kleiner. De sampling error kan verkleind worden door een grotere steekproef te nemen en goede selectieprocedures te gebruiken. Maar een te grote steekproef wordt weer duur en tijdrovend. Je moet dus ergens een balans zien te vinden. Om te bepalen hoeveel onderzoeksdeelnemers je in je steekproef moet hebben kun je gebruik maken van de effectgroottes, maar dat is vrij ingewikkelde materie. Als je onderzoek doet naar het verschil tussen twee groepen moet je kijken naar de grootte van dit verschil, hoe kleiner het verschil, hoe groter je steekproef moet zijn. Ook de variatie binnen een groep is van belang, hoe meer variatie er is binnen een groep, hoe groter de gewenste steekproef. Hou er bij het kiezen van een steekproefgrootte ook rekening mee hoe je het onderzoek uit gaat voeren. Bijvoorbeeld bij het beantwoorden van vragenlijsten via de post zullen veel mensen niet reageren en loop je dus de kans een hele kleine groep over te houden.

Hoofdstuk 6. Het onderzoeksproces: metingen verrichten

Als je iets wilt onderzoeken dat niet te meten is, zul je nooit antwoord vinden op je onderzoeksvraag. Bij het doen van metingen gaat het erom dat objecten of gebeurtenissen aan de hand van bepaalde regels een bepaalde waarde krijgen. Deze waardes kunnen verschillende vormen aannemen, vaak voorkomend zijn cijfers. Stevens benoemt verschillende meetniveaus. Deze niveaus zijn op een hiërarchische manier geordend, waarbij geldt dat hoe hoger het meetniveau is, hoe groter de mate van precisie is waarmee de variabele beoordeeld kan worden. Afhankelijk van hoe de variabele gemeten wordt, kan bepaald worden van welk meetniveau er sprake is. De hogere meetniveaus bevatten ook de kenmerken van de lagere meetniveaus. Dat wil zeggen dat je de onderzoeksdeelnemers ook zou kunnen indelen op de manier van het lagere niveau. Kort gesteld kun je stellen dat hoe hoger het meetniveau is, hoe preciezer de meting is en hoe dichter je bij de ware uitkomst je zult zitten.

Stevens benoemt vier verschillende meetniveaus. Het laagste niveau is het nominale niveau waarbij onderzoeksdeelnemers slechts in beschrijvende categorieën worden verdeeld. Het nominale niveau is puur kwalitatief. Het is aan de onderzoeker om de verschillende onderzoeksdeelnemers in te delen in de categorieën en de categorieën een naam te geven. Getallen kunnen hierbij ook gebruikt worden, maar alleen wanneer ze geen intrinsieke waarde hebben, bijvoorbeeld de rugnummers van voetballers. Een onderzoeksdeelnemer kan altijd maar in één van de categorieën ingedeeld worden. Bij een niveau hoger, het ordinale niveau, worden onderzoeksdeelnemers nog steeds in beschrijvende categorieën gedeeld, maar de categorieën worden ook ingedeeld in een bepaalde orde. De categorieën hebben op dit niveau niet alleen maar een naam, maar ook een plaats op een bepaald continuüm. Onderzoeksdeelnemers kunnen dus niet alleen in een categorie gedeeld worden, maar kunnen ook geordend worden. Je kunt op het ordinale niveau alleen niets zeggen over de absolute waardes van de onderzoeksdeelnemers.

Op het interval niveau kun je hier wel wat over zeggen. Op dit niveau bestaan er gelijke afstanden tussen de verschillende punten en hebben deze verschillen ook een bepaalde waarde. Je kunt bijvoorbeeld aangeven dat de ene persoon x meer vragen goed had op het tentamen dan de andere persoon. Toch moet je voorzichtig zijn met het trekken van conclusies over deze waarden. Het verschil hoeft namelijk geen exacte representatie te zijn van de onderzochte variabele. Het hoogste niveau is het ratio niveau. Op dit niveau hebben de afstanden tussen de punten niet alleen een betekenis, maar heeft het continuüm ook een absoluut, niet-arbitrair en betekenisvol nulpunt. Het ratio niveau is het meest precieze en het stelt je in staat om te zeggen dat iemand twee maal zo goed is in een bepaalde taak als een ander.

Naast de meetniveaus is het belangrijk onderscheid te kunnen maken tussen continue en discrete variabelen. De waarde van een continue variabele kan waar dan ook op een bepaald continuüm liggen, terwijl de waarde van een discrete variabele alleen geplaatst kan worden binnen een afgebakende categorie. Een discrete variabele wordt daarom ook wel een categoriale variabele genoemd. Ter verduidelijking: gewicht is een continue variabele, merk schoenen een categoriale variabele. Het werkelijke voorkomen van de variabele bepaald het type variabele. In je onderzoek streef je er altijd naar de variabelen waarin je geïnteresseerd bent op een zo hoog mogelijk niveau te meten. Hoger meetniveau betekent namelijk meer informatie en daardoor zijn je onderzoeksconclusies beter bruikbaar. In de praktijk zie je echter vaak dat variabelen beperkingen hebben in de mate waarin je ze kunt meten. Je moet dan creatief zijn om zoveel mogelijk uit je onderzoek te kunnen halen.

Bij onderzoek in het veld van de sociale en gedragswetenschappen kom je vooral metingen op het nominale en ordinale niveau tegen. Metingen op een interval niveau zie je ook wel, maar dan is het nog al eens de vraag of de meting werkelijk op interval niveau is, of eigenlijk op ordinaal niveau. Het gebeurt vaak dat onderzoek doen alsof hun ordinale metingen op interval niveau zijn gedaan. Daar is op zich niets mis mee, maar kijk wel uit met het trekken van conclusies. Er is in de loop van de jaren ook de nodige kritiek geweest op de indeling van meetniveaus van Stevens. De belangrijkste kritiek stelt dat de indeling van de niveaus theoretisch misschien wel kan kloppen, maar dat het in de praktijk soms niet bruikbaar is vanwege de implicaties.

Betrouwbaarheid

Bij onderzoek kom je vaak de termen betrouwbaarheid en validiteit tegen. Het is belangrijk om het onderscheid tussen deze twee begrippen te kennen. Kort gezegd gaat betrouwbaarheid over de consistentie en validiteit over de mate waarin een meetinstrument meet wat het beoogt te meten. Beide zijn van groot belang als je een goed onderzoek wilt afleveren, als één van beide of zelfs allebei niet goed zijn, kun je weinig waarde hechten aan je onderzoeksresultaten. We noemen een meetinstrument betrouwbaar wanneer het in staat is meerdere keren hetzelfde te meten met gelijke uitkomsten. Metingen resulteren in een geobserveerde score. Deze score kan zowel een meting zijn van je afhankelijke variabele als van een andere variabele waarin je geïnteresseerd bent. De geobserveerde score bestaat uit twee delen: de werkelijke score en de error score. De werkelijke score is de perfecte score die zou voortkomen uit een meting waarin interne en externe invloeden geen impact op hebben. Helaas is de werkelijke score van een individu nooit meetbaar. Toch gaan we er altijd vanuit dat er een werkelijke score is.

De error score is het verschil tussen de geobserveerde score en de werkelijke score. Allerlei interne en externe invloeden kunnen bijdragen aan deze error score. Maar de error score wordt ook beïnvloedt door de kwaliteit van het meetinstrument en de variabiliteit van de te meten variabele. Er zijn verschillende factoren die kunnen bijdragen aan de error score. Zo is er methode error, dat wil zeggen error die ontstaat door kernmerken van de testsituatie.

Dit kan bijvoorbeeld optreden bij onduidelijke instructies. Bij trait error gaat het om de error die voortvloeit uit de kenmerken van het individu dat getest wordt. Hierbij kun je denken aan iemands vaardigheden in het maken van testen, voorbereiding en het vermogen om instructies goed te begrijpen. Er zijn zowel algemene (testvaardigheden), tijdelijke (vermoeidheid, motivatie) als langdurige (vermogens en vaardigheden met betrekking tot het te meten kenmerk) individuele factoren die bij kunnen dragen aan error. Hoe meer invloed dergelijke factoren hebben, hoe minder betrouwbaar de meting wordt.

Betrouwbaarheid kun je als volgt in formulevorm weergeven:

betrouwbaarheid = werkelijke score / (werkelijke score + error score)

Uit deze formule kun je afleiden dat de betrouwbaarheid hoger wordt naarmate de error score kleiner wordt. Als onderzoeker streef je dus altijd naar een zo klein mogelijke error. Er zijn verschillende manieren waarop de error kan verkleinen: zorg voor standaardinstructies, zorg dat de test een gemiddelde graad van moeilijkheid heeft, vergroot het aantal items of observaties, zorg dat de omstandigheden waaronder de test wordt afgenomen voor iedereen hetzelfde is, verwijder onduidelijke items, zorg dat je scoring procedure gelijk blijft en probeer de invloed van externe gebeurtenissen zo klein mogelijk te maken. Betrouwbaarheid wordt meestal weergegeven in een correlatiecoëfficiënt met als aanduiding r. Op de statistische achtergrond van de betrouwbaarheidscoëfficiënt wordt verder niet ingegaan, wel wordt verteld dat de waarde van r altijd tussen -1 en +1 ligt (dit stelt het boek, volgens mij moet dit zijn tussen de 0 en de 1, maar we houden maar aan wat het boek zegt). De betrouwbaarheid gaat altijd over het meetinstrument en staat los van het individu dat getest wordt. Over het algemeen wordt gesteld dat een meetinstrument betrouwbaar is wanneer de betrouwbaarheidscoëfficiënt boven de .80 ligt. Een score rond of onder de 0 betekent dat het meetinstrument erg onbetrouwbaar is.

Er bestaan verschillende vormen van betrouwbaarheid. De bekendste is waarschijnlijk wel de test-hertest betrouwbaarheid. Dit type betrouwbaarheid houdt zich bezig met de consistentie tussen de resultaten van een test wanneer deze op verschillende momenten wordt afgenomen. Hoe lang er moet zitten tussen de afnamen van de test hangt af van het doel van je onderzoek en de manier waarop je de gegevens wilt gebruiken. Een andere vorm van betrouwbaarheid is de interbeoordelaar betrouwbaarheid. Hierbij wordt gekeken naar de consistentie tussen verschillende beoordelaars. Wanneer verschillende beoordelaars een individu testen met behulp van een betrouwbaar meetinstrument zullen hun score dichtbij elkaar liggen. De interbeoordelaar betrouwbaarheid kan vaak vergroot worden door de beoordelaars voorafgaand aan het onderzoek goed te trainen in het gebruik van het meetinstrument. Bij de parallelle vorm betrouwbaarheid wordt gekeken hoe de consistentie is tussen de afname van twee parallelle tests. Er bestaan tests die parallelle versies hebben zodat individuen vaker getest kunnen worden zonder dat er leereffecten optreden. De parallelle test betrouwbaarheid moet hoog zijn om te kunnen stellen dat de twee tests inderdaad parallel zijn.

Interne consistentie is een andere vorm van betrouwbaarheid. Hierbij gaat het om de samenhang van de verschillende items in een test. Kort gezegd: je wilt dat alle items van een bepaalde schaal hetzelfde construct meten. Om de interne consistentie te berekenen kun je gebruik maken van verschillende statistische methoden.

Validiteit

De validiteit van een meetinstrument kan gezien worden als de mate waarin het instrument meet wat het zou moeten meten. Validiteit wordt net als betrouwbaarheid in een maat aangegeven. Validiteit verwijst naar de resultaten van een test en niet naar het instrument zelf, daarom is ook de context waarin de test gebruikt wordt van belang. Er bestaan verschillende soorten validiteit. De criterium validiteit kan in twee vormen worden gedeeld: concurrent validiteit en predictieve validiteit. In zijn algemeenheid kun je stellen dat criterium validiteit aangeeft in welke mate de test gerelateerd is aan een criterium. Het criterium waarmee de test vergeleken wordt moet wel een intrinsieke waarde hebben. Anders gezegd: het moet wel zin hebben om de test met dat criterium te vergelijken. Het is vaak erg lastig om een goed criterium te kiezen. Het is dan ook belangrijk om het criterium vanuit een bepaalde rationale te kiezen. Verder moet je er goed bij nadenken dat niet elke relatie tussen een test en een criterium eentje is met betekenis. Bij de predictieve criterium validiteit gaat er om hoe goed een meetinstrument het criterium kan voorspellen. Hierbij kun je bijvoorbeeld denken aan tests die bedoeld zijn om toekomstig werksucces te voorspellen. Om de mate van predictieve criterium validiteit te kunnen berekenen moet je een criterium selecteren en de scores op het meetinstrument correleren met de scores op het criterium in de toekomst. Bij de concurrent criterium validiteit gaat het om de mate waarin het meetinstrument in staat is een criterium in te schatten. De scores op de test moeten dan ook gecorreleerd worden aan huidige scores op het criterium.

Bij inhoud (content) validiteit gaat het om de mate waarin de test een afspiegeling vormt van de alle mogelijke items. Net als dat het niet mogelijk is om alle leden van een populatie te testen, is het ook niet mogelijk om alle mogelijke items over een bepaald onderwerp af te nemen. De test zal daarom slechts een steekproef van deze items zijn. Vaak worden experts op een bepaald gebied benaderd om te beoordelen of de items meten wat ze zouden moeten meten. De construct validiteit wordt gebruikt om te bepalen op de testscores verbonden zijn aan een groep gerelateerde variabelen of een bepaald construct. Om construct validiteit aan te kunnen tonen is het belangrijk om eerst de validiteit van het onderliggende construct aan te tonen. Vervolgens kun je de testscores van je test vergelijken met die op een andere tests die hetzelfde construct meet. Ook kun je kijken of de taakvereisten van items kloppen in vergelijking met de theorie waarop de test gebaseerd is. Ook kun je aantonen dat de test in staat is om verschillen tussen een groep mensen met een bepaald kenmerk en een groep mensen zonder een bepaald kenmerk aan te duiden. Om de construct validiteit te meten kun je gebruik maken van een multi trait – multi method matrix. Hierbij meet je verschillende kenmerken met behulp van verschillende tests.

Het idee hierachter is dat het niet uit zou moeten maken welke methode (test) je gebruikt om een kenmerk te meten, de scores zouden gelijk of vergelijkbaar moeten zijn. De scores zouden niet gerelateerd moeten zijn wanneer je verschillende kenmerken meet met dezelfde methode. Deze manier van werken kan je een hoop informatie bieden, maar is vaak ook erg tijdrovend. Bij convergerende (neer elkaar toe) validiteit is er sprake van een samenhang tussen de methoden, bij discriminante (van elkaar af) validiteit gaat het juist om d verschillen tussen de methoden.

Een meetinstrument kan wel betrouwbaar zijn, maar niet valide, maar het is niet mogelijk dat een test wel valide is, maar niet betrouwbaar. Het is belangrijk dit goed te onthouden, want er zijn in de praktijk genoeg voorbeelden terug te vinden van betrouwbare, niet valide testen en de consequenties hiervan. Het meetproces is erg belangrijk voor je onderzoek, daarom moet je het belang van goede meetinstrumenten en betrouwbare en valide variabelen niet onderschatten. Als je de mogelijkheid hebt, maak dan gebruik van een al bestaande test waarvan de betrouwbaarheid en validiteit reeds bewezen zijn. Je kunt ook wel zelf een meetinstrument ontwerpen, maar dat is veel werk en vaak ingewikkeld. En het kost natuurlijk de nodige tijd en geld om de benodigde informatie over de betrouwbaarheid en validiteit te verzamelen.

Hoe meet je gedrag?

Er zijn heel veel verschillende meetinstrumenten in omloop die ontworpen zijn om gedrag te meten. Als je een instrument uitkiest voor je eigen onderzoek moet je op een aantal dingen letten: wat kun je met de informatie die het instrument oplevert, hoe lang moet je training volgen/ oefenen voor je het instrument goed kan gebruiken en is het instrument betrouwbaar en valide? Bovendien is de manier waarop je een onderzoeksvraag stelt van invloed op hoe je de variabelen in je onderzoek wilt meten, in dus op de keuze van een meetinstrument. Tests zijn ontwikkeld om individuele verschillen te kunnen meten. Hierbij gaat het vaak om zowel de aard van de verschillen als de mate waarin ze voorkomen. Een goede test is in staat om deze individuele verschillen in werkelijke scores aan te tonen. Tests zijn er in allerlei soorten en maten en welke het meest geschikt is voor jouw onderzoek hangt af van de informatie die je nodig hebt om je onderzoeksvraag te kunnen beantwoorden. Tests kunnen ook verschillende doelen hebben. Ten eerste kunnen tests helpen bij plaatsing, bijvoorbeeld bij studie of werk. Op basis van kenmerken van een persoon zou een test aan kunnen geven op welke afdeling het individu het beste zou passen.

Een ander mogelijk doel van een test ligt in de diagnostiek en screening. Vaak maakt de tests een soort sterkte-zwakte analyse van het individu dat gebruikt kan worden bijvoorbeeld in behandeling. Tests kunnen ook gebruikt worden om de uitkomsten van een programma te evalueren. Vooral binnen de psychotherapie is dit een belangrijk doel. Natuurlijk kunnen tests onderzoekers ook helpen bij het verkrijgen van uitkomsten van een onderzoek. Ze kunnen bijvoorbeeld de eventuele veranderingen in de onafhankelijke variabele meten.

Verder worden tests ook gebruikt voor selectiedoeleinden. Bedrijven en onderwijsinstellingen maken soms gebruik van een bepaalde testbatterij om te kijken of iemand een geschikte werknemer zou zijn of om te kijken of iemand een bepaald opleidingsniveau aan kan. Voor welk doel je een test ook gebruikt, het is niet de testscore waar alles om draait, het gaat om de interpretatie van de score. Tests kunnen op verschillende manieren afgenomen worden. Waar je voor kiest hangt af van je onderzoeksvraag. Aspecten waarover je zult moeten beslissen zijn: welke aard heeft het te testen gedrag, maak je gebruik van zelfrapportage of observatie of rapportage door derden, maak je gebruik voor subjectieve of objectieve antwoordmogelijkheden, open vragen of meerkeuze vragen, pen en papier, elektronisch of op nog een andere manier, individuele of groepsgewijze afname en wel of geen tijdslimiet.

Prestatietests

Bij prestatietests is het doel om te kijken hoe het staat met de kennis van het individu over een bepaald gebied. Deze tests worden vooral gebruikt om leren te meten, denk maar aan alle proefwerken en tentamens die je al hebt moeten maken. Prestatietests worden ook wel gebruikt om de effectiviteit van het onderwijs te meten. Bij prestatietests die gemaakt zijn door de onderzoeker/docent wordt de tests speciaal ontworpen om de kennis van een specifiek gebied te testen. Vaak is de test dan ook maar voor een klein aantal mensen bedoeld. Daarentegen zijn er ook gestandaardiseerde prestatietest die gebruikt worden voor grote groepen mensen tegelijk. De CITO-toets is daar een goed voorbeeld van. Er zijn twee verschillende manieren van beoordelen van de prestatietests. Bij criterium gebaseerde tests wordt er een bepaald criterium gehanteerd aan de hand waarvan iemands prestatie wordt beoordeeld. Vaak is het criterium een bepaald prestatieniveau. Zo zijn er veel meerkeuze tentamens waarbij je een voldoende haalt wanneer je minimaal 65% van de vragen goed beantwoord hebt. Deze manier wordt ook wel inhoud gebaseerd testen genoemd. Bij norm gebaseerde tests wordt iemands testscore beoordeeld in vergelijking met de prestatie van anderen. Vooral gestandaardiseerde tests maken gebruik van dit soort normen, vaak worden die zelfs bij de test geleverd. Als je een keuze moet maken moet je goed bedenken welk soort informatie je wilt: hoe iemand scoort in vergelijking met de norm of hoe goed iemand de stof beheerst.

Een aparte kwestie binnen de prestatietests zijn de meerkeuzevragen. Dit type vragen is de meest gebruikte binnen de prestatietests. Een meerkeuze vraag bestaat uit de vraag zelf en de antwoordmogelijkheden. Één van de antwoordmogelijkheden is de juiste, de andere fungeren alleen als afleiders. Een goede afleider is in staat om iemand die de stof niet heel goed beheerst te laten twijfelen, terwijl mensen die de stof goed beheersen weten welk antwoord de juiste is. Slechte afleiders komt de validiteit en betrouwbaarheid van de test niet ten goede omdat zelfs iemand die niets geleerd heeft waarschijnlijk in staat zou zijn de slechte afleiders te herkennen. Meerkeuze vragen zijn goed wanneer ze in staat zijn groepen van elkaar te onderscheiden (mensen met een goede voorbereiding versus mensen zonder voorbereiding bijvoorbeeld) en ze moeten een goede afspiegeling vormen van de behandelde stof en de doelen van de docent.

De voordelen van meerkeuzevragen zijn dat ze makkelijk na te kijken zijn, voor veel verschillende kennisgebieden gebruikt kunnen worden, het scheelt een hoop schrijfwerk voor de persoon die getest wordt, goede items kunnen vaker gebruikt worden, slechte items kunnen overboord gegooid worden en ze discrimineren niet tegen slechte schrijvers.

Toch zijn er ook nadelen. Zo beperkt het de creativiteit omdat het individu niet zelf een antwoord hoeft te formuleren, er zijn beperkingen aan het soort inhoud dat getest kan worden, schrijfvaardigheid telt niet mee en sommige mensen zijn gewoon echt slecht in meerkeuze vragen, hoe goed ze ook geleerd hebben. Door itemanalyse kun je bepalen hoe goed een meerkeuze vraag is. Dit gebeurt op basis van de moeilijkheidsgraad en het discriminatieniveau. Om deze indices te kunnen berekenen moet je een onderverdeling maken tussen hoge en lage testscores. De hoogste 27% van de scores vormen de hoge groep, de laagste 27% de lage groep. Per item kijk je vervolgens welk alternatief gekozen werd door hoeveel mensen van de hoge groep en door hoeveel van de lage groep. De moeilijkheidsgraad (D) is het aantal mensen in de hoge groep met het goede antwoord (ACh) plus het aantal mensen in de lage groep met het goede antwoord (ACl) gedeeld door het totaal aantal mensen in de hoge en lage groep (T). In formulevorm:

D = (ACh + ACl)/T

De mogelijke uitkomsten liggen tussen 0 (iedereen heeft de vraag fout) en 1 (iedereen heeft de vraag goed). De discriminatie index (d) is het aantal mensen in de hoge groep met het goede antwoord (ACh) min het aantal mensen in de lage groep met het goede antwoord (ACl) gedeeld door de helft van het totale aantal mensen in de lage en hoge groep (T). In formulevorm:

D = (ACh – Acl)/ (.5)T

De mogelijke uitkomsten liggen tussen -1 (alle mensen in de lage groep hebben het item goed en alle mensen in de hoge groep hebben het item fout) en +1 (alle mensen in de hoge groep hebben het item goed en alle mensen in de lage groep hebben het item fout). Zo kun je voor elk item beide indices berekenen. Deze indices kun je vervolgens uitzetten in een grafiek. Hieruit blijkt dat het item dat perfect in staat is te discrimineren (alle mensen in de hoge groep hebben hem goed, alle mensen in de lage groep fout) een moeilijkheidsgraad heeft van 50%. Door de antwoordmogelijkheden meer of minder aannemelijk te maken kun je invloed uitoefenen op de moeilijkheidsgraad. Wanneer de moeilijkheidsgraad verandert, zal de discriminatie index ook veranderen. Het is erg veel werk om de indices per item te berekenen, maar als je wilt weten of je items doen wat je wilt dat ze doen, is het de enige manier. Als je de informatie over de indices op een goede manier bijhoudt, kan je dat in de toekomst een hoop werk besparen, omdat je dan al de beschikking hebt over een groot aantal items waarvan je de indices kent.

Vragenlijsten

Vragenlijsten zijn vaak gestructureerde lijsten vragen die onderzoeksdeelnemers zonder of met minimale instructies in kunnen vullen. Tegenwoordig worden vragenlijsten ook wel via de computer en via internet afgenomen. Vragenlijsten zijn makkelijk te scoren en leveren objectieve informatie op. Met deze gegevens kun je ook verdere analyses uitvoeren. Vragenlijsten hebben als nadeel dat ze een relatief lage respons rate hebben, dat wil zeggen dat van de mensen die benaderd wordt de lijst in de vullen vaak maar een beperkt gedeelte reageert. Dit geldt vooral wanneer de vragenlijst per post of e-mail wordt verstuurd.

Een goede vragenlijst moet aan bepaalde voorwaarden voldoen. Zo mag een vragenlijst niet te veel vragen van een onderzoeksdeelnemer qua tijd en inzet, de vragenlijst moet specifiek gericht zijn op het beantwoorden van je onderzoeksvraag en geen geheime agenda hebben, als dezelfde informatie op een andere manier kan verkrijgen dan via een vragenlijst, gebruik dan deze andere manier, vraag informatie van de onderzoeksdeelnemer waarvan je denkt dat deze er over beschikt en maak de vragen interessant, want dat nodigt uit tot antwoorden. Vragen kunnen allerlei vormen aannemen, ook op een vragenlijst. Zorg dat je vragen op je lijst zet die goed beantwoord kunnen worden (geen dingen vragen waarvan men niets weet) en zorg dat ze duidelijk en helder geformuleerd zijn.

Het ontwerpen van een vragenlijst lijkt misschien niet heel ingewikkeld, maar dat is het wel. Zo zijn er al allerlei tips en trucs omtrent het format van de vragenlijst. Zo moeten de vragen objectief en rechtdoorzee zijn, anders loop je het risico dat mensen sociaal wenselijk gaan antwoorden, de vragenlijst moet als het even kan gemakkelijk te scoren zijn, want dat bespaard je een hele hoop tijd, de items moeten overzichtelijk geordend zijn en leesbaar gedrukt, de instructies voor de vragenlijst moeten helder en compleet zijn, de eerste vragen moeten een soort inkomers zijn om de onderzoeksdeelnemers op hun gemak te stellen, als de vragen later lastiger worden of over een ander onderwerp gaan, moet je de onderzoeksdeelnemer hiervan op de hoogte stellen, de nummering moet duidelijk zijn en een bijgevoegde brief kan uitleggen wat het belang is van de vragenlijst. Dit vergroot de kans dat mensen de lijst in gaan vullen. Bij vragenlijsten die per post verstuurd worden in de zogenaamde cover letter, de bijgaande brief, heel erg belangrijk. Een goede cover letter is gedrukt op officieel papier, is aan de onderzoeksdeelnemer persoonlijk gericht, legt uit wat het doel van het onderzoek is, bevat een duidelijk bedankje voor de medewerking, beloofd de gegevens vertrouwelijk te behandelen enzovoorts.

Attitude tests

Ook attitude tests zijn veel gebruikt. Deze tests meten hoe iemand denkt of voelt over een gebeurtenis, persoon of object. Bij deze tests krijgt de onderzoeksdeelnemer vaak een stelling voorgelegd en moet dan aangeven in welke mate hij of zij het met de stelling eens is. Er zijn verschillende antwoordschalen ontwikkeld in de loop der tijd die hiervoor gebruikt kunnen worden.

De bekendste en waarschijnlijk meest gebruikte zijn de Likert schalen. Om een Likert schaal te maken moet je eerst een stelling maken die een attitude over een bepaald iets beschrijft. Uit je mogelijke stellingen zoek je die stellingen die duidelijk positief of negatief zijn. Voor elke stelling komt daarna een vijf punt antwoordschaal. De mogelijke antwoorden zijn: helemaal mee eens, mee eens, geen mening, niet mee eens en helemaal niet mee eens. Elk punt op de schaal krijgt een waarde toegekend en de score van iemand op de gehele test bereken je dan door alle itemscores bij elkaar op te tellen en te delen door het aantal items (gemiddelde berekenen). Het probleem hierbij is dat sommige items omgekeerd worden gepresenteerd, dit bemoeilijkt de scoring. De vuistregel is dat bij gunstige stellingen 1 staat voor helemaal niet mee eens en dat bij ongunstige stellingen 1 staat voor helemaal mee eens. De manier waarop een Likert schaal tot stand komt wordt ook wel de methode van summated ratings (opgetelde beoordelingen) genoemd.

Een ander soort schaal is de Thurstone schaal. Een Thurstone schaal kun je als volgt ontwikkelen: schrijf zoveel mogelijk potentiële items voor de test. Laat experts de stellingen in 11 groepen verdelen van minst gunstig tot meest gunstig. De items die door de experts consistent worden beoordeeld krijgen een score die gebaseerd is op hun plaatsing. Vervolgens selecteer je stellingen die het hele continuüm bestrijken. De onderzoeksdeelnemers moeten aangeven met welke stellingen ze het eens zijn. De itemwaardes van de stellingen waar de deelnemer mee eens is, kunnen worden opgeteld tot een attitude score. Wanneer een onderzoeksdeelnemer veel items aankruist met hele verschillende waarden, dan is er sprake van één van de twee dingen: of de onderzoeksdeelnemer heeft geen duidelijke mening of de schaal is niet goed samengesteld. Het ontwikkelen van Thurstone schalen is ingewikkeld en tijdrovend, maar het meetniveau van deze schalen nadert wel het interval niveau. De manier waarop een Thurstone schaal wordt ontwikkeld wordt ook wel de methode van gelijk voorkomende intervallen (equal-appearing) genoemd.

Observatie

Bij observatietechnieken speelt de onderzoeker een actieve rol in het onderzoek. Als het even kan bevindt de onderzoeker zich niet in de situatie waarin de gedraging plaatsvindt omdat anders de aanwezigheid van de onderzoeker invloed kan hebben op het gedrag van de onderzoeksdeelnemers. De onderzoeker observeert het gedrag en legt dit vast. Er bestaan verschillende technieken om gedrag vast te leggen. Zo kan de onderzoeker er voor kiezen om te meten hoe lang een bepaalde gedraging voort duurt. Dit kan bijvoorbeeld met behulp van een stopwatch. Bij continue vastlegging wordt het gedrag van de onderzoeksdeelnemer constant vastgelegd, onafhankelijk van het soort gedrag en de duur van de gedragingen. Hoewel je op deze manier niet gebiasd bent om alleen op bepaalde gedragingen te letten en daardoor een meer open blik hebt, is het erg tijdsintensief om later alles terug te kijken en dan alsnog aan de hand van bepaalde criteria het gedrag te scoren.

Bij frequentie vastlegging wordt er gescoord hoe vaak een van tevoren gespecificeerde gedraging voor komt. Bij interval vastlegging (ook wel tijd sampling genoemd) wordt een onderzoeksdeelnemer tijdens bepaalde intervallen geobserveerd.

Observatie kan heel veel bruikbare informatie opleveren, maar heeft een groot nadeel. Dat is dat de kans groot is dat de observatie zelf invloed heeft op het te observeren gedrag. Wanneer iemand weet dat hij of zij geobserveerd wordt kan het zijn dat deze persoon zich anders gaat gedragen. Bij een goede observatie vindt de observatie dan ook plaats zonder het geobserveerde te beïnvloeden. Met de vooruitgang van de technologie is dat steeds makkelijker geworden. Nu hoef je bijvoorbeeld niet meer in dezelfde ruimte aanwezig te zijn, maar kun je gebruik maken van filmapparatuur. Toch blijft het verstandig om ook ervaring op te doen met het ‘ouderwetse’ observeren, want zelfs de moderne techniek is niet altijd volledig betrouwbaar. Bij observatie moet je altijd de rechten en privacy van de geobserveerde in zicht houden. Dit kan best lastig zijn. Vaak op het moment dat je mensen in licht dat ze geobserveerd worden en hun toestemming vraagt, zijn ze zich bewust van het feit dat ze geobserveerd worden wat weer invloed kan hebben op hun gedrag. Bij observatie speelt de onderzoeker een belangrijke rol en hoewel training een hoop kan ondervangen blijven onderzoekers mensen en vergissen is menselijk. Zo zie je ook nog wel eens dat een gedraging in de loop van de observatie anders gedefinieerd wordt. Waar je verder rekening mee moet houden is dat je als onderzoeker een bepaalde bias kan hebben die je beoordelingsvermogen en vooral je objectiviteit kan beïnvloeden. Pas als je je daar echt goed van bewust bent, kun je proberen dat effect te ondervangen.

Persoonlijkheidstests

Persoonlijkheidstests meten relatief stabiele persoonskenmerken en gedragspatronen. Deze soort test heeft twee subtypes: de gestructureerde test en de projectieve test. Bij gestructureerde persoonlijkheidstests krijgen de onderzoeksdeelnemers stellingen over henzelf waarvan ze moeten aangeven of ze het er wel of niet mee eens zijn of ze moeten aangeven of de stelling wel of niet op hen slaat. Het voordeel hiervan is dat de tests makkelijk te scoren zijn. Maar dat maakt het interpreteren van de scores niet perse makkelijker. Bij projectieve tests krijgt de onderzoeksdeelnemer ambigue stimuli te zien en moet hierop reageren. De bekendste projectieve test is ongetwijfeld de Rorschach (inktvlekken) test. Het idee achter projectieve tests is dat uit de reactie van de onderzoeksdeelnemer hun wereldbeeld en persoonlijkheid naar voren komt. Deze tests zijn erg ongestructureerd en ook de scoring is niet gemakkelijk. Voor alle soorten persoonlijkheidstests geldt dat je een goede, uitgebreide training in het gebruik en scoren van deze instrumenten moet hebben voor je er in de praktijk mee kan werken.

Hoofdstuk 7. Het onderzoeksproces: het verzamelen van data

Wanneer je begint met het verzamelen van je data zul je een formulier moeten opstellen waarop je je data kan noteren en ordenen. Vervolgens zul je een codering strategie moeten benoemen die de data vertegenwoordigt op het formulier. De volgende stap is het daadwerkelijk verzamelen van de gegevens om deze vervolgens te kunnen invullen op het formulier. Als je deze stappen hebt doorlopen kun je een begin maken met het analyseren van je onderzoeksgegevens. Dit lijkt allemaal heel simpel, maar er komt toch echt het nodige bij kijken.

Een data formulier moet zo ontworpen zijn dat je gemakkelijk je data kunt ordenen en daarna kunt analyseren. Op een data formulier wordt alleen de ruwe data genoteerd en deze moet zo overzichtelijk mogelijk geordend worden. Om het vastleggen van de data gemakkelijker te maken wordt er van elke variabele, indien mogelijk, op het formulier vastgelegd welke waarden mogelijk zijn. Op een data formulier wordt vaak gebruik gemaakt van coderingen om het vastleggen te vergemakkelijken. Dan wordt in plaats van man of vrouw een 1 of een 2 genoteerd en staat er op het formulier dat een 1 staat voor man en een 2 voor vrouw. Zo kun je ook andere variabelen gecodeerd noteren. Zolang duidelijk is waar de codering voor staat en de persoon die de data verzameld de codering goed kan gebruiken, kan het een hoop tijd schelen met noteren en de analyse soms makkelijker maken. Vaak worden gegevens pas gecodeerd op het moment dat ze van het oorspronkelijke score formulier worden overgezet naar een format dat beter geschikt is voor de analyse van de gegevens. Wanneer je gebruik maakt van codering bedenk je dan dat het systeem vaak het beste is wanneer het zo eenvoudig mogelijk is. Bij codering worden woorden vaak vervangen door getallen omdat dit makkelijker scoort en vaak makkelijker is voor de analyse. Een coderingssysteem moet wel de betekenis van de oorspronkelijke gegevens bewaken. Een goed coderingssysteem is discreet en expliciet.

Het is zaak goed na te denken over welke informatie je nodig hebt en hoe je deze gegevens zou kunnen ordenen op een manier dat het goed toegankelijk is voor verdere analyse. Vaak wordt er voor gekozen om de variabelen in kolommen te zetten en dan op de rijen per onderzoeksdeelnemer de informatie per variabele te noteren. Om fouten te voorkomen kun je het beste gebruik maken van een formulier waarop de kolommen en rijen door lijnen duidelijk zijn afgebakend. Zorg ervoor dat je formulier genoeg ruimte heeft voor alle informatie die je wilt gaan verzamelen, ook voor informatie die je misschien later nog wil gaan verzamelen, zoals follow-up informatie. Om er zeker van te zijn dat je een duidelijk en goed te gebruiken formulier hebt ontworpen kun je iemand vragen die niet bekend is met het onderzoek om op basis van wat gegevens het formulier in te vullen. Wanneer dit zonder problemen gebeurt, kun je er vanuit gaan dat je een goed formulier in handen hebt. Soms is het ook niet nodig om een formulier te ontwerpen omdat de test zelf geschikt is om alle benodigde informatie op te ordenen. Je data formulier bevat al je belangrijke informatie, dus moet je er voorzichtig mee omgaan. Wanneer een formulier compleet is moet je er je initialen en de datum opzetten.

Het is verstandig om een kopie te maken van het formulier wanneer het ingevuld is en de kopie afzonderlijk van het origineel te bewaren voor het geval het origineel verloren gaat.

Bij bijvoorbeeld meerkeuze vragen kun je ook gebruik maken van optisch score formulier die je kunt scoren met een optische scanner. Je legt dat een sleutelblad op het antwoordformulier en een machine leest af welke vragen goed en fout zijn en geeft een totale score. Hoewel een dergelijke machine niet goedkoop is, werkt hij wel veel sneller en nauwkeuriger dan een mens kan. Bovendien kan een machine informatie bieden die je kunt gebruiken bij de analyse van de individuele items. Nadeel is wel dat je moet beschikken over speciale antwoordformulieren waar de onderzoeksdeelnemers hun antwoorden op moeten invullen omdat de machine het anders niet kan lezen. Hoe mooi het gebruik van een dergelijke machine ook lijkt, onthoud goed dat het niet voor elke methode geschikt is.

Een overzichtje van de punten die van belang zijn bij het verzamelen van gegevens. Het verzamelen van de data is vaak een tijdrovend proces dat veel precisie vereist. Zorg daarom dat je voor je aan dit hele proces begint toestemming hebt van de betrokken review commissie. Dit kost misschien wel veel tijd, maar het geeft je ook de verzekering dat je meetinstrumenten en formulieren gepast zijn en de instelling achter je staat. Ook is het belangrijk op tijd stil te staan bij de vraag welk soort gegevens je zult moeten verzamelen om je onderzoeksvraag te kunnen beantwoorden en hoe en waar je deze informatie kunt bemachtigen. Wanneer je hierover uit bent moet je zorgen voor een duidelijk en gebruiksvriendelijk data formulier. Na het verzamelen van alle gegevens moet je zorgen voor een kopie van het formulier dat apart van het origineel bewaard wordt.

Er wordt wel eens gezegd: als je zeker wilt weten dat het goed gebeurt, doe het dan zelf. Dat geldt ook voor het overzetten van je onderzoeksgegevens. Als je deze taak al overdraagt aan een ander zorg er dan voor dat deze personen goed getraind zijn en zoek mensen uit waarop je kunt vertrouwen. Maak een duidelijk schema over wanneer je waar welke data wil gaan verzamelen. Wanneer je kunt, exploreer mogelijke bronnen voor de pool van onderzoeksdeelnemers. In het geval dat onderzoeksdeelnemers niet zijn geweest voor hun testafname of interview, probeer dan op een later tijdstip alsnog deze data te verkrijgen. Het is namelijk vaak erg makkelijk om na één poging op te geven en maar genoegen te nemen met een kleinere steekproef, terwijl dit voor je onderzoeksresultaten en de conclusies die je uit je onderzoek kunt trekken niet bevorderlijk is. Tot slot is het belangrijk om NOOIT originele gegevens zoals antwoordformulieren weg te gooien omdat deze een bron van informatie voor andere onderzoekers kunnen vormen, maar ook omdat je ze zelf nog nodig kunt hebben voor verdere analyse.

Hoofdstuk 8. Het onderzoeksproces: statistiek

Voor het analyseren van je onderzoeksgegevens kun je niet om statistiek heen, hoe graag je ook zou willen. Grofweg kun je de statistieken in twee groepen opdelen: beschrijvende en inferentiële statistiek. Beschrijvende statistiek beschrijft de kenmerken van de verzamelde gegevens, denk aan de verdeling, het gemiddelde enzovoorts. Bij inferentiële statistiek voer je allerlei berekeningen uit die je moeten helpen bij het maken van beslissingen over hoe je data samenhangen met je hypotheses en hoe jouw onderzoeksgegevens gegeneraliseerd kunnen worden naar een grotere groep dan je steekproef. Veel studenten hebben een hekel aan statistiek en dat houdt ze ook nogal eens tegen om onderzoek te willen gaan doen. Toch is dat niet altijd nodig. De berekeningen die je moet doen zijn vaak niet zo ingewikkeld als je van tevoren denkt en er zijn duidelijke stap voor stap beschrijvingen beschikbaar over hoe je de berekeningen uit moet voren. Of te wel: maak je geen zorgen, haal gewoon diep adem en ga er voor.

Beschrijvende statistiek

De analyse van onderzoeksgegevens begint altijd met beschrijvende statistiek. Een belangrijke beschrijving is die van de verdeling van de scores. De verdeling van de scores geeft de onderzoeker een eerste indruk van hoe de onderzoeksgegevens er uit zien. Je kunt de scores ordenen op hoe vaak ze voorkomen en deze frequenties weergeven in een grafiek. Hierbij geeft de verticale as (Y-as) de frequentie aan en de horizontale as (X-as) de waarde van de score. Aan de vorm van de verdeling kun je dan zien of de scores evenredig verdeeld zijn of dat het zwaartepunt aan één van beide zijkanten ligt. De volgende stap is meestal het berekenen van maten van centrale neigingen, oftewel het gemiddelde, de mediaan en de modus. Het gemiddelde bereken je als volgt: tel alle scores op en deel dit getal door het aantal scores. In formulevorm:

Xgem = ΣX / n

Waarbij X staat voor de score en n voor het aantal scores. Voor alle variabelen kun je op deze manier een gemiddelde score berekenen. Het berekenen van het gemiddelde is zinvol bij variabelen die op een interval of rationiveau gemeten zijn. De mediaan is de middelste score van alle scores. Om de mediaan te kunnen berekenen moet je eerst alle scores in een rij van hoog naar laag zetten. Daarna moet je het aantal scores weten en de middelste score opzoeken. Wanneer er een even aantal scores is, werkt het net even anders. Dan neem je de twee middelste scores, telt deze bij elkaar op en deelt dit getal vervolgens door twee. De mediaan is een statistiek die goed gebruikt kan worden bij variabelen op het ordinale niveau. De modus is de score die het vaakst voorkomt, de score met de hoogste frequentie dus. Om de modus te vinden moet je een overzicht maken van hoe vaak elke score voorkomt. Het is ook mogelijk om dit af te lezen van een verdelingsgrafiek. Vooral voor de analyse van data met een nominaal meetniveau is de modus een bruikbare statistiek. Een gemiddelde geeft de meeste informatie, maar kan dus niet voor alle variabelen berekend worden.

Andere beschrijvende statistieken hebben te maken met de mate van variabiliteit. Het gaat hierbij om de spreiding van de scores. Er wordt hierbij ook gekeken naar de mate waarin de scores afwijken van het gemiddelde. Met de range wordt de spreiding van de scores aangegeven. Om de range te berekenen moet je de laagste score van de hoogste score aftrekken. Je kunt er ook voor kiezen om naast de uitkomst van dit sommetje tussen haakjes aan te geven wat de laagste en wat de hoogste score is. De standaarddeviatie is een bekende en veel gebruikte maat om de variabiliteit aan te geven. Deze statistiek geeft aan wat de gemiddelde hoeveelheid is waarmee de individuele scores afwijken van het totale gemiddelde. De standaarddeviatie kun je berekenen door de wortel te nemen uit de som van elke afzonderlijke score min het gemiddelde van alle score tot de tweede macht gedeeld door het aantal scores min 1. In formulevorm krijg je dan:

s = √(Σ(X – Xgem)² / n – 1)

Waarbij s staat voor standaarddeviatie, X voor een score en n voor het aantal scores. Eigenlijk bereken je dus voor elke score afzonderlijk hoeveel de score afwijkt van het gemiddelde. Dat doe je in het kwadraat en tel je bij elkaar op. De rest kun je ook goed afleiden uit de formule. Voor je de standaarddeviatie kunt berekenen moet je dus eerst het gemiddelde berekenen. Je deelt door n-1 om aan de behoudende kant te blijven en de waarde van de statistiek kunstmatig te verhogen. Hoe hoger het aantal scores, hoe kleiner het verschil dat het n – 1 maakt. Terwijl je bezig bent met alle verschillen tussen individuele score en het gemiddelde te berekenen kun je controleren of je het goed gedaan hebt. Alle verschillen bij elkaar opgeteld zijn namelijk altijd 0. De variantie is ook een maat die je vaak tegen komt. Deze statistiek is de standaard deviatie tot de tweede macht: s². Voor de verdeling van de scores zijn vooral het gemiddelde en de standaarddeviatie van belang.

Normale verdeling

Zoals al eerder gezegd kun je de verdeling van de scores grafisch weergeven, dit gebeurt door het uittekenen van een curve. De bekendste curve is de normaal curve, ook wel bell-shaped curve genoemd. Deze curve kenmerkt zich door het feit dat het gemiddelde, de mediaan en de modus allemaal dezelfde waarde hebben, door een symmetrische verdeling vanuit het middenpunt en is assymptotisch. Dat laatste wil zeggen dat de uiteinden van de curve de X-as wel steeds dichter naderen, maar nooit raken. Veel inferentiële statistieken zijn gebaseerd op de aanname dat de scores een dergelijke normale verdeling hebben.

Een normaal curve kan wel verschillende vormen aannemen door variatie in de gemiddelden en de standaarddeviaties. Het gemiddelde vormt het middenpunt van een normale curve. De afstand tussen het gemiddelde en één eenheid standaarddeviatie naar links of rechts is altijd 34,12% van het onderliggende oppervlak.

Dit is onafhankelijk van de waarde van het gemiddelde of de standaarddeviatie. 68,24% van de score vallen dus tussen -1 standaarddeviatie en +1 standaarddeviatie. 14% van de scores valt tussen -2 en -1 standaarddeviaties en 2% van de scores wijkt meer als -2 standaarddeviaties af van het gemiddelde. Hetzelfde geldt voor de andere kant, dus: 14% tussen +1 en +2 standaarddeviaties en 2% wijkt meer als +2 standaarddeviaties af van het gemiddelde.

Door de scores om te zetten naar standaardscores kun je scores van verschillende verdelingen met elkaar vergelijken. Standaardscores hebben altijd hetzelfde referentiepunt en dezelfde standaarddeviatie. De z score wordt vaak gebruikt als standaardscore in de literatuur. De z score kun je berekenen door het verschil tussen elke individuele score en het gemiddelde te delen door de standaarddeviatie. Scores boven het gemiddelde hebben een positieve z score en scores onder het gemiddelde hebben een negatieve z score. De z score weerspiegelt een locatie op de X-as en heeft te maken met de waarschijnlijkheid dat een ruwe score voorkomt in een verdeling.

Inferentiële statistiek

Beschrijvende statistieken vormen eigenlijk het fundament om te bepalen hoe goed je gegevens de validiteit van je hypotheses weergeven. Om echt iets zinnigs te kunnen zeggen over je onderzoeksgegevens heb je echter ook inferentiële statistieken nodig. Inferentiële statistieken stellen je in staat om conclusies te trekken over de populatie op basis van de steekproef die je onderzocht hebt. Hoe representatiever de steekproef is, hoe sterker je conclusies zijn. Voor je informatie hebt over een samenhang tussen variabelen is toeval de meest aantrekkelijke verklaring voor een uitkomst. Met toeval bedoelen we de variabiliteit die voor komt en niet verklaard kan worden vanuit de onderzochte variabelen. Als onderzoeker streef je er altijd naar de invloed die toeval kan spelen zo veel mogelijk te verkleinen. Dit kun je doen door voor bronnen van variantie te controleren. De centrale limiet theorem stelt dat de vorm van de verdeling er niet toe doet, maar dat het gemiddelde van alle steekproeven die uit de populatie geselecteerd worden normaal verdeeld zullen zijn. Deze aanname vormt de basis voor de inferentiële statistiek. De aanname is zo belangrijk omdat het dus stelt dat je geen gegevens nodig hebt over de verdeling binnen de populatie om gegevens van de steekproef te kunnen generaliseren naar de populatie. Dit theorem gaat alleen op wanneer de steekproef bestaat uit minimaal 30 individuen.

Significantie

Een steekproef zal nooit perfect zijn en dus altijd error bevatten. Bovendien kan een hypothese niet direct op de populatie getest worden. Maar dit betekent ook dat inferentie ook altijd wat error zal bevatten en het soms zelfs gewoon helemaal fout kan hebben. Bij het trekken van conclusies over de populatie op basis van de gegevens van je steekproef neem je dus altijd een bepaald risico. De mate waarin je risico wilt nemen is de mate van statistische significantie die je hanteert.

Anders gezegd: statistische significantie is de mate van risico dat je wilt nemen dat je de nulhypothese verwerpt, terwijl deze in werkelijkheid waar is. Als je een Type I fout maakt verwerp je de nulhypothese, terwijl deze in werkelijkheid klopt.

Bij een Type II fout neem je de nulhypothese aan, terwijl deze in werkelijkheid niet waar is. Welk significantieniveau je hanteert hangt af van het risico dat je wilt nemen. Meestal wordt er gekozen voor een significantieniveau van .05, wat wil zeggen dat de kans dat je de nulhypothese verwerpt, terwijl klopt 5% is. Het significantieniveau wordt geassocieerd met elke onafhankelijke test van de nulhypothese. In een onderzoeksverslag zie je vaak <.05 staan, wat wil zeggen dat de kans dat er een Type I fout gemaakt is kleiner is dan 5%. Als onderzoeker zul je proberen zowel Type I fouten als Type II fouten zoveel mogelijk uit te sluiten. De kans op een Type I fout kun je verkleinen door een lager significantieniveau te kiezen, bijvoorbeeld .01 in plaats van .05. Het verkleinen van de kans op Type II fouten is lastiger, maar kan bijvoorbeeld door een grotere steekproef te kiezen.

Een test voor statistische significantie is belangrijk om conclusies te kunnen trekken over je populatie. Deze tests gaan uit van de nulhypothese als beginpunt. De vorm van de nulhypothese heeft invloed op het soort test dat gebruikt wordt. Er zijn een aantal algemene stappen die gevolgd moeten worden als je een test voor statistische significantie wilt toepassen op een nulhypothese. Ten eerste zul je een nulhypothese op moeten stellen, vervolgens moet je een beslissing nemen over het significantieniveau waarmee je gaat testen. Daarna kies je de meest geschikte test statistiek en bereken je de waarde van de test statistiek (de verkregen waarde). De volgende stap is het bepalen van een waarde die nodig is op de nulhypothese te verwerpen door gebruik te maken van de goede tabel van kritieke waarden voor de statistiek. Vervolgens vergelijk je de verkregen waarde met de kritieke waarde. Wanneer de verkregen waarde groter is dan de kritieke waarde, dient de nulhypothese verworpen te worden omdat toeval niet de meest aantrekkelijke verklaring van het gevonden verschil is. Wanneer de verkregen waarde kleiner is dan de kritieke waarde is de nulhypothese (stelling van gelijkheid) wel de beste verklaring en kan hij niet verworpen worden.

De t-toets is een voorbeeld van een statistische test. De t-toets wordt gebruikt wanneer de onderzochte groepen onafhankelijk en niet gerelateerd zijn. Bij dit type toets heeft de nulhypothese de vorm Ho : μ1 = μ2. Om bij de t-toets de verkregen waarde met de kritieke waarde te kunnen vergelijken heb je het significantieniveau nodig en het aantal vrijheidsgraden. De vrijheidsgraden weerspiegelen de grootte van de steekproef. Hoe groter de steekproef is, hoe kleiner het verschil tussen de verkregen en de kritieke waarde hoeft te zijn. Er bestaan lijsten waarin je de vrijheidsgraden terug kan vinden en waar de kritieke waarde die bij dat aantal vrijheidsgraden hoort te vinden is. Als je precieze steekproefgrootte niet in de lijst staat, kies je het aantal dat er het dichtst bij in de buurt komt.

De kritieke waarden staan vaak voor meerdere significantieniveaus aangegeven op de lijst. In een onderzoeksartikel staat als het goed is vermeldt welk soort statistische toets er toegepast is, bij een t-toets hoort vermeldt te staan welke vrijheidsgraden gehanteerd zijn, verder moet de verkregen waarde worden gemeld en ook het significantieniveau hoort benoemd te worden. Met de komst van statistische software zoals SPSS kan de computer alle berekeningen voor je doen en zelfs een precieze kans geven dat de nulhypothese de beste verklaring is en je hoeft ook niet meer zelf de vrijheidsgraden op te zoeken.

Er zijn verschillende statistische toetsen beschikbaar en het is niet altijd gemakkelijk te bepalen welke toets het meest geschikt is. Door meer onderwijs te volgen in statistiek zal het al makkelijker worden omdat je ervaring op doet met de verschillende toetsen. In het boek op pagina 181 kun je een figuur vinden die je kan helpen bij het kiezen van een toets door het schema te volgen en de vragen te beantwoorden. Dit figuur kan dienen als een soort spiekbriefje tot je wat meer kennis van statistiek hebt. Er zijn meer als honderd mogelijke toetsen beschikbaar. Naast een t-toets voor onafhankelijke groepen, is er ook een t-toets voor afhankelijke groepen. De nulhypothese hierbij is: Ho : μ1a = μ1b. De t-toets voor afhankelijke groepen houdt rekening met de mate waarin de scores van de groepen samenhangen. Deze test gebruik je bijvoorbeeld wanneer je een groep onderzoeksdeelnemers op twee verschillende momenten test en deze scores met elkaar wil vergelijken. Bij de vrijheidsgraden ga je dan uit van n-1 om een behoudende schatting te krijgen van de waarde van de populatie. Het is een beetje het zekere voor het onzekere nemen. Wanneer je de gemiddelden van meer als twee groepen met elkaar wilt vergelijken, kun je gebruik maken van een variantieanalyse. De nulhypothese die je hier gebruikt is bijvoorbeeld: Ho : μ1 = μ2 = μ3.

Binnen onderzoek wordt er natuurlijk niet alleen gekeken naar verschillen tussen groepen, ook de relatie tussen variabelen is van belang. Hiervoor gebruik je andere inferentiële statistieken. Als je wilt onderzoeken of er een verband is tussen twee variabelen gebruik je de volgende nulhypothese: Ho : ρ xy = 0. Om dit te toetsen kun je gebruik maken van de t-toets voor de significantie van de correlatie coëfficiënt. Er bestaat ook een t-toets voor de significantie van een verschil tussen correlatie coëfficiënten. Hierbij ga je uit van de nulhypothese: Ho : ρ ab = ρ cd. Als er wel een correlatie is, maar deze verschilt niet significant van 0, dan is er waarschijnlijk sprake van sampling error.

Wanneer je een onderzoek uitvoert waarbij je meer als één afhankelijke variabele wilt meten, heb je aparte statistische technieken nodig. Een voorbeeld van een dergelijke techniek is de factoranalyse. Hierbij wordt gekeken naar variabelen die voor een bepaald construct staan. Deze variabelen worden samengevoegd tot betekenisvolle factoren die vervolgens als afhankelijke variabelen gebruik worden. Hoe meer samenhang er bestaat tussen de verschillende variabelen, hoe minder factoren je nodig hebt. De onderzoeker geeft de factoren een naam. Een andere techniek is MANOVA, oftewel multivariate variantieanalyse.

Deze techniek lijkt een serie t-toetsen te zijn, maar houdt hierbij rekening met de relaties tussen de afhankelijke variabelen. Op die manier is MANOVA in staat om de bijdrage van elke variabele op groepsverschillen in kaart te brengen. Het is gevaarlijk om gebruikt te maken vaan een serie paarsgewijze t-toetsen als de variabelen onderlinge samenhang vertonen omdat je daarmee de kans op een Type I fout aanzienlijk vergroot. MANOVA en factoranalyse zijn weliswaar ingewikkelde technieken, maar ze zijn goed te leren en toe te passen. Bovendien krijg je op deze manier een hoop extra mogelijkheden voor je onderzoek.

Statistische significantie klinkt natuurlijk heel mooi en het maakt onderzoekers vaak blij wanneer ze een statistisch significante uitkomst gevonden hebben, maar wat betekent dat nou eigenlijk voor de dagelijkse praktijk? Dat een verschil tussen groepen statistisch significant is, wil niet zeggen dat het verschil ook praktisch significant is. Het kan namelijk zijn dat er wel een verschil bestaat, maar dat dit zo klein is, dat het misschien wel statistisch significant is, maar niet betekenisvol. Vooral wanneer er belangrijke beslissingen moeten worden genomen op basis van de onderzoeksresultaten is het cruciaal niet alleen te kijken naar de statistische significantie van een uitkomst, maar vooral naar de praktische betekenis. Vooral bij een grote steekproef moet je opletten omdat een uitkomst al snel statistisch significant is wanneer de steekproef maar groot genoeg is. Statistische significantie op zich zegt dus niet zo veel, het wordt pas interessant als het onderzoek een goede conceptuele basis heeft die betekenis verleent aan de uitkomst en wanneer de statistisch significantie wordt bekeken in zijn context. Bovendien is het goed te onthouden dat uitkomsten die niet statistisch significant zijn erg betekenisvol kunnen zijn. Ook kunnen niet alle soorten onderzoek gebruik maken van allerlei statistische technieken en toch kan de informatie van een dergelijk onderzoek heel belangrijk en bruikbaar zijn.

Een goed onderzoek moet herhaald kunnen worden met een vergelijkbare steekproef onder vergelijkbare omstandigheden en dan vergelijkbare resultaten boeken. Dit gebeurt ook regelmatig, het probleem is dat deze verschillende onderzoeken vaak behoorlijk verschillen van elkaar bijvoorbeeld in de grootte van de steekproef. Door een meta-analyse te gebruiken kun je de uitkomsten van verschillende onderzoeken met dezelfde afhankelijke variabele met elkaar vergelijken. Het is bij een meta-analyse ook mogelijk om onderzoeken met elkaar te vergelijken die gebruik gemaakt hebben van verschillende meetinstrumenten, zolang de afhankelijke variabele maar hetzelfde is. Hierdoor kun je de informatie uit een hoop verschillende onderzoeken samenvoegen en alle informatie ordenen.

Om een meta-analyse uit te kunnen voeren moet je eerst zoveel mogelijk onderzoeken over een bepaalde afhankelijke variabele verzamelen. Als dit er te veel zijn moet je zorgen dat je een representatieve groep onderzoeken verzameld. Vervolgens moeten de uitkomsten van al deze onderzoeken worden omgezet naar een gemeenschappelijke maat zodat ze onderling vergeleken kunnen worden. De maat die meestal gehanteerd wordt is de effectgrootte. De effectgrootte bestaat uit de waargenomen verschillen tussen de uitkomsten van een experimentele groep en een controle groep gemeten in een standaard eenheid. Een grotere effect grootte geeft grotere verschillen tussen de groepen aan.

De volgende stap in de meta-analyse is het ontwikkelen van een coderingssysteem voor de verschillende dimensies van een onderzoek. De uitkomsten van alle onderzoeken kunnen aangeduid worden met behulp van verschillende beschrijvende en correlationele technieken.

Hoofdstuk 9. Beschrijvend onderzoek

De verschillende soorten onderzoek kunnen op verscheidene manieren van elkaar onderscheiden worden, maar een belangrijke eerste mogelijkheid is op basis van het soort onderzoeksvraag dat je stelt. Bij beschrijvend onderzoek richt je je op gebeurtenissen die nu plaatsvinden en hoe deze gebeurtenissen verband kunnen houden met andere factoren. Beschrijvend onderzoek is niet bedoeld om de invloed van de ene variabele op de andere variabele te testen. Een vorm van beschrijvend onderzoek dat je vrij vaak tegenkomt is het enquête (survey) onderzoek. Hierbij wordt een enquête gebruikt om bepaalde kenmerken van een populatie te onderzoeken. Enquêtes kunnen gebruikt worden om dingen als meningen, overtuigingen en voorkeuren te onderzoeken. Er wordt vaak gekozen voor het afnemen van interviews in enquête onderzoek. Interviews kun je weer op allerlei verschillende manieren afnemen. Vaak wordt begonnen met neutrale vragen over bijvoorbeeld leeftijd, adres, geslacht en opleidingsniveau. Met deze vragen ontstaat er een soort verstandhouding tussen de interviewer en de persoon die geïnterviewd wordt en het geeft de interviewer bepaalde basisinformatie over de persoon die geïnterviewd wordt.

Er zijn twee soorten vragen mogelijk bij een interview. Bij open (ongestructureerde) vragen kan de geïnterviewde zelf een antwoord formuleren en heeft hij of zij de mogelijkheid uitleg te geven bij het antwoord. Bij gesloten (gestructureerde) vragen kan de geïnterviewde maar een beperkt aantal antwoorden geven en dit niet verder uitleggen. Interviews zijn geschikt voor het verzamelen van informatie die normaal niet zo maar toegankelijk is, zoals iemands gedachten en meningen. Een ander voordeel is dat de interviewer de mogelijkheid heeft over bepaalde dingen extra door te vragen om een completer beeld te krijgen. Als interviewer kun je tijdens een interview je eigen tempo aanhouden en ook andere bronnen van informatie zoals non-verbaal gedrag van de geïnterviewde meenemen. Het nadeel van interviews is dat het veel tijd in beslag neemt en daardoor duur wordt. Bovendien heb je bij een interview meer last van bias, zowel van de interviewer (vooroordelen persoonlijkheid) als van de geïnterviewde (minder open vanwege verminderde anonimiteit). Ook biedt een interview vaak geen gestandaardiseerde informatie.

Wanneer je een interview wil gaan ontwikkelen moet je eerst bepalen welke informatie je uit het interview wil kunnen halen. Door middel van literatuuronderzoek kun je achterhalen of er toevallig al een interview ontwikkeld is dat geschikt zou zijn voor jouw doeleinden. Soms is niet het hele interview bruikbaar, maar wel delen ervan. Vervolgens moet je bepalen welke kenmerken je steekproef moet hebben en hoe groot je steekproef moet zijn. Ook als je onderzoek gebaseerd is op interviews moet je zorgen dat de steekproef groot genoeg is, de rijkheid aan informatie die een interview kan bieden is absoluut geen compensatie voor een kleine steekproef. De volgende stap is het ontwikkelen van de interviewvragen, deze dienen duidelijk en begrijpelijk te zijn. Daarna moeten de interviewers getraind worden. Een goede interviewer is beleefd, heeft geen aanstootgevend voorkomen en weet wanneer hij of zij door moet vragen.

Wanneer de tijd voor de echte interviews is aangebroken zijn er een aantal tips: wees netjes gekleed (een driedelig pak is overdreven, maar een minirokje kan ook niet), als je de mogelijkheid hebt, maak gebruik van opnameapparatuur (zorg wel dat je daarvoor toestemming hebt van de geïnterviewde en blijf ook noteren), begin met een ijsbreker, wees direct, formuleer de vraag wat anders als de geïnterviewde de eerste keer niet een voldoende antwoord geeft, hou je doel, namelijk informatie verzamelen, duidelijk in het oog, ook voor interviewen geldt: oefening baart kunst, geef je geïnterviewde het gevoel dat hij of zij onderdeel uitmaakt van een belangrijk project, zorg voor een locatie waar de kans op afleiding zo klein mogelijk is en bedank de geïnterviewde aan het einde van het interview en vraag of hij of zij nog vragen heeft.

Er zijn natuurlijk ook nog andere manieren van enquête onderzoek. Heb je wel eens een mailtje of telefoontje gehad met de vraag of je mee wilde werken aan een klanttevredenheid onderzoek? Dan heb je de kans gehad mee te doen aan een enquête onderzoek. Enquête onderzoek maakt vaak gebruik van een flow plan, een soort algemeen plan over wat er wanneer zal gebeuren. Net als met alle andere vormen van onderzoek is bij enquête onderzoek de eerste stap het opstellen van de doelen van het onderzoek en de volgende stap het selecteren van een steekproef. Daarna moet je de methode waarmee je informatie wil gaan verkrijgen definiëren en moet er een systeem bedacht worden om te coderen en te scoren. Het verzamelen van gegevens voor een enquête onderzoek is hard werken, maar het is vaak relatief eenvoudig om de validiteit van de gegevens te bewijzen. Bovendien kunnen de gegevens relatief makkelijk gegeneraliseerd worden zolang er maar een goede steekproef genomen is. Een ander voordeel is dat de uitkomsten behoorlijk accuraat zijn zolang je het onderzoek maar nauwkeurig en met zo min mogelijk sampling error uitvoert en je hebt vaak minimale middelen nodig.

Een belangrijk nadeel is dat je het risico loopt op interviewerbias. Dat wil zeggen dat de interviewer de geïnterviewde kan beïnvloeden tot het geven van een bepaald soort antwoorden, dit kan zowel bewust als onbewust gebeuren en dat maakt het zo gevaarlijk. Ook van de kant van de geïnterviewde heb je kans op bias omdat veel mensen de neiging hebben sociaal wenselijk te antwoorden en persoonlijke, genante informatie te willen verzwijgen. Bij enquête onderzoek via de mail of de post loop je bovendien een grote kans dat mensen niet reageren en dat de mensen die wel reageren wezenlijk verschillen van mensen die niet reageren. Hierdoor komt de betrouwbaarheid en generaliseerbaarheid van je onderzoek in gevaar.

Hoofdstuk 10. Correlationeel onderzoek

Correlationeel onderzoek onderzoekt het verband tussen twee of meer variabelen zonder te kijken naar eventuele oorzakelijke verbanden. Deze vorm van onderzoek is eigenlijk een vorm van beschrijvend onderzoek. Om de samenhang tussen variabelen weer te geven wordt de correlatie coëfficiënt gebruikt. Bij een sterk negatief verband zal de coëfficiënt de -1 naderen, bij een sterk positief verband zal deze in de buurt van de +1 liggen en wanneer er geen sprake is van een verband zal de coëfficiënt rond de 0 liggen. Bij een positieve relatie neemt de ene variabele toe wanneer de andere variabele ook toeneemt of neemt de ene variabele af wanneer de andere ook afneemt. We noemen dit ook wel een direct verband en geeft aan dat beide variabelen of afnemen of toenemen. Bij een negatief verband neemt de ene variabele juist af wanneer de andere toeneemt en andersom. Dit noemen we ook wel een indirect verband en bewegen de variabelen zich dus in tegengestelde richtingen. Wat echt van belang is, is de absolute waarde van de correlatie coëfficiënt, niet of het verband positief of negatief is.

De meest gebruikte maat om een verband weer te geven is de product moment correlatie van Pearson. Deze maat wordt weergegeven met een r. Als je de correlatie tussen twee variabelen wilt tonen doe je dat als volgt: r xy. Om de correlatie tussen twee variabelen te kunnen berekenen moet je de scores op deze variabelen hebben voor elke onderzoeksdeelnemer. Deze scoreparen kun je vervolgens per onderzoeksdeelnemer weergeven in een scatterplot. Dit is een grafiek waarbij op de X-as de ene variabele wordt weergegeven en op de Y-as de andere variabele. Voor elke onderzoeksdeelnemer kun je dan een punt plaatsen in de grafiek die de score op beide variabelen weergeeft. Een sterkere correlatie kun je herkennen aan de verdeling van de punten. Hoe sterker de correlatie is, hoe dichter de individuele punten op een lijn liggen en hoe dichter deze lijn komt bij een hoek van 45°. Bij een zwakkere correlatie liggen de punten meer verspreid door de gehele grafiek en als ze al meer op één lijn liggen komt de hoek van deze lijn niet in de buurt van 45°. De lijn bij een positieve correlatie loopt van links onder naar rechtsboven, bij een negatieve correlatie links boven naar rechts onder. Het klinkt allemaal heel mooi, maar hoe bereken je eigenlijk een correlatie coëfficiënt? Voor het berekenen van de Pearson product moment correlatie gebruik je de volgende formule:

r xy = nΣXY – ΣX ΣY/ √[nΣX² - (ΣX)²][nΣY² - (ΣY)²]

Hierbij staat r xy voor de correlatie tussen X en Y, n voor de steekproefgrootte, X voor de score op variabele X van een individu, Y voor de score op variabele Y van dat individu en XY voor het product van elke X score maal de bijbehorende Y score. De formule lijkt erg ingewikkeld, maar als je zelf een poging doet tot het berekenen van een correlatie coëfficiënt zul je al snel tot de ontdekking komen dat het niet zo ingewikkeld is, wel is het een hoop werk.

Wanneer je werkt met meer dan twee variabelen, bereken je steeds de correlatie tussen twee van die variabelen. De uitkomsten van je berekeningen kun je kwijt in een correlatiematrix. De scores op het diagonaal in zo’n matrix zijn altijd 1 omdat een variabele altijd volledig met zichzelf correleert. De beide kanten van de matrix zijn symmetrisch. Wanneer je een correlatie coëfficiënt berekend hebt wordt het tijd om deze uitkomst te beoordelen. Vaak gebeurt dat in eerste instantie op basis van een globale indruk, een coëfficiënt tussen de .8 en de 1.0 wordt gezien als erg sterk, tussen de .4 en .6 als gemiddeld en tussen de .0 en de .2 als erg zwak. Door de coëfficiënt van determinatie te berekenen kun je de correlatie coëfficiënt beter berekenen. De coëfficiënt van determinatie is: r xy² en geeft de hoeveelheid variantie weer die de ene variabele verklaart bij de andere variabele. De coëfficiënt van alienation geeft het percentage onverklaarde variantie weer. In de tabel op pagina 204 in het boek kun je zien hoe het percentage verklaarde variantie toeneemt als de correlatie sterker wordt.

Hoofdstuk 11. Kwalitatieve onderzoeksmethoden

Niet alle informatie kan gevangen worden in de cijfers van kwantitatief onderzoek, gelukkig zijn er verschillende kwalitatieve methoden die je kunt gebruiken. Kwalitatief onderzoek lijkt misschien makkelijker omdat er minder statistiek bij komt kijken, maar niets is minder waar. Tegenwoordig zijn er analysemethodes beschikbaar voor kwalitatief onderzoek die heel goed bruikbaar zijn, maar wel ingewikkeld kunnen zijn. Veel methoden die hierbij de kwalitatieve methoden worden besproken zijn beschrijvend van aard en hadden ook bij de beschrijvende methoden besproken kunnen worden, omgekeerd zijn methoden zoals interviews ook in te delen bij de kwalitatieve methoden. Kwalitatief onderzoek is een geheel andere benadering dan kwantitatief onderzoek en stelt de onderzoeker in staat een heel ander soort vragen te beantwoorden.

Er zijn veel verschillende manieren om kwalitatieve informatie te verzamelen. Zo kun je gebruik maken van direct observatie. Hierbij kan de onderzoeker de omgeving waarin hij geïnteresseerd is direct bestuderen zonder dat hij er onderdeel van uit maakt. Bij archief informatie kun je beschrijvende gegevens vinden over organisaties. Archieven kunnen enorme hoeveelheden informatie bevatten. Ook documentatie is een belangrijke bron om informatie te verzamelen om een hypothese te bevestigen of te ontkrachten. Documentatie kun je gebruiken om informatie uit andere bronnen te controleren. Bij deelnemer observatie is de onderzoeker een actieve deelnemer in de situatie die bestudeerd wordt. Dit is erg lastig omdat je het risico loopt dat de onderzoeker de situatie bewust of onbewust beïnvloedt. Toch kan deze bron heel veel zeer interessante informatie opleveren, denk maar aan verslagen van undercover operaties. Deze methode is wel erg tijdrovend.

Fysieke artefacten zijn objecten of elementen die openstaan voor je eigen interpretatie. Deze bron kan informatie opleveren, maar is wel afhankelijk van de interpretatie van de onderzoeker. Een onderzoeker kan ook gebruik maken van een focusgroep. Hierbij wordt een groep mensen bij elkaar gezet in een omgeving die open en eerlijke communicatie bevorderd. Een lid van het onderzoeksteam leidt het gesprek als moderator en probeert dit te doen zonder zijn eigen mening naar voren te brengen. Andere leden van het onderzoeksteam kunnen de groep dan openlijk of in het geheim observeren. Werken met een focusgroep kan de onderzoekers in relatief korte tijd veel informatie van een groep mensen opleveren en zo inzichten verschaffen in dingen die men voorheen niet kon begrijpen. Bovendien bevordert het groepsinteractie en levert het interessante informatie op over hoe de leden van de groep tot hun conclusies komen. Tegenwoordig zijn er allerlei software programma’s op de markt die ter ondersteuning van kwalitatief onderzoekers kunnen dienen.

Case studies

Een case studie gaat over een enkele onderzoeksdeelnemer of een heel klein groepje onderzoeksdeelnemers. Case studies bieden uitvoerig, vaak persoonlijke beschrijvingen van een onderzoeksdeelnemer. Dit soort onderzoek richt zich vaak op een unieke setting of situatie. In de psychologie en de geneeskunde kom je vooral case studies tegen over mensen die hele bijzondere aandoeningen hebben. Hoewel het erg veel tijd kost om een volledige case studie te doen, kan het heel veel detail en inzicht opleveren. Binnen de psychologie zijn er verschillende beroemde case studies waaronder die van Anna O, de beroemde patiënte van Freud. Ook organisaties, zoals bedrijven, bendes, sektes en scholen, kunnen het onderwerp zijn van een case studie. De gedetailleerde informatie die uit een case studie naar voren kan komen kunnen je een heel intiem en persoonlijk beeld geven van iemand of een organisatie. Voor een case studie worden vaak verschillende technieken gebruikt. Hoewel een case studie zelf geen hypotheses test, kan het wel een bron voor nieuwe hypothese vormen. Een nadeel is dat ze weinig breedte hebben en dat ze maar heel beperkte generaliseerbaarheid hebben. Bovendien kan het weliswaar heel verleidelijk zijn om uitspraken te doen over oorzaak en gevolg relaties, maar dit valt nooit te ondersteunen. De steekproefgrootte van 1 is bovendien veel te klein om veel betrouwbare uitspraken te doen. Verder is het doen van een case studie erg tijdrovend en je krijgt altijd te maken met bias van de onderzoeker.

Een etnografie is een studie naar een cultuur. Het kan gaan om een grote cultuur, zoals een bepaalde Afrikaanse stam, maar het kan ook om kleinere culturen gaan, zoals de cultuur binnen een bedrijf of de cultuur van een bepaalde subgroep. Ook bij een etnografie wordt er gebruik gemaakt van verschillende methoden. Toch zijn er verschillen, want etnografieën maken gebruik van een naturalistische oriëntatie doordat ze onderdeel worden van de cultuur die ze bestuderen. Een etnografie gaat uit van een holistisch perspectief, wat wil zeggen dat de cultuur in zijn geheel bestudeerd wordt. Vaak heeft een onderzoeker al de nodige tijd nodig om voldoende geaccepteerd te worden door de leden van de cultuur die hij wil onderzoeken. Hierdoor kan het onderzoek soms wel jaren duren. Vaak worden onderzoeksvragen en/of hypotheses pas geformuleerd nadat de onderzoeker al een begin gemaakt heeft met het verzamelen van informatie.

Historisch onderzoek

Bij een historisch onderzoek wordt geprobeerd gebeurtenissen uit het verleden te doorgronden omdat dit informatie op kan leveren die bruikbaar is voor de toekomst. Er zijn vaak meer bronnen beschikbaar voor historisch onderzoek dan je in eerste instantie zou denken, wees dus creatief en wees bereid heel wat uren in bibliotheken door te brengen. Een historisch onderzoek wordt ook wel een historiografie genoemd. Historisch onderzoek is vaak een ondergeschoven kindje binnen de sociale en gedragswetenschappen. Als er dan al een historisch onderzoek wordt uitgevoerd is het vaak moeilijk deze een plaats te geven. Ook in het onderwijs wordt er relatief weinig aandacht besteed aan historisch onderzoek.

Het meeste historische onderzoek in de sociale en gedragswetenschappen komt dan ook van geschiedkundige met een interesse op dat gebied en niet van onderzoekers uit deze wetenschappen zelf. Zonde, want het is vaak wel net zo belangrijk de historische achtergrond van een fenomeen te kennen als om het fenomeen zelf te begrijpen. De historische achtergrond geeft context aan ontwikkelingen.

Als je zelf een historisch onderzoek wilt uitvoeren moet je beginnen met het definiëren van een onderwerp of probleem dat je wilt gaan bestuderen. Daarna moet de onderzoeker, voor zover mogelijk, hypotheses formuleren. In tegenstelling tot hypotheses in bijvoorbeeld experimenteel onderzoek, zijn hypotheses in historisch onderzoek vaak vragend gesteld. Vervolgens kan de onderzoeker een hoop verschillende bronnen gebruiken om de benodigde informatie te verzamelen. Vaak is de informatie die je zoekt lastig te vinden. Wanneer je bewijs gevonden hebt, moet je de accuraatheid en de authenticiteit van dit bewijs beoordelen. De losse gegevens die je gevonden hebt moeten omgevormd worden tot een coherent geheel. Als laatste stap moet je de resultaten van je onderzoek interpreteren. Dit gebeurt op basis van het argument dat aan de basis van het onderzoek ligt.

Er werd eerder al gezegd dat er meer bronnen beschikbaar zijn voor historisch onderzoek dan je zou denken. Er zijn zelfs primaire bronnen beschikbaar zoals originele logboeken, geboorteregisters, dagboeken en documenten. Ook kun je soms mensen interviewen die de gebeurtenis zelf hebben meegemaakt, zoals kinderen die de oorlog overleefd hebben en inmiddels ouderen zijn geworden. Vaak zijn deze primaire bronnen vastgelegd met een heel ander doel dan dat het later ooit interessant zou kunnen zijn voor een historisch onderzoeker. Secundaire bronnen zijn vaak makkelijker te verkrijgen, maar bieden minder details. Bovendien zijn secundaire bronnen vaak minder nauwkeurig als primaire bronnen. Bij secundaire bronnen is het vooral belangrijk te bepalen hoe betrouwbaar deze is. Een voorbeeld van een secundaire bron is een krantenartikel over een gebeurtenis waar de auteur zelf geen getuige van geweest is. De voorkeur van een onderzoek gaat eigenlijk altijd uit naar primaire bronnen, maar deze zijn niet altijd beschikbaar. Secundaire bronnen kunnen bovendien ook veel bruikbare informatie opleveren en moeten dus niet zomaar aan de kant geschoven worden.

Als historisch onderzoeker moet je creatief zijn in het vinden van je bronnen en moet je leren roeien met de riemen die je hebt. Welke bronnen je uiteindelijk wilt gebruiken hangt ook af van de authenticiteit en accuraatheid van de bron. Hierin moet de onderzoeker altijd een kritisch houding aannemen om te voorkomen dat hij bronnen gebruikt die niet kloppen of niet echt zijn. Interne kritiek heeft te maken met accuraatheid of betrouwbaarheid van een bron. Het gaat dus om de mate waarin de bron reflecteert wat er werkelijke gebeurd is. Om te bepalen of een bron accuraat is, kun je een expert benaderen om je te helpen. Externe kritiek heeft te maken met de authenticiteit of validiteit van een bron. De onderzoeker heeft verschillende mogelijkheden om te bepalen of een bron authentiek is, bijvoorbeeld met behulp van handschriftanalyse en te kijken naar consistentie tussen bewijs uit verschillende bronnen. Ook hierbij kan het nodig zijn een expert in te schakelen.

Historisch onderzoek heeft een hele beperkte generaliseerbaarheid. Dit vormt een behoorlijke beperking voor deze vorm van onderzoek. Bovendien is het erg tijdrovend wat een hoop beginnende onderzoekers af kan schrikken. Er wordt nog al eens getwijfeld aan de waarde van historisch onderzoek omdat het vooral gebaseerd is op informatie van anderen.

Hoofdstuk 12. Werkelijk experimentele onderzoeksmethoden

Werkelijk experimenteel onderzoek wordt vaak gebruikt om de oorzaak van individuele verschillen te vinden. Experimentele methoden stellen de onderzoeker in staat uitspraken te doen over oorzaak en gevolg doordat eventuele bronnen van variantie gecontroleerd kunnen worden. Een experiment kan op verschillende manieren ontworpen worden. Campbell en Stanley onderscheiden drie hoofdcategorieën designs: pre-experimenteel, werkelijk experimenteel en quasi-experimenteel. Het verschil tussen de categorieën zit in de mate waarin ze controle hebben over de variabelen en de mate waarin randomisatie een rol speelt in het onderzoek. Bij een experiment wil je gebruik maken van een random steekproef van de populatie. De volgende stap is dat je de onderzoeksdeelnemers random wilt toewijzen aan de verschillende groepen. En uiteindelijk bepaal je random welke groep aan welke conditie wordt toegewezen.

Bij pre-experimentele designs vervallen een hoop voordelen van een experiment doordat er geen random selectie van onderzoeksdeelnemers is, geen random toewijzing aan groepen of toewijzing aan condities en er is ook niet of nauwelijks controle over externe variabelen. Verder is er in een pre-experimenteel design eigenlijk nooit een controlegroep. Door dit soort design te gebruiken is het dus eigenlijk onmogelijk om iets over oorzaak en gevolg relaties te zeggen. Een vorm van een pre-experimenteel design is het zogenaamde one-shot case studie design. Hierbij wordt een onderzoeksdeelnemer toegewezen aan een groep, krijgt een behandeling en vervolgens wordt een posttest afgenomen. Dit design is interessant wanneer je speculeert over het effect dat bepaalde factoren hebben op later gedrag. Bij een enkele groep pretest posttest design worden onderzoeksdeelnemers toegewezen aan een groep, ze krijgen een pretest en daarna krijgen ze de behandeling waarna de posttest wordt afgenomen. Bij dit design kan de onderzoeker de gegevens van de pretest en de posttest met elkaar vergelijken. Het grootste manco aan dit type design is het ontbreken van een controlegroep.

Bij werkelijk experimentele designs speelt randomisatie een grote rol, zowel bij het selecteren van onderzoeksdeelnemers, als bij het toewijzen van de onderzoeksdeelnemers aan groepen en bij de toewijzing aan een conditie. Om te kunnen controleren voor externe variabelen maakt een werkelijk experimenteel onderzoek bijna altijd gebruik van een controlegroep. Het pretests posttest controlegroep design is een veel gebruikt design. Hierbij worden onderzoeksdeelnemers random toegewezen aan de controleconditie of de experimentele conditie. Bij beide groepen wordt een pretest afgenomen. Vervolgens ontvangt de experimentele groep de behandeling en de controlegroep krijgt geen behandeling. Daarna wordt bij beide groepen een posttest afgenomen. Door de random selectie en toewijzing ga je er vanuit dat beide groepen bij aanvang van het onderzoek gelijk aan elkaar zijn. Wanneer er aan het einde van het onderzoek verschil zit tussen de twee groepen kun je stellen dat het verschil veroorzaakt wordt door de behandeling omdat er voor alle andere variabelen gecontroleerd is.

Dit design kun je ook uitbreiden met meerdere groepen die verschillende behandelingen ontvangen, zolang er altijd maar een controlegroep blijft die geen behandeling ontvangt.

Afhankelijk van de onderzoeksvraag is het ook mogelijk dat de controlegroep wel een behandeling krijgt. De controlegroep krijgt dan bijvoorbeeld een behandeling waarvan de effectiviteit al bewezen is en de experimentele groep een nieuwe behandeling om te onderzoeken of deze meer of minder effectief is. Bij een alleen posttest design heb je ook een controlegroep en één of meerdere experimentele groepen, maar hierbij worden de onderzoeksdeelnemers random toegewezen aan de condities, krijgen ze wel of niet de behandeling en wordt er dan een posttest afgenomen. Het idee achter dit design is dat door de random selectie en toewijzing het niet nodig is om een pretest af te nemen. Wanneer je steekproef groot genoeg is, is dat ook eigenlijk het geval en is dit design heel bruikbaar. Bij sommige onderzoeken is het onwenselijk of zelfs onmogelijk om een pretest af te nemen en dan is dit design ook de uitkomst. Het nadeel is dat je niet op basis van de score op de pretest mensen toe kan wijzen aan andere experimentele groepen en dat je erg afhankelijk bent van goede random selectie en toewijzing.

Het Solomon vier groepen design is erg uitgebreid, ondervangt bijna alle problemen van de andere designs, maar zijn vaak erg duur en tijdrovend om uit te voeren. Dit design bestaat uit vier groepen. Bij de eerste twee groepen wordt een pretest afgenomen, bij de andere twee groepen niet. Vervolgens ontvangen de eerste en de derde groep een behandeling, de tweede en de vierde niet. Alle groepen krijgen aan het eind van het onderzoek een posttest. Eigenlijk kun je stellen dat dit design gebruik maakt van drie controlegroepen en één experimentele groep. Met dit design kun je veel onderlinge vergelijkingen maken. Zo kun je kijken welke effecten de behandeling heeft, maar je kunt ook onderzoeken of het afnemen van een pretest effecten heeft.

Interne en externe validiteit

De verschillende onderzoeksdesigns kunnen beoordeeld worden door te kijken naar de interne en externe validiteit. De interne validiteit gaat over de mate van controle die er uitgeoefend is. Het gaat dus de mate waarin de gevonden resultaten toegeschreven kunnen worden aan de manipulatie van de onafhankelijke variabele. De externe validiteit heeft betrekking op de generaliseerbaarheid van de resultaten. Zowel de interne als de externe validiteit kan op verschillende manieren bedreigd worden. Om te beginnen met de bedreigingen van de externe validiteit: het verschijnsel pretest sensitisatie komt er op neer dat het afnemen van een pretest de effecten van de latere behandeling beïnvloeden. Wanneer je later de behandeling toe wilt passen zonder pretest zou dat andere resultaten op kunnen leveren. Daardoor bedreigt pretest sensitisatie de externe validiteit.

Ook het Hawthorne effect (ook wel reactive arrangements genoemd) kunnen de externe validiteit bedreigen. Het Hawthorne effect stelt dat mensen zich anders gaan gedragen wanneer ze weten dat ze onderwerp van een onderzoek vormen. Dit geldt helemaal wanneer ze weten wat de onderzoekers precies onderzoeken en welke resultaten ze verwachten of hopen te krijgen. Hierdoor zou een behandeling bij mensen die weten dat ze bestudeerd worden heel anders kunnen uitpakken dan bij mensen die niet bestudeerd worden en weg is je generaliseerbaarheid. Een andere bedreiging is de meerdere behandeling interferentie. Hierbij krijgt een onderzoeksdeelnemer onbewust behandeling in aanvulling op de onderzochte behandeling. Maar dan is dus niet meer goed na te gaan welke behandeling het effect veroorzaakt heeft. Ook de onderzoekers kunnen een bron van bedreiging vormen. De manier waarop de onderzoeker zich gedraagt, ook al zijn het maar kleine, onbewuste dingetjes, kan invloed hebben op de onderzoeksdeelnemer en daarmee op het onderzoek.

De interne validiteit kan bedreigd worden voor regressie naar het midden. Door onbetrouwbaarheid van het meetinstrument en de error van het meetproces scoren mensen nog al eens extremer dan eigenlijk het geval is. Wanneer de test dan herhaald wordt, zal de score meer richting het gemiddelde gaat. De dreiging van historie komt er uit voort dat er in de periode waarin het onderzoek plaatsvindt andere gebeurtenissen plaatsvinden die invloed (kunnen) hebben op de uitkomsten van het onderzoek. De invloed van deze gebeurtenissen zou dan een betere verklaring kunnen zijn voor gevonden verschillen dan het effect van de behandeling. Soms vindt de selectie van onderzoeksdeelnemers niet volledig random plaats, maar is er sprake van een systematische bias. Dit vormt een grote bedreiging voor de interne validiteit. Pretesten kan niet alleen de externe validiteit bedreigen, maar ook de interne omdat het maken van een pretest invloed kan hebben op de prestatie op latere tests zoals de posttest. Dit effect noemen we ook wel testing.

Bij instrumentatie gaat het om de invloed die het scoren van het meetinstrument kan hebben. Dit kan een bedreiging vormen wanneer de criteria voor scoring tijdens het scoren veranderen of wanneer bijvoorbeeld vermoeidheid invloed gaat hebben op het beoordelingsvermogen van de persoon die de tests scoort. Zoals eerder gezegd beslaat een onderzoek vaak langere periode, hierdoor krijg je ook te maken met maturatie. Dit zijn de lichamelijke en geestelijke krachten die iemand met verloop der tijd doen veranderen. Wanneer maturatie een rol speelt is het niet duidelijk of gevonden effecten komen door de maturatie of door de behandeling. Vooral wanneer je werkt met kinderen kan maturatie een belangrijke rol spelen. Bij onderzoek waarbij follow-up metingen worden gedaan heb je een extra grote kan op uitval. Door deze uitval verandert de samenstelling van de originele steekproef waardoor deze minder representatief zal worden.

Wil je de interne validiteit verhogen? Dan moet je zorgen voor random selectie en toewijzing van je onderzoeksdeelnemers en het gebruiken van een controlegroep. Als je deze regels zo strikt mogelijk naleeft kun je bijna alle bronnen van bedreiging van de interne validiteit uitsluiten. De bedreigingen van de externe validiteit hebben meer te maken met de mensen die het onderzoek uitvoeren en daardoor is het lastiger deze bronnen uit te sluiten.

Een onderzoek kan zowel een goede interne als externe validiteit hebben, maar kijk wel uit, want het kan ook ten koste van elkaar gaan. Wanneer je streeft naar een hoge interne validiteit kun je zowel controle uitoefenen op mogelijke vertekenende variabelen dat de gegevens van het onderzoek nauwelijks te generaliseren zijn naar de gehele populatie of naar andere situaties. Het is daarom zaak als onderzoeker de juiste balans tussen controle en generaliseerbaarheid te vinden, dus een balans tussen interne en externe validiteit.

Externe variabelen

Externe variabelen zijn factoren die de interne validiteit van een onderzoek kunnen verlagen doordat ze de uitkomsten van een onderzoek kunnen vertekenen. Het is eigenlijk niet mogelijk om externe variabelen helemaal uit te sluiten, maar ze kunnen wel gecontroleerd worden. Veel van de ongewenste variantie kan gecontroleerd worden door goed gebruik te maken van randomisatie. Voor aanvang van het onderzoek moet de onderzoeker er goed over nadenken welke variabelen mogelijk een vertekenende invloed zouden kunnen hebben in het onderzoek. Vervolgens moet van elk van deze variabelen besloten worden of je de variabele wil negeren (onbelangrijk), testen (mogelijk belangrijk en testbaar) of registreren (mogelijk belangrijk, niet testbaar). Variabelen die niet samenhangen met de afhankelijke variabele kunnen vaak genegeerd worden, tenzij je goede argumenten hebt waarom die variabele wel van invloed zou kunnen zijn.

Bij sommige onderzoeken wil de onderzoeker zeker weten dat de groepen gelijk zijn op een bepaalde variabele, en dan kan random toewijzing niet afdoende zijn. Dan kan de onderzoeker gebruik maken van matching. Dat wil zeggen dat voor elk individu in de ene groep met een bepaalde score, een individu in de andere groep wordt geplaatst met een gelijke score. De stelregel is dat de variabele waarop onderzoeksdeelnemers gematched worden sterk verbonden is met de afhankelijke variabele. Deze variabele moet aan het begin van het onderzoek worden gemeten om de onderzoeksdeelnemers te kunnen matchen. De onderzoeksdeelnemers worden gerangschikt op basis van deze scores en dan worden de onderzoeksdeelnemers die dichtbij elkaar zitten qua score aan elkaar gekoppeld. Matching gebeurt om er zeker van te zijn dat de groepen onderzoeksdeelnemers onderling niet sterk van elkaar verschillen op een belangrijke variabele. Het nadeel van matching is dat het niet altijd mogelijk is om voor iedereen een match te vinden en dat het duur en tijdrovend is. Ook loop je door matching het risico dat de groepen weliswaar gelijk zijn op een bepaalde belangrijke variabele, maar van elkaar verschillen op andere variabelen. Wanneer je een homogene steekproef gebruikt is de kans dat externe variabelen invloed hebben een stuk kleiner. Analyse van covariantie (ANCOVA) is een statistisch trucje om verschillen die aan het begin van het onderzoek bestaan te neutraliseren. Deze techniek kan vooral van pas komen bij quasi-experimenteel onderzoek en andere designs waarbij random selectie en/of toewijzing een probleem kan zijn.

Hoofdstuk 13. Quasi-experimenteel onderzoek

Quasi-experimenteel onderzoek is er ook op uit om causale (oorzaak en gevolg) relaties tussen variabelen te ontdekken, maar kan geen gebruik maken van de kracht van werkelijk experimenteel onderzoek. Quasi-experimenteel onderzoek wordt vaak gekozen wanneer culturele en ethische kwesties een rol spelen. Het kenmerkende aan quasi-experimenteel onderzoek is dat de veronderstelde oorzaak van een verschil tussen groepen al heeft plaatsgevonden, daarom spreken we ook wel van post hoc onderzoek. De toewijzing van onderzoeksdeelnemers aan groepen is dus al gebeurd voor aanvang van het onderzoek. Vaak gaat het hier om aangeboren verschillen zoals geslacht, leeftijd en etniciteit. Soms kan de toewijzing ook plaatsvinden op basis van het wel of niet hebben van een bepaalde ervaring. Bij quasi-experimenteel onderzoek heeft de onderzoeker niet de invloed op de onafhankelijke variabele die hij bij werkelijk experimenteel onderzoek heeft.

Bij werkelijk experimenteel onderzoek kan de onderzoeker de waarden van de onafhankelijke variabele bepalen, bij quasi-experimenteel onderzoek liggen deze waarden al vast. Dit is het zwakke punt van dit type onderzoek. Toch is quasi-experimenteel onderzoek erg belangrijk omdat het onderzoekers in staat stelt dingen te onderzoeken die ze niet op een andere manier zouden kunnen onderzoeken. Binnen de sociale en gedragswetenschappen is werkelijk onderzoek vaak niet mogelijk of niet wenselijk vanwege praktische, ethische en morele bezwaren en dan biedt quasi-experimenteel onderzoek de uitkomst. De interne validiteit van een quasi-experimenteel onderzoek zal altijd lager zijn dan dat van werkelijk experimenteel onderzoek, maar de externe validiteit kan wel ongeveer net zo hoog zijn.

Bij het niet gelijke controle groep design worden onderzoeksdeelnemers op niet-random wijze toegewezen aan een experimentele of een controlegroep. Beide groepen krijgen een pretest en daarna krijgt de experimentele groep een behandeling en de controlegroep niet. Aan het einde van het onderzoek krijgen beide groepen een posttest. Dit design is waarschijnlijk één van de meest gebruikte en meest populaire quasi-experimentele designs. Doordat de groepen niet random worden geselecteerd of toegewezen heeft flinke nadelige gevolgen voor de interne validiteit van het onderzoek. Door gebruik te maken van een pretest kun je bekijken hoe gelijkwaardig de groepen zijn bij aanvang van het onderzoek. ANCOVA kan gebruikt worden om bestaande verschillen tussen de groepen bij aanvang van het onderzoek te neutraliseren. Hoe dan ook, het gebrek aan randomisatie blijft een bedreiging vormen voor de interne validiteit.

Bij een statische groepsvergelijking worden de onderzoeksdeelnemers ingedeeld in een experimentele en een controlegroep, dan krijgt de experimentele groep de behandeling en de controlegroep niet, waarna beide groepen een posttest krijgen. Zoals je ziet ontbreekt in dit design de pretest, waardoor het design heel geschikt is voor onderzoeken waarbij het niet mogelijk is een pretest af te nemen, om welke reden dan ook.

Het nadeel van een dergelijk design is dat je weinig controle hebt over de factoren die de interne en externe validiteit bedreigen.

Single subject designs

Enkele subject onderzoeksdesigns kunnen ook gebruikt worden om de causale relatie tussen variabelen te onderzoeken. Hierbij wordt alleen niet gekeken naar groepen, maar naar individuen. Deze designs komen voort uit de behavioristische stroming waarin gedrag wordt gezien als een functie van de consequenties. Dus niet alleen de focus van dit soort design verschilt van de eerder besproken designs, ook de theoretische achtergrond is anders. Bij een enkel subject design wordt een gedraging gemeten voor de behandeling, dan wordt de behandeling toegepast en daarna wordt de behandeling stopgezet. Wanneer het een gedragsverandering het gevolg is van de behandeling, dan zou het gedrag terug moeten keren naar het niveau van voor de behandeling wanneer de behandeling stopgezet wordt. De meting die wordt gedaan voor aanvang van het onderzoek wordt ook wel de baselinemeting genoemd. Een simpel enkel subject design wordt ook wel aangeduid met AB waarbij A staat voor het baselineniveau en B voor de behandeling. Ook een ABA design komt vaak voor. Bij een ABAB design wordt de behandeling weer hervat na een bepaalde periode waarin het gedrag weer wordt gemeten. Vooral wanneer een behandeling effectief lijkt te zijn, zou het onethisch zijn deze niet meer te hervatten. Het gedrag dat de onderzoekers willen onderzoeken moet wel duidelijk omschreven en geoperationaliseerd zijn. Verder is een goede training voor de beoordelaars en een hoge interbeoordelaar betrouwbaarheid erg belangrijk. De het verschil tussen de condities A en B moet zinvolle en bruibare informatie opleveren.

Wanneer je slechts een enkele onderzoeksdeelnemer test blijven veel bedreigingen van de validiteit bestaan. Om dat te kunnen ondervangen kun je gebruik maken van een multipele baseline design. Hierbij selecteer je een tweede baseline, dus een tweede gedraging, een tweede onderzoeksdeelnemer of iets dergelijks. De tweede baseline dient vervolgens als een controle en deze krijgt dus geen behandeling. Enkele subject designs hebben over het algemeen een behoorlijke interne validiteit, maar er is veel discussie over de mate waarin deze designs externe validiteit hebben omdat ze immers maar een enkele onderzoeksdeelnemer onderzoeken. Toch valt dit wel mee, vooral wanneer de onderzoeker actief probeert de bronnen van bedreiging van de externe validiteit uit te sluiten en het onderzoek in een zo natuurlijk mogelijke setting plaats vindt. Wanneer een enkel subject design onderzoek gerepliceerd kan worden is dit bevorderlijk voor de generaliseerbaarheid van de uitkomsten, vooral wanneer de replicatie plaatsvindt onder net wat andere omstandigheden.

Ontwikkelingsonderzoek

Om de ontwikkeling van mensen te kunnen volgen gedurende de verschillende fases in hun leven zijn er speciale onderzoeksmethoden ontwikkeld. Een voorbeeld hiervan is het cross-sectionele onderzoek. Hierbij worden verschillende groepen mensen van verschillende leeftijden op één punt in de tijd onderzocht. Deze methode is vooral geschikt wanneer je geïnteresseerd bent in verschillen tussen mensen van verschillende leeftijden. Het voordeel van deze methode is dat je veel verschillende leeftijdsgroepen tegelijkertijd kunt testen en weinig uitval hebt, maar de groepen zijn niet altijd goed met elkaar te vergelijken omdat leeftijd niet zo’n geschikte onafhankelijke variabele is. Bovendien houdt cross-sectioneel onderzoek alleen rekening met de chronologische leeftijd van de onderzoeksdeelnemers, niet met de mentale leeftijd of maturatie. Verder geeft het weinig informatie over de continuïteit van ontwikkeling om je maar op één moment metingen verricht.

Bij de longitudinale methode wordt gekozen om één groep onderzoeksdeelnemers langere tijd te volgen en op verschillende punten in de tijd metingen te doen. Longitudinaal onderzoek richt zich op het onderzoeken van leeftijdsveranderingen over het verloop van de tijd. Doordat je dezelfde mensen onderzocht op verschillende punten in de tijd fungeren de onderzoeksdeelnemers als het ware als hun eigen controles. Een ander voordeel is dat je veel details kunt ontdekken over het ontwikkelingsproces en dat de vergelijkbaarheid tussen de groepen hoog is. Het nadeel is dat dit soort onderzoek vaak erg duur is en de kans op drop-outs behoorlijk hoog is. Mensen willen bijvoorbeeld niet meer meewerken aan het onderzoek omdat ze verhuisd zijn of het onderzoeksdeelnemer zijn zat zijn. Het probleem hierbij is dat de groepssamenstelling veranderd en dat het mogelijk is dat de uitvallers verschillen van de mensen die in het onderzoek blijven waardoor de onderzoeksresultaten vertekend kunnen worden.

Welk onderzoeksdesign het meest geschikt is voor jouw onderzoek hangt af van de beschikbare middelen en het type onderzoeksvraag dat je gebruikt. Hoewel een longitudinaal onderzoek voor veel vragen interessant zou kunnen zijn, is het vaak niet haalbaar om een dergelijk onderzoek uit te voeren. Je kunt er dan voor kiezen om gebruik te maken van follow-up studies. Hierbij gebruik je de gegevens van eerder onderzoek als basis om nieuwe gegevens te verzamelen. Op die manier kun je ook ontwikkelingsvraagstukken onderzoeken en het kost aanzienlijk minder tijd en geld. Wanneer je bijvoorbeeld een interessant onderzoek vindt van enige tijd geleden kun je proberen de originele onderzoeksdeelnemers op te sporen voor een follow-up.

Leeftijd kan weliswaar een interessante variabele zijn en het proces van ontwikkeling beschrijven, maar leeftijd kan het ontwikkelingsproces niet verklaren. Vaak is ervaring, mentale leeftijd of maturatie een betere verklaring dan chronologische leeftijd. Dit geldt vooral in het onderzoek naar gedrag. Daarom is er een ontwikkeling gaande om onderzoeksmethoden te ontwikkelen die niet gebaseerd zijn op chronologische leeftijd. Er wordt dan ook gekeken naar meeteffecten en cohort effecten. Cohort effecten hebben bijvoorbeeld te maken met de technologische en medische ontwikkeling op het moment van geboorte.

Hoofdstuk 14. Het onderzoeksvoorstel

Voor je aan een onderzoek kan beginnen moet je een onderzoeksvoorstel schrijven. Dat voorstel moet vervolgens goed gekeurd worden door je supervisor, door een onderzoekscommissie, enzovoorts. Het klinkt gemakkelijk, maar het schrijven van een onderzoeksvoorstel kan behoorlijk ingewikkeld zijn. Het is belangrijk dat je nauwkeurig bent, hard werkt en binding hebt met wat je doet. Er bestaat een vast format dat je als leidraad kunt gebruiken bij het schrijven van je voorstel. Het schrijven van een onderzoeksvoorstel is ook voor jezelf als onderzoeker belangrijk en handig omdat het je een overzicht biedt van wat je wilt doen, hoe je dat wilt doen en waarom dat belangrijk is. Bovendien wordt je door het moeten schrijven van een onderzoeksvoorstel min of meer gedwongen om je ideeën en dergelijke duidelijk en helder onder woorden te brengen, waardoor het concreter wordt. Een goed onderzoeksvoorstel maakt het doen van het uiteindelijke onderzoek makkelijker. Er is geen verplicht format voor een onderzoeksvoorstel en het schrijven ervan is een hoop werk. Zorg daarom altijd dat je goedkeuring hebt over het te gebruiken format voor je begint te schrijven.

Een goed onderzoeksvoorstel bestaat uit vijf hoofdstukken: introductie (probleemstelling, hypotheses, rationale), bespreking van het literatuuronderzoek (belang onderzoeksvraag, wat is er al onderzocht op dit gebied, verband literatuur en onderzoek), de methode (onderzoeksdeelnemers, selectie, onderzoeksdesign, verzamelen van de gegevens, voorgestelde analysemethoden en resultaten), de implicaties en beperkingen en tot slot de bijlagen (kopie meetinstrumenten, uitkomsten pilot onderzoek, toestemmingsformulier voor onderzoeksdeelnemers, tijdsplanning en werkelijk verzamelde gegevens). Eigenlijk heeft een onderzoeksvoorstel dus een beetje dezelfde opzet als het uiteindelijke onderzoeksverslag. Dat is ook de reden dat een goed onderzoeksvoorstel zo belangrijk is. De eerste drie secties vergen het meeste werk en zijn vaak verplicht. Het verzamelen van alle informatie die je nodig hebt voor de eerste drie secties is tijdrovend, maar je hebt de informatie toch nodig en als je het goed doet kun je hele delen van je onderzoeksvoorstel gebruiken voor je onderzoeksverslag.

De eerste indruk is altijd belangrijk, dat geldt ook voor onderzoeksvoorstellen, zorg er dan ook voor dat je onderzoeksvoorstel er goed uit ziet. Als je geen specifieke richtlijnen hebt om te gebruiken, kun je het beste de APA-richtlijnen gebruiken. Een aantal tips: lees je stuk altijd een keer helemaal door voor je het inlevert om type en spelfouten er uit te halen die de spellingscontrole er niet uitpikt, gebruik ruime marges rondom je tekst zodat mensen ruimte hebben om opmerkingen te noteren, gebruik een paginanummering en koptekst en de definitieve versie heeft niet perse ingebonden te worden, een nietje is ook voldoende. Om een onderzoeksvoorstel te kunnen schrijven moet je veel verschillende activiteiten uitvoeren, zoals het maken van dataformulieren, het doorzoeken van primaire en secundaire bronnen, het doen van pilot onderzoek en het benoemen en beschrijven van de variabelen die van belang zijn voor het onderzoek. Voor elke activiteit kun je een schatting maken hoeveel tijd je er aan zult moeten besteden.

Hou er rekening meer dat activiteiten niet altijd zo goed gaan als gepland, soms gewoon helemaal niet goed gaan en soms gaan zoals gepland. Maak voor elk van deze mogelijkheden een aparte tijdschatting en neem het gemiddelde van deze schattingen. Als je het helemaal goed wilt doen moet je ook de kans op de verschillende mogelijkheden meewegen. Activiteiten nemen bijna altijd meer tijd in beslag dan je denkt, dus plan ruim.

Wanneer je een afhankelijke variabele moet kiezen is er een checklist met negen belangrijke punten. Deze punten zijn: zorg dat je een voorbeeld van een test krijgt voor je besluit of je de test gaat gebruiken, gebruik verschillende bronnen om informatie te krijgen over de test, zorg dat er normen beschikbaar zijn wanneer je die wilt gebruiken, zorg dat de validiteit van de meting bevestigd wordt, probeer een meting te vinden die eerder gebruikt is, wanneer het gebruik van een test training vereist moet je genoeg tijd in plannen om deze training te kunnen volgen, zorg voor een betrouwbaar meetinstrument, zorg dat je altijd beschikt over de meest recente uitvoering van de test en kies een test die geschikt is voor de steekproef die je wilt gebruiken.

Beoordelen van onderzoek

Zelfs als onervaren onderzoeker is het erg belangrijk dat je in staat bent om onderzoeksartikelen te lezen, te begrijpen en te beoordelen. Een goed onderzoeksartikel is geschreven op een manier dat ook iemand met geen tot weinig kennis van de kwestie de informatie moet kunnen begrijpen. Veel voorkomende zwakke punten in onderzoeksverslagen zijn: het gebruikte design sluit niet aan op de onderzoeksvraag, de verzameling van de gegevens werd niet genoeg gecontroleerd, er werd een verkeerde analysemethode gebruikt, de onderliggende aannames van het onderzoek waren onduidelijk, het artikel was niet in duidelijke taal geschreven, de beperkingen van het onderzoek werden niet besproken, de methoden werden niet of niet voldoende beschreven, de uitkomsten werden niet op een duidelijke manier gepresenteerd, de manier waarop de onderzoeksdeelnemers geselecteerd werden deugde niet en er waren zwakke punten in het ontwerp of de planning van het onderzoek.

Om een onderzoeksartikel goed te kunnen beoordelen kun je gebruik maken van een vragenlijst en proberen al lezende deze vragen zo goed mogelijk te beantwoorden. De vragen gaan over de review van eerder onderzoek, het probleem en het doel, de hypotheses, de methoden, de steekproef, de resultaten en de discussie, de referenties en algemene opmerkingen over het verslag. Het is goed mogelijk dat je een artikel meerdere keren moet lezen voor je in staat bent alle vragen, in totaal 33 (zie pagina 258 en 259 in het boek), te beantwoorden.

Niet alleen onderzoeksartikelen moeten beoordeeld worden, ook meetinstrumenten moet je kunnen beoordelen. De afhankelijke variabele die je kiest hoeft niet eens direct een test te zijn, maar dat kan wel voorkomen. Het is belangrijk dat je een goede test kiest om je afhankelijke variabele te testen.

Bij het beoordelen van een test kijk je naar de basisinformatie (testnaam, auteur, kosten, uitgever), de algemene test informatie (doel van de test, leeftijdsgeschiktheid, methode en gemak van afname en scoring, tijdsduur van afname, geschiktheid testhandleiding en materiaal), ontwerp en voorkomen (aanwijzingen, ordening items, ontwerp), betrouwbaarheid (onderzoeksresultaten van de betrouwbaarheid met auteurs en type betrouwbaarheid), validiteit (onderzoeksresultaten van de validiteit met auteurs en type validiteit), normen (beschikbaarheid, beschrijving normgroepen, selectie normgroepen, geschiktheid) en evaluatie (hoe is de test in het verleden gebruikt, samenvatting reviews).

Wanneer je een steekproef wilt selecteren, moet je eerst duidelijk definiëren en beschrijven uit welke populatie deze steekproef afkomstig moet zijn. Als je weet welke populatie je wilt onderzoeken, moet je bedenken waar je deze mensen zou kunnen vinden. Verder is het belangrijk om mogelijke onderzoeksdeelnemers pas te benaderen wanneer je een duidelijk beeld hebt van wat je wilt doen, waarom en wat het de onderzoeksdeelnemers op kan leveren. Wanneer de populatie niet duidelijk gedefinieerd is, is het onmogelijk een representatieve steekproef te selecteren. Het type en de grootte van de steekproef die je nodig hebt, heeft invloed op het soort onderzoek dat je uit gaat voeren. Bij een minder betrouwbaar of valide meetinstrument heb je een grotere steekproef nodig. Bij het beslissen over een steekproefgrootte moet je ook rekening houden met de financiële middelen en tijd die je tot je beschikking hebt. Het maakt ook uit hoeveel variabelen je meeneemt in je onderzoek en hoeveel groepen je wilt gebruiken.

Wanneer je aangekomen bent bij de verzameling van de gegevens en de analyse moet je zorgen dat je beschikt over een goed dataformulier en dat je duidelijk hebt welke beschrijvende statistieken je wilt gebruiken om je gegevens te beschrijven. Ook moet je kijken welke andere informatie je nodig hebt in de presentatie van je eerste analyses en is het heel verstandig een pilot onderzoek uit te voeren zodat je kan oefenen met meten en de benodigde statistieken. Naast beschrijvende statistieken heb je natuurlijk ook inferentiële statistieken nodig. Kies zorgvuldig welke tests het beste zijn voor jouw onderzoek. Een laatste zeer belangrijk onderdeel van een onderzoeksvoorstel is het informed consent. Onderzoeksdeelnemers moeten altijd beschermd worden en daarom moet je het informed consent die je wilt gebruiken bij je onderzoeksvoorstel voegen, zodat ook deze beoordeeld kan worden.

Hoofdstuk 15. Een onderzoeksmanuscript schrijven

Als je onderzoek eenmaal afgerond is, is het tijd geworden voor het schrijven van een onderzoeksverslag. Wanneer je dat verslag zou willen publiceren moet je een manuscript schrijven. Veel tijdschriften hanteren een vast format voor manuscripten die ze aannemen voor publicatie. Binnen de sociale en gedragswetenschappen geldt de Publication Manual of the American Psychological Association als de gouden standaard wat betreft het format. Als je deze richtlijnen volgt heeft je manuscript de volgende onderdelen: titelpagina, abstract, introductie, methode, resultaten, discussie, referenties, bijlagen, auteursnoten, voetnoten, tabellen met bijbehorende onderschriften en figuren met bijbehorende onderschriften. Omdat de titelpagina het eerste is van een manuscript dat je ziet moet je zorgen dat deze er verzorgd uit ziet en duidelijk en volledige informatie bevat. De titelpagina wordt van het manuscript afgehaald wanneer het naar reviewers wordt gestuurd zodat deze niet weten wie de auteur van het manuscript is. De titelpagina bevat natuurlijk de titel, maar ook een running head (een soort ondertitel) die op elke pagina terugkeert en de namen van de auteurs plus de naam van de instelling waar ze werkzaam zijn. De running head moet kort zijn en globaal een indruk geven van waar het onderzoek over gaat.

De abstract is een korte samenvatting van het onderzoeksartikel. Wanneer je een manuscript schrijft in het Nederlands doe je er verstandig aan ook een Engelstalige abstract toe te voegen. Vaak zal dit echter niet voorkomen omdat de meeste toonaangevende tijdschriften internationaal zijn en dus in het Engels publiceren. Een abstract moet kort en bondig zijn en informatie geven over het doel van het onderzoek, de onderzoeksdeelnemers, de resultaten en de conclusies. De abstract vormt pagina nummer 2 van het verslag en moet ook als titel Abstract dragen. De introductie begint altijd met de titel van het onderzoek en bouwt een context voor het onderzoek. De introductie dient uit te leggen waarom het onderzoek van belang is (zorg voor voldoende, maar niet een overkill aan bewijs uit de literatuur) en verduidelijkt het probleem. Aan het einde van de introductie dient de auteur het doel van het onderzoek duidelijk te verwoorden, soms worden ook de hypotheses hierbij beschreven.

De methoden sectie legt uit hoe het onderzoek uitgevoerd is en dat op een manier dat een andere onderzoeker die het onderzoek wil repliceren genoeg informatie heeft om dit te kunnen doen. Je kunt gebruik van verschillende tussenkopjes zoals onderzoeksdeelnemers (hoe is de steekproef geselecteerd, hoeveel onderzoeksdeelnemers zijn er, beschrijving van de steekproef aan de hand van voor het onderzoek belangrijke beschrijvers zoals leeftijd, geslacht, afkomst enzovoorts), meetinstrumenten en analyse van de gegevens. In de resultaten sectie beschrijf je welke statistische technieken je gebruikt hebt voor het analyseren van je onderzoeksgegevens. Verder dient de auteur de resultaten van het onderzoek te presenteren en dat betekent een hele hoop cijfers. Vaak worden er tabellen gebruikt om al deze cijfers op een ordelijke manier weer te geven, maar er is ook altijd een beschrijving in woorden van deze resultaten aanwezig in de resultaten sectie.

In de discussie kan de auteur verbanden leggen tussen de uitkomsten van zijn onderzoek en die van eerdere onderzoeken, bespreken wat de sterke en zwakke punten van het onderzoek zijn geweest, hoe de resultaten aansluiten op de hypotheses en de verwachtingen van de onderzoeker, welke bijdrage dit huidige onderzoek mogelijk geleverd heeft aan de wetenschap en wat de implicaties en beperkingen van het onderzoek, samen met aanbevelingen voor toekomstig onderzoek. Bij veel onderzoeksverslagen zul je zien dat de resultaten en de discussie samengevoegd zijn. Ook de referentielijst, tabellen en figuren moeten voldoen aan bepaalde richtlijnen (zie voorbeeld in het boek). Zorg er verder voor dat je een goed leesbaar lettertype gebruikt, kies voor dubbele regelafstand, gebruik een standaard, logische nummering, zorg voor ruime marges, spring in bij een nieuwe alinea (behalve bij de abstract, daar begin je niet met een inspringing) en begin elk nieuw onderdeel op een nieuwe pagina. Na het werkelijke verslag volgt eerst de referentielijst, dan de auteursnoten en de tabellen en figuren met bijbehorend onderschrift.