Boeksamenvatting bij Basisboek Methoden en Technieken: Kwantitatief praktijkgericht onderzoek op wetenschappelijke basis - Baarda - 5e druk

Wat houdt empirisch kwantitatief onderzoek in? - Chapter 0

Onderzoeken

Onderzoeken is iets wat de mensen al eeuwen doen zonder dat zij dit zelf altijd doorhebben. Een waarneming (bijvoorbeeld een lange rij bij de kassa’s in de supermarkt) wordt gevolgd door een theorie (je kijkt hoeveel mensen er voor je in de rij staan en hoeveel boodschappen zij hebben) en tot slot onderzoek je dit idee (door in de rij te gaan staan waarvan je denkt dat deze het kortste is). Het doel van onderzoek is om antwoord te geven op vragen. Twee soorten vragen zijn niet door onderzoek te beantwoorden, dit zijn normatieve en esthetische vragen. Normatieve vragen gaan vaak over of iets goed of fout is en dit is vaak afhankelijk van de cultuur en wat men rechtvaardig vindt. Een voorbeeld van esthetische vraag is wat is een mooi schilderij. Onderzoek kan hier geen antwoord op geven, wel kun je erachter komen wat de meeste mensen mooi vinden.

Vroeger lag kennis vooral opgeslagen in bibliotheken van kloosters en later universiteiten, maar tegenwoordig zijn er kennisdatabanken die men via internet kan raadplegen.

Er is ook kennis die niet gebaseerd is op onderzoek, dit wordt naïeve kennis genoemd. Deze kennis is vaak gebaseerd op:

1. Gewoontes - het is al jaren zo, en dit is onze manier. Op den duur gaat men hier vanzelf in geloven.

2. Zien graag wat we willen zien - mensen willen graag hun gelijk hebben, ook wel selectieve observatie. Een bekend voorbeeld hiervan is het placebo effect.

3. Autoriteit - vroeger werd er vooral geluisterd naar de kerk, tegenwoordig is de media een autoriteit. Denk aan reclames van bijvoorbeeld geneesmiddelen.

4. Ideologie - levensopvattingen spelen een belangrijke rol waar het gaat om kennis en de geloofwaardigheid hiervan.

5. Intuïtie - dit wordt niet altijd gezien als echte kennis maar meer als ‘kennis van het hart’.
   In onze westerse maatschappij is kennis vooral gebaseerd op empirisme (het waarnemen van dingen) en rationaliteit (nadenken). Een derde element wat hier aan toegevoegd kan worden is de wetmatigheid, iets mag niet zomaar gebeuren er moet sprake zijn van een zekere orde.

Wetenschappelijk verantwoord onderzoek

Fundamenteel wetenschappelijk onderzoek is onderzoek ten behoeve van de wetenschap en dient dus niet de praktijk. Studenten aan hogescholen en universiteiten worden opgeleid tot het doen van wetenschappelijk verantwoord toegepast onderzoek, deze vorm van onderzoek wordt uitgevoerd om de praktijk te verbeteren. Een andere term voor wetenschappelijk verantwoord toegepast onderzoek is empirisch onderzoek, oftewel onderzoek gebaseerd op ervaringen. Ook kan er sprake zijn van een theoretisch onderzoek, dit is echter alleen theoretisch onderzoek en er vindt geen terugkoppeling naar de werkelijkheid plaats. Deze vorm van onderzoek wordt vooral toegepast bij juridisch onderzoek (wat is rechtvaardig).

Wetenschappelijk verantwoord onderzoek volgt de stappen van de empirische cyclus:

1. Het formuleren van een probleem en het ontwikkelen van een theorie.

2. Een onderzoeksopzet maken waarmee de onderzoeksvraag/ het probleem mee opgelost kan worden.

3. Het verzamelen van de benodigde gegevens.

4. Het analyseren van de verzamelde data.

5. Het trekken van conclusies op grond van de analyses.

6. Het schrijven van een rapportage met als belangrijkste doel dat het onderzoek in de toekomst herhaald kan worden.

Het kunnen repliceren van een onderzoek is erg belangrijk, omdat de replicatie-eis er voor zorgt dat een onderzoek altijd eerlijk en controleerbaar uitgevoerd moet worden.

Geschiedenis van onderzoek

De westerse wetenschappelijke wereld is erg beïnvloed door de oude Grieken. Andere culturen zoals de Maya’s en de Islamitische cultuur hebben een minder grote rol gespeeld in ons denken. Tijdens de Middeleeuwen werd er vooral in kloosters en kerken wetenschappelijk onderzoek uitgevoerd. Na het uitvonden van de boekdrukkunst werden wetenschappelijke boeken op grotere schaal verspreid. Tijdens de verlichting (1600-1700) kwam de empirische wetenschapsbenadering tot stand. Een versnelling en verbreding van wetenschappelijke ontwikkelingen vonden plaats tijdens de industriële revolutie. Het onderzoek werd toen ook praktijkgerichter, denk aan de stoommachine.

Hedendaags onderzoek

Vandaag de dag is onderzoek een ‘booming business’. Er wordt op dit moment veel geld uitgegeven aan het doen van zeer uiteenlopende onderzoeken. De komst van het internet heeft hierin zeker bijgedragen, het is nu nog makkelijker om gegevens met elkaar uit te wisselen.

Kwantitatief en kwalitatief onderzoek

De heersende wetenschapsopvatting is nog altijd de traditionele kwantitatieve empirische benadering, de achterliggende filosofie wordt ook wel het positivisme genoemd. Deze filosofie baseert zich enkel op feiten en de empirie. Begrippen zoals gezag, liefde en verdriet zijn lastig te meten en noemen we ook wel sociale constructen. De ecologische validiteit heeft betrekking op of het feit van een onderzoek geldig is in de dagelijkse praktijk of alleen in een onderzoekssetting geldig is. Onderzoekers die zich met dit onderwerp bezig houden worden gerekend tot het realisme. Fenomenologen houden zich puur bezig met kwalitatief onderzoek, vaak door gebruik te maken van diepte-interviews en onderzoeken hierbij een bepaald fenomeen. Kwantitatief onderzoek richt zich vooral op het vaststellen van feiten, terwijl kwalitatief onderzoek meer gebruik maakt van open vragen en over het algemeen meer beschrijvend van aard is. Een combinatie van kwalitatief en kwantitatief onderzoek wordt een mixed-method methode genoemd.

Kennis van onderzoek

Kennis van wetenschappelijk onderzoek is nodig om de resultaten goed te kunnen interpreteren, hier hoort ook kennis van statistiek bij.

Hoe formuleer je een goede onderzoeksprobleemstelling, -doelstelling en -vraag? - Chapter 1

De probleemstelling

Onderzoek wordt eigenlijk altijd gebaseerd op een praktisch probleem. De uitkomst van het onderzoek zal dan ook vaak gebruikt worden om dit probleem op te lossen. Het is daarom ook van belang dat er van tevoren gekeken wordt naar de mogelijke consequenties van verschillende uitkomsten. Daarnaast doe je het onderzoek meestal voor anderen, het gebeurt bijna nooit dat de onderzoeker zelf gaat proberen om met behulp van de onderzoeksuitkomsten het probleem op te lossen. Vandaar dat het belangrijk is om goed te kijken naar wat de belangrijke factoren zijn in het onderzoek en wat er precies onderzocht moet worden. Door het analyseren van praktijkproblemen kan de onderzoeker erachter komen dat het misschien handig is om meerdere onderzoeksvragen te formuleren of meerdere onderzoeken te doen. Als onderzoeker is het van zeer groot belang dat je informatieleverancier bent en blijft en dus onpartijdig bent als het gaat om de uitkomst van een onderzoek.

Voordat de onderzoeker aan het onderzoek begint is het goed om een aantal dingen alvast op een rijtje te hebben:

• Wat is nou precies het probleem?

• Hoe groot is het probleem?

• Wat is de aanleiding om onderzoek te doen?

• Voor wie is het een probleem?

• Wat zijn de gevolgen?

Om antwoord te geven op deze vragen is het van belang dat er met een paar dingen rekening gehouden wordt. Zo is het bij het vaststellen van de probleemstelling belangrijk dat er geen normatieve vragen gesteld worden omdat deze lastig te onderzoeken zijn (wat is het beste voor...? Is... slecht voor?). Ook is het voor de onderzoeker belangrijk van tevoren af te spreken wie zijn opdrachtgever is en aan wie hij verantwoordelijkheid af moet leggen, zeker in politiek beladen opdrachten, dit om latere conflicten tussen belanghebbenden en de onderzoeker te voorkomen.

Denk hierbij voornamelijk aan onderzoeken die niet gunstig uitpakken voor een van beide partijen of zelfs niet voor beide partijen. Inventariseer vooraf wie er allemaal bij een bepaald probleem betrokken zijn, hoe zit het met het publicatie- en eigendomsrecht van het onderzoeksmateriaal en wat als de uitkomst schadelijk is voor een van de betrokken partijen?

Ook is het handig vooraf vast te stellen wat de gevolgen van het probleem zijn, hoe groter het probleem en zijn gevolgen hoe groter de druk die op de onderzoeker komt te liggen. Mag het onderzoek ook gepubliceerd worden als de resultaten negatief zijn? En ga van tevoren ook niet alleen na wat de gevolgen van een probleem zijn maar ook of de mogelijkheid aanwezig is om die problemen op te lossen. Stem dus van tevoren goed met je opdrachtgever af wat de bedoeling is, wat er precies onderzocht moet worden en op welke manier. Definieer de onderzoeksvraag, wees duidelijk en specifiek.

Wanneer de probleemstelling geheel geanalyseerd is wordt de doelstelling vastgesteld, wat willen we met dit onderzoek bereiken? Dit formuleer je dus zo: het onderzoek heeft tot doel het verkrijgen van kennis en inzicht in... bij... om.... Al hoeft het niet altijd om het leveren van kennis te gaan, soms gaat het ook om het ontwerpen of testen van bepaalde instrumenten. Dit wordt ook wel instrumenteel onderzoek genoemd.

Aanwezige informatie

Als een onderzoeker benaderd wordt om een onderzoek te doen, begint hij met oriënteren. Wat is er al bekend over dit onderwerp? En wat voor onderzoeken zijn er al gedaan op dit gebied? Zo kan het zijn dat er al een onderzoek gedaan is dat antwoord geeft op jouw onderzoeksvraag. Al is het dan wel van belang dat er wordt nagegaan of het onderzoek relevant is en bruikbaar. Dit kan de onderzoeker een hele hoop werk schelen.

Maar er zijn meerdere redenen om al vroeg in de onderzoeksfase te beginnen met literatuuronderzoek, ook wel bronnenonderzoek genoemd. Zo heeft over het algemeen iedereen voordat hij aan een onderzoek begint al een idee over het onderwerp, je begint zelden bij 0. Deze gedachten worden ook wel aangeduid als een theorie. Maar ook andere onderzoekers hebben misschien al onderzoek gedaan naar een soortgelijk onderwerp en zo theorieën gevormd, welke misschien ook in jouw onderzoek bruikbaar zouden kunnen zijn.

Vandaar dat het erg nuttig kan zijn om voorafgaand aan je eigen onderzoek al literatuuronderzoek te doen, zo kun je dingen tegenkomen die wel van belang zijn maar waar jij zelf nog nooit aan hebt gedacht. Daarnaast kun je uit bestaand onderzoek afleiden wat voor onderzoeksopzet anderen gebruikt hebben en ook dit kan jou weer van pas komen in je eigen onderzoek. Ten derde is het bij elk onderzoek van belang dat alle kerneenheden zorgvuldig gedefinieerd worden om zo een duidelijk onderzoeksveld te creëren, ook hier is het handig om te kijken wat er aan definities al beschikbaar is. Daarna kan je dan vaststellen wat er voor jouw eigen onderzoek belangrijk is om in je definities te verwerken.

Om te kunnen zoeken naar reeds bestaande informatie is het van belang dat je je onderzoeksbegrippen eerst goed omschreven hebt en de bijbehorende wetenschappelijke onderzoekstermen hebt vastgesteld. Zeker wanneer je zoekt in Engelstalige zoekmachines, wat vaak voorkomt, is het belangrijk dat je de juiste onderzoekstermen hebt en dat je deze ook op een juiste manier vertaald hebt. Een manier om vast te stellen of je de juiste vertaling van een bepaald begrip gebruikt is het opzoeken in een thesaurus. In een thesaurus staat aangegeven of iets een officiële zoekterm is maar ook of er misschien smallere of juist bredere zoektermen zijn die je zou kunnen gebruiken. Verder is het van belang dat je op de hoogte bent van het verschil tussen een descriptor en keywords. Descriptors zijn de officiële vaktermen die als labels aan publicaties gehangen kunnen worden. Je weet dan dus zeker dat het gevonden artikel ook daadwerkelijk over het onderwerp gaat waar je naar zoekt. Wanneer je daarentegen gebruik maakt van keywords zal de zoekmachine, in de meeste gevallen, niet alleen kijken naar het onderwerp van de publicaties maar ook of het gezochte woord ook voorkomt in de titel of de publicatie zelf. De opbrengst zal dus groter zijn maar over het algemeen minder relevant.

Waar ga je eigenlijk zoeken?

Er zijn twee verschillende soorten zoekmachines waar je gebruik van kunt maken, je hebt zowel de zoekmachines met wetenschappelijke artikelen als zoekmachines met wetenschappelijke boeken en rapporten. Wanneer je op zoek bent naar artikelen kan het handig zijn om te beginnen met zoeken in Google Scholar. Hier zul je voornamelijk wetenschappelijke publicaties vinden en geen reclame. Het handige aan deze zoekmachine is dat je er op tijd vooruit kunt zoeken, wanneer je een artikel gevonden hebt dat bijvoorbeeld 10 jaar oud is dan kan je ook zien in welke recentere artikelen, die hoogstwaarschijnlijk een soortgelijk onderwerp zullen hebben, er naar dit artikel verwezen is.

En natuurlijk kan ook de literatuurlijst, referentielijst, nuttig zijn bij het zoeken naar verdere publicaties. Een andere zoekmachine met wetenschappelijks artikelen is de zoekmachine Scirus. Deze zoekmachine doet suggesties voor verwante zoektermen die misschien meer informatie op zullen leveren. Verder kun je natuurlijk altijd gebruik maken van gespecialiseerde zoekmachines waarvan je een lijst kunt vinden op Wikipedia. Deze zoekmachines zijn vaak gekoppeld aan databases. Voor boeken daarentegen is Google Books uiterst geschikt. Op deze manier kun je boeken online inzien om zo te kijken of de inhoud overeenkomt met wat jij zoekt voor je onderzoek. Je kunt de boeken echter niet uitprinten, dus mocht je er echt gebruik van willen maken dan moet je het boek lenen of kopen. Verder geeft Google Books tips voor verwante boeken en kun je de recensies van andere lezers lezen. Als laatste zijn er nog de grijze publicaties. Dit zijn met name publicaties zoals rapporten van ministeries en andere overheidsinstellingen.

Deze publicaties geven vaak een goed overzicht van bepaalde zaken. Een veelgebruikte zoekmachine voor grijze publicaties is Glin, onderdeel van Picarta. Maar hoe weet je eigenlijk of je volledig bent? Wanneer je een recent artikel doorneemt en in elk geval 80% van de vermelde bronnen hebt gevonden en verwerkt ben je aardig up-to-date. Houd bij wat je gelezen hebt, wanneer het gepubliceerd is en door wie. Dit bespaart je tijdens het schrijven van je onderzoeksverslag veel tijd. Een andere tip is om niet alleen op onderwerpen te zoeken maar ook op belangrijke namen. Zo kom je vaak nog bij andere artikelen, geschreven door dezelfde persoon, die ook van toepassing kunnen zijn op je eigen onderzoek.

De onderzoeksvraag(en)

Op basis van de analyse van het desbetreffende praktijkprobleem en de oriëntatie op wat er al bekend is zou je in staat moeten zijn een antwoord te geven op de vraag of het onderzoek zinvol is. Zo ja, dan ga je over op het formuleren van één of meerdere onderzoeksvragen die de basis zullen vormen van je onderzoek. Het doel van je onderzoek is een antwoord vinden op je van tevoren geformuleerde onderzoeksvragen. Er is een stappenplan dat kan helpen met het vaststellen van een goede onderzoeksvraag:

• Eerst formuleer je een voorlopige onderzoeksvraag, je moet toch ergens beginnen.

• Daarna stel je vast of er nog sub- of deelvragen zijn die beantwoord moeten worden en hoe deze eruit gaan zien.

• Is het eigenlijk wel een vraag? Zo nee, pas de vorm van de vraag dan aan.

• Is het een gesloten vraag?

• Zijn er nog alternatieve formuleringen beschikbaar voor bepaalde onderzoekseenheden?
  Zo ja bekijk deze dan en wanneer nodig pas de gebruikte formulering in je onderzoeksvraag dan aan.

• de laatste stap is om, na naar alle eerder genoemde punten gekeken te hebben, een definitieve onderzoeksvraag te formuleren.

Het is van belang dat je uiteindelijke onderzoeksvraag concreet en eenduidig is, het moet voor iedereen duidelijk zijn wat je gaat onderzoeken en je onderzoeksbegrippen mogen slechts voor één uitleg vatbaar zijn.

Onderzoekseenheden

Een onderzoekseenheid kan zowel een mens, een groep, een instelling, een bedrijf, organisatie of situatie zijn. Je doet dus in je onderzoek uitspraken over eenheden. Sommige eenheden kunnen echter geen vragen beantwoorden, neem bijvoorbeeld situaties. In zo'n geval moet je de mensen die betrokken zijn geweest bij deze bepaalde situatie als respondenten gebruiken. De respondenten zijn dus niet altijd de eenheden. Daarnaast hebben eenheden ook kenmerken. Wanneer er een onderzoek wordt gedaan naar de waardering die zowel mannelijke als vrouwelijke managers krijgen van de mensen voor wie zij verantwoordelijk zijn en of deze waardering positiever is voor vrouwelijke managers, dan zijn de eenheden hier de managers. De kenmerken van deze eenheid zijn het geslacht en de waardering die zij krijgen van de mensen voor wie zijn verantwoordelijk zijn.

De eenheden zijn dus de personen, bedrijven, situaties etc... waar je uitspraken over wil doen. De populatie is dan de verzameling van al deze eenheden, omdat het lastig is de gehele populatie te onderzoeken wordt er vaak gebruik gemaakt van steekproeven. Het is van belang om, voordat je een steekproeftrekking gaat doen, vast te stellen over wie, welke groep, je nu uiteindelijk een uitspraak wil doen. Maar in welke mate kun je nu uiteindelijk je onderzoeksresultaten genereren naar de beoogde populatie? Dit hangt af van de representativiteit van je steekproeftrekking. Hier zal later nog op teruggekomen worden. Om duidelijk aan te geven wat je populatie is en wat of wie je eenheden zijn kan het handig zijn om gebruik te maken van subpopulaties. Dit wordt ook wel de splitsingstechniek genoemd.

Neem het breedst mogelijke concept van je populatie en probeer dit te splitsen aan de hand van de kennis die je opgedaan hebt in de gesprekken met de opdrachtgever en de informatie die je uit het literatuuronderzoek hebt gehaald.

Kenmerken en hun mogelijke verhoudingen tot elkaar

We spreken over het algemeen van een kenmerk als het om een abstracte eigenschap van een eenheid gaat. Zodra we dit kenmerk in meetbare termen hebben geformuleerd wordt het een variabele, de variabelen worden bovenaan de kolommen gezet in een datasheet in SPSS terwijl de eenheden in de rijen komen. Variabelen kennen scores en kenmerken en begrippen dus niet. Aangezien sommige kenmerken lastiger om te zetten zijn in variabelen, aangezien er rekening gehouden dient te worden met meerdere dimensies, wordt er een onderscheid gemaakt tussen constructen en concepten.

De constructen zijn vaak opgebouwd uit verschillende dimensies, concepten daarentegen zijn vaak eenduidiger. Daarnaast wordt er ook een onderscheid gemaakt tussen directe onafhankelijke kenmerken, directe afhankelijke kenmerken en indirecte controlekenmerken (zoals moderator-, mediator- en 'confounding' kenmerken).

Directe, onafhankelijke kenmerken hebben over het algemeen directe gevolgen die dus niet veroorzaakt worden door andere kenmerken. Het is belangrijk om vast te stellen of er sprake is van een oorzakelijk verband ja of nee en of je die oorzakelijkheid ook wil en kan toetsen. Hoe je deze oorzakelijkheid kan toetsen wordt verderop in het boek nog besproken. Wanneer je vastgesteld hebt dat er sprake is van een oorzakelijk verband, kan je dit in een onderzoeksschema weergeven door middel van een pijl van het onafhankelijke kenmerk naar het afhankelijke kenmerk. Wanneer is er sprake van causaliteit? Men spreekt van causaliteit wanneer er een relatie is, een onafhankelijke variabele en een afhankelijke variabele. Directe afhankelijke kenmerken daarentegen worden wel direct beïnvloed door andere kenmerken. Wanneer je denkt zeker te weten dat er sprake is van een relatie tussen een onafhankelijke en afhankelijke variabele dan kun je dit testen door te kijken of de afhankelijke variabele alleen verandert naar aanleiding van een verandering in de afhankelijke variabele. Wanneer dit in jouw vraagstelling niet het geval is, dien je dit aan te passen. Er hoeft niet altijd sprake te zijn van één rechtstreekse causale relatie, de relatie kan namelijk ook wederkerig zijn. Dit houdt in dat wanneer één van beide kenmerken verandert dit altijd een effect heeft op het andere kenmerk. Wanneer dit het geval is worden er in het schema twee pijlen weergegeven. Zowel één van variabele 1 naar variabele 2 als andersom. Als laatste zijn er ook nog de indirecte controlekenmerken, dit zijn kenmerken die een mogelijke invloed zouden kunnen hebben op de eerder vastgestelde causale relatie tussen twee andere kenmerken. Ook al is het vaak niet mogelijk om al deze beïnvloedende kenmerken mee te nemen in je onderzoeksopzet, is het wel belangrijk dat je erover nadenkt. Ook is het handig ze te noemen in je resultaten zodat ze in een eventueel vervolgonderzoek wel meegenomen kunnen worden, mochten de resultaten teleurstellend zijn.

Ethische problemen

Wanneer je eenmaal vastgesteld hebt hoe je onderzoek eruit moet gaan zien is het tijd om je af te gaan vragen of je onderzoek eigenlijk wel ethisch verantwoord is. In de meeste beroepsgroepen zijn er richtlijnen beschikbaar die aangeven hoe je dient te handelen in bepaalde onderzoekssituaties. In elk onderzoek zijn er verschillende partijen die belangen hebben bij de uitkomst van het onderzoek. Zo worden er bij respondenten vaak behoeften gecreëerd, op basis van marktonderzoek, die weinig tot geen praktisch doel dienen. De opdrachtgever heeft belang bij onderzoek omdat de uitkomst van het onderzoek grote invloed kan hebben op de verkoopcijfers van een bepaald product of een bepaalde service, mocht het onderzoek aantonen dat het product in kwestie buitengewoon goed werkt.

Neem bijvoorbeeld een onderzoek dat kijkt of een bepaalde plastisch chirurgische ingreep ook daadwerkelijk een positief effect heeft op de aantrekkelijkheid van een bepaald persoon. Als het onderzoek uitwijst dat dit zo is zal dit goede reclame zijn voor een plastisch chirurg, hoogstwaarschijnlijk ook de opdrachtgever.

Ook de onderzoeker zelf heeft belang bij het onderzoek, wanneer het resultaat van het onderzoek tegenvalt kan het zijn dat het onderzoek niet gepubliceerd mag worden. Terwijl het de reputatie van de onderzoeker ten goede zou komen mocht dit wél gebeuren. Vandaar dat het van groot belang is dat hier van tevoren goede afspraken over gemaakt worden. Om de belangen en vooral de rechten van deze partijen te waarborgen zijn er bepaalde eisen zowel met betrekking tot de respondenten als de onderzoeker waar aan voldaan moet worden.

De gestelde eisen betreffende de respondenten:

• De respondent dient toestemming te geven, bijvoorbeeld door middel van een 'informed consent'.

• De respondent dient goed geïnformeerd te zijn over het doel en de werkwijze van het onderzoek.

• De gegevens van de respondenten dienen anoniem verwerkt te worden, al is het niet altijd mogelijk om de respondenten geheel anoniem te houden (denk bijvoorbeeld aan het versturen van reminders aan mensen die nog niet gereageerd hebben).

• De uitkomsten van het uit te voeren onderzoek dienen niet schadelijk te zijn voor de respondenten.

De gestelde eisen betreffende de onderzoeker:

• De onderzoeker dient zijn onderzoek op een eerlijke en wetenschappelijke manier uit te voeren.

• De onderzoeker dient geen gegevens te verstrekken aan andere partijen zonder hier toestemming voor te hebben gekregen van de opdrachtgever.

• De onderzoeker dient volledig onafhankelijk te functioneren van de opdrachtgever.

De haalbaarheid van het onderzoek

Van tevoren is het handig om een globale tijdsplanning te maken om te kijken of het onderzoek haalbaar is. Zodra je een definitief onderzoeksplan hebt dient deze globale tijdsplanning aangepast te worden tot een definitieve tijdsplanning. Vaak is het handig om met de einddatum te beginnen en dan terug te gaan rekenen om te kijken hoeveel tijd je voor elk onderdeel wilt gebruiken en ook hebt.

Wanneer je tijdsplanning af is moet je er nog eens goed naar gaan kijken om vast te stellen of het ook haalbaar is. Daarnaast moet er gekeken worden hoeveel geld er beschikbaar is en of het mogelijk is om het onderzoek binnen dit budget uit te voeren. Bedenk je ook dat, wanneer de onderzoeksgegevens niet voor iedereen toegankelijk zijn en niet in het algemeen belang zijn, er BTW gerekend dient te worden.

De volgende stap is om op zoek te gaan naar mensen die bereid zijn mee te werken aan het onderzoek. Deze bereidheid hangt vaak af van een aantal zaken, de instantie die het onderzoek uitvoert, de benaderingswijze, de tijdsinvestering die de bereidwilligen zullen moeten doen, de aantrekkelijkheid van het onderzoek, het nut van het onderzoek en de vergoeding. Niet alleen de bereidheid maar ook de bereikbaarheid kan een probleem vormen, want waar vind je mensen die precies in jou onderzoekspopulatie vallen?

Het vinden van de juiste mensen kan daarom erg veel tijd in beslag nemen en kan zelfs een reden zijn om het onderzoek niet te doen.

Risico's

Het kan handig zijn een risicoanalyse van je onderzoek te maken om zo vast te kunnen stellen of je onderzoek wel degelijk haalbaar is. Mogelijke probleempunten kunnen zijn:

• Activiteiten die van tevoren niet in de planning opgenomen waren

• Te weinig geld

• Onverwachte kosten

• Benodigdheden die niet beschikbaar blijken te zijn

• Een tekort aan respondenten

• Een tekort aan steun van de opdrachtgever

• Problemen die ontstaan tussen de verschillende onderzoekers (evaluatiemomenten kunnen hierbij helpen)

Hoe bereid je een kwantitatief onderzoeksontwerp voor? - Chapter 2

Onderzoeksvragen

Voordat je gaat kijken naar de onderzoeksontwerpen is het handig eerst je onderzoeksvraag te bekijken. Er zijn namelijk verschillende soorten onderzoeksvragen en de onderzoeksopzet is hiervan afhankelijk. Je kunt drie verschillende soorten onderzoeksvragen onderscheiden: frequentie-onderzoeksvragen, verschil-onderzoeksvragen en samenhang-onderzoeksvragen.

Je maakt gebruik van een frequentie-onderzoeksvraag wanneer je wilt onderzoeken hoe vaak een bepaald fenomeen voorkomt. Het gaat hierbij om vragen als 'hoe veel', 'hoe vaak' etc... Het gaat bij deze onderzoeksvragen vaak om beschrijven, de resultaten worden dan ook vaak weergegeven in percentages of gemiddelden. Verschil-onderzoeksvragen daarentegen worden gebruikt om een verschillende onderzoekseenheden te vergelijken. Je kiest hierbij dan ook een onderzoeksopzet waarbij een adequate vergelijking mogelijk is. Om dit op een handige manier te kunnen onderzoeken dien je gebruik te maken van een experimenteel onderzoeksontwerp. Een experimenteel onderzoeksdesign geeft de onderzoeker de ruimte om de gemaakte groepen zelf te manipuleren om zo beter een verschil aan te kunnen tonen. Bij een verschil-onderzoeksvraag maak je vaak gebruik van statistische technieken om zo bijvoorbeeld de gemiddelden van twee verschillende groepen met elkaar te kunnen vergelijken. En als laatste zijn er de samenhang-onderzoeksvragen, deze onderzoeken of er een samenhang aanwezig is tussen verschillende kenmerken. Oftewel: of kenmerk B verandert wanneer kenmerk A verandert ja of nee. Dit verband kan zowel positief als negatief zijn, bij een positief verband gaat een hoge score van kenmerk A gepaard met een hoge score van kenmerk B. Terwijl bij een negatief verband een hoge score van kenmerk A juist gepaard gaat met een lage score van kenmerk B. Deze samenhang (ook wel relatie, verband, associatie of correlatie genoemd) is weer te geven in een spreidingsdiagram. Een spreidingsdiagram geeft op de ene as het ene kenmerk en op de andere as het andere kenmerk weer en laat zo aan de hand van punten (die punten vormen samen een puntenwolk) zien wat de scores zijn van de personen in de groep. Aan de hand van deze punten kun je de sterkte van de samenhang tussen twee kenmerken berekenen in de vorm van een correlatie. Soms wordt de samenhang tussen twee variabelen niet alleen verklaard door deze twee variabelen zelf maar door een derde variabele. Vandaar dat het van belang is goed na te denken welke andere factoren nog meer een rol kunnen spelen in de samenhang tussen twee verschillende kenmerken.

Causaliteit

Zowel bij samenhang-onderzoeksvragen als verschil-onderzoeksvragen wil je vaak ook weten wat de causaliteit of oorzakelijkheid is van het te onderzoeken of onderzochte verband of verschil. Je wilt dan dus eigenlijk weten of de verandering van de ene variabele ook echt verandering van de andere variabele tot gevolg heeft.

Maar er zijn drie voorwaarden waar aan voldaan moet worden voordat we van een causale relatie kunnen spreken. Ten eerste moeten de twee variabelen die je onderzoekt met elkaar samenhangen, dit kan dus zowel een positieve als een negatieve samenhang zijn.

Ten tweede moet de variabele die jij als de onafhankelijke variabele beschouwt in tijd voorafgaan aan de afhankelijke variabele. De onafhankelijke variabele moet dus eerst veranderen en deze verandering uit zich dan in een verandering van de afhankelijke variabele.

En de laatste eis is dat er geen derde variabele in het spel mag zijn die invloed uitoefent op de relatie tussen kenmerk A en kenmerk B.

Derde variabele

Er zijn verschillende vormen van derde variabelen die invloed kunnen hebben op de relatie tussen de onafhankelijke en de afhankelijke variabele, namelijk:

• Een mediërende variabele, mediatie houdt in dat er een derde variabele is die zowel samenhangt met variabele 1 als met variabele 2. De relatie tussen variabele 1 en variabele 2 wordt dus verklaard door de relatie die zij beide hebben met variabele 3. Neem bijvoorbeeld de relatie tussen uitgaan en de studieresultaten. Er is hier duidelijk een derde variabele in het spel namelijk het aantal studie-uren. Meer uitgaan betekent over het algemeen dat deze studenten minder tijd aan hun studie besteden en dus vallen ook de studieresultaten tegen. De relatie tussen het uitgaan en de studieresultaten wordt dus verklaard door variabele 3, het aantal studie-uren. In een schematische weergave zou er dus een lijn getekend worden tussen variabele 1 en variabele 2 en zowel vanaf variabele 1 zou een pijl getekend worden naar variabele 3. Deze pijl zou doorlopen van variabele 3 naar variabele 2. En zo is het cirkeltje rond. Veel uitgaan betekent minder studie-uren betekent minder goede studieresultaten. Je ziet hier dus de negatieve relatie tussen variabele 1 en variabele 2 verklaard door variabele 3.

• Een confounding-variabele, een confounding effect betekent dat er zowel een relatie is tussen variabele 1 en variabele 3 als tussen variabele 2 en variabele 3. De derde variabele vormt echter geen tussenschakel. Neem bijvoorbeeld een onderzoek naar de relatie tussen roken en de longcapaciteit onder adolescenten. Er werd aan een groep scholieren gevraagd hoeveel sigaretten zij op een dag rookten en daarnaast werd hun longcapaciteit gemeten, er werd een positieve relatie vastgesteld tussen deze twee variabelen. Wie meer sigaretten rookte had een grotere longcapaciteit. Er werd echter geen rekening gehouden met de leeftijd van de scholieren in kwestie. Zowel het aantal gerookte sigaretten per dag als de longcapaciteit van een scholier bleek afhankelijk te zijn van de leeftijd. Toen er eenmaal gecorrigeerd werd voor de leeftijd bleek de relatie tussen het aantal sigaretten en de longcapaciteit helemaal niet positief maar juist negatief te zijn. De relatie tussen het aantal sigaretten en de longcapaciteit werd dus niet verklaard door de variabelen zelf maar werd geheel vertekend door de derde variabele, in dit geval leeftijd.

• Moderator-variabele, bij een moderatie verandert het verband tussen de onafhankelijke en de afhankelijke variabele door de derde variabele. Bij elke waarde van de moderator, de derde variabele, is de relatie tussen variabele 1 en variabele 2 anders. Neem bijvoorbeeld een therapievorm die op vrouwen een hele andere werking heeft dan op mannen. De derde variabele is in dit geval het geslacht, en afhankelijk van het geslacht verandert de relatie tussen deze therapievorm (variabele 1) en iemands welzijn (variabele 2).

Door de vertekening die een derde variabele soms met zich meebrengt kan er een schijnverband ontstaan. Dit houdt in dat er, wanneer de derde variabele gecorrigeerd wordt, geen verband meer blijkt te bestaan tussen de onafhankelijke en afhankelijke variabele. Het tegenovergestelde kan ook gebeuren, namelijk dat de correlatie sterker wordt wanneer de derde variabele gecorrigeerd wordt. Door vooraf goed na te denken over mogelijke derde variabelen die een invloed zouden kunnen hebben op je onderzoek kun je vertekening van je onderzoeksresultaten tot op zekere hoogte voorkomen.

Onderzoekstypen

Er zijn drie verschillende vormen van onderzoek die we hier behandelen en elk van deze onderzoekstypen geeft antwoord op een ander soort vraag. Een beschrijvend onderzoek beschrijft bijvoorbeeld een bepaald fenomeen en geeft situaties weer in gemiddelden en percentages. De gegevens die voortkomen uit een beschrijvend onderzoek kunnen gecategoriseerd worden en weergegeven worden in grafieken en tabellen om zo een overzicht te geven van een bepaalde situatie.

Het geeft een nauwkeurige beschrijving van kenmerken van de onderzoekseenheden aan de hand van een vooraf gegeven systematiek. Er wordt dus niet gekeken naar relaties of verklaringen. Dit soort onderzoeken zijn over het algemeen gebaseerd op frequentie-onderzoeksvragen maar ook een verschil-onderzoeksvraag kan met een beschrijvend onderzoek beantwoord worden. Voor exploratief onderzoek daarentegen is alleen beschrijven niet voldoende. Er wordt gezocht naar een verklaring voor bepaalde verschillen en gegevens die reeds vastgesteld zijn. Het doel is dan ook het ontwikkelen en formuleren van een theorie die een bepaald verschijnsel verklaart. Tenslotte is er het toetsend onderzoek, wanneer je al een bepaald idee gevormd hebt over hoe iets precies zit, kan een toetsend onderzoek nuttig zijn om te 'toetsen' of deze theorie ook klopt. Een theorie is een serie onderling samenhangende uitspraken waarin je uitlegt hoe de werkelijkheid in elkaar zit. Deze uitspraken moeten echter wel voldoen aan bepaalde voorwaarden. Ze moeten logisch samenhangen en dus niet tegenstrijdig zijn, er moet een toetsbare hypothese uit af te leiden zijn en er moet een verklaring in te vinden zijn. Op basis van je gevormde theorie vorm je een hypothese, welke je gaat toetsen in je onderzoek. Je hypothese moet je veronderstelling weergeven. Door onderzoek te doen kun je óf tot de conclusie komen dat je hypothese juist is: je bevestigt de hypothese, óf je komt tot de conclusie dat de hypothese onjuist is: je verwerkt de hypothese. Om een hypothese te kunnen toetsen moet je altijd zowel een alternatieve hypothese hebben, die geeft je verwachting weer, als een nulhypothese, deze beschrijft de situatie als er niets aan de hand is.

Een speciale vorm van toetsend onderzoek is een evaluatieonderzoek. Ook hier werk je met een hypothese, het verschil is echter dat je de effectiviteit van een bepaalde interventie meet. Er zal niet altijd een uitgebreide theorie te verzinnen zijn die getoetst moet worden maar je hebt natuurlijk wel verwachtingen. Evaluatieonderzoek valt in twee categorieën op te splitsen. Summatief evaluatieonderzoek en formatief evaluatieonderzoek. Bij een summatief evaluatieonderzoek wordt een bepaalde interventie geëvalueerd om te kijken of de van tevoren gestelde verwachtingen uitgekomen zijn. Deze vorm van onderzoek kun je ook wel effect-evaluatie of product-evaluatie noemen. Formatief evaluatieonderzoek daarentegen gaat na welke factoren de interventie al dan niet succesvol maken. Je kijkt dus niet alleen of de interventie aan de verwachtingen voldoet, maar ook of er nog verbeterpunten zijn. Dit wordt ook wel proces-evaluatie genoemd.

Onderzoeksontwerp

Het onderzoekstype bepaalt hoe je je onderzoek moet gaan opzetten, dit noem je ook wel het onderzoeksontwerp (ook wel een onderzoeksstrategie of onderzoeksdesign genoemd). Bij een kwantitatief onderzoek kun je twee vormen van onderzoeksontwerpen onderscheiden. Het experimenteel en surveyonderzoek. Bij een experimenteel onderzoek maakt de onderzoeker gebruik van een interventie (experimentele interventie) terwijl er bij een surveyonderzoek bestaande gegevens verzameld worden zonder dat de onderzoeker hier zelf invloed op uitoefent.

Elk onderzoeksontwerp brengt bepaalde gevolgen met zich mee wat betreft de interne validiteit. Interne validiteit stelt de vraag of het resultaat van het onderzoek wel het juiste beeld van de werkelijkheid weergeeft, of dat het beeld vertekend is als gevolg van externe factoren of dergelijke andere invloeden. Een onderzoek is intern valide wanneer er geen sprake is van vertekening, dit is echter vrij lastig om vast te stellen en helemaal zeker weet je het eigenlijk nooit. Externe validiteit daarentegen houdt zich bezig met de generaliseerbaarheid van je onderzoekresultaten. Onderzoeken met een hoge interne validiteit hebben een grotere bewijskracht en zullen dus als betrouwbaarder beschouwd worden. De grootte van de bewijskracht wordt ook wel het 'level of evidence' genoemd.

Het level of evidence geeft dus aan in hoeverre een onderzoek in staat is een relatie tussen verschillende kenmerken aan te tonen zonder dat deze beïnvloed wordt door externe factoren.

Surveyonderzoek

Wanneer je een beschrijvend of een exploratief onderzoek doet, soms zelfs bij een toetsend onderzoek, kun je ervoor kiezen een surveyonderzoek als onderzoeksontwerp te kiezen. Dit is een logische keuze wanneer je onderzoek gericht is op het vaststellen van een verband tussen twee variabelen. Het is een vorm van onderzoek waarbij de onderzoeker zelf geen invloed heeft op de situatie, maar bestaande gegevens verzamelt. Hij probeert hiermee een beeld te krijgen van een bepaald fenomeen. Aangezien het, over het algemeen, een eenmalige meting betreft kunnen er aan de hand van de resultaten van een surveyonderzoek geen uitspraken gedaan worden over de causaliteit tussen de onderzochte variabelen. De kenmerken van een surveyonderzoek zijn:

• Er wordt door de onderzoeker zelf niet geïntervenieerd, het is een combinatie van observationeel- en enquête-onderzoek.

• Hoe groter de steekproef hoe nauwkeuriger je resultaten.

• Je bestudeert een groot aantal kenmerken in één onderzoek.

• Een surveyonderzoek bestaat over het algemeen uit één enkele meting, op één bepaald tijdstip. Het is een momentopname.

Je hebt ook de mogelijkheid om een cross-sectioneel surveyonderzoek te doen, dit betekent dat je dezelfde meting doet in bijvoorbeeld verschillende leeftijdsfasen om zo een completer beeld te krijgen van de werkelijkheid. Of een longitudinaal onderzoek, in deze onderzoeksopzet is het mogelijk om op verschillende momenten gegevens te verzamelen, op deze manier is het makkelijker om ontwikkelingen te volgen. Er zijn twee verschillende vormen van longitudinaal onderzoek, namelijk een panel- of cohort-onderzoek of een trend-onderzoek. Bij een panel-onderzoek volg je een vaste groep mensen en verricht je op verschillende tijdstippen metingen. Het verschil tussen een panel en een cohort is dat je bij een cohort-onderzoek vooral kijkt naar het gevolg die een bepaalde handeling heeft op je latere levenstoestand. Probleem met deze vorm van onderzoek is dat je veel respondenten nodig hebt en dat het daarom organisatorisch veel werk is, wat ook weer veel geld kost. Tussen deze verschillende meetmomenten loop je het risico dat respondenten afvallen, dit wordt ook wel de loss-to-follow-up genoemd. Bij een trendonderzoek daarentegen worden er verschillende metingen op verschillende tijdstippen gehouden en bij verschillende mensen uit de populatie. Het probleem hiermee is echter dat je nooit met zekerheid kunt zeggen of de eventuele veranderingen te wijten zijn aan de interventie of aan de wisselende samenhang van je onderzoeksgroep.

Op de toekomst gericht onderzoek wordt ook wel prospectief onderzoek genoemd terwijl op het verleden gericht onderzoek retrospectief onderzoek genoemd wordt. Bij retrospectief onderzoek wordt vooral gebruik gemaakt van reeds bestaande informatie. Een vorm van retrospectief onderzoek is een case-control study, hierbij vergelijk je een groep mensen met een bepaalde aandoening met een controlegroep waar mensen in zitten die geen aandoening hebben. Deze vorm van onderzoek wordt vooral gebruikt in de medische wereld. Beperkingen van een surveyonderzoek zijn dat het moeilijk vast te stellen is of er externe factoren zijn die de onderzoekseenheden beïnvloeden aangezien er geen interventie plaatsvindt. Daarnaast kun je met dit onderzoeksontwerp wel de relatie tussen verschillende variabelen onderzoeken maar niet de causaliteit tussen verschillende variabelen. De resultaten hebben aan de ene kant een lage interne validiteit en andere kant een hoge externe validiteit.

Experimenteel onderzoek

De kenmerken van een experimenteel onderzoek zijn:

• De huidige situatie wordt door middel van een interventie aangepast, de onafhankelijke variabele wordt gemanipuleerd (in sommige gevallen is er sprake van een natuurlijke interventie, denk hierbij bijvoorbeeld aan een natuurramp).

• De onderzoekspopulatie is kleiner dan bij een surveyonderzoek.

• Er worden vaak ook minder variabelen onderzocht.

• Deze vorm van onderzoek is ook geschikt om een causaal verband mee te toetsen.

• Je onderzoekt slechts één onderzoekseenheid, waardoor de externe validiteit klein is.

• Er zijn drie vormen van experimenteel onderzoek: zuiver experiment, een quasi-experiment en een pré-experiment.

Een zuiver experiment

Een zuiver experiment wordt gebaseerd op twee variabelen, waarvan één de onafhankelijke variabele is en de ander de afhankelijke variabele. Door de onafhankelijke variabele te manipuleren wordt getoetst of er een relatie bestaat tussen de onafhankelijke en afhankelijke variabele. Naast de experimentele groep is er ook een controlegroep ter vergelijking. De verdeling over deze twee verschillende groepen gebeurt op basis van toeval, dit wordt ook wel randomiseren genoemd.

Er zijn drie verschillende experimentele onderzoeksontwerpen. De eerste bestaat uit één controlegroep en één experimentele groep, de verdeling is gebeurd aan de hand van randomisatie, en er wordt bij allebei zowel vóór als ná de interventie een meting gedaan. Het probleem met dit onderzoeksontwerp is echter dat een voormeting op zich al een soort van interventie kan zijn. Door bijvoorbeeld het invullen van een vragenlijst kunnen mensen zich al bewuster gaan gedragen ten opzichte van het te onderzoeken fenomeen.

Bij het tweede experimentele onderzoeksontwerp zijn er ook twee groepen, waarvan één controlegroep en één experimentele groep, en bij beide groepen wordt alleen een nameting gedaan. Het probleem met deze vorm van onderzoek doen is echter dat je nooit zeker weet of er verandering heeft opgetreden en zo ja of dat dan wel aan de interventie te wijten valt aangezien je niet weet hoe het er vooraf uitzag. Je hebt eigenlijk niks om de resultaten mee te vergelijken.

En tot slot is er het Solomondesign, dit onderzoeksontwerp bestaat uit vier verschillende groepen waarvan twee controlegroepen en twee experimentele groepen. Zowel bij controlegroep 1 en experimentele groep 1 wordt een voor- en een nameting gedaan terwijl er bij controlegroep 2 en experimentele groep 2 alleen een nameting wordt gedaan om zo ook de invloed van de voormeting zelf te beperken. Daarnaast is het natuurlijk altijd mogelijk om meerdere experimentele groepen te nemen mocht je denken dat dit je onderzoek ten goede zou kunnen komen. Doordat er bij zuivere experimenten gebruik wordt gemaakt van randomisatie worden veel verstorende factoren buiten spel gezet, hierdoor is de interne validiteit van een zuiver experiment relatief hoog.

Quasi-experiment

In sommige situaties is het ethisch niet verantwoord om een zuiver experiment uit te voeren omdat je de respondenten bijvoorbeeld niet bloot kunt stellen aan randomisatie. Mocht je een onderzoek willen doen naar de invloed van pestgedrag op jonge kinderen en zowel een controle- als een experimentele groep willen vormen, dan is het ethisch niet echt verantwoord om de kinderen in de experimentele groep, zonder daadwerkelijke reden, bloot te stellen aan pestgedrag. In dit soort gevallen kun je kiezen om een quasi-experiment te doen. Bij quasi-experimenten wordt gebruikgemaakt van reeds bestaande groepen. Zo zou de experimentele groep in het geval hierboven de groep kinderen zijn die al gepest worden.

• Ook bij quasi-experimenten zijn er drie verschillende onderzoeksontwerpen:

• Twee groepen, zowel een controlegroep als een experimentele groep, waarbij een voor- en een nameting gedaan worden. Het enige verschil met het zuivere experiment is dan dus dat de groepen niet op basis van toeval ingedeeld zijn maar op basis van reeds gevormde groepen.

• Eén groep, waarbij meerdere metingen gedaan worden zowel voor als na de interventie. Dit wordt ook wel een enkelvoudige reeks genoemd.

• Twee groepen (of meer), waarbij meerdere metingen gedaan worden zowel vóór als ná de interventie. Dit wordt ook wel een meervoudige reeks genoemd.

• In alle bovengenoemde onderzoeksontwerpen is er geen gebruikgemaakt van randomisatie waardoor er nooit met zekerheid gezegd kan worden dat waargenomen verschillen ook daadwerkelijk het gevolg zijn van de interventie en niet van externe invloeden. Vaak zal dit echter geen ramp zijn, maar mochten er systematische verschillen zijn tussen de verschillende onderzoeksgroepen dan zal er ook een systematische vertekening te vinden zijn in de resultaten.

Een manier om de controlegroep en de experimentele groep vergelijkbaar te maken is door middel van 'matching'. Dit houdt in dat je de groepen indeelt aan de hand van bepaalde kenmerken waardoor je bewust vergelijkbare groepen creëert. Dit kun je óf doen door middel van een precisiecontrole, dit betekent dat je mensen één voor één matched op basis van hun kenmerken, óf door middel van een frequentiecontrole, wat inhoudt dat je een gelijke verdeling maakt op basis van globale kenmerken.

Een andere manier om de controlegroep en de experimentele groep vergelijkbaar te maken is door te 'homogeniseren'. Zo baseer je onderzoekseenheden op hun waarde op een bepaalde derde variabele. Oftewel je probeert je onderzoekseenheden zó te organiseren dat ze samen zo homogeen mogelijk zijn wat betreft hun derde variabele. Je kunt zowel 'matchen' als 'homogeniseren' ook combineren met randomisatie, dit wordt ook wel een gerandomiseerd blokdesign genoemd. Je deelt mensen bijvoorbeeld in aan de hand van hun leeftijd en neemt dan uit elke leeftijdscategorie random een paar mensen.

Pré-experiment

Je kiest eigenlijk alleen maar voor deze vorm van onderzoek wanneer het niet mogelijk is een controlegroep samen te stellen. Je hebt dus maar één en soms zelfs geen vergelijkingsbasis. Ook bij dit onderzoeksontwerp zijn er weer onderzoeksontwerpen. Bij het eerste onderzoeksontwerp wordt gebruikgemaakt van één groep, de experimentele groep, waarbij alleen een nameting gedaan wordt. Zoals je zelf waarschijnlijk ook wel begrijpt is dit niet een hele betrouwbare manier van onderzoek doen, aangezien je nooit enige vorm van zekerheid hebt. Je kunt je onderzoeksresultaten nergens mee vergelijken waardoor het lastig wordt vast te stellen of er een relatie is tussen het een en het ander. Het tweede ontwerp bestaat ook uit één groep waarbij zowel een voor- als een nameting wordt gedaan. Er valt hier wel een verandering te constateren maar toch kun je nooit met zekerheid zeggen dat deze verandering het resultaat is van de interventie.

De derde en laatste vorm van een pré-experiment is een experiment dat gebaseerd wordt op twee groepen: een controlegroep en een experimentele groep waar alléén een nameting bij wordt gedaan. Ook hier kan je niets met zekerheid zeggen aangezien er geen vergelijking kan plaatsvinden met gegevens van vóór de interventie.

Mogelijk verstorende factoren bij een zuiver experiment

1. Het Hawthorne-effect, door de aandacht die de deelnemers van de experimentele groep krijgen kan hun gedrag veranderen. Ze merken dat er bepaalde verwachtingen zijn en willen hier bijvoorbeeld graag aan voldoen.

2. Het experimenter-effect, het kan gebeuren dat de resultaten van het onderzoek beïnvloed worden door de verwachtingen van de onderzoeker zelf. Een maatregel om dit tegen te gaan kan 'blinderen' zijn. Dit betekent dat de onderzoeker zelf niet weet welke respondent in welke groep zit waardoor hij zich niet anders kan gedragen tegenover de ene groep in vergelijking met de andere groep.

3. Toevallige verschillen tussen de controlegroep en de experimentele groep, randomisatie gaat deze toevallige verschillen tegen, mits de groep groot genoeg is. Het is altijd belangrijk om een voormeting te kunnen doen om er zo tijdig achter te komen of er daadwerkelijk verschillen zijn tussen de controlegroep en de experimentele groep. Mocht dit het geval zijn dat kun je altijd achteraf een correctie doen.

4. Het novelty-effect, houdt in dat de interventie wel een verbetering ten gevolge heeft maar dat deze verandering maar van korte duur is. Dit kun je vaststellen door niet alleen een nameting te doen maar door bijvoorbeeld na een jaar nogmaals een meting te doen om te kijken of de verbetering is doorgezet.

5. Ecologische validiteit, dit is de mate waarin de resultaten generaliseerbaar zijn. Omdat veel onderzoeken plaatsvinden in de vorm van een laboratoriumexperiment kan het zijn dat de resultaten die verkregen zijn niet generaliseerbaar zijn naar een reëlere situatie. Dit probleem zou je tegen kunnen gaan door in plaats van een laboratoriumexperiment, of als aanvulling op een laboratoriumexperiment, een veldexperiment te doen. Het lastige hieraan is echter dat dit veel lastiger uit te voeren is aangezien het vaak moeilijk of zelfs onmogelijk is om manipulaties toe te passen in reële situaties.

Mogelijk verstorende factoren bij een quasi- of pré-experiment

• Een tussentijds voorval kan ervoor zorgen dat de waargenomen verandering niet veroorzaakt wordt door een interventie maar door een voorval dat plaatsvindt tussen de voor- en de nameting in. Zo kan er iets gebeurd zijn, dat veel met het te onderzoeken fenomeen te maken heeft, dat uitgebreid in het nieuws is geweest. Dit kan mensen hun houding zeer zeker veranderen.

• Er is sprake van een groei-effect wanneer een verandering niet toe te schrijven valt aan een toegepaste interventie, wanneer de interventie niet voor een verandering gezorgd heeft maar wanneer er sprake is van een natuurlijke verandering. Iets neemt bijvoorbeeld vanzelf toe of af.

• Je krijgt te maken met het testeffect wanneer je meerdere malen dezelfde test afneemt. De score zal dan automatisch hoger uitvallen naarmate de respondent de test vaker gemaakt heeft. Dit kan meerdere oorzaken hebben maar over het algemeen zullen mensen zich aan de soort vragen aanpassen en hun antwoorden zullen hier hoogstwaarschijnlijk ook door veranderen.

• Het instrumentatie-effect komt alleen voor wanneer je meetinstrumenten per meting verschillen aangezien dit je resultaten zou kunnen beïnvloeden. Wanneer de ene meting schriftelijk gedaan wordt en de ander mondeling zou dit voor verwarring kunnen zorgen.

• Wanneer mensen bij de eerste meting al maximaal scoren is er geen ruimte meer voor verbetering, dit wordt ook wel het plafond-effect genoemd. Als iemand de eerste keer al maximaal scoort kan zijn score bij de volgende meting eigenlijk alleen nog maar tegenvallen, beter kan namelijk niet.

• Het tegenovergestelde kan daarentegen ook een probleem vormen. Wanneer mensen bij de eerste meting minimaal score is er geen ruimte meer voor verslechtering en zal er de volgende meting hoogstwaarschijnlijk een verbetering geconstateerd worden. Maar valt deze verbetering eigenlijk wel aan de interventie toe te schrijven. Dit noemt met ook wel het bodem-effect.

• Er is een statistisch fenomeen dat ook wel de statistische regressie naar het gemiddelde genoemd kan worden dat ervoor zorgt dat extreme scores na meerdere metingen eigenlijk altijd naar het gemiddelde toetrekken. Wanneer iemand bij de eerste meting dus al een extreme score heeft, valt het te verwachten dat hoe meer metingen er gedaan worden, hoe meer deze score naar het gemiddelde zal trekken.

• Selectie kan een probleem vormen wanneer je respondenten hebt die op vrijwillige basis meedoen aan het onderzoek. Je loopt dan namelijk het risico dat er voornamelijk mensen mee willen doen die al van tevoren geïnteresseerd waren in het onderwerp. Je hebt dan dus in plaats van een representatieve groep, een selecte groep mensen.

• Door selectieve uitval kan het gebeuren dat je steekproef niet langer representatief is. Wanneer er mensen afvallen tussen de voor- en de nameting en die ook nog eens andere kenmerken hebben dan de mensen die nog overblijven dan kan het gebeuren dat je door deze selectieve uitval opeens tijdens je onderzoek tot de conclusie komt dat je steekproef niet langer representatief is. Niet alle groepen/kenmerken zijn meer vertegenwoordigd.

• Het placebo-effect houdt in dat mensen, ongeacht of ze daadwerkelijk in de experimentele groep zitten, denken dat ze blootgesteld zijn aan een interventie en door deze gedachte zich ook anders gaan gedragen. Dit komt vooral vaak in medische situaties voor. Neem bijvoorbeeld de controlegroep die een placebo-pil toegediend krijgt en een experimentele groep die het daadwerkelijke medicijn krijgt. Er zijn dan patiënten die, omdat ze denken dat ze het medicijn toegediend krijgen, zich beter gaan voelen, terwijl dit helemaal niet aan het medicijn, dus de interventie, kan liggen.

Wanneer kies je bij onderzoek voor een populatie of een steekproef? - Chapter 3

Het doel van je onderzoek is om uiteindelijk uitspraken te kunnen doen over bepaalde eenheden. Dit noem je ook wel je onderzoekseenheden, deze stel je vooraf aan je onderzoek al vast en vormen uiteindelijk de basis waarop jij daarna je onderzoek gaat baseren. Eenheden kunnen zowel mensen, gezinnen of bedrijven zijn als situaties. Al deze onderzoekseenheden samen vormen je onderzoekspopulatie. Vaak is de populatie die je wilt onderzoeken echter zo groot dat men er vaak voor kiest om maar een deel van deze populatie ook daadwerkelijk bij hun onderzoek te betrekken. Dit deel wordt de steekproef genoemd en aan de hand van deze steekproef kun je dan, aan het eind van je onderzoek, een uitspraak doen over de populatie. Het is ook helemaal niet nodig om je gehele onderzoekspopulatie te onderzoeken, zolang je steekproef maar aan een bepaalde grootte voldoet, afhankelijk van het onderzoek en het soort eenheden dat je onderzoekt, kun je op basis van deze steekproef zeer nauwkeurige voorspellingen doen over de populatie. Om een representatieve steekproef te kunnen trekken, dien je eerst je populatie goed te definiëren. Dit is vaak echter nog knap lastig, zo heb je een beoogde populatie die je aan zal moeten passen naar een theoretische populatie om zo tot een operationele populatie te komen. Daarnaast moet je nog maar afwachten of de mensen die in jouw zogenaamde operationele steekproef vallen eigenlijk ook wel zin hebben om mee te doen. Volgens het CBS (Centraal Bureau voor de Statistiek) is een respons van 65% al voldoende. Dit betekent echter wel dat de externe validiteit, dus de mate waarin je op basis van je steekproef uitspraken kan doen over de beoogde populatie, vrij laag is. Het is niet altijd handig om een steekproef te trekken, er zijn ook genoeg onderzoeken waarin de populatie zo klein is dat je gemakkelijk de hele populatie kunt onderzoeken. Bij een steekproef is het steekproefgemiddelde altijd een schatting van het populatiegemiddelde terwijl het populatiegemiddelde ook daadwerkelijk het populatiegemiddelde is.

A-selecte en selecte steekproeven

Er zijn twee soorten steekproeven, namelijk selecte en a-selecte steekproeven. Het verschil tussen deze beide vormen is dat de één gebaseerd is op kans en de andere niet. Bij een a-selecte steekproef hebben alle eenheden een gelijke, en dus bekende, kans om in de steekproef te komen. Bij selecte steekproeven daarentegen hebben de eenheden een ongelijke, en dus onbekende, kans om in de steekproef te komen.

A-selecte steekproeven

Wanneer de samenstelling van een steekproef volledig toegerekend kan worden aan toeval, wordt het ook wel een kanssteekproef genoemd oftewel een a-selecte steekproef. Om in staat te zijn uitspraken te doen over de onderzoekspopulatie op basis van de steekproefresultaten heb je inferentiële of inductieve statistiek nodig. Deze geven je de mogelijkheid om te analyseren in hoeverre je onderzoeksresultaten, die je verkregen hebt op basis van een steekproef, van toepassing zijn op de hele onderzoekspopulatie waaruit de steekproef getrokken is. Natuurlijk kunnen deze uitspraken pas gedaan worden nadat de foutenmarge is vastgesteld.

De inferentiële statistiek gaat er wél vanuit dat je de eenheden in je steekproef op een a-selecte manier gekozen zijn. Om een steekproeftrekking te kunnen doen heb je eerst een lijst nodig met al je populatie-eenheden waar je a-select een steekproef uit kunt trekken. Deze lijst wordt ook wel je steekproefkader genoemd, het is een vorm van administratie waarin je de onderzoekseenheden administreert. Er zijn drie verschillende vormen van a-selecte steekproeven: de enkelvoudige a-selecte steekproef, de gestratificeerde a-selecte steekproef en de getrapte steekproef.

De enkelvoudige a-selecte steekproef

Bij een enkelvoudige a-selecte steekproef wordt er uit het steekproefkader, op basis van toeval (random), het aantal benodigde steekproefeenheden getrokken. Er zijn verschillende programma's beschikbaar die je erbij helpen om willekeurige getallen te trekken.

Een voorbeeld hiervan is http://randomizer.org. Dit soort programma's geven je de mogelijkheid om je onderzoekspopulatie te nummeren, daarnaast geef je aan hoe groot je onderzoeksomvang moet zijn en aan de hand hiervan kiezen zij, random, het opgegeven aantal mensen uit de ingevoerde lijst. Wanneer je onderzoekspopulatie klein is kun je zelf aan de hand van de loterijmethode nummertjes trekken. Je schrijft alle nummers op kaartjes, gooit ze in een bak, husselt ze goed en trekt er het benodigde aantal nummertjes uit.

Doordat je van tevoren in je onderzoekskader elke persoon gelinkt hebt aan een nummertje kun je de bijbehorende namen makkelijk bij de getrokken nummertjes vinden. Houdt er echter altijd rekening mee dat er mensen zijn die niet mee willen doen, dit wordt ook wel de non-respons genoemd.

Excel is een ander programma dat je kunt gebruiken bij het trekken van een steekproef. Het enige probleem is echter dat Excel een steekproef trekt met teruglegging, dit betekent dat het getrokken nummertje na trekking weer terug gegooid wordt in de bak. De kans bestaat dus dat dezelfde persoon twee keer getrokken wordt en dan dus twee keer in de steekproef komt. Houdt hier rekening mee want dit is natuurlijk niet de bedoeling. Wat je kunt doen om dit probleem te voorkomen is gebruikmaken van de A-SELECT-formulefunctie van Excel. Excel verbindt nu aan elke persoon een random nummer en zet deze op volgorde (of van laag naar hoog of van hoog naar laag). Als je een a-selecte steekproef wilt hebben van 10 mensen, neem je bijvoorbeeld de eerste 10 respondenten die door Excel genoemd worden.

De gestratificeerde a-selecte steekproef

Bij een gestratificeerde a-selecte steekproef worden twee of groepen met elkaar vergeleken. Het is echter wel belangrijk dat beide groepen in dezelfde mate vertegenwoordigd worden. Hierdoor kan het handig zijn om gebruik te maken van verschillende populaties. Deze scheiding kan bijvoorbeeld plaatsvinden op basis van geslacht of leeftijd. Dit is afhankelijk van de te onderzoeken groepen. Eerst deel je dus de populatie op in je deelpopulaties, dit noem je ook wel je strata. Vervolgens trek je uit beide strata een steekproef op de eerder beschreven manier (zie de enkelvoudige a-selecte steekproef). Deze twee afzonderlijke steekproeven vormen dan samen je gestratificeerde a-selecte steekproef. Je kunt deze verdeling op twee manieren doen, proportioneel of disproportioneel.

Wanneer je twee of meer groepen wil vergelijken kan het handig zijn als beide groepen ongeveer even groot zijn, van vergelijkbare grootte. Uit ieder stratum wordt dan hetzelfde aantal eenheden getrokken. Dit wordt ook wel disproportioneel genoemd aangezien de grootte van jouw onderscheide strata niet overeen komt met de verdeling in de totale populatie. De strata zijn zo goed te vergelijken maar dus niet representatief voor de gehele populatie. Wil je wel uitspraken kunnen doen over de totale populatie dan is het handiger om een proportionele trekking te doen. Dit betekent dat de verdeling van jouw strata overeenkomt met de verdeling in de totale populatie waardoor je mogelijk uitspraken kunt doen over de frequenties in de totale populatie, zoals bijvoorbeeld het populatiegemiddelde.

De getrapte steekproef

Bij een getrapte steekproef is het niet mogelijk een onderzoek te trekken uit een bestand. Dit kan betekenen dat er geen register is waarin alle mensen genoemd worden die je wil onderzoeken of dat je bijvoorbeeld geen toegang hebt. Dan kun je proberen een getrapte steekproef te trekken. Een ander woord hiervoor is een meertrapssteekproef. Laten we zeggen dat we onderzoek willen doen naar het gedrag van voetbalsupporters langs de lijn. Om dit te onderzoeken willen we enquêtes afnemen onder de leden van de KNVB. We hebben echter geen toegang tot de KNVB-ledenlijst waardoor we genoodzaakt zijn een meertrapssteekproef te trekken, er zijn vier te volgen stappen:

1. Je trekt op basis van toeval (a-select) één of enkele provincies

2. Je trekt op basis van toeval (a-select) binnen deze provincies een aantal steden

3. Je trekt op basis van toeval (a-select) binnen deze steden een aantal voetbalclubs

4. Je hebt nu twee mogelijkheden, of je geeft aan alle voetballende leden van de getrokken clubs een vragenlijst mee (clustersteekproef) of je trekt weer een steekproef op basis van toeval (a-select) onder de leden van de getrokken clubs (multistage- of meertrapssteekproef).

Je dient echter zowel bij stap 2, 3 en 4 rekening te houden met de grootte van de provincie, stad of voetbalclub. Aan de hand van deze grootte bepaal je hoeveel steden je per provincie, voetbalclubs per stad en leden per voetbalclub je moet trekken. Omdat meertrapssteekproeven uit meerdere fases bestaan heb je een groter risico op fouten. Je dient, wanneer je gebruikmaakt van deze manier van a-selecte steekproeven nemen, dus extra voorzichtig te zijn. Ook ogenschijnlijk verantwoorde steekproeftrekkingen kunnen de nodige problemen met zich meebrengen.

Selecte steekproeven

Bij een selecte steekproef daarentegen hebben de onderzoekseenheden geen gelijke kans om in de steekproef terecht te komen. Je kunt dan ook geen gebruikmaken van de inferentiële statistiek aangezien deze er vanuit gaat dat de steekproef a-select getrokken is en dat is hij niet. De resultaten van je onderzoek zijn dan dus alleen van toepassing op de eenheden die je in je onderzoek betrokken hebt. Dus wanneer je de mogelijkheid hebt een a-selecte steekproef te trekken uit een steekproefkader, geniet dit de voorkeur aangezien je dan over de mogelijkheid beschikt om je steekproefresultaten te generaliseren.

ls je geen steekproefkader ter beschikking hebt is een a-selecte steekproef echter niet mogelijk en ga je dus over op een selecte steekproef. Je weet echter nooit zeker of je steekproef representatief is aangezien deelname afhankelijk is van aanwezigheid op een bepaalde plek, op een bepaald tijdstip etc... Er zijn vier verschillende manieren om een selecte steekproef te trekken: een gelegenheidssteekproef, een quotasteekproef, een doelgerichte steekproef of een sneeuwbalsteekproef.

Gelegenheidssteekproef

Bij een gelegenheidssteekproef maak je gebruik van de onderzoekseenheden die je als eerste tegenkomt. Zo neem jij bijvoorbeeld enquêtes af op straat en geef je de enquête aan de eerste 10 mensen die langslopen. Niet iedereen heeft dan dezelfde kans om getrokken te worden, zo zullen bejaarden minder vaak op straat te vinden zijn dan anderen en zo heb je meer minderheden die een kleinere kans hebben om gevraagd te worden voor de enquête. Het kan daarom handig zijn, als je toch een meer representatieve steekproef wil trekken, om te variëren met het tijdstip en de plaats waarop je enquêteert. Het is daarom beter om niet voor de makkelijkste weg te kiezen.

Quota-steekproef

Bij een quota-steekproef wordt, net als bij de gestratificeerde a-selecte steekproef, de populatie opgedeeld in strata. Vervolgens wordt er select een steekproef getrokken uit elke afzonderlijke deelpopulatie. Dit kan zowel proportioneel als disproportioneel gedaan worden. Van tevoren wordt er een quotum vastgesteld, dit houdt in dat er van tevoren wordt vastgesteld hoeveel mensen er uit elke deelpopulatie getrokken gaan worden. Op deze manier krijgt de steekproef dezelfde verdeling als de populatie zelf. Het probleem is echter dat het een zeer willekeurige manier van steekproef trekken is het is daarom ook hier van belang dat je varieert met het tijdstip en de plaats om zo een representatiever beeld te krijgen van de werkelijkheid.

Doelgerichte steekproef

Bij een doelgerichte steekproef worden de steekproefeenheden zorgvuldig uitgekozen afhankelijk van je geformuleerde onderzoeksvraag. Een specifieke vorm van een doelgerichte steekproef is bijvoorbeeld panelonderzoek. Onderzoeksbureaus verzamelen informatie via online-panels. De dienst Onderzoek en Statistiek is voortdurend bezig met het werven van panelleden via internet. In het eerste contact worden meestal allerlei vragen gesteld over het geslacht, de leeftijd, opleidingsniveau, gezinssamenstelling etc..., om zo wanneer ze een daadwerkelijk onderzoek willen gaan doen makkelijk geschikte kandidaten te kunnen selecteren. Vaak wordt voor de werving van deze panelleden gebruikgemaakt van een 'self-recruiting methode', dit houdt in dat de respondent zich zelf kan aanmelden via internet.

Een andere wervingsmethode is de sneeuwbalmethode. Je vraagt dan een reeds actief panellid of hij of zij misschien iemand kent die aan de gestelde criteria voldoet. Het is vaak echter lastig om een betrouwbare lijst met e-mailadressen te vinden. Vaak zijn niet alle groepen op representatieve wijze vertegenwoordigd.

Mocht het echt niet lukken om een lijst te vinden die min of meer dezelfde verdeling heeft als de werkelijke onderzoekspopulatie dan kan de onderzoeker ervoor kiezen om weging toe te passen. Er zijn vele verschillende panels, grote, kleine, betaalde, op individueel niveau, open, gesloten etc... Het voordeel van online-panels is, dat de kosten laag zijn en de respons vaak groot en snel. Er zijn echter ook problemen verbonden aan online-panels namelijk dat er bepaalde groepen, die niet over internet beschikken, ondervertegenwoordigd zijn en het grootste probleem is waarschijnlijk dat mensen gemakzuchtig kunnen worden en niet goed meer naar de vragen kijken. Dit kan je onderzoeksresultaten zwaar beïnvloeden.

Sneeuwbalsteekproef

Bij een sneeuwbalsteekproef begin je met één respondent die aan jouw eisen voldoet om zo, via via, steeds meer respondenten te vinden. Je kiest voor deze vorm van onderzoek wanneer je een niet geregistreerde populatie wilt onderzoeken en dus niet beschikt over een onderzoekskader. De reden waarom de populatie niet geregistreerd is kan bijvoorbeeld zijn dat de populatie moeilijk herkenbaar is omdat het onderwerp taboe is.

De grootte van mijn steekproef

Wanneer je tot de conclusie gekomen bent dat de te onderzoeken populatie te groot is om in zijn geheel te onderzoeken en je gekozen hebt een steekproef te nemen is het nog de vraag hoe groot deze dan moet zijn. Dit is echter een vraag waar moeilijk antwoord op te geven is. Hoe groter de steekproef, hoe meer geld het je gaat kosten maar ook hoe betrouwbaarder. De grootte van je steekproef bepaalt namelijk de nauwkeurigheid van de uitspraken die je kunt doen. De grootte van je steekproef hangt van een aantal factoren af, namelijk de heterogeniteit van de te onderzoeken populatie, de vereiste nauwkeurigheid en het karakter van je onderzoek. Hoe meer heterogeen de populatie, hoe groter de variatie. Dit betekent dat je bij een zeer heterogene populatie een grotere steekproef moet trekken dan bij een zeer homogene populatie. Hoe nauwkeuriger je resultaten moeten zijn hoe nauwkeuriger je steekproef moet zijn en dus groter. Daarnaast heb je bij, bijvoorbeeld, een experimenteel onderzoek minder respondenten nodig dan bij een surveyonderzoek, ook dit heeft dus invloed op de vereiste grootte van je steekproef.

Er zijn verschillende formules te gebruiken voor het berekenen van de minimale grootte van je steekproef. De formule die je dient te gebruiken is afhankelijk van wat je precies wil doen met de uitkomsten van je onderzoek. Wil je proporties berekenen of wil je een populatiegemiddelde schatten?

Voor het schatten van proporties wordt de volgende formule gebruikt:

N = (z/m)² p(1-p)

• z = de zekerheid waarmee je op basis van je steekproefresultaten een uitspraak wil doen over de populatie (Hoe dit precies werkt hoeven we voor het tentamen echter niet te weten, uitleg volgt in Hoofdstuk 8).
• m = de foutenmarge die je wil hanteren.
• p = de proportie personen.

Er zijn echter ook steekproefcalculators te vinden op internet die je helpen met het bepalen van je steekproefgrootte; www.allesovermarktonderzoek.nl.

Wanneer het doel van je steekproef is om uitspraken te kunnen doen over populatiegemiddelden in plaats van proporties, dien je echter gebruik te maken van een andere formule. Let erop dat de eerder genoemde steekproefcalculators die te vinden zijn op internet zich richten op proporties.

N = ((1,96σ)/m) ²

• σ = standaarddeviatie in de populatie.
• m = de foutenmarge die je wil hanteren.

Er zijn echter ook steekproefcalculators te vinden op internet die je helpen met het bepalen van je steekproefgrootte: www.statpac.com.

Al ziet de formule er redelijk simpel uit, het vaststellen van de standaarddeviatie is vaak nog een hele opgave. Je moet hem óf proberen te achterhalen uit de bestaande gegevens óf je maakt een schattingberekening (maximum - minimum)/6.

Vaak wordt de grootte van de steekproef toch vooral bepaald aan de hand van de maximaal haalbare steekproefomvang gezien tijd, budget en beschikbaarheid. Het kan dan alsnog handig zijn om uit te rekenen hoe betrouwbaar je steekproef dan eigenlijk is. Dit kan aan de hand van het betrouwbaarheidsinterval. Voor gemiddelden kun je dan gebruikmaken van de 'Confidence interval for means calculator' en voor proporties voor de 'Confidence interval for proportions calculator'. Let er wel op dat al deze berekeningen gebaseerd zijn op een a-selecte steekproef.

Hoe kom ik aan respondenten?

De wijze waarop het onderzoek gepresenteerd wordt zal grote invloed hebben op de reacties van mogelijke respondenten. Zo moet al bij de eerste kennismaking duidelijk zijn wat de relevantie van het onderzoek is, wie de onderzoeker of het onderzoeksinstituut is, of de gegevens anoniem en vertrouwelijk verwerkt worden, hoe de onderzoeker aan de gegevens van de mogelijke respondent komt, hoeveel tijd het onderzoek in beslag gaat nemen en of het onderzoek gepubliceerd gaat worden. Deze punten zijn van belang voor de respondent aangezien hij of zij geen zin zal hebben om mee te werken wanneer het onderzoek irrelevant is of als het bergen van tijd gaat kosten.

Vaak heeft het een positief effect als je als onderzoeker gebruikmaakt van een incentive, dit is een vorm van beloning dat de benaderde personen kan motiveren om mee te doen. Wanneer je de respondent van tevoren verkeerde informatie verstrekt kan dit tot respondentenbederf leiden, dit houdt in dat de respondent zich bedrogen voelt en in volgende onderzoeken dus niet zal willen meewerken.

Non-respons

Uiteindelijk zijn er vaak respondenten die niet kunnen of om andere redenen niet mee kunnen werken aan het onderzoek. Dat betekent dat vaak maar een deel van je steekproef ook daadwerkelijk meedoet aan je onderzoek. Dit deel wordt ook wel de data-producerende steekproef genoemd. Er zijn meerdere redenen waarom respondenten afvallen, bijvoorbeeld omdat:

• ze niet worden bereikt, dit kunnen zowel mensen zijn die bij telefonische werving telefonisch niet bereikbaar zijn als, respondenten die je bij schriftelijke werving niet kunt bereiken omdat ze bijvoorbeeld verhuisd zijn.

• ze niet tot de doelgroep behoren, soms maak je gebruik van oude bestanden omdat er simpelweg geen nieuwere zijn. Het kan dan gebeuren dat de informatie die je hebt niet meer klopt waardoor je mensen werft die uiteindelijk niet geschikt blijken te zijn. Ze vallen niet meer binnen de beoogde populatie.

• ze niet mee konden doen, dit kan verscheidene redenen hebben. Iemand kan te ziek zijn om mee te doen, of tijdelijk naar het buitenland zijn verhuisd, ook analfabetisme kan bij schriftelijke werving een probleem vormen.

• ze weigerden om mee te doen, bepaalde groepen in de samenleving zijn lastig over te halen al kun je met de introductie van je onderzoek al ver komen. Vaak gebeurt deze introductie via een introductiebrief. Er blijven echter mensen die gewoon niet mee willen doen en daardoor afvallen.

• ze onvolledige informatie gaven, wanneer vragenlijsten te lang zijn of bijvoorbeeld saai zijn mensen sneller geneigd om de vragenlijst niet volledig in te vullen. Dit betekent echter vaak dat hun gegevens niet langer bruikbaar zijn omdat ze niet compleet zijn.

Selectieve non-respons

Non-respons hoeft niet altijd een probleem te vormen, zolang het maar niet om selectieve non-respons gaat. Dit houdt in dat de groep mensen die afhaakt andere kenmerken heeft dan de mensen die overblijven wat ervoor zorgt dat je steekproef niet langer representatief is. Je steekproef is dan niet langer a-select, maar select. Zeker bij een hoge non-respons is het handig om een aanvullend non-respons-onderzoek te doen om zo vast te kunnen stellen of de waarden van bepaalde variabelen nog wel overeenkomen met de waarden van diezelfde variabelen in de daadwerkelijke populatie. Mochten deze waarden namelijk geheel niet overeen komen dan kun je dadelijk aan de hand van je steekproefresultaten helemaal geen uitspraken doen over de daadwerkelijke populatie. Je kunt dan ook vaststellen in hoeverre de door jou in de steekproef gevonden gemiddelden al dan niet significant afwijken van het landelijk CBS-gemiddelde. Een andere standaard waarmee je jouw uitkomsten kunt vergelijken is de 'Gouden Standaard' een ijkingstandaard voor nationale en regionale steekproeven.

Hoe werkt het verzamelen van kwantitatieve onderzoekgegevens? - Chapter 4

Operationaliseren

Onderzoek doen houdt in dat je bepaalde kenmerken meet bij je onderzoekseenheden. Om dit op een zo goed mogelijke manier te doen is het van belang dat je je kenmerken vertaalt naar concreet meetbare termen. Dit vertalingproces wordt ook wel operationaliseren genoemd. Zodra je een bepaald kenmerk geoperationaliseerd hebt spreek je van een variabele. Deze variabelen kunnen verschillende waarden aannemen en deze waarden zijn afhankelijk van je vraagstelling. Kijkend naar de variabele 'leeftijd' kan iemand bijvoorbeeld 22 zijn of tussen de 21 en de 30 afhankelijk van je vraagstelling en de mogelijke antwoorden die je erbij geeft. We noemen deze geoperationaliseerde kenmerken dan ook variabelen omdat ze kunnen variëren. Kenmerken die gemakkelijk te operationaliseren zijn worden ook wel concepten genoemd, voorbeelden hiervan zijn leeftijd, geslacht, opleidingsniveau etc... Naarmate een kenmerk echter abstracter en complexer wordt, is het ook moeilijker om te bedenken hoe je je vraag het beste kunt formuleren om zo tot het duidelijkste antwoord te komen. Zo'n abstract en complex kenmerk dat je niet kunt operationaliseren met maar één vraag noem je een construct.

Centrale begrippen

Operationalisatie houdt dus in dat je een complex begrip vertaalt naar een concrete zaak. Maar hoe doe je dit eigenlijk? Hoe weet je zeker dat je alle aspecten van het begrip verwerkt hebt in je variabele? Neem bijvoorbeeld het begrip 'klantvriendelijkheid': door de verschillende dimensies waaruit dit begrip bestaat wordt het opeens een stuk complexer om een passende vertaling te vinden. Begrippen die opgebouwd zijn uit verschillende dimensies, deelaspecten, worden ook wel heterogene begrippen genoemd. Om deze verschillende dimensies goed in kaart te brengen dien je een bepaald stappenplan te volgen:

1. Definieer het begrip, het makkelijkst is om je eerst in bestaande literatuur in te lezen en om dan te kijken hoe andere onderzoekers bepaalde begrippen definiëren. Ook kan het nuttig zijn gebruik te maken van een thesaurus. Als je een begrip definieert is het de bedoeling dat je ervoor zorgt dat het voor iedereen duidelijk is wat je met de begrippen bedoelt en dus wat je wél en níet gaat onderzoeken.

2. Specificeer de verschillende dimensies die verbonden zijn aan het te onderzoeken begrip.

3. Specificeer de verschillende indicatoren, een indicator is een concretere uitwerking van een begrip of in dit geval de dimensies van een begrip. Bij constructen zal het nodig zijn om meerdere indicatoren vast te stellen terwijl bij een concept je vaak voldoende hebt aan één.

4. Specificeer de items waarin je de indicatoren wilt uitdrukken, dit kunnen zowel enquêtevragen als bijvoorbeeld scoringscategorieën zijn.

Dataverzamelingsmethodes

Wanneer je eenmaal hebt vastgesteld wat je precies wil weten zijn er een aantal manieren om informatie te verzamelen. Zo kun je gebruik maken van bestaande informatie, je kunt zelf interviews of vragenlijsten afnemen of je kunt zelf gaan observeren. Het voordeel van het gebruiken van bestaande informatie is dat de kosten vaak laag zijn en het in verhouding minder tijd in beslag neemt. Er zijn veel openbaar toegankelijke gegevens beschikbaar die je kunt opvragen en gebruiken, soms tegen een kleine vergoeding. Daarnaast zijn er situaties waarin je niet anders kan dan gebruik maken van bestaande gegevens, denk hierbij aan historisch onderzoek. In dit soort gevallen is het niet meer mogelijk om zelf te observeren of interviews en vragenlijsten af te nemen. Mocht het niet lukken om met bestaande gegevens je onderzoeksvraag te beantwoorden dan kun je ervoor kiezen om of zelf te observeren of om vragen te stellen. Vragen stellen doe je óf in de vorm van een interview óf door iemand een vragenlijst in te laten vullen. Vragenlijsten zijn een gestructureerde vorm van interviewen. Het afnemen van interviews is een veelgebruikte manier om gegevens te verzamelen, het is vooral nuttig wanneer je wilt weten wat er in mensen hun hoofd omgaat. De enige manier om hierachter te komen is namelijk om het de mensen zelf te vragen. Interviews kunnen echter wel een probleem zijn als het vragen betreft over het verleden, dan ben je namelijk afhankelijk van het geheugen van de respondenten. Daarnaast ben afhankelijk van de eerlijkheid van de gegeven antwoorden, zeker bij gevoelige zaken hebben respondenten vaak de neiging om de situatie mooier voor te doen dan dat hij werkelijk is, dit leidt tot sociaal wenselijke antwoorden. Om de invloed van dit soort antwoorden zo veel mogelijk te beperken kun je gebruikmaken van de 'randomised response', je maakt bij deze methode gebruik van kansen. Observeren heeft daarentegen vooral zin als je wilt weten hoe mensen zich in bepaalde situaties gedragen. Over het algemeen levert observeren betrouwbaardere informatie dan wanneer je ervoor kiest om interviews af te nemen. Het probleem met observeren is dat er bepaalde gedragingen zijn die maar heel sporadisch voorkomen, hoe observeer je deze dan op zo'n manier dat het wel representatief is? Neem bijvoorbeeld ongewenst gedrag. Daarnaast kost observeren veel tijd wat ervoor kan zorgen dat mensen er toch liever voor kiezen om een enquête af te nemen.

Gestructureerd of ongestructureerd data verzamelen?

Bij alle genoemde vormen van dataverzameling die we hierboven besproken hebben komt zowel gestructureerde als ongestructureerde dataverzameling voor. Gestructureerde dataverzameling houdt in dat je van tevoren precies weet welke informatie je nodig hebt om je onderzoeksvraag te beantwoorden. Ongestructureerde dataverzameling daarentegen houdt in dat je van tevoren geen vast lijstje met vragen en aandachtspunten hebt.

Interviews

Het gestructureerd afnemen van interviews of enquêtes houdt in dat je werkt met een vragenlijst waarin de antwoordmogelijkheden al zijn opgenomen. Deze vorm van onderzoek doen past goed bij een kwantitatief onderzoek. In dit geval zou een kwalitatief onderzoek juist een ongestructureerde aanpak vragen. Bij een open interview stel je een open beginvraag of heb je een lijstje met aandachtspunten maar de antwoordalternatieven zijn van tevoren nog niet vastgesteld.

Observatie

Wanneer je ervoor kiest om via observatie gegevens te verzamelen kun je of van tevoren een lijstje te maken, een observatieformulier, waarop je tijdens het observeren alleen nog maar hoeft af te vinken (gestructureerd). Of je kiest ervoor om alleen aantekeningen te maken tijdens het observeren waar je later conclusies uit trekt, zonder dat er vooraf punten afgesproken zijn waar specifiek op gelet dient te worden (ongestructureerd).

Bestaande data

Ook bij bestaande data kun je ervoor kiezen om dit op een gestructureerde of een ongestructureerde manier door te nemen. Je kunt vooraf een paar punten vaststellen waarop je gaat letten of je kunt tijdens het proces aantekeningen maken, wat valt je op, zonder dat je van tevoren weet welke richting je opgaat.

De keuze voor een gestructureerde of ongestructureerde aanpak is afhankelijk van de complexiteit van het te onderzoeken onderwerp maar ook van je voorkennis. Voor complexe onderwerpen waar je zelf nog nauwelijks iets tot niks van weet kies je een ongestructureerde aanpak. Wat logisch is aangezien het lastig is een gestructureerde vragenlijst op te stellen als je nog bijna niks over het onderwerp zelf weet. Als je wel veel van het onderwerp weet, of het is een iets minder ingewikkeld onderwerp dan kun je er uiteraard wel voor kiezen om een gestructureerde vragenlijst samen te stellen. Het is ook mogelijk om eerst door middel van een ongestructureerd onderzoek gegevens te verzamelen om je te oriënteren om daarna alsnog op een gestructureerde manier data te gaan verzamelen. Bij goed afgebakende onderwerpen is er soms een standaardaanpak beschikbaar waardoor het niet nodig is om vooronderzoek te doen. Het kan ook nuttig zijn om voor je aan je onderzoek begint eerst te informeren of er misschien al vragenlijsten of andere meetinstrumenten beschikbaar zijn voor het soort onderzoek dat je wil gaan doen. Dit scheelt weer tijd en geld. Ook via literatuurstudie kun je veel zaken achterhalen, let ook op de meetinstrumenten die andere onderzoekers in soortgelijke onderzoeken hebben gebruikt. Test bestaande instrumenten echter wel altijd eerst voordat je er gebruik van gaat maken. Gestructureerde informatieverzameling wordt over het algemeen verkozen boven een ongestructureerde aanpak omdat de resultaten preciezer zijn doordat ze minder afhankelijk zijn van toeval.

Directe en indirecte gegevensverzameling

Wanneer je voor je onderzoek complexe of abstracte begrippen dient te onderzoeken is het soms lastig om dit te doen aan de hand van een directe meting. In plaats daarvan kun je kiezen voor een indirecte meting. Je onderzoekt het te meten begrip dan aan de hand van een aantal concrete indicatoren die ermee samenhangen. Er zijn echter ook andere redenen om hiervoor te kiezen, denk hierbij bijvoorbeeld aan onderwerpen die te bedreigend zijn om op een directe manier naar te vragen.

Interviews

Wanneer je iemand vraagt naar zijn leeftijd of geslacht is dit een directe manier van meten, er zijn echter vele begrippen die een stuk complexer en abstracter zijn dan leeftijd of geslacht. In dit soort situaties kan het handig zijn om ervoor te kiezen een indirecte meting te doen. Veel operationaliseringen van abstracte begrippen zijn indirecte metingen, in plaats van mensen naar een bepaald begrip te vragen vraag je naar kenmerken van dat begrip die er nauw mee samenhangen, indicatoren.

Observatie

Ook observatie kan zowel op een directe manier als een indirecte manier gebeuren. Een voorbeeld hiervan is bijvoorbeeld een museum dat de populariteit van de getoonde kunstwerken wilde meten en dit deed aan de hand van een meting naar de slijtage van de vloertegels. In plaats van gedrag op een directe manier te observeren, kun je soms ook naar de gevolgen van gedrag kijken om zo alsnog antwoord te geven op je onderzoeksvraag. Deze vorm van metingen verrichten wordt ook wel de niet-ingrijpende meting genoemd. Het voordeel is dat je niet hoeft in te grijpen in een bepaalde situatie door middel van een observatie maar dat je op een ander moment, op een andere manier, metingen kun verrichten. Doordat mensen het niet door hebben en er geen last van hebben loop je een veel kleiner risico dat ze hun gedrag gaan aanpassen of sociaal wenselijke antwoorden gaan geven. Deze manier van onderzoek doen wordt vooral gebruikt wanneer er onderzoek gedaan wordt naar ongewenst gedrag. Houd er echter wel rekening mee dat als de onderzochte mensen zelf niets afweten van het onderzoek je op moet passen dat je geen inbreuk maakt op hun privacy, gebruik daarom vooral openbare informatie.

Bestaande data

Als je gebruik maakt van bestaande gegevens is het ook mogelijk om te kiezen tussen een directe en een indirecte aanpak. Kies je voor een indirecte manier om een bepaald begrip of een bepaald onderwerp te onderzoeken dan neem je dus niet het te onderzoeken onderwerp of begrip zelf maar iets dat er dichtbij ligt, dat het omschrijft, of dat deel uitmaakt van het begrip om zo alsnog tot een conclusie te komen.

In veel gevallen hebben directe metingen toch de voorkeur, waarom je zou je via een omweg iets onderzoeken als het ook rechtstreeks kan? Directe metingen zijn echter niet altijd mogelijk waardoor een indirecte meting de enig overgebleven optie is. Houd er wel rekening mee dat de validiteit van een indirecte meting over het algemeen lager ligt dan de validiteit van een directe meting. Hoe indirecter de meting hoe groter de kans dat het onderzochte begrip afwijkt van het begrip dat je in eerste instantie wilde onderzoeken. Het kan zelfs gebeuren dat je uiteindelijk iets heel anders onderzoekt dan dat je in gedachten had.

Het meetniveau van de gemeten kenmerken

Een begrip bestaat uit verschillende indicatoren en elke indicator is weer opgebouwd uit verschillende items. Maar hoe formuleer je die items nou precies? Er zijn verschillende typen variabelen te onderscheiden, namelijk: nominale, ordinale, interval- en ratiovariabelen. Nominale variabelen zijn variabelen die maar op één manier te meten zijn, je noemt ze ook wel categorische variabelen. Ze hebben een nominaal meetniveau wat inhoudt dat wanneer je de verschillende categorieën aanduidt met cijfers, de cijfers op zich niets betekenen. De enige reden waarom je codes gebruikt is omdat je zo onderscheid maakt tussen de categorieën respondenten. Denk bijvoorbeeld aan het begrip geslacht. Je geeft de mannen het cijfer 1 en de vrouwen het cijfer 2, of andersom. Met deze cijfers valt niet te rekenen, het zijn immers alleen labels.

Ordinale variabelen daarentegen, wanneer omgezet in cijfers, hebben wel degelijk een logische ordening. Een hoger cijfer, hogere score, betekent méér dan een lagere score, al is niet vast te stellen hoeveel meer dit dan precies is. Een ordinale variabele geeft dus de rangorde aan.

In tegenstelling tot nominale en ordinale variabelen is het interval- of ratiovariabelen wel degelijk mogelijk om te rekenen. Het zegt niet alleen iets over de rangorde van de scores maar ook over de grootte van de verschillen tussen de verschillende scores. Het verschil tussen de twee soorten variabelen is echter dat er bij een intervalvariabele geen sprake is van een absoluut nulpunt terwijl een ratiovariabele dit wel heeft. Denk hierbij bijvoorbeeld aan het begrip temperatuur. Het verschil tussen 40°C en 45°C is even groot als het verschil tussen 30°C en 35°C (intervalvariabelen). Meet je de temperatuur echter met een andere meetschaal, neem bijvoorbeeld Kelvin, dan kun je niet alleen rekenen met de verschillende temperaturen maar heb je ook nog een absoluut nulpunt. De schaal van Kelvin begint namelijk bij een absoluut nulpunt, terwijl hetzelfde punt in °C gelijk is aan -273°C. Bij zowel interval- als ratiovariabelen bereken je vaak gemiddelden.

Antwoordschalen

Bij gebruik van antwoordschalen zijn er een aantal factoren waar rekening gehouden moet worden, wat voor soort antwoordschaal gebruik je, welk meetniveau past daar het beste bij, hoe combineer je de itemscores met de totaalscore en ook het gebruik van bestaande meetinstrumenten kan van invloed zijn.

• Wat voor soort antwoordschaal gebruik je? Het verschilt per begrip hoeveel mogelijke antwoorden er zijn en hoe complex het onderzoek is. Vandaar dat er vaak gebruik gemaakt wordt van antwoordschalen, dit zorgt ervoor dat je niet alle mogelijke antwoorden hoeft op te nemen in je vragenlijst. In plaats daarvan kies je ervoor om mensen op een van tevoren vastgestelde schaal in te laten vullen wat ze van een bepaalde situatie vinden. Dit kan een tevredenheidschaal zijn, '1 = zeer ontevreden' en '5 = zeer tevreden', maar ook frequentieschalen komen vaak voor, '1 = nooit' en '10 = altijd'. Probeer echter wel, wanneer je gebruik maakt van antwoordschalen, één antwoordschaal tegelijk te gebruiken anders kan het voor verwarring zorgen.

• Welk meetniveau past het beste bij mijn antwoordschaal? Bij het kiezen van een meetniveau dien je altijd het hoogst mogelijke meetniveau te gebruiken.

• Hoe kun je de itemscores combineren tot een totaalscore? Antwoordschalen bestaan uit gegevens op ordinaal niveau, er zit ordening in maar verder valt er niet mee te rekenen. Vaak worden de antwoorden op een aantal items gecombineerd tot een totaalscore, de opgetelde score van een aantal items of het gemiddelde. Wel dien je bij het berekenen van de totaalscore rekening te houden met eventuele ontbrekende gegevens (iemand heeft bijvoorbeeld maar 9 van de 10 vragen ingevuld). Je zou dit probleem kunnen oplossen door niet het totaal maar het gemiddelde te berekenen.

• Het gebruik van reeds bestaande meetinstrumenten. Door gebruik te maken van meetinstrumenten die al in andere onderzoeken gebruikt zijn kun je jezelf een hoop werk besparen. Deze meetinstrumenten zijn vaak al meerdere malen getest en in verschillende talen verkrijgbaar, op deze manier hoef je niet alle mogelijke antwoorden in een vragenlijst zelf te bedenken.

De betrouwbaarheid van mijn meting

Betrouwbaarheid is de mate waarin een meting beïnvloed wordt door toevallige fouten. Hoe groter de afhankelijkheid van toeval hoe onbetrouwbaarder de meting. Ook het meetinstrument of het tijdstip waarop de meting plaatsvindt kan reden zijn voor toevallige reacties. Door voor elke indicator meerdere items in je vragenlijst te verwerken sluit je deze toevalligheden tot op zekere hoogte uit. Een handige manier om de betrouwbaarheid van je test na te gaan is door de gegevens na te gaan in de test-hertestmethode, je herhaalt dezelfde test dan nog een keer. Ook bij observatie kan deze methode handig zijn, je laat dan dezelfde observator nogmaals hetzelfde soort gedrag beoordelen. Dit noem je ook wel de intra-beoordelaarsbetrouwbaarheid. De mate waarin de scores dan overeenkomen zegt dan iets over de betrouwbaarheid van je gedane metingen. In de praktijk is het uitvoeren van een test-hertestonderzoek vaak lastiger dan het lijkt, het is al moeilijk genoeg om respondenten te vinden die één keer aan een onderzoek mee willen doen, laat staan twee keer. Daarnaast kan het zijn dat er tussen de eerste en de tweede meting een incident heeft plaatsgevonden dat invloed heeft op de antwoorden die de respondent geeft. Het vast te stellen verschil heeft in zo'n situatie helemaal niks te maken met de betrouwbaarheid van de meting.

Er zijn ook andere manieren beschikbaar waarop je iets kunt zeggen over de betrouwbaarheid van een bepaalde meting. Zo kun je letten op de homogeniteit van de antwoorden op de verschillende vragen die je stelt om één en hetzelfde begrip te meten. Als het goed is hangen de antwoorden op deze vragen samen aangezien ze hetzelfde proberen te meten. Als toch blijkt dat er een aantal vragen zijn die niet samenhangen met de andere vragen dan kun je er bijvoorbeeld voor kiezen om die vragen in het vervolg weg te laten, of niet mee te nemen in de berekening van de totaalscore.

Wanneer je onderzoek doet aan de hand van observaties loop je het risico dat de beoordelaar invloed heeft op de uitkomsten. Dit kan grote gevolgen hebben voor je onderzoek, vandaar dat het handig kan zijn om gebruik te maken van meerdere beoordelaars aangezien je dan niet afhankelijk bent van het oordeel van één bepaald persoon. De samenhang tussen de scores van de verschillende beoordelaars wordt ook wel de inter-beoordelaarsbetrouwbaarheid genoemd. Hoe groter de samenhang hoe betrouwbaarder de resultaten van het onderzoek.

Validiteit

Validiteit houdt in dat je meet wat je wil meten, dit klinkt misschien vanzelfsprekend maar in de praktijk is het dit vaak niet. Wanneer je iemand vraagt naar zijn betrouwbaarheid op een schaal van 1 tot 10, zal dit hoogstwaarschijnlijk geen valide meting zijn. Iemand die zichzelf betrouwbaar acht maar dit niet uit in zijn gedrag zal waarschijnlijk blijven denken, onafhankelijk van het tijdstip waarop de meting gedaan wordt, dat hij of zij betrouwbaar is. Fouten die altijd dezelfde richting en dezelfde grootte hebben noem je systematische fouten. Een van de grootste problemen voor de validiteit van een meting zijn sociaal wenselijke antwoorden, mensen vertellen vaak niet de hele waarheid waardoor je een vertekend beeld krijgt. Er zijn twee vormen van validiteit waar je rekening mee moet houden bij het uitvoeren van je onderzoek.

1. Begripsvaliditeit

2. Predictieve validiteit

Bij begripsvaliditeit dien je je af te vragen of je daadwerkelijk het begrip meet dat je wil meten. Je vergelijkt jouw resultaten dan met de resultaten van soortgelijke onderzoeken. 0 houdt dan in dat er helemaal geen overeenkomst is (niet valide) en 1 dat de resultaten volledig identiek zijn (volledig valide). Deze vorm van validiteit is dus alleen te berekenen wanneer er andere meetinstrumenten bestaan die hetzelfde begrip meten en als je ze beide kunt toepassen in je onderzoek. Predictieve validiteit meet de samenhang tussen twee verschillende begrippen om er uiteindelijk voorspellingen over te maken. Denk bijvoorbeeld aan de Cito-toets die moet voorspellen hoe een kind het op de middelbare school gaat doen. De resultaten van deze toets vergelijk je met de reeds behaalde schoolcijfers om zo een goede voorspelling te kunnen doen. Validiteit vormt vooral een probleem bij indirecte metingen, zorg er dus voor dat de indicatoren die je gebruikt in je onderzoek je te onderzoeken begrip zo goed mogelijk omschrijven. Voor de duidelijkheid kun je nog een pre-test doen zodat, mocht er iets veranderd moeten worden, je de veranderingen vóór je daadwerkelijke onderzoek nog aan kunt brengen.

Betrouwbaarheid is geen garantie voor validiteit, maar wel een voorwaarde. Als een meting niet betrouwbaar is kan hij ook niet valide zijn. Je doet dus pas onderzoek naar de validiteit van een meting nadat je hebt vastgesteld dat hij betrouwbaar is.

Hoe werkt het analyseren van bestaande kwantitatieve onderzoekgegevens? - Chapter 5

Voordat je aan je onderzoek begint is het handig om te kijken welke informatie betreffende het te onderzoeken onderwerp al beschikbaar is in de vorm van bestaande gegevens. Wanneer je deze reeds bestaande gegevens wil analyseren in de vorm van een kwantitatief onderzoek wordt er ook wel gesproken van 'onderzoek met bestaande gegevens'. Om gebruik te kunnen maken van bestaande niet-numerieke gegevens dien je deze eerst om te zetten in getallen. Literatuuronderzoek is, veel mensen vergissen zich hierin, geen vorm van 'onderzoek met bestaande gegevens', literatuuronderzoek houdt namelijk in dat je relevante informatie opspoort voor de opzet van je onderzoek. Het is een vorm van verdieping. Onderzoek met bestaande gegevens en documentanalyse daarentegen is een manier om gegevens te verzamelen en te bewerken en verschilt dus van literatuuronderzoek.

Het gebruik van bestaande gegevens

Er zijn verschillende manieren om gebruik te maken van bestaande informatie. Afhankelijk van de vorm waarin je de gegevens aantreft kan het nodig zijn ze eerst om te zetten naar cijfers. Bestaande numerieke gegevens daarentegen zijn al cijfermatige en statistische gegevens die bijvoorbeeld door instellingen en instanties geregistreerd zijn, ook kunnen het interne gegevens van een bedrijf betreffen. Je verzamelt deze gegevens om ze op een later moment te kunnen bewerken, de analyses van deze informatie worden ook wel primaire analyses genoemd omdat het cijfers uit eerste hand betreft. Daarnaast kun je gegevens tegen komen die nog niet gestructureerd zijn, zoals ingezonden brieven, krantenadvertenties of berichten op sociale media. De inhoud van deze documenten analyseer je om ze daarna in te delen in begripsmatige categorieën. Door de gegevens om te zetten in getallen creëer je de mogelijkheid om een kwantitatieve inhoudsanalyse uit te voeren.

Een andere vorm van onderzoek doen met bestaande gegevens is door middel van hergebruik van onderzoekgegevens. Numerieke gegevens uit reeds uitgevoerde onderzoeken gebruik je in dit geval voor het beantwoorden van nieuwe onderzoeksvragen. Mocht je interesse hebben in deze vorm van onderzoek doen neem dan contact op met de instantie die het onderzoek heeft uitgevoerd om zo toestemming te krijgen de onderzoeksgegevens te gebruiken voor je eigen onderzoek. De analyse die je vervolgens uitvoert noem je ook wel een heranalyse of een secundaire analyse. Je spreekt van een secundaire analyse als je het databestand voor andere onderzoeksdoeleinden gebruikt dan het origineel. Je voert een nieuwe analyse uit om antwoord gegeven op een andere onderzoeksvraag dan gesteld werd in het originele onderzoek.

Tot slot kun je ervoor kiezen om de uitkomsten van verschillende reeds uitgevoerde onderzoeken opnieuw te analyseren om zo de onderlinge samenhang te kunnen vaststellen. Deze vorm van analyseren wordt meta-analyse genoemd. Je doet in principe een her-analyse van een groot aantal verschillende onderzoeksresultaten. Een meta-analyse is een overstijgende vorm van onderzoek doen, je brengt de resultaten van enkelvoudige onderzoeken op een hoger abstractieniveau.

Je kiest voor deze vorm van onderzoek als je last hebt van een overmaatprobleem, je hebt keuze uit te veel verschillende onderzoeksalternatieven. Een voorwaarde voor het analyseren van uitkomsten van verschillende verrichte onderzoeken is dat je voldoende vergelijkingsmateriaal moet hebben. Daarnaast dien je als onderzoeker niet te kieskeurig te zijn met het uitzoeken van geschikte onderzoeken. Zo komt het vaak voor dat negatieve resultaten niet meegenomen worden in de analyse waardoor de uitkomst positiever is dan de werkelijkheid. Het verschil tussen een meta-analyse en een literatuuroverdracht is dat je niet alleen een beschrijving geeft maar ook daadwerkelijk analyseert.

Interne of externe bestaande gegevens?

Interne reeds voorhanden gegevens

Dit zijn gegevens die binnen een organisatie of bedrijf vastgelegd zijn. Deze gegevens hoeven niet per definitie bijgehouden te worden om voor onderzoek gebruikt te worden. Vaak is het om een overzicht te hebben van een bepaalde situatie. Zo houdt een docent bijvoorbeeld gegevens van zijn leerlingen bij om hun ontwikkelingen te kunnen volgen. Interne gegevens zijn vaak relevant en vaak ook gratis wat het zeer geschikte informatie maakt voor het beantwoorden van gerelateerde onderzoeksvragen.

Externe reeds voorhanden gegevens

Dit zijn gegevens die je van buiten de organisatie haalt waar je onderzoek voor doet. De locaties waarop deze gegevens worden opgeslagen heten databronnen. Dit zijn de archieven en dossiers van de instanties en professionals die deze informatie verzamelen. Voorbeelden van databronnen zijn:

• Bronnen van de overheid, denk hierbij aan het CBS (Centraal Bureau voor de Statistiek) of het SCP (Sociaal Cultureel Planbureau). Dit zijn organisaties die bepaalde soorten gegevens systematisch vastleggen. Een manier om tot deze gegevens te komen is de website http://www.opendatanederland.org. Hier vindt je alle open data van de Nederlandse overheid.

• Commerciële bronnen, er zijn een aantal onderzoeksbureaus die regelmatig databases publiceren met uitgevoerde onderzoeken. Vaak moet je echter wel betalen om deze bronnen te kunnen raadplegen.

• Academische databestanden, ook op Google kun je wetenschappelijke data zoeken, voeg aan je zoekterm dan de woorden 'data download' toe.

• Bronnen met bedrijfsgegevens, je gebruikt deze bronnen vaak om een concurrentieonderzoek te doen. De KvK beschikt over veel van deze gegevens. De jaarverslagen staan vaak ook op de site van de bedrijven zelf, er zijn echter ook databases die je kunt raadplegen voor dit soort informatie.

• Archieven met onderzoeksdata, deze informatie kun je vinden op sites zoals de Archiefwikisite of Archiefnet.

• Internetbronnen, er zijn verschillende externe bestaande gegevens te vinden op het internet die niet in de eerder genoemde categorieën vallen. Eén hiervan is Google News Search Archive, deze zoekmachine laat zien hoe vaak een bepaald onderwerp de afgelopen jaren in het nieuws is geweest.

Het is ook mogelijk om zowel gebruik te maken van interne bestaande gegevens als externe bestaande gegevens en ze samen te voegen. Zo zijn er veel commerciële instellingen die delen van reeds bestaande klantendatabases opkopen om zo hun eigen (interne) database aan te vullen. Deze manier van samenvoegen noem je ook wel dataverrijking.

Voor- en nadelen van het gebruik van bestaande gegevens in je onderzoek

Voordelen

• Je kunt snel en relatief goedkoop aan gegevens komen.

• Je loopt niet het risico dat de onderzoeker invloed heeft op de onderzoeksresultaten, aangezien de meeste data non-reactief en niet met het oog op onderzoek zijn verzameld. Non-reactief houdt in dat de originele situatie niet verstoord is door het onderzoek.

• Je kunt gegevens gebruiken van mensen die niet meer leven of niet meer te benaderen zijn. Je kunt gebruikmaken van gegevens die tegenwoordig niet meer toegankelijk zijn.

• Je hebt de mogelijkheid om een longitudinaal onderzoek te verrichten, veel van de beschikbare informatie, zeker die van statistische aard, wordt al jarenlang verzameld.

• Je hebt toegang tot grote hoeveelheden data, hierdoor wordt de onbetrouwbaarheidsmarge kleiner en kun je dus meer algemene uitspraken doen.

Nadelen

• Je hebt kans dat de weergave van bepaalde gegevens anders is dan jij als onderzoeker wenst of dat er bepaalde gegevens ontbreken die wel van belang zijn voor je onderzoek. Je loopt dus het risico dat je te maken hebt met vertekende of onvolledige onderzoeksresultaten.

• Je hebt kans dat de gegevens verouderd zijn.

• Je hebt kans dat de benodigde gegevens niet toegankelijk zijn of maar beperkt toegankelijk. Dit kan veroorzaakt worden door de privacygevoeligheid van bepaalde gegevens, een toestemmingsprocedure, anonimiteit van de respondent, verspreide plaatsen waarop delen van de gegevens te vinden zijn, moeilijkheden met de overdraagbaarheid of de staat van de gegevens maakt het lastig om de gegevens te gebruiken.

Het verzamelen van gegevens via sociale media

Losse berichten op sociale media lijken misschien oninteressant als onderzoeksgegevens, het zijn er echter zo veel dat wanneer je ze analyseert je wel degelijk een representatief beeld krijgt van wat een mens zoal bezighoudt. Zo gebruikt het programma X-factor de reacties op social media om tijdens het programma veranderingen aan te brengen aan de hand van de kritiek die ze online vinden.

Een voordeel van social media is dat het erg bereikbaar is, daarnaast komt het uit de eerste hand en is het letterlijk wat de respondenten zelf getypt hebben (ze zijn niet beïnvloed door het feit dat ze onderzocht werden). Nadelig kan het echter zijn dat niet alle bevolkingsgroepen evenredig actief zijn op de social media.

De kwaliteitsbeoordeling

Het wordt lastig om onzorgvuldig of verkeerd vastgelegde informatie te herstellen, wees daarom in eerste instantie kritisch bij het beoordelen van de kwaliteit van de bestaande gegevens die je gaat gebruiken. Wanneer je bijvoorbeeld niet op de hoogte bent van het doel van het gedane onderzoek, zijn vaak ook de gegevens lastig te interpreteren. Daarnaast kan de manier van dataverzameling van invloed zijn op de kwaliteit van de gegevens. Wat was de kwaliteit van de invuller van de gegevens, had hij of zij ervaring? Ligt de moeilijkheidsgraad van de vragen hoog of juist laag? Waren er vragen die privacygevoelig waren of werden er vragen gesteld over een onderwerp dat eigenlijk taboe is? Is er gedurende het onderzoek van meetinstrument of werkwijze gewisseld? Ook als de respondenten op een selectieve manier zijn gekozen kan dit grote invloed hebben op de kwaliteit van de onderzoeksresultaten. Houd hier dus rekening mee. Door de tijd heen kan het zijn dat verschillende definities van begrippen of omschrijvingen van bepaalde verschijnselen veranderd zijn. Kijk dus goed of de betekenis van de gegevens nog wel klopt.

Hoe gebruik je vragenlijsten en interviews in empirisch kwantitatief onderzoek? - Chapter 6

Waarom zou je kiezen voor het afnemen van vragenlijsten en interviews in plaats van andere data-verzamelingmethodes? Aan de hand van interviews (hiermee worden zowel vragenlijsten, enquêtes als interviews bedoeld) kun je uitspraken doen over de attitudes, opinies, gevoelens, gedachten en kennis van de respondenten. Vooraf is het van belang dat je je begrippen goed definieert en operationaliseert. Verder dien je er rekening mee te houden dat niet alle verkregen informatie valide is. De redenen hiervoor verschillen, zo kan het zijn dat het gedrag uit het verleden betreft waardoor je afhankelijk bent van het geheugen van de respondent of juist toekomstig gedrag. Daarnaast komt het regelmatig voor dat mensen sociaal wenselijke antwoorden gaan geven omdat ze zich bijvoorbeeld schamen. Verder vormt de non-respons een probleem, zeker wanneer de respondenten die niet mee doen in kenmerken verschillen van de mensen die wél meedoen. Dan houdt je een selecte groep over die niet representatief is voor de werkelijkheid.

Het afnemen van interviews

De voor- en nadelen

Er zijn verschillende manieren waarop je interviews of vragenlijsten af kan nemen. De eerste keuze die je zal moeten maken is of je dit schriftelijk of mondeling wilt gaan doen. Wanneer je ervoor kiest om een mondeling interview te gaan doen heb je drie mogelijkheden voor wat betreft de vorm hiervan.

Ten eerste kun je ervoor kiezen om een face to face afname te doen. Dit houdt in dat je bijvoorbeeld mensen op straat benadert, huis aan huis gaat of op een bepaalde locatie afspreekt.

Ten tweede is het mogelijk om het interview telefonisch te laten plaatsvinden. Op deze manier bespaar je op de reiskosten en heb je alsnog de mogelijkheid om zelf de vragen te stellen. Veel onderzoekers vinden dit prettig omdat ze op deze manier zeker weten dat alle vragen gesteld zijn en mocht het nodig zijn om nog verder op de antwoorden van de respondent in te gaan dan kan dit door middel van vervolgvragen. Als je besluit een schriftelijke afname te doen, verstuur je de vragenlijst. Dit kan zowel per e-mail als per post. In dit geval krijg je de antwoorden pas na afloop van het metingmoment binnen. Deze vorm van afname is een stuk sneller en goedkoper dan de mondelinge afnamevarianten.

Er zijn een aantal punten die je kunnen helpen beslissen welke afnamevariant het beste past bij het beoogde onderzoek,

• Het aantal vragen dat je wil stellen. Wanneer je een enquête schriftelijk afneemt kun je maar een beperkt aantal vragen stellen, is de enquête te lang dan heeft de respondent geen zin meer en zullen de antwoorden hierdoor beïnvloed worden. Een voordeel van een mondelinge afname is dat je meer diepgang aan kunt brengen in je vragen en ze eventueel zelf nog toe kan lichten. Je hoeft dus niet van tevoren je vragen al perfect geformuleerd te hebben en ook hoef je niet vooraf alle antwoordmogelijkheden op een rijtje te zetten. Daarnaast kun je in een mondelinge vragenlijst ook open vragen zetten terwijl dit bij een schriftelijke afname een stuk moeilijker wordt. Mensen hebben vaak geen zin om veel te typen en haken daardoor af.

• Het benodigde aantal respondenten. Het aantal respondenten dat je wil en kan bereiken is grotendeels afhankelijk van het feit of je over een goede database beschikt ja of nee. Zo zal het bij een onderzoek naar studenttevredenheid makkelijk zijn om toegang te krijgen tot een database met e-mailadressen. Mochten mensen uit een oudere generatie je onderzoekseenheden zijn dan kan dit echter wat lastiger worden. Daarnaast kost een groot aantal respondenten bij een mondelinge afname heel veel extra tijd, terwijl dit bij een schriftelijke afname bijna geen extra tijd kost. Een beperkt aantal respondenten kan de representativiteit van je onderzoek wel beïnvloeden dus houd je steekproef zo klein mogelijk maar niet té klein.

• De respons, het verschilt per deelpopulatie welke afnamevariant de grootste respons heeft. Zo zal een schriftelijke afname bij hoger opgeleiden een beter effect hebben en een mondelinge afname bij lager opgeleiden een hoger effect hebben.

• Beschikbare hoeveelheid geld en tijd. Een belangrijke randvoorwaarde bij het kiezen van je afnamevariant is de beschikbare hoeveelheid tijd en geld. Mondelinge afnamen nemen zowel meer tijd als geld in beslag aangezien je vaak ook nog met reis- en verblijfkosten zit, mocht dit binnen je budget niet mogelijk zijn dan ben je dus genoodzaakt een schriftelijke afname te doen.

• Belasting. Het is al lastig genoeg om respondenten te vinden, houd er met het maken van een vragenlijst dan ook rekening mee dat hij niet te lang is. Probeer de belasting voor de respondent zo laag mogelijk te houden. Een mondelinge afname is tijdrovend en intensiever voor de respondent dan een schriftelijke afname. Je loopt bij een schriftelijke afname echter wel het risico op een lage respons. Houd hier dus rekening mee bij het bepalen van je afnamevariant.

• Controleerbaarheid. Er zijn twee soorten controleerbaarheid waar je rekening mee dient te houden. Ten eerste wil je weten wie de vragenlijst precies heeft ingevuld. Als je per post een vragenlijst verstuurt weet je nooit zeker of degene aan wie hij geadresseerd was hem ingevuld heeft of diegene zijn of haar partner, zoon of dochter. Ten tweede kun je bij een schriftelijke afname pas achteraf vaststellen of de gegevens compleet zijn. Zijn alle vragen beantwoord? Zijn de antwoorden volledig? De controleerbaarheid van mondelinge afnamen is daardoor beter dan die van schriftelijke afnamen. In online-afnamen zit echter wel vaak een vorm van controle ingebouwd. Zo kan je niet door naar de volgende vraag als je die ervoor nog niet ingevuld hebt.

• Sociale wenselijkheid. Respondenten willen graag goed overkomen en maken de antwoorden daarom mooier dan ze zijn. Ze geven sociaal wenselijke antwoorden. Dit vormt vooral bij mondelinge afnamen een probleem, door de schaamte van de respondenten kan het dan voorkomen dat de gegeven antwoorden mooier zijn dan de werkelijkheid, je krijgt dus een vertekend beeld.

Computerondersteunend interviewen

Synchroon of a-synchroon in tijd

Je spreekt van synchroon (in de tijd) enquêteren wanneer er directe interactie is tussen de interviewer en de respondent. De interviewer kan dus direct reageren op de antwoorden van de respondent, ze zijn dus op hetzelfde moment online. Er zijn een aantal programma's die je hier als onderzoeker voor kunt gebruiken. CAPI (Computer Assisted Personal Interviewing) is een computerprogramma dat je de mogelijkheid geeft om je vragen reeds voor het interview vast te leggen waardoor je ze tijdens het face to face interview alleen nog maar hoeft op te lezen. Daarnaast kan je de routing van de vragen aangeven, wanneer een bepaalde vraag door een eerder gegeven antwoord niet meer van toepassing is kan je de respondent deze over laten slaan. Wanneer je over internet beschikt zal het programma de ingevoerde gegevens direct verwerken en doorsturen. Je leest als interviewer de vragen dus persoonlijk voor en voert de antwoorden ook zelf, handmatig in.

Een ander beschikbaar programma, CATI (Computer Assisted Telephone Interviewing), helpt je bij het doen van telefonische interviews. Ook hier leest de interviewer direct de vragen op van het scherm om dan via de telefoon het antwoord van de respondent te ontvangen. Het antwoordt typt de interviewer in en de ingevoerde gegevens worden direct verzonden. Ook dit programma heeft het voordeel van een routingprocedure.

Als laatste kun je gebruik maken van verschillende chatprogramma's. De vragen die je hebt geformuleerd kun je online klaarzetten om ze op het juiste moment te kunnen stellen. Door het interview via de chat af te nemen kun je doorvragen op gegeven antwoorden. Vaak maak je eerste telefonisch een chat-afspraak. Belangrijke voordelen van deze manier van informatieverzameling is dat het tijds- en kostenbesparend is. Daarnaast heeft de respondent zijn antwoorden op zijn eigen manier geformuleerd waardoor de invloed en interpretatie van de interviewer geen tot weinig invloed heeft op het verslag.

Bij een a-synchrone (in de tijd) enquête is er daarentegen geen directe interactie tussen de respondent en de interviewer. Een vorm van a-synchroon enquêteren is bijvoorbeeld het online zetten van een schriftelijke enquête. Een nadeel van deze manier van afnemen is dat de interviewer niet direct kan reageren op de antwoorden van de respondent. Voordelig is echter dat de respondent de keuze heeft waar en wanneer hij de vragenlijst in wil vullen. Deze manier van enquêteren is voor de respondent erg laagdrempelig wat de respons ten goede komt. Je kunt ook hier gebruikmaken van routingprocedures en de respondent op deze manier dwingen de vragen te beantwoorden. Er zijn verschillende programma's beschikbaar die je kunnen helpen bij het maken van de vragenlijsten en het verwerken van de gegevens, denk hierbij aan SurveyMonkey, Thesistools of Google Docs.

Open of gesloten vragen

Het verschil tussen open en gesloten vragen is dat je bij gesloten vragen de antwoordmogelijkheden al geeft terwijl de respondent bij open vragen de mogelijkheid heeft om zelf een antwoord te formuleren. Deze weergegeven antwoordmogelijkheden noem je ook wel voorgecodeerde of geprecodeerde antwoorden. Je maakt vooral gebruik van gesloten vragen wanneer je al veel voorkennis hebt over het te onderzoeken onderwerp waardoor je weet wat voor antwoordcategorieën er zijn.

Voordelen van gesloten vragen zijn dat je achteraf makkelijk vast kan stellen welk percentage van de respondenten voor elk van de antwoordcategorieën gekozen heeft. De verwerking kost weinig tijd en daarnaast is de betrouwbaarheid hoog doordat de invloed van de interviewer beperkt blijft.

Open vragen gebruik je daarentegen wanneer het een onderwerp betreft dat zich niet goed leent voor geprecodeerde antwoorden, of wanneer je niet zo'n goed beeld hebt van de te verwachten antwoorden. Daarnaast kan het zijn dat je met gesloten vragen onvoorziene antwoorden uitsluit, denk je echter dat deze antwoorden juist iets zouden kunnen toevoegen aan je onderzoeksresultaten dan kan dat een reden zijn om voor open vragen te kiezen. Voordelen van open vragen zijn dat je genuanceerdere antwoorden krijgt met meer diepgang. Aan de hand van de antwoorden van de respondent kan je ook vaststellen in hoeverre de respondent over kennis beschikt van het betreffende onderwerp. Tot slot is het bij een gestructureerde vragenlijst gebruikelijk om de laatste vraag als open vraag te stellen om zo tot een mooie afsluiting te komen. De nadelen van open vragen zijn dat voor zowel de interviewer als de respondent de belasting hoger ligt, je loopt het risico vage en globale antwoorden te krijgen die misschien helemaal niet van toepassing zijn op je onderzoek. Achteraf kost het de interviewer veel verwerkingstijd en de resultaten lenen zich minder goed voor uitspraken over de frequentie van bepaalde antwoorden. Een mogelijkheid om open vragen te vermijden is door vooraf een vooronderzoek te doen, op basis van dit vooronderzoek is het misschien uiteindelijk toch mogelijk om de antwoordmogelijkheden op een bepaalde vraag te formuleren terwijl dat eerst niet zo was.

De formulering van je onderzoeksvragen

De formulering van je onderzoeksvragen is van groot belang voor je uiteindelijke onderzoeksresultaten. Wanneer er onduidelijkheid heerst over de betekenis van bepaalde begrippen zal dit voor problemen zorgen wat betreft de antwoorden die de respondenten geven. De informatie wordt hierdoor minder bruikbaar en minder valide. Gelukkig hoef je niet alles zelf te doen, zo vindt je op www.moaweb.nl de gouden standaard voor het in kaart brengen van de demografische variabelen. Daarnaast zijn er heel veel standaardlijsten te vinden voor theoretische constructen. Wanneer je echter toch zelf vragen moet gaan opstellen zijn er een aantal dingen waar je rekening mee dient te houden. Maak gebruik van helder en eenduidig taalgebruik, met eenduidig wordt bedoeld dat het niet voor meerdere uitleg vatbaar is. Zorg ervoor dat je geen suggestieve of dubbele vragen in je vragenlijst hebt staan. Wanneer jij op voorhand de respondent al in een bepaalde richting duwt zullen de resultaten een vertekend beeld geven van de werkelijkheid, wat de betrouwbaarheid aantast. Met dubbele vragen worden vragen bedoeld waar eigenlijk twee verschillende vragen in verborgen zitten. Zo kan het zijn dat de antwoorden op de twee verschillende vragen niet overeenkomen. Wat vul je dan in? Daarnaast dien je op te passen met het veronderstellen van te veel voorkennis, de vragen moeten beantwoordbaar blijven voor de respondent. Wanneer je vragen wilt gaan stellen waarvan je verwacht dat ze gevoelig liggen bij de respondent stel deze dan niet aan het begin. Controversiële vragen kunnen de respondenten namelijk afschrikken. Probeer je eigen oordeel, en oordelen in het algemeen, buiten je formuleringen te houden. Gebruik bijvoorbeeld geen woorden zoals 'goed' of 'slecht'.

Tot slot is het belangrijk dat het gebruikte taalgebruik aansluit bij het niveau van de respondent.

Het formuleren van antwoordmogelijkheden

Niet alleen de onderzoeksvragen maar ook de geformuleerde antwoordmogelijkheden kunnen van invloed zijn op de uiteindelijke onderzoeksresultaten. Je dient bij het formuleren van je antwoordmogelijkheden een onderscheid te maken tussen nominale gegevens en ordinale, interval- en ratiogegevens. Bij nominale gegevens is het belangrijk dat de antwoordmogelijkheden uitputtend zijn. Alle mogelijke opties moeten er tussen staan, dit is echter erg lastig. Het kan daarom een oplossing zijn om als laatste categorie een openantwoordcategorie te kiezen (anders, namelijk:). Daarnaast is het belangrijk dat de verschillende categorieën elkaar uitsluiten, een respondent mag niet in twee categorieën kunnen vallen. Is het echter toegestaan dat een respondent meerdere categorieën aankruist dan moet dit nadrukkelijk vermeld worden. Ordinale, interval- en ratiogegevens kun je daarentegen meten aan de hand van antwoordschalen. De antwoordschaal dient dan wel logisch en consequent te zijn, in oplopende volgorde.

Een voorbeeld van zo'n schaal is Likertschaal, constructen die je wilt meten worden 'vertaald' in stellingen, waarbij de antwoorden een schaal vormen van 'geheel oneens' tot 'geheel eens'. Een samengesteld construct (een theoretisch begrip vertaald in verscheidene indicatoren) kan een lijst met stellingen bevatten die gezamenlijk het theoretisch concept dekken. De vraag die je jezelf als onderzoeker dan kunt stellen is of de verschillende stellingen wel allemaal hetzelfde concept meten. Een meetinstrument dat je kunt gebruiken om dit vast te stellen is Cronbach's α. De waardes kunnen liggen tussen de 0 en de 1.0 en je dient te streven naar een minimum van 0.70, heeft een bepaald item een score van onder 0.70 dan kan het nuttig zijn het item te verwijderen aangezien het vermoedelijk niet goed samengaat met de andere stellingen.

Om van losse resultaten een totaalscore te maken kan behoorlijk complex zijn, je kunt ervoor kiezen om gebruik te maken van de Net Promotor Score. Deze score neemt het percentage respondenten die een 9 of 10 geven en trekt daar het percentage mensen dat een 6 of minder scoorden vanaf. Je trekt dus eigenlijk de negatieve scores af van de positieve scores. Je krijgt dan een cijfer dat tussen de -100 en +100 in ligt. Een andere antwoordschaal die veel gebruikt wordt is de semantische differentiaal. De twee uiterste waarden op de schaal zijn tegengestelde begrippen. Je kunt kiezen voor een extreme waarde of de waardes ertussen om zo aan te geven hoeveel je naar het een of het ander geneigd bent.

Waar dien je op te letten bij het formuleren van je antwoordschalen?

Kijkend naar de inhoud van je antwoordschalen is er een aantal punten waar je goed over na moet denken:

1. Het aantal antwoordcategorieën dat je wilt gaan gebruiken, dit is met name afhankelijk van de nuancering die je in je antwoord aan wil brengen. Over het algemeen gebruikt men voornamelijk drie- of vijfpuntsschalen.

2. Kies je voor een even of een oneven aantal antwoordcategorieën? Een voorbeeld van een even aantal antwoordcategorieën is een tweepuntsschaal, de enige mogelijkheden zijn dan eens of oneens. Door het weglaten van de middencategorie dwing je de respondent als het ware een stelling aan te nemen. Het is afhankelijk van je onderzoek of dit gunstig is of juist niet.

3. Wil je de respondent wel of niet de mogelijkheid geven neutraal te stemmen, of 'geen mening' te hebben? Daarnaast kan het zijn dat een bepaalde vraag niet van toepassing is op een respondent, je kunt hier rekening mee houden door een optie 'niet van toepassing' toe te voegen aan je antwoordmogelijkheden. De categorieën 'weet niet' of 'geen mening' kun je daarentegen beter niet gebruiken als je denkt dat dit niet nodig is. Je loopt dan namelijk het risico dat de respondent deze optie kiest aangezien de andere hem of haar dwingen na te denken over het onderwerp, ze kiezen voor deze optie uit gemakzucht, niet omdat ze het echt niet weten.

4. De opbouw van je vragenlijst en een gelijkmatige verdeling van je verschillende categorieën. Het aantal antwoorden links en rechts van het middelpunt dienen bijvoorbeeld gelijk te zijn anders zou de respondent dit suggestief kunnen opvatten. Het kan echter ook als middel gebruikt worden om sociaal wenselijke antwoorden te mijden.

5. Bij het meten van een begrip kun je bij verschillende vragen dezelfde categorieën gebruiken. Je kunt de scores dan makkelijker combineren tot een totaalscore.

Ook bij de vormgeving zijn er bepaalde aspecten waar je rekening mee dient te houden aangezien ze invloed kunnen hebben op de antwoorden van de respondent. Houd bijvoorbeeld rekening met de manier waarop in een bepaald land de antwoordschalen normaliter worden opgebouwd. In Nederland begin je bijvoorbeeld links bovenin en loopt de schaal van oneens naar eens. In Engeland daarentegen loopt de schaal vaak van eens naar oneens. Daarnaast kan de grootte van het gegeven tekstvak invloed hebben op de uitgebreidheid van het antwoord. De opmaak van de vragenlijst, met aan te kruisen bolletjes of zonder, heeft vaak ook invloed op de manier waarop mensen de vragenlijst invullen. Ten tweede is het duidelijker waardoor er meer juiste antwoorden gegeven worden. Houd er echter ook rekening mee dat teveel nooit goed is, dit zorgt voor afleiding en kan de respondent op een negatieve manier beïnvloeden. Zorg er tot slot voor dat het visuele middelpunt gelijk is aan het conceptuele middelpunt, dit voorkomt verwarring. Bij mondelinge afnamen is er nog een extra aandachtspuntje, wanneer er meer dan drie mogelijke antwoorden zijn is het handig om gebruik te maken van een antwoordkaartje. Dit voorkomt dat de respondent antwoorden vergeet en daardoor anders antwoordt dan wanneer zij de antwoorden gewoon voor haar neus zou hebben gehad.

De vragenlijst

Wanneer je eenmaal een lijstje hebt met vragen en antwoordmogelijkheden is het tijd om de volgorde van de vragenlijst vast te gaan stellen. Begin met het ordenen van de vragen (op onderwerp) en zet de onderwerpen op een rijtje. Bepaal aan de hand van dat lijstje de volgorde waarin je de onderwerpen wil gaan plaatsen. Je begint met vragen waar uit opgemaakt kan worden of de betreffende respondent wel geschikt is om mee te doen aan het onderzoek. Daarna een aantal makkelijkere vragen om dan over te gaan op neutrale vragen. Pas aan het eind van de vragenlijst komen de kernvragen aanbod. Wacht hier echter ook niet té lang mee aangezien je de aandacht van de respondent dan alweer kwijt bent. Houd rekening met de concentratieboog van de respondent en maak je vragenlijst dus niet te lang en eentonig. Probeer wat afwisseling aan te brengen in de soort vragen die je stelt. Controleer zodra je een eerste indeling hebt gemaakt of de vragen soepel in elkaar overlopen. Ga je van algemeen naar specifiek of spring je van de hak op de tak? Ga na of bepaalde vragen niet door andere, eerder gestelde vragen, beïnvloed worden. Het is handig om tussen elk nieuw onderwerp een korte introductie te zetten zodat de respondent weet wat er gaat komen. Tot slot een aantal makkelijke maar gevoelige vragen ter afsluiting. Gevoelige vragen komen pas aan het eind omdat je dan als het goed is het vertrouwen van de respondent gewonnen hebt. Het staat netjes om de respondent na afloop nog de mogelijkheid te geven om zelf iets te zeggen, dit kan kritiek zijn of juist een compliment. Of iets dat de respondent graag nog kwijt wil waar elders in het onderzoek geen ruimte voor was.

Voorbereiding op de afname zelf

Zowel bij een mondelinge als een schriftelijke afname is de voorbereiding erg belangrijk. Bij een schriftelijk interview begint dit bij de introductie-brief, deze verstuur je op naam en hierin vermeld je duidelijk waarom de enquête is opgesteld daarna doe je óf een beroep op de interne betrokkenheid van de respondent óf met behulp van een externe motivator (denk hierbij aan een incentive). Maak duidelijk dat je je houdt aan de Wpo (Wet persoonsgegevens) en dat je dus vertrouwelijk om zal gaan met de verkregen informatie. Schrijf daarna een inleiding waarin je uitlegt wat er precies van de respondent wordt verwacht en hoe de antwoorden op de vragen dienen te worden ingevuld. Geef hierbij ook een indicatie van de invulduur. Bij een mondelinge afname daarentegen is er een andere procedure die je dient aan te houden. Stel je, als onderzoeker, eerst voor, waarna je de respondent vraagt of hij of zij nu tijd heeft om een aantal vragen te beantwoorden. Leg dan kort uit wat de bedoeling is en wat er van de respondent verwacht wordt.

Uittesten van de vragenlijst

Het is van groot belang dat voordat je de interviews ook daadwerkelijk gaat afnemen je eerst je vragenlijst nog eens test. Dit kan door middel van een proefafname. Een pretest op begrijpelijkheid van vraag en antwoorden is zelfs verplicht (ISO-codes voor marktonderzoek). Slechte vraagstellingen en slecht geformuleerde antwoorden kunnen grote invloed hebben op de antwoorden van de respondenten.

Uit onderzoek is gebleken dat respondenten dan sneller antwoorden gaan geven waarvan ze dénken dat het het 'juiste' antwoord is (satisficing) of dat ze gewoon maar op elke vraag hetzelfde antwoord gaan geven. Daarnaast is het in de huidige samenleving van belang dat je rekening houdt met het feit dat respondenten vragenlijsten niet meer alleen invullen via hun pc of desktop maar vaak ook via hun smartphone. Houd dus rekening met de resolutie van mobiele applicaties.

Achterafcontrole

Doordat bij online-onderzoek de interviewer zelf niet actief participeert in het interview moeten de verzamelde gegevens achteraf goed gecontroleerd worden. Zijn alle vragen ingevuld? Zijn de antwoorden zodanig geformuleerd dat ze bruikbaar zijn? (dit is vooral van toepassing op open vragen). Om te kunnen vaststellen of een respondent serieus bezig is geweest met de vragenlijst zijn er drie punten waar je op moet letten.

De invulduur, zit de respondent onder de ondergrens dan is de kans groot dat hij of zij niet serieus bezig is geweest en dat de antwoorden dus ook niet serieus genomen kunnen worden.

Straight lining, dit houdt in dat er bovenmatig vaak hetzelfde antwoord is gegeven. Dit zie je vaak wanneer de respondent zich er gemakkelijk vanaf wil maken. Om de antwoorden als oprechte antwoorden te kunnen beschouwen dient er een bepaalde spreiding in de antwoorden te zitten.

Tot slot is het nuttig de open vragen van de respondent te bekijken, probeerde hij of zij er echt makkelijk vanaf te komen dan zul je dit aan de open vragen kunnen zien. De antwoorden zijn dan kort, onvolledig of niet serieus. Als een onderzoek een hoog percentage 'verdachte respondenten' heeft, dient de vragenlijst zelf onder de loep genomen te worden. Zo is uit onderzoek gebleken dat de reden voor slecht ingevulde enquêtes vaak de enquête zelf is. Over het algemeen was de invulduur dan te lang waardoor de aandacht van de respondent verslapte.

Hoe gebruik je observatie als methode bij empirisch kwantitatief onderzoek? - Chapter 7

Voor- en nadelen van de observatiemethode

Observeren is het rechtstreeks waarnemen en registreren van gedrag zonder als onderzoeker in de situatie te interveniëren. Voordelen van deze manier van werken zijn dat het je de mogelijkheid biedt om gedrag waar te nemen waar de respondenten zich zelf nauwelijks of niet van bewust zijn. Je hoeft geen beroep te doen op het geheugen van de respondent zoals dat bij het invullen van vragenlijsten en het afnemen van interviews wel regelmatig gebeurt, dit kan een probleem vormen. Daarnaast zijn de respondenten er niet van op de hoogte dat ze geobserveerd worden waardoor ze niet de mogelijkheid krijgen om sociaal wenselijk te antwoorden of te reageren. Dit voorkomt dat je vertekende resultaten krijgt die mooier zijn dan de werkelijkheid. Dit soort metingen noemen we ook wel unobtrusive, niet van invloed op het gedrag van de respondent. Nog een voordelige bijkomstigheid is dat taal geen rol speelt, zo kun je peuters observeren die nog niet kunnen praten, dieren, autochtone deelpopulaties die misschien de taal niet spreken etc... Dit betekent dat wanneer je niet in staat bent te communiceren met je respondenten je automatisch aangewezen bent op observatie als data-verzamelingsmethode.

Er zijn echter ook een aantal nadelen verbonden aan observatie als methode voor dataverzameling. Het is, doordat de respondent niet op de hoogte is van het feit dat hij of zij geobserveerd wordt, lastig om bepaalde, niet frequente gedragingen waar te nemen. Het is dan ook een methode die vooral geschikt is om gedrag te onderzoeken dat vaak en in het openbaar voorkomt. Daarnaast kun je het gedrag van een respondent wel waarnemen maar je hebt geen idee wat zijn of haar beweegredenen ervoor waren. In verhouding tot andere methodes is observeren relatief duur en zeer tijdrovend. Tot slot zijn er regels voor wat betreft het toestemming vragen voor observatie; zolang de individuele respondenten niet identificeerbaar zijn valt het nog mee, maar in andere gevallen is toestemming vereist.

Er zijn een aantal verschillende vormen van observatie:

• Participerend en niet participerend observeren, dit onderscheid wordt bepaald door het gedrag van de onderzoeker. Maakt de onderzoeker wel (participerend observeren) onderdeel uit van de onderzochte situatie, of maakt hij dit niet (niet participerend observeren). Wanneer de onderzoeker ervoor kiest om in de verborgen rol van klant te opereren spreken we ook wel van mystery shopping. Dit is een bepaalde onderzoekstechniek die wordt ingezet om het gedrag van medewerkers van bedrijven en instanties te onderzoeken gedurende hun normale werkzaamheden. Deze methode kan in vrijwel alle situaties worden gebruikt waarin een medewerker in contact komt met een klant. Het doel ervan is om feitelijke gedrag te constateren voor zover dit voor klanten waarneembaar is.

• In het openbaar of verborgen observeren, men spreekt van een verborgen observatie wanneer de respondent niet op de hoogte is van het feit dat hij of zij geobserveerd wordt. Open observeren daarentegen houdt in dat de respondent hiervan wel op de hoogte is.

• Een gestructureerde of een ongestructureerde observatie, gestructureerde observatie houdt in dat je tijdens het observeren gebruik maakt van observatieformulieren terwijl je bij een ongestructureerde observatie alleen aantekeningen maakt waar je naderhand conclusies uit trekt. Vaak kiezen onderzoekers ervoor om eerst een ongestructureerd onderzoek te doen om zo informatie te verzamelen waarop ze hun observatieformulier kunnen baseren.

• Persoonlijk of geautomatiseerd observeren. Je observeert op een persoonlijke manier wanneer je getrainde observatoren inzet voor het onderzoek, je kunt er echter ook voor kiezen om gebruik te maken van een observatieprogramma, dit noem je ook wel een geautomatiseerde observatie.

De ontwikkeling van een observatie-instrument

Om een begrip te kunnen vertalen naar een observatie-instrument is het van belang dat je duidelijk omschrijft welke concrete gedragingen en/of kenmerken geobserveerd dienen te worden. Vervolgens ontwikkel je een categorieënsysteem, op basis waarvan je de waarnemingen gaat registreren. Er is een aantal gedragsaspecten waarop je dient te letten.

Ten eerste de frequentie waarmee een bepaalde gedraging of een bepaald kenmerk voorkomt. Wanneer je de 'frequentie' van een bepaald 'event' meet, dit kan bijvoorbeeld het aantal keren zijn dat een verkoper probeert te achterhalen wat de wensen van de klant zijn door middel van een vraag, noem je dit ook wel event-sampling. Betreft het een gedraging die vaak voorkomt dan kan het handiger zijn om gebruik te maken van interval-codering. Dit houdt in dat je een bepaalde tijdschaal maakt, bijvoorbeeld van een minuut, en dan gaat turven hoe vaak het te meten gedrag voorkomt in die minuut. Er zijn twee manieren van interval-codering die je hiervoor kunt gebruiken. Een puntmeting bestaat uit je tijdschaal, in dit geval 1 minuut, wanneer je bijvoorbeeld elke 10 seconde kijkt of de te meten vorm van gedrag al plaatsgevonden heeft. Bij time-sampling daarentegen is je tijdschaal wat groter en neem je als het ware kleine steekproeven uit de totale tijd. Je observeert bijvoorbeeld voor een uur elke 10 minuten voor 1 minuut. Door op verschillende momenten op de dag een steekproef te nemen krijg je een representatief beeld van het gedrag van de respondent.

Ten tweede is de duur van een bepaalde gedraging handig om vast te stellen. Ten derde is het interessant om te kijken tot wie de respondent zich richt wanneer hij zich op een bepaalde manier gedraagt. Reageert hij of zij anders op kinderen dan op volwassenen bijvoorbeeld? De intensiteit van het gedrag, als de verkoper aandacht schenkt aan zijn klanten wat is dan de kwaliteit van deze aandacht? Hoe intens is de aandacht? Vaak wordt de intensiteit van een bepaalde gedraging gemeten aan de hand van een beoordelingsschaal. Het probleem van deze manier van meting is dat het een bepaalde mate van interpretatie van de beoordelaar vereist, de kans op objectiviteit neemt daarbij af en de mate van betrouwbaarheid ook. Er zijn handige programma's beschikbaar die je kunnen helpen bij het vastleggen en later beoordelen van vastgelegd materiaal, dit wordt ook wel observatiesoftware genoemd.

Het gebruik van fysiologische metingen

Een andere vorm van observatie zijn metingen die je doet aan het lichaam, je neemt het lichaam waar. Dit soort metingen worden fysiologische metingen genoemd. Je kiest voor deze vorm van meten als je de respons wil weten op een bepaalde stimuli, geïntroduceerd door de onderzoeker. Er zijn een aantal veelgebruikte methoden die niet alleen in experimenteel en evaluatieonderzoek worden gebruikt maar ook steeds vaker bij niet-experimenteel onderzoek:

1. Lichamelijke reactiemetingen, voorbeelden hiervan zijn pupilreflexmetingen, mate van huidtranspiratie, bloeddruk en hartslag.

2. Eyetracking, het vaststellen van het kijkgedrag van de respondent. Eye-tracking levert pure gedragsdata op die op geen enkele manier beïnvloed zijn door sociale wenselijkheid.

3. Gezichtsherkenning, voor deze vorm van metingen heb je 'facial recognitionsoftware' nodig. Het registreert hoe de respondent reageert op bepaalde situaties door te kijken naar de gezichtsuitdrukkingen.

4. Hersenonderzoek, door observatie van de hersenfuncties kunnen de emoties van de respondent worden bepaald en het gedrag van de onderzochte proefpersoon worden voorspeld. Het vakgebied dat zich met deze vorm van onderzoek bezighoudt wordt ook wel neuro-economics of neuromarketing genoemd.

De betrouwbaarheid van mijn observatie

Om uitspraken te kunnen doen over de betrouwbaarheid van je observaties is het belangrijk om te kijken naar de overeenstemming tussen verschillende observatoren bij het werken met hetzelfde observatie-instrument. Er zijn verschillende vormen van overeenstemming waar je dan op kunt letten. Zeker bij observaties die gevoelig zijn voor interpretatie, multi-interpretabele observaties, is het belangrijk om vast te stellen of ze wel betrouwbaar zijn. Het is dan ook belangrijk dat je van tevoren zorgt dat de observatoren op elkaar afgestemd zijn en goed getraind zijn voor hetgeen ze gaan doen. De mate van overeenstemming is immers uiteindelijk de manier om vast te stellen of het een betrouwbare observatie is ja of nee. Er zijn twee vormen van overeenstemming te onderscheiden, namelijk de intra-observatorbetrouwbaarheid en de inter-observatorbetrouwbaarheid. Bij de intra-observatorbetrouwbaarheid wordt vooral gekeken naar de mate van consistentie van de antwoorden die een observator geeft. Geeft hij andere antwoorden naar mate het onderzoek vordert bijvoorbeeld? Met de inter-observatorbetrouwbaarheid meet je daarentegen de mate van overeenstemming tussen de verschillende observatoren.

Het berekenen van de mate van overeenstemming gebeurt aan de hand van twee verschillende maten. Ten eerste heb je het overeenstemmingspercentage dat je berekent door het aantal gevallen waarin de observatoren het eens zijn, deelt door het totaal aantal gevallen die geobserveerd zijn. Houd echter rekening met de kans op overeenstemming, deze krijgt een grotere invloed naarmate er minder scoringscategorieën zijn. Als tweede maat heb je Cohen's kappa, hier wordt rekening gehouden met de kans op overeenstemming waardoor dit niet meer voor vertekening kan zorgen.

K = (Po - Pc)/(1 - Pc)

Po = werkelijke (geobserveerde) overeenstemming

Pc = de overeenstemming op basis van kans

Validatie

Net als bij andere onderzoeksvarianten is het ook bij observatie belangrijk dat een meting niet alleen betrouwbaar is maar ook valide. Wanneer het complexe en abstracte begrippen betreft kan het nodig zijn om een valideringsonderzoek op te zetten. In dit onderzoek ga je de overeenstemming meten tussen de scores die behaald zijn op het valideringsonderzoek en de beoordeling die de observator heeft gedaan. Houd er rekening mee dat de gekozen variabelen niet per definitie goede indicatoren hoeven te zijn voor het begrip dat je wil meten.

Hoe analyseer je kwantitatieve onderzoeksgegevens? - Chapter 8

Voorbereiding analyses

Je onderzoeksvraag vormt altijd het uitgangspunt bij de analyses. Wanneer je gebruik maakt van frequenties kijk je naar aantallen (hoe vaak komt iets voor) en je kunt ook percentages uitrekenen. Daarnaast kan een onderzoeksvraag gaan over het verschil in gemiddeldes (bijv. verdienen mannen gemiddeld meer dan vrouwen in een zelfde functie). En als laatste kun je kijken naar de samenhang tussen twee variabelen (bijv. verdient iemand met een hogere afgeronde opleiding ook meer geld).

Er zijn twee soorten variabelen namelijk continue en discrete variabelen. Continue variabelen kunnen alle waarden aannemen, voorbeelden hiervan zijn gewicht, lengte of inkomen. Discrete variabelen zijn heel getallen, voorbeelden hiervan zijn aantal goed beantwoorde vragen, aantal broers of aantal dagen ziekteverzuim.

Twee vormen van statistiek zijn mogelijk beschrijvende en inductieve of inferentiële statistiek. Beschrijvende statistiek wordt gebruikt wanneer de gehele populatie deel uit maakt van het onderzoek. En inductieve statistiek wordt gebruikt wanneer slechts een deel van de populatie deel neemt aan het onderzoek.

De steekproefgrootte bepaalt mede welke statistische verstandig zijn om te gebruiken. Bij een wat grotere steekproef (dertig of meer) kun je gebruik van parametrische toetsen. Je moet dan wel controleren of er geen extreme waarden tussen zitten of dat de verdeling erg scheef is. Bij kleinere steekproeven kun je gebruik maken van non-parametrische toetsen, deze toetsen zijn meestal gebaseerd op rangorde en dus niet op absolute waarden.

De belangrijkste statistische begrippen

Bij toetsende statistiek gaat het over het berekenen van kansen. En hoe groot de kans is dat iets bij toeval voorkomt in de steekproef en dus niet zo is in de daadwerkelijke populatie. Je probeert met behulp van statistiek je hypothesen te testen. Er zijn twee soorten hypothesen namelijk de nulhypothese en de alternatieve hypothese. Met de nulhypothese geef je aan dat er geen verschil of verband bestaat tussen twee groepen (bijv. het gewicht van mannen vs. vrouwen). Bij de alternatieve hypothese doe je een uitspraak over de richting van het verband of verschil (bijv. mannen zijn gemiddeld genomen zwaarder dan vrouwen), dit wordt ook wel een gerichte hypothese genoemd. Een voorbeeld van een ongericht hypothese is: mannen en vrouwen verschillen van gewicht.

Wanneer een uitkomst significant is hangt af van de gekozen p-waarde, ook wel de overschrijdingskans genoemd. De overschrijdingskans is de kans op een gevonden resultaat als er in werkelijkheid geen verschil is (nulhypothese). De p-waarde gebruik je samen met je gekozen alphawaarde om te bepalen of je een hypothese verwerpt of niet. De alphawaarde wordt ook wel het significantieniveau genoemd. In de meeste onderzoeken wordt er gebruik gemaakt van een alpha van 5 procent. Bij hele grote onderzoeken meer dan 1000 respondenten wordt er soms gekozen voor een alpha van 1 procent.

Iets wat je altijd moet doen voordat je begint met de analyses is controleren of de gegevens normaal verdeeld zijn. Het IQ van Nederlanders is normaal verdeeld, dit houdt in dat 68% van de Nederlanders een IQ heeft wat maximaal 1 standaard deviatie van het gemiddelde afwijkt, dus een IQ tussen de 85 en 115 punten (gemiddelde = 100, één standaarddeviatie = 15). Naast een normale verdeling kan er ook sprake zijn van een positief of negatief scheve verdeling. Er is sprake van een negatieve scheve verdeling wanneer er verhoudingsgewijs veel studenten een hoog cijfer hebben gehaald op een toets.

Een andere manier om te bepalen of iets significant is kan door gebruik te maken van een betrouwbaarheidsinterval. Wanneer de gevonden waarde in het betrouwbaarheidsinterval valt, dan verwerp je de nulhypothese niet er is dan namelijk geen verschil gevonden. Wanneer de gevonden niet in het betrouwbaarheidsinterval valt, dan verwerp je de nulhypothese.

Het aantal vrijheidsgraden geeft de mate aan waarin de scores van elkaar kunnen verschillen. Meestal wordt dit berekend door het aantal steekproefelementen minus 1 te doen. Het aantal vrijheidsgraden wordt aangeduid met df (=degrees of freedom).

Om de resultaten nog beter te onderbouwen worden er tegenwoordig vaak ook effectgroottes vermeld. De effectgrootte geeft informatie over de waarde van de gevonden significante uitkomsten. De meeste gebruikte maat om de effectgrootte vast te stellen is Cohen’s d (0-0,2 = geen effect, 0,2-0,5= klein effect en 0,5-0,8 = gemiddeld effect). Dit is vrij lastig intepreteren daarom wordt er ook een r-waarde uitgerekend om iets te kunnen zeggen over de samenhang. Deze r-waarde ligt altijd tussen de 0 en 1, bij 0 is er absoluut geen sprake van enkele samenhang en bij 1 is de samenhang perfect.

Het maken van een datamatrix

Een datamatrix is een overzicht van alle door jou verzamelde gegevens. Twee programma’s die veel gebruikt worden bij het maken van een datamatrix zijn Excel en SPSS. Voordat je kunt beginnen met het invoeren van de gegevens moet je eerst een codeboek maken. In dit codeboek beschrijf je elke variabele kort en geef je aan welke naam de variabele in je databestand heeft, vaak is dit een afkorting. Daarnaast kun je in het codeboek aangeven welke waarden je toekent aan gegevens (bijvoorbeeld man= 0, vrouw=1). Dit zorgt ervoor dat je sneller je gegevens kunt invoeren. Wanneer er waarden ontbreken in je databestand noem je dit ‘missing values’. Wanneer een vraag niet relevant is voor een respondent en daarom mist dan geeft je dit aan met ‘system missing’. En wanneer een respondent een vraag niet wil in vullen dan geef je dit aan met ‘user missing’.

Het beschrijven van de gegevens

Frequenties van nominale gegevens kun je op twee manieren presenteren namelijk in een tabel of in een grafiek. Bij een tabel is het handig om naast de aantallen ook de percentages te vermelden. Bij een grafiek kun je kiezen tussen een staafdiagram en een cirkeldiagram. Een cirkeldiagram is vooral handig bij niet al te veel waarden zoals bijvoorbeeld geslacht.

Gegevens gemeten op interval- rationiveau kun je op drie manieren presenteren namelijk in tabelvorm, in een grafiek of naar een samenvattende beschrijvende maat. Bij een tabel is het handig om gebruik te maken van klasse intervallen. Een klassen verdeling zorgt er voor dat de resultaten op een overzichtelijke manier worden gepresenteerd. Een histogram lijkt op een staafdiagram maar het verschil is dat bij een histogram de kolommen dicht tegen elkaar aan staan, zodat er als het ware een lijn getrokken kan worden. De samenvattende beschrijvende maten zijn te verdelen in twee groepen centrummaten en spreidingsmaten. Centrummaten zijn het gemiddelde, de mediaan (de middelste waarde) en de modus (de waarde die het vaakst voorkomt). De modus en mediaan kun je goed gebruiken wanneer de frequentieverdeling erg scheef is en er veel extreme scores voorkomen. Voorbeelden van spreidingsmaten zijn de range (het verschil tussen de hoogste en laagste waarde) en de variantie (index van de verdeling van de gevonden waarden rondom het gemiddelde). Bij een kleine variantie liggen de meeste waarden heel dicht rond het gemiddelde. De variantie geeft je dus een beeld van hoe de scores zijn verdeeld rondom het gemiddelde.

Wanneer er een steekproef is getrokken van een populatie is het altijd de vraag in hoeverre de resultaten zijn te generaliseren naar de populatie. Om dit in te kunnen schatten maak je gebruik van een standaardfout, hiermee kun je namelijk het betrouwbaarheidsinterval berekenen.

Het beschrijven en toetsen van verschillen

Er zijn verschillende toetsen mogelijk om te kijken naar verschillen tussen steekproeven, de meest voorkomende toetsen worden nu besproken. Allereerst is het van belang om te bepalen wat je testvariabele en wat je splitsingsvariable is en het meetniveau van deze variabelen. De testvariable is de variabele waarbij je het verschil wilt vast stellen (bijv. salaris of aantal minuten sporten per wek). De splitsingsvariable is vaak nominaal en verdeeld de steekproef/populatie in meerdere groepen (bijv. geslacht). Daarnaast is het ook van belang om te bepalen of er sprake is van een gepaarde of ongepaarde steekproef. Bij een gepaarde steekproef is sprake van samenhang tussen twee metingen (bijv. voor en natoets gemaakt door dezelfde persoon, of een vragenlijst ingevuld door partners over het zelfde onderwerp). Bij een ongepaarde steekproef is er geen sprake van samenhang tussen de metingen (bijv. wanneer de voor en nameting door verschillende mensen zijn gemaakt).

* Eenzijdig of tweezijdig toetsen. Wanneer je van te voren een duidelijke verwachting hebt in één richting (bijv. mannelijke studenten zijn zwaarder dan vrouwelijke studenten), dan is het handig om eenzijdig te toetsen. Wanneer je geen duidelijke verwachting hebt dan is het aan te raden om tweezijdig te toetsen. In SPSS worden altijd tweezijdig toetsen uitgevoerd, maar door de gevonden p-waarde te delen door twee kun je eenzijdig toetsen.

Het berekenen van samenhang

Soms ben je niet op zoek naar verschillen tussen groepen, maar wil je weten of er een verband/relatie bestand tussen variabelen. Er zijn verschillen manieren die je kunt gebruiken om te kijken of er sprake is van samenhang tussen variabelen.

Hoe maak je rapporten bij empirisch kwantitatief onderzoek? - Chapter 9

Schriftelijk rapporteren

In het boek worden vijf verschillende soorten van rapporteren besproken. Allereerst een onderzoeksrapport dit is de meeste gebruikelijke manier van rapporteren wanneer je onderzoek doet voor een opdrachtgever. Het onderzoeksrapport heeft vooral als doel om het gebruik van de uitkomsten te bevorderen. Daarnaast moet het onderzoeksrapport helder zijn geschreven, zodat het onderzoek herhaald kan worden.

Een tweede manier van rapporteren is door middel van een wetenschappelijk artikel in een wetenschappelijk tijdschrift. Deze vorm van rapporteren heeft als doel om wetenschappelijke collega’s in te lichten en het maakt een discussie mogelijk. Een wetenschappelijk artikel is vaak beknopter dan een onderzoeksrapport.

Een derde vorm van rapporteren is het schrijven van een scriptie of thesis. Een scriptie is meestal weer een stuk uitgebreider dan een wetenschappelijk artikel. Het doel van een scriptie is om vooral te voldoen aan de eisen gesteld door de opleiding.

Een onderzoekssamenvatting is ook een manier om de resultaten te rapporteren. Voor respondenten die deel hebben genomen aan het onderzoek worden vaak de belangrijkste resultaten kort beschreven. Dit is een manier om waardering te tonen richting je respondenten. Een andere manier is het schrijven van een managementsamenvatting voor bedrijven. In een managementsamenvatting wordt vooraal aandacht besteed aan de uitkomsten en de aanbevelingen voor de toekomst.

De laatste manier van rapporteren besproken in het boek is door middel van een persbericht. Op deze manier kunnen onderzoeksresultaten onder een breder publiek onder de aandacht worden gebracht. Een persbericht is een handig middel om eenzijdige beeldvorming tegen te gaan, maar er bestaat ook een redelijke kans dat de resultaten uit hun verband worden getrokken.

Onderdelen van een rapportage

Het is de bedoeling dat een rapportage een weergave geeft van het hele onderzoeksproces. Het begint dus met een probleemstelling en eindigt met een conclusie en discussie. Een onderzoeksrapportage kent over het algemeen een vaste opbouw.

Je onderzoeksverslag begint met een titelpagina. Aangezien de tittelpagina het eerste is wat lezers zien van je verslag is het belangrijk dat de juiste informatie er op staat en een aantrekkelijke lay-out heeft. Een titelpagina moet in ieder geval het volgende bevatten: de titel, de namen, het onderzoekskader, datum en een correspondentieadres. De titel vormt eigenlijk een korte samenvatting van jou onderzoek en bevat in ieder geval de belangrijkste onderzochte kenmerken. Hoe duidelijker je titel is hoe sneller mensen je rapport zullen vinden in databases. De auteursnamen staan normaal in alfabetische volgorde, tenzij een persoon meer heeft gedaan dan anderen, dan staat zijn naam vooraan. Het onderzoekskader geeft aan voor wie of wat het onderzoek is uitgevoerd bijvoorbeeld voor een studie of een instituut. De datum is van belang om te vermelden, omdat dit de actualiteit van een onderwerp aangeeft.

Na het titelblad volgt een korte samenvatting van het onderzoek. De samenvatting heeft als doel om er voor te zorgen dat de lezer globaal weet waar het over gaat en dat hij kan bepalen of het relevant is voor hem. De samenvatting moet in ieder geval de onderzoeksvraag bevatten, de belangrijkste uitkomsten en iets over de opzet van je onderzoek. Gemiddeld genomen is een samenvatting vaak tussen de 200 en 400 woorden lang. De samenvatting wordt doorgaans gevolgd door de inhoudsopgave. De inhoudsopgave geeft de structuur van het onderzoeksverslag weer en de verschillende onderdelen. Daar op volgt het voorwoord. Dit is meestal een persoonlijk stuk waarbij je aangeeft wat je motief was voor een bepaald onderwerp en je kunt mensen die hebben geholpen bedanken.

Na het voorwoord volgt meestal de inleiding. De inleiding begint bijna altijd met de aanleiding voor je onderzoek. Daarnaast worden in de inleiding de volgende punten besproken: de context van het probleem, een globale vraagstelling, het doel van het onderzoek, de relevantie van het onderzoek, welk belang dient het onderzoek (wetenschap versus maatschappij), de deelvragen van het onderzoek en tot slot de opbouw van het verslag.

Een literatuurverkenning volgt op de inleiding. Dit is een eerste inhoudelijke oriëntatie op het gekozen onderwerp. Door het bestuderen van verschillende artikelen en andere bronnen wordt er nagegaan wat er al eerder is onderzocht, welke onderzoeksresultaten er beschikbaar zijn, hoe de verschillende resultaten zich verhouden tot elkaar en of er nog witte vlekken zijn. Na het doen van een literatuuronderzoek bepaald men doorgaans wat er definitief onderzocht gaat worden en wordt indien nodig de vraagstelling nog wat bijgeschaafd. Er zijn twee manieren om literatuur te verwerken in je verslag. De eerste manier is citeren, ook wel het letterlijk overnemen van een stuk tekst van een ander. De tweede manier is parafraseren, het in eigen woorden weergegeven van ideeën van andere. Het is belangrijk om altijd aan te geven welke bronnen je hebt gebruikt. Wanneer je niet de juiste of een verkeerde bron vermeld is er sprake van plagiaat. Dit is een vorm van fraude en is tevens ook strafbaar. De literatuur paragraaf eindigt doorgaans met een aantal voorlopige veronderstellingen.

Na het literatuuronderzoek volgt de vraagstelling van het onderzoek. Deze bestaat uit een centrale vraag en enkele deelvragen. Het is de bedoeling dat de schrijver ook uitlegt hoe hij tot een vraag is gekomen. Daarnaast is het gebruikelijk om in dit hoofdstuk de belangrijkste begrippen van het onderzoek te verduidelijken, dit worden ook wel de attenderende begrippen genoemd.

Nu het literatuuronderzoek heeft plaatsgevonden en de vraagstelling helder is volgt het beschrijven van de onderzoeksopzet. De methode begint meestal met het beschrijven waarom je voor een bepaald onderzoeksontwerp hebt gekozen. Daarna vindt er een verantwoording van de onderzoekseenheden plaats. Wie of wat mogen er meedoen aan het onderzoek en vooral waarom. Welke keuzes zijn er gemaakt tijdens het selectieproces en welke mogelijkheden zijn er tot generalisatie. Als derde wordt er beschreven hoe de gegevens zijn verzameld. Hierbij moet je denken aan het beschrijven van de gebruikte bronnen (verslagen, interviews, observatie), hoe de toegang is verkregen tot de bronnen en de omstandigheden waaronder de bronnen zijn verzameld. Is een interview bijvoorbeeld afgenomen in een rustige ruimte of in een lawaaiige sporthal. Daarna wordt er beschreven hoe de verkregen gegevens zijn opgeslagen, verwerkt en waarom er voor een bepaalde manier is gekozen. Ook wordt er beschreven welke analyses er zijn uitgevoerd. En het is belangrijk dat er vooral wordt beschreven hoe het daadwerkelijk is gegaan en niet de ideale situatie. Als laatste evalueer je de waarde van het onderzoek, dus hoe betrouwbaar en valide zijn je onderzoeksresultaten. Zijn de resultaten bijvoorbeeld verzameld door een onafhankelijk persoon of door een direct betrokkene. Dit soort zaken kunnen namelijk een effect hebben op de gevonden resultaten. Daarnaast wordt de geldigheid besproken, hierbij is het van groot belang dat er expliciet wordt vermeldt op welke onderzoekseenheden de resultaten betrekking hebben.

Na het beschrijven van de onderzoekopzet volgen de resultaten. Hierbij geef je alleen de onderzoeksresultaten weer, er worden nog geen conclusies getrokken. Het gaat puur om vastgestelde zaken. Bij het presenteren van je resultaten kan het handig zijn om gebruik te maken van grafieken en tabellen, dit maakt het voor de lezer duidelijker. De structuur van dit hoofdstuk hangt uiteraard of van het type onderzoek dit is uitgevoerd, maar het is wel gebruikelijk om eerst de beschrijvende gegevens te vermelden.

Naast het aanbrengen van structuur in dit hoofdstuk is de inhoud ook van belang. Bij kwalitatief onderzoek is het van belang dat de resultaten levensecht zijn, omdat het niet gaat over getallen maar over echte mensen. Het is dus belangrijk dat de resultaten gedetailleerd worden besproken, dit maakt het levensechter. Het taalgebruik moet aansluiten bij de doelgroep. Maak ook goed duidelijk vanuit welke perspectief er wordt geschreven. Tot slot maak gebruik van citaten. Door een citaat te gebruiken kun je bepaalde zaken duidelijker maken voor je lezer. De citaten zijn er om je betoog te ondersteunen. Ook zijn citaten een manier om de tekst te verlevendigdingen. Het is van belang dat je wel de anonimiteit waarborgt van degene die je citeert.

Na het beschrijven van de resultaten is het tijd om conclusies te trekken en een discussie op gang te brengen. Bij de conclusie kom je terug op de centrale onderzoeksvraag en geef je daarop een overkoepelend antwoord. Het is belangrijk dat de conclusies op een logische manier volgen uit de resultaten en geen meningen of ideeën bevatten van de onderzoeker. Na de conclusie bespreek je in de discussie de betekenis van de gevonden resultaten, zowel de maatschappelijke betekenis als de wetenschappelijke betekenis wordt besproken. Bij de maatschappelijke betekenis wordt er vooral in gegaan op hoe de onderzoeksbevindingen kunnen bijdragen aan het oplossen van het probleem, wat leveren de resultaten op voor de onderzoeksgroep en welke nieuwe informatie heeft het onderzoek opgeleverd. Bij de beschrijving van de wetenschappelijke betekenis wordt er vooral in gegaan op de onderzoeksopzet. Wat zijn bijvoorbeeld sterke en zwakke kanten van de gekozen opzet. En in hoeverre zijn de resultaten generaliseerbaar. Bijvoorbeeld zijn de resultaten gevonden bij een onderzoek op vijf basisscholen ook geldig voor andere basisscholen in dezelfde provincie of zelf voor een heel land.

Tot slot het laatste onderdeel van het verslag is het geven van aanbevelingen voor de praktijk en vervolg onderzoek. De aanbevelingen voor de praktijk volgen uit de onderzoeksresultaten en vormen een advies om de bestaande praktijk te verbeteren. Ook worden er suggesties gedaan voor vervolgonderzoek. Een onderzoek roept vaak ook weer nieuwe vragen op, deze vragen kun je in dit gedeelte beschrijven. Of om het onderzoek te herhalen met een deels aangepaste opzet.

Aan het eind van het rapport volgt een literatuurlijst. Deze lijst bevat een overzicht van alle gebruikte bronnen. Er zijn een aantal standaard regels voor literatuurverwijzingen. In een lopende tekst doe je dit door meestal door de achternaam en het publicatiejaar te vermelden. De literatuurlijst zelf wordt doorgaans op alfabetische weergegeven. Het is van belang dat je altijd naar de juiste bron verwijst. Indirecte verwijzingen moet je proberen te voorkomen. Je verwijst dan naar resultaten van onderzoek A waarover in boek B iets is geschreven.

Tot slot in de bijlage neem je alle informatie op die te ver voert om in het verslag zelf op te nemen, maar wel relevant is voor de geïnteresseerde lezer. Voorbeelden hiervan zijn de gebruikte vragenlijsten, het observatieschema of een wervingsbrief.

Schrijven van een rapport

Voordat je begint met schrijven is het belangrijk te bepalen wat je doelgroep is. Het is van belang om rekening te houden met de kennis van je doelgroep. Wetenschappers zullen doorgaans meer van het onderwerp afweten dan managers en ook andere interesses hebben. Dit is ook bepalend voor de vorm van je verslag. Praktijk mensen zijn doorgaans vooral geïnteresseerd in de resultaten en in het bijzonder de conclusies en aanbevelingen, terwijl wetenschappers vooral geïnteresseerd zijn in de onderzoeksopzet en gemaakte keuzes. Wanneer er sprake is van een praktijkonderzoek wordt er vaak een apart managementverslag geschreven. Daarin wordt beknopt de onderzoeksopzet besproken en wordt er vooral diep ingegaan op de conclusies en aanbevelingen voor de praktijk. Ook het taalgebruik is van belang, het is van belang dat het verslag geen taalfouten bevat. Daarnaast is het van belang dat je taalgebruik aansluit bij het kennisniveau van de doelgroep. Om ingewikkelde begrippen te verduidelijken kan het handig zijn om een begrippenlijst toe te voegen aan je verslag. Als laatste is het van belang dat het verslag goed leesbaar is, dus maak niet te veel gebruik van lange zinnen, tussenzinnen en ontkenningen. En gebruik actief taalgebruik, dus formulier je resultaten in de tegenwoordige tijd.

Het is handig om voor jezelf een planning te maken, dit zorgt er voor dat het schrijven gestructureerd verloopt. Het is ook goed om stil te staan bij de vormgeving van je verslag wanneer je de planning maakt. Heeft het verslag een speciale lay-out nodig of moeten er nog foto’s worden gemaakt? Dit zijn dingen die extra tijd kosten. Het is handig om voor jezelf een inhoudsopgave per hoofdstuk te maken, dit wordt ook wel een aangeklede inhoudsopgave genoemd. Het is dan duidelijk wanneer welk onderwerp aan de beurt moet komen.

Het mondeling presenteren van een rapport

De onderzoeksresultaten kunnen ook door middel van een mondelinge presentatie worden gepresenteerd aan het publiek. Het voordeel van een mondelinge presentatie is dat er de mogelijkheid bestaat voor discussie en vragen. Het is belangrijk dat je de presentatie goed voorbereid. De presentatie volgt vaak de opbouw van het onderzoeksverslag. Om je presentatie te ondersteunen kan het handig zijn om gebruik te maken van een PowerPoint of Prezi. Wanneer je deze hulpmiddelen gebruikt is het belangrijk dat je niet teveel dia’s gebruikt en dat er niet te veel tekst op staat.

Andere manieren om te presenteren

Er zijn ook nog andere manieren om een onderzoek te presenteren. Een posterpresentatie is een dergelijke manier, hierbij vermeld je de belangrijkste uitkomsten op een poster. Een andere manier is een infographic, dit is een combinatie van tekst en een afbeelding. Voorbeelden hiervan zijn een schema, strips of een foto. Een andere manier om je onderzoek te presenteren is door middel van een filmpje. Het is belangrijk dat je bij een filmpje je publiek motiveert om je onderzoeksverslag te gaan lezen. Een andere mogelijkheid is een motiongraphic, dit is een combinatie van een infographic met een filmpje. Als laatste zou je de onderzoeksresultaten kunnen verspreiden via het internet, zo heb je een groot bereik.

Abonneechapter met online BulletPoints van Basisboek Methoden en Technieken: Kwantitatief praktijkgericht onderzoek op wetenschappelijke basis - Baarda - 5e druk

Chapter 0

• Onderzoeken: Onderzoeken is iets wat de mensen al eeuwen doen zonder dat zij dit zelf altijd doorhebben. Een waarneming wordt gevolgd door een theorie en tot slot onderzoek je dit idee. Het doel van onderzoek is om antwoord te geven op vragen. Twee soorten vragen zijn niet door onderzoek te beantwoorden, dit zijn normatieve en esthetische vragen. Normatieve vragen gaan vaak over of iets goed of fout is en dit is vaak afhankelijk van de cultuur en wat men rechtvaardig vindt. Er is ook kennis wat niet gebaseerd is op onderzoek, dit wordt naïeve kennis genoemd. Deze kennis is vaak gebaseerd op:

  • Gewoontes,het is al jaren zo, en dit is onze manier.
  • ‘Wishful thinking’ of te wel zien graag wat we willen zien.
  • Ideologie, levensopvattingen spelen een belangrijke rol waar het gaat om kennis en de geloofwaardigheid hiervan.
  • Intuïtie, dit wordt niet altijd gezien als echte kennis maar meer als ‘kennis van het hart’.

• In onze westerse maatschappij is kennis vooral gebaseerd op empirisme en rationaliteit. Een derde element wat hier aan toegevoegd kan worden is de wetmatigheid.

• Wetenschappelijk verantwoord onderzoek: Fundamentaal wetenschappelijk onderzoek dat is onderzoek ten behoeve van de wetenschap. Een andere term voor wetenschappelijk verantwoord toegepast onderzoek is empirisch onderzoek. Ook kan er sprake zijn van een theoretisch onderzoek, dit is echter alleen theoretisch onderzoek en er vindt geen terugkoppeling naar de werkelijkheid plaats.

• Wetenschappelijk verantwoord onderzoek volgt de stappen van de empirische cyclus:

1. Het formuleren van een probleem en het ontwikkelen van een theorie
2. Een onderzoeksopzet maken waarmee de onderzoeksvraag/ het probleem mee opgelost kan worden.
3. Het verzamelen van de benodigde gegevens.
4. Het analyseren van de verzamelde data.
5. Het trekken van conclusies op grond van de analyses.
6. Het schrijven van een rapportage.

• Het kunnen repliceren van een onderzoek is erg belangrijk, omdat de replicatie-eis er voor zorgt dat een onderzoek altijd eerlijk en controleerbaar uitgevoerd moet worden. Daarnaast is er de publicatie-eis, dus dat er een rapport of artikel over geschreven wordt.

• Geschiedenis van onderzoek: De westerse wetenschappelijke wereld is erg beïnvloed door de oude Grieken. Tijdens de verlichting (1600-1700) kwam de empirische wetenschapsbenadering tot stand. Een versnelling en verbreding van wetenschappelijke ontwikkelingen vonden plaats tijdens de industriële revolutie.

• Hedendaags onderzoek: Vandaag de dag is onderzoek een ‘booming business’. Er wordt op dit moment veel geld uitgegeven aan het doen van zeer uiteenlopende onderzoeken. De komst van het internet heeft hierin zeker bijgedragen, het is nu nog makkelijker om gegevens met elkaar uit te wisselen.

• Kwantitatief onderzoek: De heersende wetenschapsopvatting is nog altijd de traditionele kwantitatieve empirische benadering, de achterliggende filosofie wordt ook wel het positivisme genoemd. Deze filosofie baseert zich enkel op feiten en de empirie. De ecologische validiteit heeft betrekking op het feit van een onderzoek geldig is in de dagelijkse praktijk of alleen in een onderzoekssetting geldig is. Onderzoekers die zich met dit onderwerp bezig houden worden gerekend tot het realisme. Fenomenologen houden zich puur bezig met kwalitatief onderzoek vaak door gebruik te maken van diepte-interviews en onderzoeken hierbij een bepaald fenomeen. Kwantitatief onderzoek richt zich vooral op het vaststellen van feiten. Terwijl kwalitatief onderzoek meer gebruik maakt van openvragen en over het algemeen meer beschrijvend van aard is. Een combinatie van kwalitatief en kwantitatief onderzoek wordt een mixed-method methode genoemd.

• Kennis van onderzoek: Kennis van wetenschappelijk onderzoek is nodig om de resultaten goed te kunnen interpreteren, hier hoort ook kennis van statistiek bij. Belangrijkste verschillen tussen kwalitatief en kwantitatief onderzoek:

Chapter 1

• De probleemstelling: Een onderzoek wordt bijna altijd gebaseerd op een praktische probleem. Het doel van het onderzoek is vaak om dit probleem op te lossen of te verminderen. Daarom dient men van te voren al rekening te houden met de mogelijke uitkomsten. Soms zijn er meerdere onderzoeksvragen nodig om een probleem op te lossen. Het is van belang dat de onderzoeker ten alle tijden een onafhankelijke positie inneemt tijdens het onderzoek.

• Het is bij het vaststellen van de probleemstelling belangrijk dat er geen normatieve vragen gesteld worden, omdat deze lastig te onderzoeken. Inventariseer vooraf wie er allemaal bij een bepaald probleem betrokken zijn, hoe zit het met het publicatie- en eigendomsrecht van het onderzoeksmateriaal en wat als de uitkomst schadelijk is voor een van de betrokken partijen. Ook is het handig vooraf vast te stellen wat de gevolgen van het probleem zijn, hoe groter het probleem en zijn gevolgen hoe groter de druk die op de onderzoeker komt te liggen. En ga van tevoren ook niet alleen na wat de gevolgen van een probleem zijn, maar ook of de mogelijkheid aanwezig is om die problemen op te lossen. Het doel van het onderzoek wordt geformuleerd in de doelstelling. Wanneer er geen probleem opgelost hoeft te worden, maar een nieuw instrument wordt getest dan is er sprake van een instrumenteel onderzoek.

• Aanwezige informatie: Het onderzoek begint met een oriëntatie fase. De onderzoeker gaat nu wat er al beschikbaar is aan literatuur over een bepaald onderwerp. Een ander begrip voor literatuuronderzoek is bronnenonderzoek. Voordat je begint aan een onderzoek heb je vaak al mogelijke ideeën over verbanden. Dit wordt een theorie genoemd. Aan de hand van een literatuuronderzoek kun je bepalen of je theorie klopt en welke onderzoeksopzet anderen in soortgelijke onderzoeken hebben gebruikt. Het is van belang dat je onderzoeksbegrippen duidelijk zijn omschreven dit maakt het zoeken naar literatuur makkelijker. Om na te gaan of je een juist begrip gebruikt is het handig om gebruik te maken van thesaurus. Descriptors zijn de officiële vaktermen die als labels aan publicaties gehangen kunnen worden. Je weet dan dus zeker dat het gevonden artikel ook daadwerkelijk over het onderwerp gaat waar je naar zoekt. Wanneer je daarentegen gebruik maakt van keywords zal de zoekmachine, in de meeste gevallen, niet alleen kijken naar het onderwerp van de publicaties maar ook of het gezochte woord ook voorkomt in de titel of de publicatie zelf. De opbrengst zal dus groter zijn maar over het algemeen minder relevant.

• Waar ga je eigenlijk zoeken? Er zijn twee verschillende soorten zoekmachines. Je hebt zowel de zoekmachines met wetenschappelijke artikelen als zoekmachines met wetenschappelijke boeken en rapporten. Wanneer je op zoek bent naar artikelen kan het handig zijn om te beginnen met zoeken in Google Scholar. Een andere zoekmachine met wetenschappelijks artikelen is de zoekmachine Scirus. Deze zoekmachine doet suggesties voor verwante zoektermen die misschien meer informatie op zullen leveren. Verder kun je natuurlijk altijd gebruik maken van gespecialiseerde zoekmachines waarvan je een lijst kunt vinden op Wikipedia. Deze zoekmachines zijn vaak gekoppeld aan databases. Voor boeken daarentegen is Google Books uiterst geschikt. Op deze manier kun je boeken online inzien om zo te kijken of de inhoud overeenkomt met wat jij zoekt voor je onderzoek. Je kunt de boeken echter niet uitprinten.

• Als laatste zijn er nog de grijze publicaties. Dit zijn met name publicaties zoals rapporten van ministeries en andere overheidsinstellingen. Deze publicaties geven vaak een goed overzicht van bepaalde zaken. Een veelgebruikte zoekmachine voor grijze publicaties is Glin, onderdeel van Picarta. Maar hoe weet je eigenlijk of je volledig bent? Wanneer je een recent artikel doorneemt en in elk geval 80% van de vermelde bronnen hebt gevonden en verwerkt ben je aardig up-to-date. Een andere tip is om niet alleen op onderwerpen te zoeken maar ook op belangrijke namen.

• De onderzoeksvraag(en): Het formuleren van een goede onderzoeksvraag is erg belangrijk. Het is van belang dat je uiteindelijke onderzoeksvraag concreet en eenduidig is, het moet voor iedereen duidelijk zijn wat je gaat onderzoeken en je onderzoeksbegrippen mogen slechts voor één uitleg vatbaar zijn.

• Onderzoekseenheden: Op wie of wat het onderzoek betrekking heeft worden de onderzoekseenheden genoemd. Onderzoekseenheden hebben ook kenmerken. De populatie is de verzameling van alle eenheden, omdat het lastig is de gehele populatie te onderzoeken wordt er vaak gebruik gemaakt van steekproeven. Het is van belang om, voordat je een steekproeftrekking gaat doen, vast te stellen over wie, welke groep, je een uitspraak wilt doen. In hoeverre je resultaten kunt generaliseren naar de beoogde populatie hangt af van de representativiteit van de steekproef. Om duidelijk aan te geven wat je populatie is en wat of wie je eenheden zijn kan het handig zijn om gebruik te maken van subpopulaties. Dit wordt ook wel de splitsingstechniek genoemd.

• Kenmerken en hun mogelijke verhoudingen tot elkaar. Er is sprake van een kenmerk als het om een abstracte eigenschap van een eenheid gaat. Zodra dit kenmerk in meetbare termen is geformuleerd wordt het een variabele. De constructen zijn vaak opgebouwd uit verschillende dimensies, concepten daarentegen zijn vaak eenduidiger. Daarnaast wordt er ook een onderscheid gemaakt tussen directe onafhankelijke kenmerken, directe afhankelijke kenmerken en indirecte controlekenmerken (zoals moderator-, mediator- en 'confounding' kenmerken). Men spreekt van causaliteit wanneer er een relatie is, een onafhankelijke variabele en een afhankelijke variabele. Directe afhankelijke kenmerken daarentegen worden wel direct beïnvloed door andere kenmerken. Er hoeft niet altijd sprake te zijn van één rechtstreekse causale relatie, de relatie kan namelijk ook wederkerig zijn. Dit houdt in dat wanneer één van beide kenmerken verandert dit altijd een effect heeft op het andere kenmerk. Wanneer dit het geval is worden er in het schema twee pijlen weergegeven. Zowel één van variabele 1 naar variabele 2 als andersom. Als laatste zijn er ook nog de indirecte controlekenmerken, dit zijn kenmerken die een mogelijke invloed zouden kunnen hebben op de eerder vastgestelde causale relatie tussen twee andere kenmerken.

• Ethische problemen: In de meeste beroepsgroepen zijn er richtlijnen beschikbaar die aangeven hoe je dient te handelen in bepaalde onderzoekssituaties. In elk onderzoek zijn er verschillende partijen die belangen hebben bij de uitkomst van het onderzoek. Om de belangen en vooral de rechten van alle betrokken partijen te waarborgen zijn er bepaalde eisen zowel met betrekking tot de respondenten als de onderzoeker waar aan voldaan moet worden.

• De gestelde eisen betreffende de respondenten:

  • De respondent dient toestemming te geven.
  • De respondent dient goed geïnformeerd te zijn.
  • De gegevens van de respondenten dienen anoniem verwerkt te worden, al is het niet altijd mogelijk om de respondenten geheel anoniem te houden.
  • De uitkomsten van het uit te voeren onderzoek dienen niet schadelijk te zijn voor de respondenten.

• De gestelde eisen betreffende de onderzoeker:

  • De onderzoeker dient zijn onderzoek op een eerlijke en wetenschappelijke manier uit te voeren.
  • De onderzoeker dient geen gegevens te verstrekken aan andere partijen zonder hier toestemming voor te hebben gekregen van de opdrachtgever.
  • De onderzoeker dient volledig onafhankelijk te functioneren van de opdrachtgever.

• De haalbaarheid van het onderzoek: Van tevoren is het handig om een globale tijdsplanning te maken om te kijken of het onderzoek haalbaar is. De volgende stap is om op zoek te gaan naar mensen die bereid zijn mee te werken aan het onderzoek. Deze bereidheid hangt vaak af van een aantal zaken, de instantie die het onderzoek uitvoert, de benaderingswijze, de tijdsinvestering die de deelnemers zullen moeten doen, de aantrekkelijkheid van het onderzoek, het nut van het onderzoek en de vergoeding. Het vinden van de juiste mensen kan daarom erg veel tijd in beslag nemen.

• Risico's: Het is handig om van te voren een risico analyse te maken om mogelijke problemen vroegtijdig te kunnen tackelen. Mogelijke knelpunten kunnen zijn:

  • Activiteiten die van tevoren niet in de planning opgenomen waren.
  • Te weinig geld.
  • Onverwachte kosten.
  • Benodigdheden die niet beschikbaar blijken te zijn.

Chapter 2

• Onderzoeksvragen: Er zijn drie verschillende soorten onderzoeksvragen: frequentie-onderzoeksvragen, verschil-onderzoeksvragen en samenhang-onderzoeksvragen. Je maakt gebruik van een frequentie-onderzoeksvraag wanneer je wilt onderzoeken hoe vaak een bepaald fenomeen voorkomt.. Verschil-onderzoeksvragen daarentegen worden gebruikt om een verschillende onderzoekseenheden te vergelijken. En als laatste zijn er de samenhang-onderzoeksvragen, deze onderzoeken of er een samenhang aanwezig is tussen verschillende kenmerken. Oftewel: of kenmerk B verandert wanneer kenmerk A verandert ja of nee. Dit verband kan zowel positief als negatief zijn, bij een positief verband gaat een hoge score van kenmerk A gepaard met een hoge score van kenmerk B. Terwijl bij een negatief verband een hoge score van kenmerk A juist gepaard gaat met een lage score van kenmerk B. Deze samenhang (ook wel relatie, verband, associatie of correlatie genoemd) is weer te geven in een spreidingsdiagram. Soms wordt de samenhang tussen twee variabelen niet alleen verklaard door deze twee variabelen zelf maar door een derde variabele.

• Causaliteit: Zowel bij samenhang-onderzoeksvragen als verschil-onderzoeksvragen wil je vaak ook weten wat de causaliteit of oorzakelijkheid is van het te onderzoeken of onderzochte verband of verschil. Er zijn drievoorwaarden waaraan voldoen moet worden om te kunnen spreken van een causale relatie: de twee variabelen moeten samenhangen, de tijdsvolgorde en er mag geen derde variabele aanwezig zijn.

• Derde variabele: Er zijn verschillende vormen van derde variabelen die invloed kunnen hebben op de relatie tussen de onafhankelijke en de afhankelijke variabele, namelijk:

  • Een mediërende variabele, mediatie houdt in dat er een derde variabele is die zowel samenhangt met variabele 1 als met variabele 2.
  • Een confounding-variabele, een confounding effect betekent dat er zowel een relatie is tussen variabele 1 en variabele 3 als tussen variabele 2 en variabele 3. De derde variabele vormt echter geen tussenschakel.
  • Moderator-variabele, bij een moderatie verandert het verband tussen de onafhankelijke en de afhankelijke variabele door de derde variabele. Bij elke waarde van de moderator, de derde variabele, is de relatie tussen variabele 1 en variabele 2 anders.

• Door de vertekening die een derde variabele soms met zich meebrengt kan er een schijnverband ontstaan. Dit houdt in dat er, wanneer de derde variabele gecorrigeerd wordt, geen verband meer blijkt te bestaan tussen de onafhankelijke en afhankelijke variabele. Het tegenovergestelde kan ook gebeuren, namelijk dat de correlatie sterker wordt wanneer de derde variabele gecorrigeerd wordt.

• Onderzoekstypen: Er zijn drie verschillende vormen van onderzoek en elk van deze onderzoekstypen geeft antwoord op een ander soort vraag.

  • Bij een beschrijvend onderzoek gaat het om het beschrijven van een bepaald fenomeen.
  • Voor exploratief onderzoek daarentegen is alleen beschrijven niet voldoende. Er wordt gezocht naar een verklaring voor bepaalde verschillen en gegevens die reeds vastgesteld zijn.
  • Het toetsend onderzoek, wanneer je al een bepaald idee gevormd hebt over hoe iets precies zit, kan een toetsend onderzoek nuttig zijn om te 'toetsen' of deze theorie ook klopt.
  • Een speciale vorm van toetsend onderzoek is een evaluatieonderzoek. Bij een summatief evaluatieonderzoek (product) wordt een bepaalde interventie geëvalueerd om te kijken of de van tevoren gestelde verwachtingen uitgekomen zijn. Formatief (proces) evaluatieonderzoek daarentegen gaat na welke factoren de interventie al dan niet succesvol maken.

• Onderzoeksontwerp: Het onderzoekstype bepaalt hoe je je onderzoek moet gaan opzetten, dit noem je ook wel het onderzoeksontwerp.

• Elk onderzoeksontwerp brengt bepaalde gevolgen met zich mee wat betreft de interne validiteit. Interne validiteit stelt de vraag of het resultaat van het onderzoek wel het juiste beeld van de werkelijkheid weergeeft, of dat het beeld vertekend is als gevolg van externe factoren of dergelijke andere invloeden. Externe validiteit daarentegen houdt zich bezig met de generaliseerbaarheid van je onderzoekresultaten.

• Surveyonderzoek: Een surveyonderzoek is een logische keuze wanneer je onderzoek gericht is op het vaststellen van een verband tussen twee variabelen. De kenmerken van een surveyonderzoek zijn:

  • Er wordt door de onderzoeker zelf niet geïntervenieerd, het is een combinatie van observationeel- en enquête-onderzoek.
  • Hoe groter de steekproef hoe nauwkeuriger je resultaten.
  • Je bestudeert een groot aantal kenmerken in één onderzoek.
  • Een surveyonderzoek bestaat over het algemeen uit één enkele meting, op één bepaald tijdstip. Het is een momentopname.

• Een cross-sectioneel surveyonderzoek betekent dat je dezelfde meting doet in bijvoorbeeld verschillende leeftijdsfasen om zo een completer beeld te krijgen van de werkelijkheid. Of een longtudinaal onderzoek, in deze onderzoeksopzet is het mogelijk om op verschillende momenten gegevens te verzamelen. Er zijn twee verschillende vormen van longtudinaal onderzoek, namelijk een panel- of cohort-onderzoek of een trend-onderzoek. Op de toekomst gericht onderzoek wordt ook wel prospectief onderzoek genoemd terwijl op het verleden gericht onderzoek retrospectief onderzoek genoemd wordt.

• Experimenteelonderzoek: De kenmerken van een experimenteel onderzoek zijn:

  • De huidige situatie wordt door middel van een interventie aangepast, de onafhankelijke variabele wordt gemanipuleerd.
  • De onderzoekspopulatie is kleiner dan bij een surveyonderzoek.
  • Er worden vaak ook minder variabelen onderzocht.
  • Deze vorm van onderzoek is ook geschikt om een causaal verband mee te toetsen.
  • Je onderzoekt slechts één onderzoekseenheid, waardoor de externe validiteit klein is.
  • Er zijn drie vormen van experimenteel onderzoek: zuiver experiment, een quasi-experiment en een pré-experiment.

• Een zuiver experiment: Een zuiver experiment wordt gebaseerd op twee variabelen, waarvan één de onafhankelijke variabele is en de ander de afhankelijke variabele. Door de onafhankelijke variabele te manipuleren wordt getoetst of er een relatie bestaat tussen de onafhankelijke en afhankelijke variabele. Naast de experimentele groep is er ook een controlegroep ter vergelijking. De verdeling over deze twee verschillende groepen gebeurt op basis van toeval, dit wordt ook wel randomiseren genoemd. Doordat er bij zuivere experimenten gebruik wordt gemaakt van randomisatie worden veel verstorende factoren buiten spel gezet, hierdoor is de interne validiteit van een zuiver experiment relatief hoog.

• Quasi-experiment: In sommige situaties is het ethisch niet verantwoord om een zuiver experiment uit te voeren omdat je de respondenten bijvoorbeeld niet bloot kunt stellen aan randomisatie. Bij quasi-experimenten wordt gebruikgemaakt van reeds bestaande groepen. Een manier om de controlegroep en de experimentele groep vergelijkbaar te maken is door middel van 'matching'. Dit houdt in dat je de groepen indeelt aan de hand van bepaalde kenmerken waardoor je bewust vergelijkbare groepen creëert. Een andere manier om de controlegroep en de experimentele groep vergelijkbaar te maken is door te 'homogeniseren'. Zo baseer je onderzoekseenheden op hun waarde op een bepaalde derde variabele. Oftewel je probeert je onderzoekseenheden zó te organiseren dat ze samen zo homogeen mogelijk zijn wat betreft hun derde variabele.

• Pré-experiment: Je kiest eigenlijk alleen maar voor deze vorm van onderzoek wanneer het niet mogelijk is een controlegroep samen te stellen. Kenmerkend voor een pre-experiment is dat er maar 1 of soms geen vergelijkingsgroep is.

• Mogelijk verstorende factoren bij een zuiver experiment:

  • Het Hawthorne-effect, door de aandacht die de deelnemers van de experimentele groep krijgen kan hun gedrag veranderen.
  • Het experimenter-effect, het kan gebeuren dat de resultaten van het onderzoek beïnvloed worden door de verwachtingen van de onderzoeker zelf.
  • Toevallige verschillen tussen de controlegroep en de experimentele groep, randomisatie gaat deze toevallige verschillen tegen, mits de groep groot genoeg is.
  • Het novelty-effect, houdt in dat de interventie wel een verbetering ten gevolge heeft maar dat deze verandering maar van korte duur is.
  • Ecologische validiteit, dit is de mate waarin de resultaten generaliseerbaar zijn.

• Mogelijk verstorende factoren bij een quasi- of pré-experiment:

  • Een tussentijds voorval kan ervoor zorgen dat de waargenomen verandering niet veroorzaakt wordt door een interventie maar door een voorval dat plaatsvindt tussen de voor- en de nameting in.
  • Er is sprake van een groei-effect wanneer een verandering niet toe te schrijven valt aan een toegepaste interventie, wanneer de interventie niet voor een verandering gezorgd heeft maar wanneer er sprake is van een natuurlijke verandering.
  • Je krijgt te maken met het testeffect wanneer je meerdere malen dezelfde test afneemt. De score zal dan automatisch hoger uitvallen naarmate de respondent de test vaker gemaakt heeft.
  • Het instrumentatie-effect komt alleen voor wanneer je meetinstrumenten per meting verschillen aangezien dit je resultaten zou kunnen beïnvloeden.
  • Wanneer mensen bij de eerste meting al maximaal scoren is er geen ruimte meer voor verbetering, dit wordt ook wel het plafond-effect genoemd.
  • Het tegenovergestelde kan daarentegen ook een probleem vormen, het bodemeffect. Wanneer mensen bij de eerste meting minimaal score is er geen ruimte meer voor verslechtering en zal er de volgende meting hoogstwaarschijnlijk een verbetering geconstateerd worden. Maar valt deze verbetering eigenlijk wel aan de interventie toe te schrijven.
  • Er is een statistisch fenomeen dat ook wel de statistische regressie naar het gemiddelde genoemd kan worden dat ervoor zorgt dat extreme scores na meerdere metingen eigenlijk altijd naar het gemiddelde toetrekken.
  • Selectie kan een probleem vormen wanneer je respondenten hebt die op vrijwillige basis meedoen aan het onderzoek.
  • Door selectieve uitval kan het gebeuren dat je steekproef niet langer representatief is.
  • Het placebo-effect houdt in dat mensen, ongeacht of ze daadwerkelijk in de experimentele groep zitten, denken dat ze blootgesteld zijn aan een interventie en door deze gedachte zich ook anders gaan gedragen.

Chapter 3

• Het doel van je onderzoek is om uiteindelijk uitspraken te kunnen doen over bepaalde onderzoekseenheden. Al deze onderzoekseenheden samen vormen je onderzoekspopulatie. Vaak is de populatie die je wilt onderzoeken echter zo groot dat men er vaak voor kiest om maar een deel van deze populatie ook daadwerkelijk bij hun onderzoek te betrekken. Dit deel wordt de steekproef genoemd en aan de hand van deze steekproef kun je dan, aan het eind van je onderzoek, een uitspraak doen over de populatie. Bij een steekproef is het steekproefgemiddelde altijd een schatting van het populatiegemiddelde.

• A-selecte en selecte steekproeven: Er zijn twee soorten steekproeven, namelijk selecte en a-selecte steekproeven. Het verschil tussen deze beide vormen is dat de één gebaseerd is op kans en de andere niet. Bij een a-selecte steekproef hebben alle eenheden een gelijke kans om in de steekproef te komen. Bij selecte steekproeven daarentegen hebben de eenheden een ongelijke kans.

• A-selecte steekproeven: Wanneer de samenstelling van een steekproef volledig toegerekend kan worden aan toeval, wordt het ook wel een kanssteekproef genoemd oftewel een a-selecte steekproef. Er zijn drie verschillende vormen van a-selecte steekproeven: de enkelvoudige a-selecte steekproef, de gestratificeerde a-selecte steekproef en de getrapte steekproef.

• De enkelvoudige a-selecte steekproef: Bij een enkelvoudige a-selecte steekproef wordt er uit het steekproefkader, op basis van toeval (random), het aantal benodigde steekproefeenheden getrokken.

• De gestratificeerde a-selecte steekproef: Bij een gestratificeerde a-selecte steekproef worden twee of groepen met elkaar vergeleken.. De verschillende afzonderlijke steekproeven vormen dan samen je gestratificeerde a-selecte steekproef. Wanneer je twee of meer groepen wil vergelijken kan het handig zijn als beide groepen ongeveer even groot zijn, van vergelijkbare grootte. Uit ieder stratum wordt dan hetzelfde aantal eenheden getrokken (disproportioneel). Wil je wel uitspraken kunnen doen over de totale populatie dan is het handiger om een proportionele trekking te doen. Dit betekent dat de verdeling van jouw strata overeenkomt met de verdeling in de totale populatie.

• De getrapte steekproef: Bij een getrapte steekproef is het niet mogelijk een steekproef te trekken uit een bestand. Er zijn meerdere steekproeven nodig om een uiteindelijke steekproef te kunnen trekken. Omdat meertrapssteekproeven uit meerdere fases bestaan heb je een groter risico op fouten.

• Selecte steekproeven: Bij een selecte steekproef daarentegen hebben de onderzoekseenheden geen gelijke kans om in de steekproef terecht te komen. De resultaten van je onderzoek zijn dan dus alleen van toepassing op de eenheden die je in je onderzoek betrokken hebt. Een selecte steekproef heeft dus bijna nooit de voorkeur tenzij het niet anders kan.

• Gelegenheidssteekproef: Bij een gelegenheidssteekproef maak je gebruik van de onderzoekseenheden die je als eerste tegenkomt. Niet iedereen heeft dan dezelfde kans om getrokken te worden.

• Quota-steekproef: Bij een quota-steekproef wordt, net als bij de gestratificeerde a-selecte steekproef, de populatie opgedeeld in strata. Vervolgens wordt er select een steekproef getrokken uit elke afzonderlijke deelpopulatie. Dit kan zowel proportioneel als disproportioneel gedaan worden.

• Doelgerichte steekproef: Bij een doelgerichte steekproef worden de steekproefeenheden zorgvuldig uitgekozen afhankelijk van je geformuleerde onderzoeksvraag. Een specifieke vorm van een doelgerichte steekproef is bijvoorbeeld panelonderzoek.

• Sneeuwbalsteekproef: Bij een sneeuwbalsteekproef begin je met één respondent die aan jouw eisen voldoet om zo, via via, steeds meer respondenten te vinden.

• De grootte van mijn steekproef: De grootte van je steekproef bepaalt de nauwkeurigheid van de uitspraken die je kunt doen. De grootte van je steekproef hangt van een aantal factoren af, namelijk de heterogeniteit van de te onderzoeken populatie, de vereiste nauwkeurigheid en het karakter van je onderzoek.

• Er zijn verschillende formules te gebruiken voor het berekenen van de minimale grootte van je steekproef. De formule die je dient te gebruiken is afhankelijk van wat je precies wil doen met de uitkomsten van je onderzoek. Wil je proporties berekenen of wil je een populatiegemiddelde schatten? Voor het schatten van proporties wordt de volgende formule gebruikt: N = (z/m)² p(1-p)

  • z = de zekerheid waarmee je op basis van je steekproefresultaten een uitspraak wil doen over de populatie
  • m = de foutenmarge die je wil hanteren.
  • p = de proportie personen.

• Wanneer het doel van je steekproef is om uitspraken te kunnen doen over populatiegemiddelden in plaats van proporties, dien je echter gebruik te maken van een andere formule: N = ((1,96σ)/m) ²

  • σ = standaarddeviatie in de populatie.
  • m = de foutenmarge die je wil hanteren.

• Al ziet de formule er redelijk simpel uit, het vaststellen van de standaarddeviatie is vaak nog een hele opgave. Je moet hem óf proberen te achterhalen uit de bestaande gegevens óf je maakt een schattingberekening (maximum - minimum)/6.

• Vaak wordt de grootte van de steekproef toch vooral bepaald aan de hand van de maximaal haalbare steekproefomvang gezien tijd, budget en beschikbaarheid. Het kan dan alsnog handig zijn om uit te rekenen hoe betrouwbaar je steekproef dan eigenlijk is.

• Hoe kom ik aan respondenten? De wijze waarop het onderzoek gepresenteerd wordt zal grote invloed hebben op de reacties van mogelijke respondenten. Zo moet al bij de eerste kennismaking duidelijk zijn wat de relevantie van het onderzoek is, wie de onderzoeker of het onderzoeksinstituut is, of de gegevens anoniem en vertrouwelijk verwerkt worden, hoe de onderzoeker aan de gegevens van de mogelijke respondent komt, hoeveel tijd het onderzoek in beslag gaat nemen en of het onderzoek gepubliceerd gaat worden.

• Non-respons: Uiteindelijk zijn er vaak respondenten die niet kunnen of om andere redenen niet mee kunnen werken aan het onderzoek. Dat betekent dat vaak maar een deel van je steekproef ook daadwerkelijk meedoet aan je onderzoek. Dit deel wordt ook wel de data-producerende steekproef genoemd. Er zijn meerdere redenen waarom respondenten afvallen:

  • De respondenten worden niet bereikt.
  • De respondenten behoren niet tot de doelgroep.
  • De respondenten konden niet mee doen.

• Selectieve non-respons: Non-respons hoeft niet altijd een probleem te vormen, zolang het maar niet om selectieve non-respons gaat. Dit houdt in dat de groep mensen die afhaakt andere kenmerken heeft dan de mensen die overblijven wat ervoor zorgt dat je steekproef niet langer representatief is.

Chapter 4

• Operationaliseren: Operationaliseren is het vertalen van kenmerken naar concreet meetbare termen. Een geoperationaliseerd kenmerkt heet een variabele. Kenmerken die gemakkelijk te operationaliseren zijn worden ook wel concepten genoemd (bijv. leeftijd). Een abstract en complex begrip wat niet geoperationaliseerd kan worden met één vraag wordt een construct genoemd (bijv. klantvriendelijkheid).

• Centrale begrippen: Een construct bestaat uit meerdere dimensies. Om deze verschillende dimensies goed in kaart te brengen is onderstaand stappenplan handig:

1. Definieer het begrip aan de hand van literatuur en maak gebruik van thesaurus.
2. Specificeer de verschillende dimensies die verbonden zijn aan het te onderzoeken begrip.
3. Specificeer de verschillende indicatoren, een indicator is een concretere uitwerking van een begrip of in dit geval de dimensies van een begrip.
4. Specificeer de items waarin je de indicatoren wilt uitdrukken, dit kunnen zowel enquêtevragen als bijvoorbeeld scoringscategorieën zijn.

• Dataverzamelingsmethodes: Een goedkope en snelle manier van dataverzameling is om door gebruik te maken van bestaande data. Mocht bestaande data niet voorhanden zijn dan kun je gebruik maken van interviews of vragenlijsten. Daarnaast kan observeren ook een manier zijn om data te verzamelen.

• Gestructureerd of ongestructureerd data verzamelen? Gestructureerde dataverzameling houdt in dat je van tevoren precies weet welke informatie je nodig hebt om je onderzoeksvraag te beantwoorden. Ongestructureerde dataverzameling daarentegen houdt in dat je van tevoren geen vast lijstje met vragen en aandachtspunten hebt.

• Interviews: Het gestructureerd afnemen van interviews of enquêtes houdt in dat je werkt met een vragenlijst waarin de antwoordmogelijkheden al zijn opgenomen. Bij een open interview stel je een open beginvraag.

• Observatie: Wanneer je ervoor kiest om via observatie gegevens te verzamelen kun je of van tevoren een lijstje te maken, een observatieformulier. Of je kiest ervoor om alleen aantekeningen te maken tijdens het observeren waar je later conclusies uit trekt.

• Bestaande data: Je kunt vooraf een paar punten vaststellen waarop je gaat letten of je kunt tijdens het proces aantekeningen maken, wat valt je op, zonder dat je van tevoren weet welke richting je opgaat.

• De keuze voor een gestructureerde of ongestructureerde aanpak is afhankelijk van de complexiteit van het te onderzoeken onderwerp maar ook van je voorkennis. Voor complexe onderwerpen waar je zelf nog nauwelijks iets tot niks van weet kies je een ongestructureerde aanpak. Gestructureerde informatieverzameling wordt over het algemeen verkozen boven een ongestructureerde aanpak omdat de resultaten preciezer zijn doordat ze minder afhankelijk zijn van toeval.

• Directe en indirecte gegevensverzameling: Wanneer je voor je onderzoek complexe of abstracte begrippen dient te onderzoeken is het soms lastig om dit te doen aan de hand van een directe meting. In plaats daarvan kun je kiezen voor een indirecte meting.

• Interviews: Wanneer je iemand vraagt naar zijn leeftijd of geslacht is dit een directe manier van meten. Veel operationaliseringen van abstracte begrippen zijn indirecte metingen, in plaats van mensen naar een bepaald begrip te vragen vraag je naar kenmerken van dat begrip die er nauw mee samenhangen, indicatoren.

• Observatie: Bij een niet-ingrijpende meting vindt er geen verstoring plaats van de dagelijks gang. Doordat mensen het niet door hebben en er geen last van hebben loop je een veel kleiner risico dat ze hun gedrag gaan aanpassen of sociaal wenselijke antwoorden gaan geven.

• Bestaande data: Bij een indirecte manier om een bepaald begrip of een bepaald onderwerp te onderzoeken dan gebruik je dus niet het te onderzoeken onderwerp of begrip zelf maar iets dat er dichtbij ligt om zo alsnog tot een conclusie te komen.

• In veel gevallen hebben directe metingen toch de voorkeur. Directe metingen zijn echter niet altijd mogelijk waardoor een indirecte meting de enig overgebleven optie is. Houd er wel rekening mee dat de validiteit van een indirecte meting over het algemeen lager ligt dan de validiteit van een directe meting.

• Het meetniveau van de gemeten kenmerken: Een begrip bestaat uit verschillende indicatoren en elke indicator is weer opgebouwd uit verschillende items. Er zijn verschillende typen variabelen te onderscheiden, namelijk: nominale, ordinale, interval- en ratiovariabelen.

  • Nominale variabelen zijn variabelen die maar op één manier te meten zijn, je noemt ze ook wel categorische variabelen (bijv. geslacht).
  • Ordinale variabelen daarentegen hebben wel degelijk een logische ordening. Een hoger cijfer, hogere score, betekent méér dan een lagere score, al is niet vast te stellen hoeveel meer dit dan precies is. Een ordinale variabele geeft dus de rangorde aan.
  • Met interval- of ratiovariabelen is het wel mogelijk om mee te rekenen. Het zegt niet alleen iets over de rangorde van de scores maar ook over de grootte van de verschillen tussen de verschillende scores. Het verschil tussen de twee soorten variabelen is echter dat er bij een intervalvariabele geen sprake is van een absoluut nulpunt terwijl een ratiovariabele dit wel heeft.

• Antwoordschalen: Bij gebruik van antwoordschalen zijn er een aantal factoren waar rekening gehouden moet worden.

  • Het soort antwoordschaal verschilt per begrip. Hoe complexer het begrip hoe meer keuzes.
  • Probeer het hoogst haalbare meetniveau te kiezen.
  • Antwoordschalen bestaan uit gegevens op ordinaal niveau. Vaak worden de antwoorden op een aantal items gecombineerd tot een totaalscore, de opgetelde score van een aantal items of het gemiddelde.
  • Het gebruik van reeds bestaande meetinstrumenten. Door gebruik te maken van meetinstrumenten die al in andere onderzoeken gebruikt zijn kun je jezelf een hoop werk besparen.

• De betrouwbaarheid van mijn meting: Betrouwbaarheid is de mate waarin een meting beïnvloed wordt door toevallige fouten. Hoe groter de afhankelijkheid van toeval hoe onbetrouwbaarder de meting. Een handige manier om de betrouwbaarheid van je test na te gaan is door de gegevens na te gaan in de test-hertestmethode, je herhaalt dezelfde test dan nog een keer. Ook bij observatie kan deze methode handig zijn. Ook kun je letten op de homogeniteit van de antwoorden op de verschillende vragen die je stelt om één en hetzelfde begrip te meten. Als het goed is hangen de antwoorden op deze vragen samen. De samenhang tussen de scores van de verschillende beoordelaars bij een observatie wordt ook wel de inter- beoordelaarsbetrouwbaarheid genoemd. Hoe groter de samenhang hoe betrouwbaarder de resultaten van het onderzoek.

• Validiteit: Validiteit houdt in dat je meet wat je wil meten. Fouten die altijd dezelfde richting en dezelfde grootte hebben noem je systematische fouten. Een van de grootste problemen voor de validiteit van een meting zijn sociaal wenselijke antwoorden. Er zijn twee vormen van validiteit waar je rekening mee moet houden bij het uitvoeren van je onderzoek.

  • Begripsvaliditeit: stelt de vraag of je daadwerkelijk meet wat je beoogd te meten. Deze vorm van validiteit is dus alleen te berekenen wanneer er andere meetinstrumenten bestaan die hetzelfde begrip meten en als je ze beide kunt toepassen in je onderzoek.
  • Predictieve validiteit: meet de samenhang tussen twee verschillende begrippen om er uiteindelijk voorspellingen over te maken.

• Betrouwbaarheid is geen garantie voor validiteit, maar wel een voorwaarde. Als een meting niet betrouwbaar is kan hij ook niet valide zijn. Je doet dus pas onderzoek naar de validiteit van een meting nadat je hebt vastgesteld dat hij betrouwbaar is.

Chapter 5

• Het gebruik van bestaande gegevens: Wanneer je een onderzoeksvraag kunt beantwoorden met gegevens die al ergens zijn opgeslagen, dan maak je gebruik van bestaande gegevens. Deze manier van onderzoek doen wordt deskresearch genoemd. Een documentenanalyse mag niet verward worden met literatuuronderzoek. Literatuuronderzoek houdt het vinden van relevante informatie in voor de opzet van je onderzoek en het verantwoorden van je theoretisch kader. Wanneer je analyses uitvoert op cijfers uit de eerste hand (dus onbewerkt) noem je dit primaire analyses. Daarnaast kun je gegevens tegen komen die nog niet gestructureerd zijn. De inhoud van deze documenten analyseer je door ze op te delen in begripsmatige categorieën. Door de gegevens om te zetten in getallen creëer je de mogelijkheid om een kwantitatieve inhoudsanalyse uit te voeren.

• Een andere vorm van onderzoek doen met bestaande gegevens is door middel van hergebruik van onderzoekgegevens. Numerieke gegevens uit reeds uitgevoerde onderzoeken gebruik je in dit geval voor het beantwoorden van nieuwe onderzoeksvragen. Dit worden secundaire analyses genoemd. Tot slot kun je ervoor kiezen om de uitkomsten van verschillende reeds uitgevoerde onderzoeken opnieuw te analyseren om zo de onderlinge samenhang te kunnen vaststellen. Deze vorm van analyseren wordt meta-analyse genoemd.

• Interne reeds voorhanden gegevens: Interne gegevens zijn gegevens die binnen een organisatie of bedrijf vastgelegd zijn. Externe reeds voorhanden gegevens: Dit zijn gegevens die je van buiten de organisatie haalt waar je onderzoek voor doet. De locaties waarop deze gegevens worden opgeslagen heten databronnen.

  • Bronnen van de overheid.
  • Commerciële bronnen.
  • Academische databestanden.
  • Bronnen met bedrijfsgegevens.
  • Archieven met onderzoeksdata.
  • Internetbronnen.

• Het is ook mogelijk om zowel gebruik te maken van interne bestaande gegevens als externe bestaande gegevens en ze samen te voegen.

• Voordelen van het gebruik van bestaande gegevens in je onderzoek:

  • Je kunt snel en relatief goedkoop aan gegevens komen.
  • Je loopt niet het risico dat de onderzoeker invloed heeft op de onderzoeksresultaten.
  • Je kunt gegevens gebruiken van mensen die niet meer leven of niet meer te benaderen zijn.
  • Je hebt de mogelijkheid om een longitudinaal onderzoek te verrichten.
  • Je hebt toegang tot grote hoeveelheden data.

• Nadelen van het gebruik van bestaande gegevens in je onderzoek:

  • Je hebt kans dat de weergave van bepaalde gegevens anders is dan jij als onderzoeker wenst of dat er bepaalde gegevens ontbreken die wel van belang zijn voor je onderzoek.
  • Je hebt kans dat de gegevens verouderd zijn.
  • Je hebt kans dat de benodigde gegevens niet toegankelijk zijn of maar beperkt toegankelijk.

• Het verzamelen van gegevens via sociale media: Losse berichten op sociale media lijken misschien oninteressant als onderzoeksgegevens, het zijn er echter zo veel dat wanneer je ze analyseert je wel degelijk een representatief beeld krijgt van wat een mens zoal bezighoudt. Een voordeel van social media is dat het erg bereikbaar is, daarnaast komt het uit de eerste hand. Nadelig kan het echter zijn dat niet alle bevolkingsgroepen evenredig actief zijn op de social media.

• De kwaliteitsbeoordeling: Het wordt lastig om onzorgvuldig of verkeerd vastgelegde informatie te herstellen, wees daarom in eerste instantie kritisch bij het beoordelen van de kwaliteit van de bestaande gegevens die je gaat gebruiken. Daarnaast kan de manier van dataverzameling van invloed zijn op de kwaliteit van de gegevens. Ook als de respondenten op een selectieve manier zijn gekozen kan dit grote invloed hebben op de kwaliteit van de onderzoeksresultaten. Houd hier dus rekening mee. Door de tijd heen kan het zijn dat verschillende definities van begrippen of omschrijvingen van bepaalde verschijnselen veranderd zijn.

Chapter 6

• Door het afnemen interviews is het mogelijk uitspraken te doen over de attitudes, opinies, gevoelens, gedachten en kennis van de respondenten. Niet alle verkregen informatie is valide bij interviews (motieven, slecht geheugen e.d.). Daarnaast is er de kans dat mensen sociaal wenselijke antwoorden geven. Verder kon non-respons een probleem vormen.

• Het afnemen van interviews en de voor- en nadelen die hieraan verbonden zijn. Bij het mondeling afnemen van een interview zijn er drie mogelijke manieren:

  • Face to face
  • Telefonisch
  • Chatprogramma

• De volgende punten kunnen worden mee genomen in de afweging welke methode het best past bij het beoogde onderzoek:

  • Het aantal vragen dat je wil stellen. Wanneer je een enquête schriftelijk afneemt kun je maar een beperkt aantal vragen stellen.
  • Het benodigde aantal respondenten. Het aantal respondenten dat je wil en kan bereiken is grotendeels afhankelijk van het feit of je over een goede database beschikt ja of nee.
  • De respons, het verschilt per deelpopulatie welke afnamevariant de grootste respons heeft.
  • Beschikbare hoeveelheid geld en tijd. Mondelinge afnamen nemen zowel meer tijd als geld in beslag aangezien je vaak ook nog met reis- en verblijfkosten zit.
  • Belasting. Het is al lastig genoeg om respondenten te vinden, houd er met het maken van een vragenlijst dan ook rekening mee dat hij niet te lang is.
  • Controleerbaarheid. Je wilt weten wie de vragenlijst precies heeft ingevuld en of deze compleet is.
  • Sociale wenselijkheid. Respondenten willen graag goed overkomen en maken de antwoorden daarom mooier dan ze zijn.

• Computerondersteunend interviewen, synchroon of a-synchroon in tijd: Je spreekt van synchroon (in de tijd) enquêteren wanneer er directe interactie is tussen de interviewer en de respondent. Er zijn een aantal programma’s op het internet die je hier als onderzoeker voor kunt gebruiken. Belangrijke voordelen van deze manier van informatieverzameling is dat het tijds- en kostenbesparend is. Bij een a-synchrone (in de tijd) enquête is er daarentegen geen directe interactie tussen de respondent en de interviewer. Een nadeel van deze manier van afnemen is dat de interviewer niet direct kan reageren op de antwoorden van de respondent. Voordelig is echter dat de respondent de keuze heeft waar en wanneer hij de vragenlijst in wil vullen.

• Open of gesloten vragen: Het verschil tussen open en gesloten vragen is dat je bij gesloten vragen de antwoordmogelijkheden al geeft terwijl de respondent bij open vragen de mogelijkheid heeft om zelf een antwoord te formuleren. Voordelen van gesloten vragen zijn dat je achteraf makkelijk vast kan stellen welk percentage van de respondenten voor elk van de antwoordcategorieën gekozen heeft. De verwerking kost weinig tijd en daarnaast is de betrouwbaarheid hoog doordat de invloed van de interviewer beperkt blijft. Open vragen gebruik je daarentegen wanneer het een onderwerp betreft dat zich niet goed leent voor geprecodeerde antwoorden, of wanneer je niet zo'n goed beeld hebt van de te verwachten antwoorden.

• De formulering van je onderzoeksvragen: De formulering van je onderzoeksvragen is van groot belang voor je uiteindelijke onderzoeksresultaten. Houd de volgende punten in acht bij het maken van een vrangelijst:

  • Maak gebruik van helder en eenduidig taalgebruik;
  • Geen suggestieve vragen;
  • Geen dubbele vragen;
  • Respondent moet antwoord kunnen geven;
  • Geen controversiële vragen;
  • Geen evaluatieve en waaromvragen;
  • Aansluiten bij het niveau van de respondent.

• Het formuleren van antwoordmogelijkheden: Niet alleen de onderzoeksvragen maar ook de geformuleerde antwoordmogelijkheden kunnen van invloed zijn op de uiteindelijke onderzoeksresultaten. Antwoordmogelijkheden moeten uitputtend zijn en elkaar uitsluiten. Je dient bij het formuleren van je antwoordmogelijkheden een onderscheid te maken tussen nominale gegevens en ordinale, interval- en ratiogegevens. Een bekend voorbeeld van een antwoordschaal is de Likertschaal, constructen die je wilt meten worden 'vertaald' in stellingen, waarbij de antwoorden een schaal vormen van 'geheel oneens' tot 'geheel eens'. Een samengesteld construct kan een lijst met stellingen bevatten die gezamenlijk het theoretisch concept dekken. Een meetinstrument dat je kunt gebruiken om vast te stellen of een construct daadwerkelijk is gemeten is Cronbach's α. De waardes kunnen liggen tussen de 0 en de 1.0 en je dient te streven naar een minimum van 0.70.

• Om een totaalscore te creëren kun je gebruik maken van de Net Promotor Score. Deze score neemt het percentage respondenten die een 9 of 10 geven en trekt daar het percentage mensen dat een 6 of minder scoorden vanaf.

• Waar dien je op te letten bij het formuleren van je antwoordschalen? Kijkend naar de inhoud van je antwoordschalen is er een aantal punten waar je goed over na moet denken:

1. Het aantal antwoordcategorieën dat je wilt gaan gebruiken. Over het algemeen gebruikt men voornamelijk drie- of vijfpuntsschalen.
2. De keuze voor een even of een oneven aantal antwoordcategorieën. Door een even aantal dwing je de respondent als het ware een stelling aan te nemen.
3. Wil je de respondent wel of niet de mogelijkheid geven neutraal te stemmen, of 'geen mening' te hebben.
4. De opbouw van je vragenlijst en een gelijkmatige verdeling van je verschillende categorieën. Het aantal antwoorden links en rechts van het middelpunt dienen bijvoorbeeld gelijk te zijn anders zou de respondent dit suggestief kunnen opvatten.
5. Bij het meten van een begrip kun je bij verschillende vragen dezelfde categorieën gebruiken. Je kunt de scores dan makkelijker combineren tot een totaalscore.

• Ook bij de vormgeving zijn er bepaalde aspecten waar je rekening mee dient te houden aangezien ze invloed kunnen hebben op de antwoorden van de respondent. Houd bijvoorbeeld rekening met de manier waarop in een bepaald land de antwoordschalen normaliter worden opgebouwd. Daarnaast kan de grootte van het gegeven tekstvak invloed hebben op de uitgebreidheid van het antwoord. Bij mondelinge afnamen is er nog een extra aandachtspuntje, wanneer er meer dan drie mogelijke antwoorden zijn is het handig om gebruik te maken van een antwoordkaartje.

• De definitieve vragenlijst: Wanneer je eenmaal een lijstje hebt met vragen en antwoordmogelijkheden is het tijd om de volgorde van de vragenlijst vast te gaan stellen.

  • Orden de vragen op onderwerp
  • Begin met de screeningsvragen om te kijken of iemand geschikt is voor het onderzoek.
  • Daarna de wat makkelijker vragen en dan daarna de kernvragen en tot slot de gevoelige vragen.
  • Controleer of de onderwerpen elkaar logisch opvolgen.
  • Ruimte geven voor aanvulling.

• Voorbereiding op de afname zelf: Zowel bij een mondelinge als een schriftelijke afname is de voorbereiding erg belangrijk. Bij een schriftelijk interview begint dit bij de introductiebrief. Bij een mondelinge afname daarentegen is er een andere procedure die je dient aan te houden. Stel je, als onderzoeker, eerst voor, waarna je de respondent vraagt of hij of zij nu tijd heeft om een aantal vragen te beantwoorden. Leg dan kort uit wat de bedoeling is en wat er van de respondent verwacht wordt.

• Uittesten van de vragenlijst: Het is van groot belang dat voordat je de interviews ook daadwerkelijk gaat afnemen je eerst je vragenlijst nog eens test. Dit kan door middel van een proefafname. Een pretest op begrijpelijkheid van vraag en antwoorden is zelfs verplicht (ISO-codes voor marktonderzoek).

• Achterafcontrole: Doordat bij online-onderzoek de interviewer zelf niet actief participeert in het interview moeten de verzamelde gegevens achteraf goed gecontroleerd worden. Om te kunnen vaststellen of een respondent serieus bezig is geweest met de vragenlijst zijn er drie punten waar je op moet letten:

  • De invulduur, wanneer de respondent aan de ondergrens zit is de kans groot dat hij het niet serieus heeft genomen.
  • Straight lining, dit houdt in dat er bovenmatig vaak hetzelfde antwoord is gegeven.
  • De open vragen bekijken. Wanneer de antwoorden kort of niet serieus zijn is dit een slecht teken.

Chapter 7

• Voor- en nadelen van de observatiemethode: Observeren is het rechtstreeks waarnemen en registreren van gedrag zonder als onderzoeker in de situatie te interveniëren. Voordeel van deze manier van werken zijn dat het je de mogelijkheid biedt om gedrag waar te nemen waar de respondenten zich zelf nauwelijks of niet van bewust zijn. Daarnaast zijn de respondenten er niet van op de hoogte dat ze geobserveerd worden waardoor ze niet de mogelijkheid krijgen om sociaal wenselijk te antwoorden of te reageren. Dit soort metingen noemen we ook wel unobtrusive, niet van invloed op het gedrag van de respondent. Nog een voordelige bijkomstigheid is dat taal geen rol speelt.

• Er zijn echter ook een aantal nadelen verbonden aan observatie als methode voor data- verzameling. Het is, doordat de respondent niet op de hoogte is van het feit dat hij of zij geobserveerd wordt, lastig om bepaalde, niet frequente gedragingen waar te nemen. Daarnaast kun je het gedrag van een respondent wel waarnemen maar je hebt geen idee wat zijn of haar beweegredenen ervoor waren. In verhouding tot andere methodes is observeren relatief duur en zeer tijdrovend. Tot slot zijn er regels voor wat betreft het toestemming vragen voor observatie.

• Er zijn een aantal verschillende vormen van observatie:

  • Participerend en niet participerend observeren, dit onderscheid wordt bepaald door het gedrag van de onderzoeker.
  • In het open of verborgen observeren. Men spreekt van een verborgen observatie wanneer de respondent niet op de hoogte is van het feit dat hij of zij geobserveerd wordt. Open observeren daarentegen houdt in dat de respondent hiervan wel op de hoogte is.
  • Een gestructureerde of een ongestructureerde observatie, gestructureerde observatie houdt in dat je tijdens het observeren gebruik maakt van observatieformulieren terwijl je bij een ongestructureerde observatie alleen aantekeningen maakt waar je naderhand conclusies uit trekt.
  • Persoonlijk of geautomatiseerd observeren. Je observeert op een persoonlijke manier wanneer je getrainde observatoren inzet voor het onderzoek, je kunt er echter ook voor kiezen om gebruik te maken van een observatieprogramma.

• De ontwikkeling van een observatie-instrument: Om een begrip te kunnen vertalen naar een observatie-instrument is het van belang dat je duidelijk omschrijft welke concrete gedragingen en/of kenmerken geobserveerd dienen te worden. Vervolgens ontwikkel je een categorieënsysteem, op basis waarvan je de waarnemingen gaat registreren. Er is een aantal gedragsaspecten waarop je dient te letten. Ten eerste de frequentie waarmee een bepaalde gedraging of een bepaald kenmerk voorkomt. Wanneer je de 'frequentie' van een bepaald 'event' meet, dit kan bijvoorbeeld het aantal keren zijn dat een verkoper probeert te achterhalen wat de wensen van de klant zijn door middel van een vraag, noem je dit ook wel event-sampling. Betreft het een gedraging die vaak voorkomt dan kan het handiger zijn om gebruik te maken van interval-codering. Dit houdt in dat je een bepaalde tijdschaal maakt, bijvoorbeeld van een minuut, en dan gaat turven hoe vaak het te meten gedrag voorkomt in die minuut. Ten tweede is de duur van een bepaalde gedraging handig om vast te stellen. Ten derde is het interessant om te kijken tot wie de respondent zich richt wanneer hij zich op een bepaalde manier gedraagt.

• Het gebruik van fysiologische metingen: Een andere vorm van observatie zijn metingen die je doet aan het lichaam, je neemt het lichaam waar. Dit soort metingen worden fysiologische metingen genoemd. Je kiest voor deze vorm van meten als je de respons wil weten op een bepaalde stimuli, geïntroduceerd door de onderzoeker.

  • Lichamelijke reactiemetingen, voorbeelden hiervan zijn pupilreflexmetingen, mate van huidtranspiratie, bloeddruk en hartslag.
  • Eyetracking, het vaststellen van het kijkgedrag van de respondent.
  • Gezichtsherkenning, voor deze vorm van metingen heb je 'facial recognitionsoftware' nodig.
  • Hersenonderzoek, door observatie van de hersenfuncties kunnen de emoties van de respondent worden bepaald en het gedrag van de onderzochte proefpersoon worden voorspeld.

• De betrouwbaarheid van mijn observatie: Om uitspraken te kunnen doen over de betrouwbaarheid van je observaties is het belangrijk om te kijken naar de overeenstemming tussen verschillende observatoren bij het werken met hetzelfde observatie-instrument. Het is dan ook belangrijk dat je van tevoren zorgt dat de observatoren op elkaar afgestemd zijn en goed getraind zijn voor hetgeen ze gaan doen. Er zijn twee vormen van overeenstemming te onderscheiden, namelijk de intra-observatorbetrouwbaarheid en de inter-observatorbetrouwbaarheid. Bij de intra-observatorbetrouwbaarheid wordt vooral gekeken naar de mate van consistentie van de antwoorden die een observator geeft. Met de inter-observatorbetrouwbaarheid meet je daarentegen de mate van overeenstemming tussen de verschillende observatoren. Het berekenen van de mate van overeenstemming gebeurt aan de hand van twee verschillende maten. Ten eerste heb je het overeenstemmingspercentage dat je berekent door het aantal gevallen waarin de observatoren het eens zijn, deelt door het totaal aantal gevallen die geobserveerd zijn. Als tweede maat heb je Cohen's kappa, hier wordt rekening gehouden met de kans op overeenstemming waardoor dit niet meer voor vertekening kan zorgen.

• Validatie: Net als bij andere onderzoeksvarianten is het ook bij observatie belangrijk dat een meting niet alleen betrouwbaar is maar ook valide. Wanneer het complexe en abstracte begrippen betreft kan het nodig zijn om een valideringsonderzoek op te zetten.

Chapter 8

• Voorbereiding analyses: Je onderzoeksvraag vormt altijd het uitgangspunt bij de analyses. Wanneer je gebruik maakt van frequenties kijk je naar aantallenen. Daarnaast kan een onderzoeksvraag gaan over het verschil in gemiddeldes. En als laatste kun je kijken naar de samenhang tussen twee variabelen.

• Er zijn twee soorten variabelen namelijk continue en discrete variabelen. Continue variabelen kunnen alle waarden aannemen.Discrete variabelen zijn heel getallen. Twee vormen van statistiek zijn mogelijk beschrijvende- en inductieve of inferentiële statistiek. Beschrijvende statistiek wordt gebruikt wanneer de gehele populatie deel uit maakt van het onderzoek. En inductieve statistiek wordt gebruikt wanneer slechts een deel van de populatie deel neemt aan het onderzoek. De steekproefgrootte bepaalt mede welke statistische verstandig zijn om te gebruiken. Bij een wat grotere steekproef (dertig of meer) kun je gebruik van parametrische toetsen. Bij kleinere steekproeven kun je gebruik maken van non-parametrische toetsen.

• De belangrijkste statistische begrippen: Bij toetsende statistiek gaat het over het berekenen van kansen. Er zijn twee soorten hypothesen namelijk de nulhypothese en de alternatieve hypothese. Met de nulhypothese geef je aan dat er geen verschil of verband bestaat tussen twee groepen. Bij de alternatieve hypothese doe je een uitspraak over de richting van het verband of verschil. Wanneer een uitkomst significant is hangt af van de gekozen p-waarde, ook wel de overschrijdingskans genoemd. De overschrijdingskans is de kans op een gevonden resultaat als er in werkelijkheid geen verschil is (nulhypothese). De p-waarde gebruik je samen met je gekozen alphawaarde om te bepalen of je een hypothese verwerpt of niet. De alphawaarde wordt ook wel het significantieniveau genoemd. Iets wat je altijd moet doen voordat je begint met de analyses is controleren of de gegevens normaal verdeeld zijn. Naast een normale verdeling kan er ook sprake zijn van een positief of negatief scheve verdeling. Een andere manier om te bepalen of iets significant is kan door gebruik te maken van een betrouwbaarheidsinterval. Wanneer de gevonden waarde in het betrouwbaarheidsinterval valt, dan verwerp je de nulhypothese niet er is dan namelijk geen verschil gevonden. Wanneer de gevonden niet in het betrouwbaarheidsinterval valt, dan verwerp je de nulhypothese. Het aantal vrijheidsgraden geeft de mate aan waarin de scores van elkaar kunnen verschillen. Meestal wordt dit berekend door het aantal steekproefelementen minus 1 te doen.

• Om de resultaten nog beter te onderbouwen worden er tegenwoordig vaak ook effectgroottes vermeld. De effectgrootte geeft informatie over de waarde van de gevonden significante uitkomsten.

• Het maken van een datamatrix: Een datamatrix is een overzicht van alle door jou verzamelde gegevens. Twee programma’s die veel gebruikt worden bij het maken van een datamatrix zijn Excel en SPSS. Voordat je kunt beginnen met het invoeren van de gegevens moet je eerst een codeboek maken. Wanneer er waarden ontbreken in je databestand noem je dit ‘missing values’. Wanneer een vraag niet relevant is voor een respondent en daarom mist dan geeft je dit aan met ‘system missing’. En wanneer een respondent een vraag niet wil in vullen dan geef je dit aan met ‘user missing’.

• Het beschrijven van de gegevens: Frequenties van nominale gegevens kun je op twee manieren presenteren namelijk in een tabel of in een grafiek. Gegevens gemeten op interval- rationiveau kun je op drie manieren presenteren namelijk in tabelvorm, in een grafiek of naar een samenvattende beschrijvende maat. De samenvattende beschrijvende maten zijn te verdelen in twee groepen centrummaten en spreidingsmaten. Centrummaten zijn het gemiddelde, de mediaan en de modus. De modus en mediaan kun je goed gebruiken wanneer de frequentieverdeling erg scheef is en er veel extreme scores voorkomen. Voorbeelden van spreidingsmaten zijn de range en de variantie. Wanneer er een steekproef is getrokken van een populatie is het altijd de vraag in hoeverre de resultaten zijn te generaliseren naar de populatie. Om dit in te kunnen schatten maak je gebruik van een standaardfout, hiermee kun je namelijk het betrouwbaarheidsinterval berekenen.

• Het beschrijven en toetsen van verschillen: Er zijn verschillende toetsen mogelijk om te kijken naar verschillen tussen steekproeven, de meest voorkomende toetsen worden nu besproken. Allereerst is het van belang om te bepalen wat je testvariabele en wat je splitsingsvariable is en het meetniveau van deze variabelen. De testvariable is de variabele waarbij je het verschil wilt vast stellen. De splitsingsvariable is vaak nominaal en verdeeld de steekproef/populatie in meerdere groepen. Daarnaast is het ook van belang om te bepalen of er sprake is van een gepaarde of ongepaarde steekproef. Bij een gepaarde steekproef is sprake van samenhang tussen twee metingen. Bij een ongepaarde steekproef is er geen sprake van samenhang tussen de metingen

• Eenzijdig of tweezijdig toetsen. Wanneer je van te voren een duidelijke verwachting hebt in één richting,dan is het handig om eenzijdig te toetsen. Wanneer je geen duidelijke verwachting hebt dan is het aan te raden om tweezijdig te toetsen.

• Het berekenen van samenhang: Soms ben je niet op zoek naar verschillen tussen groepen, maar wil je weten of er een verband/relatie bestand tussen variabelen. Er zijn verschillen manieren die je kunt gebruiken om te kijken of er sprake is van samenhang tussen variabelen.

Chapter 9

• Schriftelijk rapporteren: In het boek worden vijf verschillende soorten van rapporteren besproken. Allereerst een onderzoeksrapport dit is de meeste gebruikelijke manier van rapporteren wanneer je onderzoek doet voor een opdrachtgever. Een tweede manier van rapporteren is door middel van een wetenschappelijk artikel in een wetenschappelijk tijdschrift. Een derde vorm van rapporteren is het schrijven van een scriptie of thesis. Een onderzoekssamenvatting is ook een manier om de resultaten te rapporteren. Een andere manier is het schrijven van een managementsamenvatting voor bedrijven. De laatste manier van rapporteren besproken in het boek is door middel van een persbericht.

• Onderdelen van een rapportage: Het is de bedoeling dat een rapportage een weergave geeft van het hele onderzoeksproces. Het begint dus met een probleemstelling en eindigt met een conclusie en discussie. Een onderzoeksrapportage kent over het algemeen een vaste opbouw.

• Je onderzoeksverslag begint met een titelpagina. Na het titelblad volgt een korte samenvatting van het onderzoek. De samenvatting wordt doorgaans gevolgd door de inhoudsopgave. De inhoudsopgave geeft de structuur van het onderzoeksverslag weer en de verschillende onderdelen. Daar op volgt het voorwoord. Na het voorwoord volgt meestal de inleiding. De inleiding begint bijna altijd met de aanleiding voor je onderzoek. Daarnaast worden in de inleiding de volgende punten besproken: de context van het probleem, een globale vraagstelling, het doel van het onderzoek, de relevantie van het onderzoek, welk belang dient het onderzoek (wetenschap versus maatschappij), de deelvragen van het onderzoek en tot slot de opbouw van het verslag.

• Een literatuurverkenning volgt op de inleiding. Dit is een eerste inhoudelijke oriëntatie op het gekozen onderwerp. Na het doen van een literatuuronderzoek bepaald men doorgaans wat er definitief onderzocht gaat worden en wordt indien nodig de vraagstelling nog wat bijgeschaafd. Er zijn twee manieren om literatuur te verwerken in je verslag. De eerste manier is citeren, ook wel het letterlijk overnemen van een stuk tekst van een ander. De tweede manier is parafraseren, het in eigen woorden weergegeven van ideeën van andere. Wanneer je niet de juiste of een verkeerde bron vermeld is er sprake van plagiaat. Na het literatuuronderzoek volgt de vraagstelling van het onderzoek. Deze bestaat uit een centrale vraag en enkele deelvragen.

• Nu het literatuuronderzoek heeft plaatsgevonden en de vraagstelling helder is volgt het beschrijven van de onderzoeksopzet. De methode begint meestal met het beschrijven waarom je voor een bepaald onderzoeksontwerp hebt gekozen. Daarna vindt er een verantwoording van de onderzoekseenheden plaats. Welke keuzes zijn er gemaakt tijdens het selectieproces en welke mogelijkheden zijn er tot generalisatie. Als derde wordt er beschreven hoe de gegevens zijn verzameld. Daarna wordt er beschreven hoe de verkregen gegevens zijn opgeslagen, verwerkt en waarom er voor een bepaalde manier is gekozen. Ook wordt er beschreven welke analyses er zijn uitgevoerd.

• Als laatste evalueer je de waarde van het onderzoek, dus hoe betrouwbaar en valide zijn je onderzoeksresultaten. Na het beschrijven van de onderzoekopzet volgen de resultaten. Hierbij geef je alleen de onderzoeksresultaten weer, er worden nog geen conclusies getrokken. Het gaat puur om vastgestelde zaken. Na het beschrijven van de resultaten is het tijd om conclusies te trekken en een discussie op gang te brengen. Bij de conclusie kom je terug op de centrale onderzoeksvraag en geef je daarop een overkoepelend antwoord. Het is belangrijk dat de conclusies op een logische manier volgen uit de resultaten en geen meningen of ideeën bevatten van de onderzoeker.

• Na de conclusie bespreek je in de discussie de betekenis van de gevonden resultaten, zowel de maatschappelijke betekenis als de wetenschappelijke betekenis wordt besproken. Tot slot het laatste onderdeel van het verslag is het geven van aanbevelingen voor de praktijk en vervolg onderzoek. Aan het eind van het rapport volgt een literatuurlijst. Tot slot in de bijlage neem je alle informatie op die te ver voert om in het verslag zelf op te nemen, maar wel relevant is voor de geïnteresseerde lezer.

• Schrijven van een rapport: Voordat je begint met schrijven is het belangrijk te bepalen wat je doelgroep is. het taalgebruik is van belang, het is van belang dat het verslag geen taalfouten bevat. Daarnaast is het van belang dat je taalgebruik aansluit bij het kennisniveau van de doelgroep. Om ingewikkelde begrippen te verduidelijken kan het handig zijn om een begrippenlijst toe te voegen aan je verslag. Als laatste is het van belang dat het verslag goed leesbaar is. En gebruik actief taalgebruik, dus formulier je resultaten in de tegenwoordige tijd. Het is handig om voor jezelf een planning te maken, dit zorgt er voor dat het schrijven gestructureerd verloopt.

• Het mondeling presenteren van een rapport: De onderzoeksresultaten kunnen ook door middel van een mondelinge presentatie worden gepresenteerd aan het publiek. Het voordeel van een mondelinge presentatie is dat er de mogelijkheid bestaat voor discussie en vragen.

• Andere manieren om te presenteren: Er zijn ook nog andere manieren om een onderzoek te presenteren. Een posterpresentatie is een dergelijke manier. Een andere manier is een infographic, dit is een combinatie van tekst en een afbeelding. Een andere manier om je onderzoek te presenteren is door middel van een filmpje. Het is belangrijk dat je bij een filmpje je publiek motiveert om je onderzoeksverslag te gaan lezen. Een andere mogelijkheid is een motiongraphic, dit is een combinatie van een infographic met een filmpje. Als laatste zou je de onderzoeksresultaten kunnen verspreiden via het internet.