Samenvatting Onderzoeksmethoden (Boeije)

Deze samenvatting is gebaseerd op het studiejaar 2013-2014.

Hoofdstuk 1 Introductie: wetenschap als communicatieproces

Wetenschap is te zien als een systematisch geheel van kennis. Om een systematische samenhang tijdens onderzoek te krijgen maken wetenschappers gebruik van een aantal methoden en technieken.

Er zijn twee typen wetenschappelijk onderzoek. Het eerste type is fundamenteel wetenschappelijk onderzoek en wil wetenschappelijke kennis uitbreiden. Praktijkgericht wetenschappelijk onderzoek is gericht op de ontwikkeling, uitvoering en evaluatie van oplossingen die bestaan voor problemen in de praktijk.

Het boek gaat over de onderzoeksmethoden van de sociale wetenschappen, en heeft een multidisciplinaire insteek. Dit wil zeggen dat er over de grenzen van sociaal-wetenschappelijke disciplines heen wordt gekeken. Sociaal-wetenschappelijke disciplines zijn bijvoorbeeld sociologie, psychologie en communicatiewetenschap, en deze disciplines bestuderen allemaal een ander onderdeel van de mens en maatschappij.

Methodeleer is het geheel van onderzoeksmethoden die er bestaan binnen de sociale wetenschappen. Methodologie betreft de wetenschappelijke bestudering van methoden van onderzoek. Om verschijnselen in de sociale werkelijkheid op een systematische manier te ordenen, maakt men gebruik van methoden. Technieken zijn over het algemeen een klein onderdeel van een methode, bijvoorbeeld een steekproeftechniek die wordt gebruikt om een enquête te maken.

Wetenschap is een communicatieproces. Dit communicatieproces is als volgt te beschrijven: Wie zegt Wat tegen Wie, op welke Manier (Hoe), met welk Effect, met welke Feedback (terugkoppeling), in welke Context?

Een boodschap kan voor een ontvanger vier functies hebben, namelijk als bron van informatie, als vermaak, voor versterking van de identiteit en als middel voor integratie en interactie. Alledaagse kennis is vaak fragmentarisch en tegenstrijdig. Sociaal-wetenschappelijk onderzoek kan deze ideeën bevestigen maar vooroordelen ook onderuithalen. In het boek komen vervolgens een aantal krantenartikelen aan de orde die hier niet worden behandeld. Lees ze zelf even door, omdat het een voorbeeld is van de manier waarop wetenschappelijk onderzoek in de dagelijkse media verschijnt en hoe dit gepresenteerd wordt.

De dagelijkse stroom van informatie leidt via discussies tot een publieke opinie, en informatie is daarom (onder andere) belangrijk voor politiek en bestuur. Toch kunnen gegevens ook uit hun verband worden gehaald of een emotionele lading meekrijgen, waardoor feitelijke gegevens een andere functie krijgen. Er worden in dat geval bijvoorbeeld geen vragen gesteld naar de kwaliteit van het onderzoek (validiteit, representativiteit en herhaalbaarheid). Onderzoek is dus een communicatieproces over uitkomsten en methoden, en is onlosmakelijk verbonden met de maatschappij.

Hoofdstuk 2 Het onderzoeksplan

Het hoofdstuk begint met een onderzoeksvoorbeeld naar psychoses bij schizofreniepatiënten. Als psychoses vroegtijdig worden gesignaleerd, kan er actie worden ondernomen om de ernst van een psychose te verminderen. Er worden zowel een vraagstelling als een doelstelling geformuleerd. Vervolgens wordt er een methode ontwikkeld die in een latere fase wordt getest. Daarna vindt er een evaluatie plaats, waarbij de effecten van een interventie worden gewogen op hun effectiviteit. De resultaten van het onderzoek geven aanleiding tot verbeteringen, waarbij een aantal termen worden gebruikt die later in de samenvatting nog worden uitgelegd. Hieronder zal er eerst aandacht zijn voor de onderdelen van een onderzoeksplan.

Het onderzoeksplan is het systematische geheel van methodische beslissingen en bestaat uit verschillende onderdelen:

• Waartoe dient het onderzoek? Welk doel moet met het onderzoek worden bereikt?

• Voor wie is het onderzoek belangrijk? Denk bijvoorbeeld aan slachtoffers, familie, artsen, maar ook aan geïnteresseerde wetenschappers

• Wat wil men precies onderzoeken? Wat zijn de belangrijkste aandachtspunten?Waar is men naar op zoek?

• Hoe moet het onderzoek worden uitgevoerd? Bijvoorbeeld door middel van interviews, gebruikmaken van wetenschappelijke literatuur of enquêtes.

• Wie worden onderzocht? Wie behoort tot de doelgroep? Zijn andere mensen, bijvoorbeeld familie of bekenden, ook van belang voor het onderzoek?

• Waar wordt het onderzoek uitgevoerd? Vanachter het bureau of in het veld?

• Wanneer of in welke periode kan het onderzoek plaatsvinden? Is het onderzochte probleem tijdelijk of juist niet, wat zijn de praktische overwegingen die een rol spelen bij de onderzoeker of deelnemende instantie?

Het onderzoeksplan is de eerste fase van het onderzoek. Het is belangrijk om hier tijd voor uit te trekken, ongeveer een derde van de totale onderzoekstijd. Ten eerste moet de onderzoeker in deze fase literatuuronderzoek gaan doen. Verkenning van de bestaande literatuur leidt tot meer inzicht in wat er al bekend is en waar juist nog meer kennisbehoefte aan is. Dit is de inhoudelijke kant van literatuuronderzoek.

Literatuuronderzoek kan echter ook betrekking hebben op methodische vragen. Daarbij gaan onderzoekers op zoek naar antwoorden op vragen zoals welke methoden het meest gebruikt zijn, wat dit opleverde, welke analyse er gebruikt is en welke effecten de onderzoeken hadden.

Een probleemschets is een voorlopige oriëntatie op het onderwerp dat je wilt onderzoeken. Deze oriëntatie houdt in dat de eigen gedachten worden geordend en voorgelegd worden aan deskundigen of opdrachtgevers voor advies. In de probleemschets komen ook de grove lijnen van het probleem aan bod en wordt duidelijk of het om een kennis- of praktijkprobleem gaat.

Probleemstelling

In figuur 2.1 op bladzijde 46 van het boek staan de onderdelen van het onderzoeksplan schematisch weergegeven.

De probleemstelling bestaat uit twee onderdelen. Ten eerste is er de doelstelling van het onderzoek waarin naar voren komt waartoe het onderzoek wordt uitgevoerd en voor wie het onderzoek wordt gedaan. Het tweede onderdeel is de vraagstelling; wat wil de onderzoeker weten, geformuleerd in een hoofdvraag en deelvragen.

Andere kenmerken die over het algemeen in een onderzoeksplan worden opgenomen zijn methoden en technieken, verantwoording van de keuze, dataverzameling, analyse, tijdsplanning en soms een begroting.

Doelstelling

De doelstelling geeft weer waarom het onderzoek wordt gedaan. In wetenschappelijk onderzoek wordt een onderscheid gemaakt in kennis- en praktijkproblemen.

Wanneer er sprake is van een kennisprobleem, wordt het onderzoek een fundamenteel wetenschappelijk onderzoek genoemd. Met dit soort onderzoek wil men meer kennis en inzicht krijgen en dit wordt ook wel de wetenschappelijke relevantie genoemd.

Praktische problemen van aanwijsbare groepen of mensen in de samenleving vormt de reden van praktijkgericht wetenschappelijk onderzoek. Met dit soort onderzoek willen wetenschappers een bijdrage leveren aan de oplossing van een probleem, en dit wordt verwoord in de maatschappelijke relevantie. Veel sociaal-wetenschappelijk onderzoek is echter een mix van zowel praktijkgericht als fundamenteel onderzoek.

Bij de doelstelling is het verder van belang een onderscheid te maken tussen explorerend en toetsend onderzoek. Wanneer er weinig kennis of oplossingen bestaan, wordt er explorerend onderzoek gedaan. Er is sprake van toetsend onderzoek als er al voldoende kennis of oplossingen voor een probleem aanwezig zijn en onderzoekers willen nagaan of dit nog klopt.

Vraagstelling

De vraagstelling is te zien als een overkoepelende vraag die weergeeft wat er precies wordt onderzocht. De vraagstelling is verbonden met de doelstelling, en heeft meestal enkele deel- of onderzoeksvragen. Deelvragen moeten opgeteld de vraagstelling ondersteunen en leiden tot een antwoord. Er zijn drie verschillende typen vraagstellingen te onderscheiden:

• De beschrijvende onderzoeksvraag. Deze vraag overheerst in het explorerende onderzoek als er nog niet veel bekend is. Deze vragen beginnen vaak met wie/wat/ waar etc.

• Ten tweede de verklarende vraag. Hierbij wordt gezocht naar verklaringen of oorzaken van een bepaald verschijnsel. Deze vragen beginnen meestal met waarom/ waardoor etc.

• Ten derde is er de voorspellende vraag. Deze vragen worden gesteld in onderzoeken waarbij men al reeds iets verwacht aan te treffen. Deze vragen beginnen vaak met ‘tot welke….leidt…?’ of ‘wat gebeurt er als gevolg van….’?

Verklaringsvoorspellingen en voorspellingsvraagstellingen zijn beide causaal van aard, wat wil zeggen dat ze op gaan naar de oorzaak van een verschijnsel. Het verschil is dat verklaringsvragen beginnen bij het gevolg (‘Wat is de oorzaak van ...?’) en voorspellingsvragen bij de oorzaak beginnen (‘Wat is het gevolg van ...?’).

Onderzoeksopzet

Het onderzoeksplan bestaat uit twee delen, namelijk de probleemstelling en de onderzoeksopzet. In de onderzoeksopzet wordt een plan gemaakt voor de aanpak en uitvoering van onderzoek. Daarbij is er aandacht voor de volgende onderdelen:

1. Hoe? Welke methoden worden ingezet voor de verzameling en analyse van gegevens?

2. Wie of wat? Welke groepen, personen, organisaties en/of gebeurtenissen ( -> eenheden) worden onderzocht?

3. Waar? Op welke locatie of in welke situatie wordt het onderzoek gedaan?

4. Wanneer? Gedurende welke periode(n) vindt het onderzoek plaats?

Er is een verschil tussen kwalitatief en kwantitatief onderzoek. Vooral de aanpak van onderzoek is een verschil. Bij kwantitatief onderzoek wordt gebruik gemaakt van voorgestructureerde modellen van dataverzameling, waarbij de vragen, volgorde en antwoordcategorieën van tevoren zijn vastgesteld. Kwantitatief onderzoek gebruikt statistiek bij de analyse van de gegevens. Een kwalitatief onderzoek is meer flexibel in de zin dat er een aantal onderwerpen zijn vastgesteld, maar deze worden meer als leidraad gebruikt. Bij kwalitatieve analyse staat de beschrijving van personen of situaties centraal en heeft men tot doel te begrijpen waarom mensen bepaald gedrag vertonen. Het gaat vaak om grote stukken tekst, interviews en participerende observatie. Meer hierover in hoofdstuk 8.

Plaats, tijdstip en periode van onderzoek

Bij primair onderzoek gaat de onderzoeker zelf gegevens verzamelen met behulp van een experiment of observatie. Daarnaast is de plaats van onderzoek van belang: is dit in het veld of in een laboratorium? Bij secundair onderzoek wordt gebruik gemaakt van bestaande gegevens die in eerder onderzoek zijn geproduceerd.

Een longitudinaal onderzoek wil zeggen dat een onderzoek op een aantal specifieke momenten wordt herhaald. Het doel hiervan is om een bepaalde ontwikkeling of verandering te ontdekken. Daarnaast is er ook retrospectief onderzoek en prospectief onderzoek. In het eerste geval kijken onderzoekers naar het verleden voor gegevens en in het tweede geval ligt de aandacht op de toekomst.

Het onderzoeksplan kan als volgt worden weergegeven:

Ethische en praktische voorwaarden

Ethische overwegingen spelen een rol in de opzet, uitvoering en rapportage van onderzoeksgegevens om mogelijke schade voor bepaalde groepen te voorkomen. Regelmatig worden onderzoeken aan een medisch-ethische commissie voorgelegd die het onderzoek beoordelen. Daarbij letten zij op of het onderzoek participanten juist en volledig informeert en duidelijk om toestemming vraagt. Dit wordt ook wel de informed consent genoemd. Praktische bezwaren van een onderzoek zijn bijvoorbeeld het budget en de beschikbare tijd. In het tijdsplan wordt een structuur aangegeven over het verloop van het onderzoek. Het onderzoek wordt dan meestal verdeeld in verschillende fasen, zoals dataverzameling, - analyse en rapportage.

Hoofdstuk 3 Benaderingen van onderzoek

Het hoofdstuk in het boek begint met een onderzoeksvoorbeeld over adoptiekinderen in Zweden, dat hier verder niet aan de orde komt. Het is misschien wel een fijne illustratie die je kunt gebruiken om de onderstaande begrippen aan te relateren.

Opvattingen over onderzoek

De manier waarop wetenschappers onderzoek doen en het benaderen, wordt gedeeltelijk bepaald door hun ideeën over de sociale werkelijkheid. Dit zijn ideeën over de sociale structuren (bijvoorbeeld de overheid, organisaties en familie) die een rol spelen in individuele levens.

Als onderzoekers uitspraken doen over de manier waarop de sociale wereld er uitziet, doen zijn ontologische uitspraken. Ontologie betekent ‘zijnsleer’ of ‘studie van de dingen die bestaan’. Daarnaast zijn er ook epistemologische uitspraken. Dit betreffen opvattingen over wat kennis is, en over de manier waarop je tot kennis kunt komen. Ontologie houdt zich dus bezig met de vraag welke dingen er zijn in de werkelijkheid, terwijl epistemologie zich bezighoudt met welke kennis er over de werkelijkheid mogelijk is.

Deze opvattingen zijn van invloed op de inrichting van onderzoek en kan leiden tot een paradigma. Een paradigma is een door een groep wetenschappers gedeelde opvatting over wat wetenschap is, waar een theorie aan moet voldoen en op welke manier er onderzoek moet worden gedaan.

Er bestaan binnen de sociale wetenschappen drie paradigma’s, namelijk het empirisch-analytische, het interpretatieve en het kritisch-emancipatoire paradigma.

Empirisch-analytische benadering

Deze opvatting is ontstaan vanuit de natuurwetenschappen en is gebaseerd op herhaalbaarheid en controleerbaarheid. Dit type onderzoek is ontwikkeld vanuit het empirisme en positivisme uit de negentiende eeuw. Het gaat hierbij om harde feiten en kennis, die voortkomen uit waarnemingen (empirie). Onderzoekers binnen dit paradigma streven naar nomothetische kennis: kennis waarin wetten worden gesteld. Het gaat er dus om wetten en regelmatigheden in verschijnselen te ontdekken. Daarnaast is onderzoek reductionistisch, dat wil zeggen dat eenheden worden teruggebracht tot een aantal variabelen. Verder moet onderzoek waardevrij zijn (derdepersoonsperspectief), herhaalbaar zijn en maakt onderzoekers vooral gebruik van kwantitatieve methoden.

Interpretatieve benadering

Binnen dit paradigma wordt er veel waarde gehecht aan begrip van een situatie of verschijnsel, in plaats van alleen een verklaring. Er moet gebruik worden gemaakt van het eerstepersoonsperspectief, waarbij onderzoekers door de ogen van onderzochten proberen te kijken. Waarneming is meer dan alleen zintuiglijk, het gaat ook om het begrip (interpretatie) van het gedrag of verschijnsel. De opvattingen binnen deze benadering komen voort uit hermeneutiek en de fenomenologie, waarin de nadruk ligt op de achtergronden en het begrijpen van binnenuit. Er wordt gestreefd naar idiografische kennis; kennis van het eigen of unieke waarbij eenheden in hun geheel moeten worden bestudeerd. Binnen dit paradigma maakt men vooral gebruik van kwalitatieve methoden.

Kritisch-emancipatoire benadering

Deze stroming komt voort uit de marxistische traditie en is zowel maatschappijkritisch als wetenschapskritisch. Onderzoekers maken gebruik van handelings- of actieonderzoek waarbij onderzoeker en onderzochten gezamenlijk een leerproces doormaken. Het gaat om empowerment (onderzochten krijgen meer grip op hun leven) en wederkerige adequaatheid (voortdurende wederzijdse reflectie op voortgang van onderzoek). Onderzoekers voelen zich betrokken bij de doelen van hun onderzoek en die zijn er vaak op gericht de positie van minderheden te verbeteren (engagement).

Typen onderzoek

Een belangrijk kenmerk van wetenschap is het streven naar kennis. Vervolgens kan er bij voldoende kennis een theorie worden gevormd. Een ander aspect van wetenschap is dat het empirisch is. Dit betekent dus dat de uitspraken voortkomen uit waarnemingen. Ten derde heeft wetenschap een systematische benadering, waarbij de methodologische spelregels niet mogen worden overtreden.

Er wordt in het boek een onderscheid gemaakt tussen fundamenteel en praktijkgericht wetenschappelijk onderzoek. Fundamenteel onderzoek is gericht op de ontwikkeling en toetsing van theorieën die kunnen worden gebruikt om kennisproblemen op te lossen. Praktijkgericht onderzoek zorgt voor ontwikkeling, uitvoering en evaluatie van oplossingen voor praktijkproblemen die bestaan bij aanwijsbare personen, groepen of organisaties in de samenleving. Er is sprake van praktijkgericht niet-wetenschappelijk onderzoek als er niet aan de wetenschappelijke standaarden wordt voldaan.

In tabel 3.1 op bladzijde 81 van het boek worden de kenmerken van de drie onderzoekstypen nog even op een rij gezet.

Onderzoek dat gericht is op kennisvermeerdering, is te plaatsen in de empirische cyclus van fundamenteel onderzoek. Praktijkgericht wetenschappelijk onderzoek wordt weergegeven in de regulatieve cyclus van de besluitvorming. Deze cycli zullen hieronder worden behandeld. Ze zullen in hun ideale vorm worden beschreven; in de praktijk zal het er dus niet altijd zo uitzien en zijn er alternatieve routes mogelijk.

De empirische cyclus

De empirische cyclus bestaat uit:

1. Observatie

2. Inductie

3. Deductie

4. Toetsing

5. Evaluatie

Hieronder zullen deze termen worden behandeld.

1) Observatie

Het onderzoek begint met een kennisprobleem. Meestal is er al wel kennis over het onderwerp aanwezig, maar dit is niet voldoende of toereikend. Het is daarom van belang om meer te weten. Dit kan bereikt worden door middel van literatuuronderzoek of door gesprekken met deskundigen. Er wordt zodoende geobserveerd wat het probleem is waarna men kijkt welke richting het onderzoek op zal gaan.

Wanneer er nog niet veel bekend is over het onderwerp kan er explorerend onderzoek worden gedaan. Er wordt dan ‘nieuwe’ informatie gezocht. Wanneer er al het een en ander bekend is over het onderwerp dan heet dit een toetsend onderzoek. Er wordt dan gekeken of de bestaande denkbeelden en theorieën houdbaar zijn. Explorerend onderzoek heeft dus een verkennend karakter, terwijl toetsend onderzoek gedaan wordt om te kijken of dingen die al bekend zijn ook daadwerkelijk zo zijn.

2) Inductie

In de tweede fase van de cyclus worden de relevante verschijnselen in kaart gebracht en benoemd. In deze fase gaan onderzoekers regelmatigheden en verbanden proberen te vinden. Er is sprake van inductie als er aan de hand van een aantal observaties een algemene uitspraak wordt geformuleerd. Dit kan leiden tot een hypothese; een beredeneerde aanname of gok die nog niet is onderzocht. Als deze veronderstellingen een samenhangend geheel vormen zijn onderzoekers bezig met de constructie van een theorie. Een theorie is een samenhangend stelsel van uitspraken waarmee waarnemingen kunnen worden beschreven, verklaard en voorspeld.

3) Deductie

Het doel van een theorie is het vinden van verklaringen voor verschijnselen die worden waargenomen. In de fase van de deductie worden hypothesen getoetst op hun juistheid. Deductie is het redeneren van het algemene naar het bijzondere, en is het tegenovergestelde van inductie. Binnen de theorie (algemeen) wordt een hypothese of stelling gevonden, waarna vervolgens gekeken wordt of deze klopt voor een bijzondere groep (bijzondere).

4) Toetsing

Door toetsing kan men de onderzoeksgegevens analyseren en vergelijken met de uitspraken van de hypothese. Als de gegevens strijdig zijn met de hypothese dan wordt het onderzoek gefalsifieerd. Wanneer het resultaat bevestigend is, wordt het onderzoek geverifieerd.

5) Evaluatie

De evaluatie is de laatste fase en hierin wordt de vraag gesteld of het kennisprobleem is opgelost. Wanneer dit niet het geval is dan kan een (geheel of gedeeltelijk) nieuwe empirische cyclus worden begonnen.

Het eerste deel van de empirische cyclus (fase A en B) komt overeen met explorerend onderzoek en het laatste deel (fase C tot E) wordt toetsend onderzoek genoemd. In de empirisch-analytische benadering ligt de nadruk in de meeste gevallen op exploratief (B) of toetsend onderzoek (D). Bij interpretatief onderzoek worden verschillende empirische cycli spiraalvormig doorlopen, waarbij er steeds een nieuwe cyclus begint en een bredere en abstracte theorie ontstaat. De nadruk in de kritisch-emancipatoire benadering ligt op het vinden van verklaringen, waardoor de aandacht voornamelijk naar de inductie (B) uitgaat. Nog belangrijker is de empowerment van minderbedeelde groepen.

6) Regulatieve cyclus

De regulatieve cyclus is meer gericht op het praktijkgerichte wetenschappelijke onderzoek. Het praktijkgerichte onderzoek is gericht op kennisvermeerdering om beslissingen te ondersteunen die gemaakt moeten worden in de praktijk. Regulatief betekent gericht op beslissingen. Ook deze cyclus is een ideaalbeeld en hierin worden meestal niet alle fases doorlopen. Er is een verschil tussen de regulatieve en empirische cyclus in de zin dat praktijkgericht wetenschappelijk onderzoek ook onder te brengen is in de empirische cyclus. Praktijkgericht onderzoek bestaat immers ook uit theorieën die empirisch worden onderzocht. Maar de regulatieve cyclus geeft vooral het denken van besluitvormers weer, waarin elke fase wetenschappelijk kan zijn maar dat niet per definitie is.

Formulering van een praktijkprobleem

De regulatieve cyclus begint met de formulering van een praktijkprobleem door personen of instanties buiten de wetenschap. Dit probleem wordt door wetenschappers in overleg met de betrokkenen vertaald in een doel- en vraagstelling. Het is eventueel noodzakelijk om vooronderzoek te doen om daarna de probleemstelling weer bij te stellen.

Diagnose

In deze fase is de probleemsituatie onderzocht en wordt de diagnose gesteld. Kenmerkend voor deze fase is dat de situatie wordt geanalyseerd waarin nog geen beleid of ingreep heeft plaatsgevonden. Daarna kunnen de oplossingen worden opgenomen in de diagnose en kunnen deze worden onderzocht.

Plan- en besluitvorming

In deze fase worden de doelen en de middelen vermeld. Er wordt ook gekeken of de doelen haalbaar zijn en de wensen van de betrokkenen kunnen worden opgenomen. De veranderingsruimte is van invloed op de haalbaarheid van de gestelde doelen. De veranderingsruimte is het geheel van politieke, technologische, bestuurlijke en sociale aspecten die van invloed zijn op de wil van betrokkenen om de situatie te veranderen. Vervolgens worden de oplossingen geanalyseerd en worden de middelen beoordeeld op hun effectiviteit en haalbaarheid. Als middelen voorafgaand aan de interventie worden beoordeeld dan heet dit ex-ante evaluatie. Vervolgens is er de besluitvorming, waarbij gekozen wordt voor een specifiek doel en middelen die bij zouden moeten dragen aan de oplossing of verbetering van het gestelde probleem.

Interventie

In deze fase wordt het plan uitgevoerd. Hierin wordt er vaak tussentijds geëvalueerd, dit heet procesevaluatie.

Verandering

In de veranderingsfase wordt bekeken of er sprake is van een verandering en of het geformuleerde probleem is opgelost. Het gaat om de eindevaluatie en dit wordt ook wel de productevaluatie genoemd. Er wordt gekeken naar de efficiëntie waarbij er een afweging wordt gemaakt tussen de doelen, middelen en eventuele neveneffecten. Dit kan resulteren in een kosten-batenanalyse.

Er bestaat echter geen waterdichte scheiding tussen praktijkgericht en fundamenteel wetenschappelijk onderzoek. Fundamenteel onderzoek kan bijdragen aan de oplossing van een praktisch probleem terwijl praktijkgericht onderzoek ook een bijdrage levert aan theorievorming. Het verschil zit in het gegeven dat praktijkgericht onderzoek direct nut zou moeten hebben voor aanwijsbare personen buiten de wetenschap. De regulatieve en empirische cyclus zijn ook niet geheel onafscheidelijk omdat ze in elkaar kunnen overlopen, bijvoorbeeld wanneer een diagnose wijst op een kennisprobleem.

Hoofdstuk 4 Theorieën en hypothesen

Dit hoofdstuk gaat over de uitspraken die onderzoekers kunnen doen aan de hand van een onderzoek en de onderzoeksresultaten. In het vorige hoofdstuk werd een theorie gedefinieerd als een samenhangend geheel van uitspraken waarmee geprobeerd wordt verschijnselen te verklaren, te beschrijven of te voorspellen.

In een deductief-nomologisch model kunnen specifieke uitspraken worden afgeleid uit algemene uitspraken (dit komt overeen met de deductieve fase uit het vorige hoofdstuk). Onderzoekers zijn op zoek naar patronen of wetmatigheden, van waaruit specifieke uitspraken kunnen worden afgeleid. Een theorie is een deductief-nomologisch verklaringsmodel als er aan de volgende voorwaarden is voldaan:

• De uitspraken zijn precies geformuleerd, er is sprake van duidelijke definities en er zijn geen onduidelijke termen aanwezig.

• De uitspraken kunnen worden geordend van algemeen naar concreet.

• Er moet een logisch verband zijn tussen de uitspraken in een theorie.

• De specifieke uitspraken (hypotheses) moeten getoetst kunnen worden aan de empirie.

Een syllogisme is een strikt logische redenering waarin uit twee uitspraken een derde uitspraak afgeleid kan worden. In het boek (bladzijde 105) gebruiken de auteurs de volgende uitspraken:

(billijkheid betekent redelijkheid of aanvaardbaarheid)

1. Wanneer de verhouding tussen opbrengst en investering van de ene partner afwijkt van die van de andere partner, is er sprake van een situatie die door beide partners als onbillijk wordt ervaren.

2. Wanneer een van de partners kanker heeft, zal de verhouding tussen opbrengsten en investeringen van de partners ongelijk zijn.

3. Wanneer een van de partners kanker heeft, zullen beide partners onbillijkheid ervaren in de relatie.

In dit voorbeeld is uitspraak 1 de algemene uitspraak, uitspraak 2 is de assumptie of beginvoorwaarde en uitspraak 3 is de conclusie. In dit voorbeeld wordt er vanuit het algemene (uitspraak 1) geredeneerd naar minder algemeen (uitspraak 3). Een hypothese is te zien als een conclusie die is afgeleid uit de algemene uitspraken en assumpties van een theorie. Door aanvullende algemene uitspraken toe te voegen, wordt het verklaringsmodel uitgebreid en kunnen er daaruit nieuwe hypotheses ontstaan die in onderzoek getoetst worden.

De theorieën beschrijven algemene verbanden maar dit wil niet zeggen dat de uitspraken altijd te herleiden zijn tot individuele gevallen (deterministisch). De verbanden tussen de variabelen zijn niet allesbepalend en gelden meer als een soort voorspellende of mogelijke uitspraken of relaties die te onderscheiden zijn (probabilistisch). Je kunt je voorstellen dat niet in alle gevallen een partner onbillijkheid ervaart als de ander kanker heeft, omdat andere omstandigheden (werk, leeftijd, soort relatie etc.) ook een rol spelen bij individuele gevallen. Representatief betekent dat de onderzochte groep een goede afspiegeling vormt van alle mensen binnen een specifieke groep of de samenleving in het algemeen. Als er uit onderzoeksgegevens een conclusie getrokken wordt maar het is geen goede afspiegeling van de bevolking, zijn er geen algemene uitspraken te doen.

Bouwstenen van uitspraken

Hieronder komen de bouwstenen van uitspraken in de sociale wetenschappen aan de orde. Deze zijn: eenheden, variabelen en waarden.

Eenheden

Eenheden zijn de objecten waarover iets wordt gezegd. Dit kunnen mensen zijn, maar ook bijvoorbeeld gemeenten, organisaties, partners of landen.

Variabelen

Variabelen zijn eigenschappen die aan eenheden worden toegeschreven. Eigenschappen van individuen zijn bijvoorbeeld sekse, leeftijd, beroep of houding ten opzichte van abortus. Deze eigenschappen kunnen twee of meer waarden aannemen (bijvoorbeeld bij sekse; man of vrouw). Wanneer een eigenschap maar één waarde aanneemt wordt het een constante genoemd. Eigenschappen van groepen zijn bijvoorbeeld prestatie, leeftijd en homogeniteit. Mate van bureaucratie en ziekteverzuim zijn voorbeelden van eigenschappen of kenmerken van organisaties.

Waarden

Waarden zijn de categorieën of scores die op de variabelen van toepassing zijn. De waarde van de variabele sekse is bijvoorbeeld ‘man’ of ‘vrouw’. Verschillende onderzoekers hanteren echter niet altijd dezelfde waarden bij variabelen. Bij de variabele ‘opleidingsniveau’ kan de ene onderzoeker het aantal jaren onderwijs willen meten, terwijl een ander onderzoek de hoogst genoten opleiding als waarde beschouwt.

Eenheden, variabelen en waarden kunnen bijeen worden gebracht in een datamatrix. Dit is een tabel waarin de rijen worden gevormd door de eenheden en in de kolommen de verschillende variabelen zijn weergegeven. Zie voor een voorbeeld hiervan bladzijde 114 van het boek.

De voordelen van een datamatrix zijn dat waarden makkelijk te vinden zijn en het statistische analyses mogelijk en makkelijker maakt. Wanneer er in plaats van woorden cijfers worden gebruikt, moet er een codeboek worden gemaakt waarin staat welke codes overeenkomen met welke variabelen en wat de scores daarvan zijn.

Meetniveau van variabelen

De volgende meetniveaus zullen hieronder behandeld worden, namelijk: nominaal, ordinaal, interval en ratio.

De variabele ‘geslacht’ kan de waarde ‘vrouw’ en ‘man’ hebben. Deze waarden bestaan uit categorieën, en worden daardoor categorische variabelen genoemd. Een categorische variabele met meer dan twee waarden is bijvoorbeeld stemgedrag (VVD, D’66, CDA etc.). Deze variabelen hebben geen vanzelfsprekende ordening van de categorieën, ze worden slechts benoemd. Deze variabelen heten nominale variabelen, en zijn dus van nominaal meetniveau. Toekenning van cijfers op waarden gebeurt willekeurig; gemiddelde scores hebben dan ook geen zin (bijvoorbeeld 1=man, 2=vrouw: mogelijk gemiddelde 1,75 -> dat wil zeggen meer vrouw dan man?).

Als er wel sprake is van een logische ordening van de verschillende categorieën zijn de variabelen van ordinaal meetniveau. Voorbeelden hiervan zijn: ‘jong, middelbaar, oud’ of ‘onvoldoende, voldoende, goed’. Over de afstand tussen de verschillende categorieën kan echter niet veel gezegd worden, want het verschil tussen goed en voldoende is niet even groot als het verschil tussen voldoende en onvoldoende. Ordinale en nominale variabelen worden daarom ook wel kwalitatieve variabelen genoemd.

Bij interval meetniveau geldt dat de verschillen tussen de waarden op een variabele wel gemeten kunnen worden. De intervallen tussen de waarden zijn dus onderling te vergelijken. Een voorbeeld hiervan is temperatuur: het verschil tussen 5 graden en 10 graden is hetzelfde als tussen 20 en 25 graden.

Het vierde meetniveau is ratio. Hierbij zijn de afstanden tussen de waarden gelijk maar hebben ze ook een absoluut nulpunt. Een voorbeeld hiervan is leeftijd: iemand kan niet jonger dan 0 jaar zijn. Variabelen van ratio en interval zijn kwantitatieve variabelen. Het meetniveau van de onderzochte eigenschap is belangrijk, omdat dit terugkomt in de gestelde hypotheses.

Methodologische spelregels

Er zijn verschillende wetenschappelijke eisen of spelregels geformuleerd voor wetenschappelijk onderzoek. Hieronder vallen de eis van toetsbaarheid, maximale normativiteit en explicitering. Deze eisen worden hieronder behandelt.

Toetsbaarheid

Wetenschappelijke uitspraken moeten toetsbaar zijn, oftewel de (on)juistheid van een uitspraak moet kunnen worden vastgesteld door empirische gegevens te verzamelen. Dit kan leiden tot verificatie (bevestiging), en het streven hiernaar heet verificationisme. Falsificationisme is het streven naar weerlegging van de uitspraken. Dit kan worden geïllustreerd aan de hand van het zwanenvoorbeeld:

“Alle zwanen zijn wit”

Als je deze uitspraak wilt toetsen aan de hand van verificatie, gaat de onderzoeker op zoek naar witte zwanen en elke keer dat er een witte zwaan gevonden wordt, bevestigt dit de uitspraak. Dit proces heet inductie; een algemene uitspraak (alle zwanen zijn wit) wordt ondersteund door specifieke uitspraken (deze zwaan is wit). Maar het is onmogelijk om alle zwanen te verifiëren. Dit wordt het inductieprobleem genoemd. Het is namelijk niet bekend wanneer je genoeg zwanen hebt gezien om de uitspraak onomstotelijk waar te noemen.

In deze gevallen kan falsificatie uitkomst bieden. Bij falsificatie gaat men op zoek naar de weerlegging van een uitspraak, en in dit geval dus op zoek naar een niet-witte zwaan. Bij falsificatie speelt echter wel een ander probleem een rol, omdat het niet altijd mogelijk is om te zeggen welke uitspraak binnen een theorie onwaar is. Dit probleem heet onderdeterminatie of onderbepaaldheid. Wetenschappelijke kennis is dus voor een deel altijd voorlopige kennis, omdat uit later onderzoek kan blijken dat algemene uitspraken of tussenliggende aannamen niet kloppen. Een consequentie van de eis van toetsbaarheid is dat hypothesen altijd ondubbelzinnig moeten worden geformuleerd. Plaats en tijd moeten duidelijk zijn en vage of controversiële termen moeten worden vermeden.

Maximale informativiteit

Maximale informativiteit stelt dat een uitspraak zo informatief mogelijk moet zijn, zodat de uitspraak zo goed mogelijk kritisch kan worden onderzocht. Hoge informativiteit is makkelijker te falsificeren omdat het duidelijker is wat een uitspraak stelt. Op bladzijde 125-127 worden een aantal uitspraken gedaan die worden ontleed aan de hand van hun specificiteit en informativiteit. Het is handig om dit even door te nemen om de theorie te snappen.

Explicitering

De derde eis heeft te maken met de toetsbaarheid in de praktijk. Onderzoek moet te repliceren (herhalen) zijn. Om een onderzoek te kunnen herhalen moet het duidelijk zijn hoe het onderzoek is uitgevoerd, en moet de wetenschappelijke kennis dus openbaar zijn en explicitering van uitspraken bestaan. Onderzoek moet intersubjectief zijn, wat wil zeggen dat onderzoekers met verschillende opvattingen elkaar kunnen corrigeren zodat persoonlijke opvattingen niet van invloed zijn op de onderzoeksresultaten.

Hoofdstuk 5 Definiëren en operationaliseren

Om wetenschappelijke uitspraken te kunnen onderzoeken, moeten er heldere definities worden gegeven van verschillende onderdelen binnen een theorie. Definiëren is het zo nauwkeurig mogelijk vastleggen van de betekenis van een begrip met behulp van een omschrijving. Een definitie is van invloed op de manier waarop vervolgens onderzoek kan worden gedaan.

Definities van kenmerken: wat/wie/waar/wanneer

Bij de vraag ‘wat’ men onderzoekt, kan op verschillende manieren geantwoord worden, bijvoorbeeld aan de hand van objectieve kenmerken (geboorteland ouders) of op grond van meer subjectieve kenmerken zoals de beleving van nationaliteit. Er moet ook een definitie gegeven worden van ‘wie’ (de doelgroep(en) van het onderzoek is (zijn)). Met andere woorden: op welke populatie richt men zich? Ook ‘waar’ en ‘wanneer’ zijn belangrijk, namelijk de plaats waar het onderzoek wordt uitgevoerd en op welk tijdstip het onderzoek zal plaatsvinden.

Operationaliseren

Het onderzoek begint met een vraagstelling. Deze bestaat weer uit deelvragen, die weer worden verdeeld in onderzoeksvragen. Operationaliseren is het steeds concreter maken van de vraagstelling. Hierbij wordt heel precies aangegeven welke begrippen in de vraagstelling worden onderzocht en hoe deze worden gemeten.

Abstracte wetenschappelijke begrippen worden ook wel constructen genoemd (bijvoorbeeld familiebanden en etniciteit). Het operationaliseren van dit soort begrippen is soms lastig, omdat het niet makkelijk naar een variabele is te vertalen. Als een begrip uit een theorie is omgevormd naar een meetbare variabele, heet dit de operationele definitie. De operationalisering is nooit volledig, omdat begrippen meestal op meerdere manieren kunnen worden geoperationaliseerd. Een oplossing hiervoor is triangulatie, waarbij het onderwerp vanuit verschillende gezichtspunten wordt bestudeerd en geoperationaliseerd.

Operationaliseren van kenmerken

Vaak worden onderzoekseenheden (of proefpersonen) bij een experiment ingedeeld in een controlegroep en een experimentele groep. In de experimentele groep vindt er dan een interventie plaats en in de controlegroep niet, zodat het onderlinge verschil kan worden toegeschreven aan de interventie (als de groep en situatie natuurlijk hetzelfde zijn). De gemanipuleerde variabele is de manipulatie van een kenmerk binnen een operationalisatie. Gemeten variabelen worden niet gemanipuleerd maar gemeten, en is bijvoorbeeld de uitkomst ofwel de afhankelijke variabele.

Bij een enquête zijn er alleen gemeten variabelen (bijvoorbeeld de vragen zijn operationaliseringen van begrippen). Bij sociaal-wetenschappelijk onderzoek worden meetinstrumenten gebruikt om kenmerken van personen, groepen of organisaties te meten. Deze meetinstrumenten worden vaak schalen genoemd, en de afzonderlijke vragen daarop items. Bij de ontwikkeling van een nieuw instrument wordt er vaak een vooronderzoek gedaan. Daarbij kunnen deskundigen gevraagd worden naar hun mening over een verschijnsel of test men het onderzoeksinstrument op een deel van de onderzoekspopulatie.

Als de doelpopulatie is gedefinieerd, moet er worden bepaald welke personen worden onderzocht. Een getrapte steekproef is een kleine steekproef in alle verschillende onderdelen waar de onderzoekspopulatie zich bevindt. Bijvoorbeeld door een steekproef te trekken in de vijf grote steden, tien middelgrote steden en tien dorpen. Deze groep vormt dat de operationele populatie, en deze moet representatief zijn voor de gehele populatie.

Verder moet er ook rekening worden gehouden met plaats en tijd, omdat gemeten resultaten niet voor altijd hoeven te gelden of voor alle plaatsen op hoeven te gaan. De vraag of er sprake is van een bepaalde ontwikkeling, kan worden beantwoord door longitudinaal onderzoek, waarbij onderzoek gedurende langere tijd wordt herhaald. Comparatief of vergelijkend onderzoek kan worden ingezet om verschillen tussen plaatsen en tijd te ontdekken.

Betrouwbaarheid is de vraag of de waarneming geen toevalstreffer is. Een onderzoek is betrouwbaar als toevallige fouten afwezig zijn. Fouten kunnen optreden door gedrag van de onderzoekspopulatie (verkeerd aankruisen van vragen) of als gevolg van een onbetrouwbaar meetinstrument.

Daarnaast is ook de validiteit van belang. Een onderzoek is valide als systematische meetfouten afwezig zijn. Validiteit of geldigheid is van belang, omdat anders verkeerde conclusies uit de uitspraken worden getrokken, bijvoorbeeld door sociaalwenselijke antwoorden van de onderzoekspopulatie.

Hoe groter een steekproef is, hoe nauwkeuriger een gemiddelde of percentage in de doelpopulatie kan worden geschat of berekend. Hoe kleiner een onderzoekspopulatie is, hoe meer verstorend individuele verschillen kunnen werken op het eindresultaat. Soms wordt er echter ook heel intensief onderzoek gedaan onder specifieke gevallen of slechts een enkel geval. Deze onderzoeken heten N=1-onderzoeken of gevalstudies.

Parallelle operationaliseringen zijn verschillende operationaliseringen van hetzelfde begrip, bijvoorbeeld solidariteit. Deze operationaliseringen worden gebruikt om toevallige fouten op te heffen, omdat replicaties van een vraag leiden tot een beter beeld. Er kunnen bij het stellen van een vraag namelijk toevallige fouten ontstaan, omdat een proefpersoon de vraag verkeerd begrijpt of verkeerd invult. Door hetzelfde op een andere manier te vragen, en vervolgens de gemiddelden van de hele groep te berekenen, wordt de betrouwbaarheid vergroot.

Externe validiteit is de mate waarin onderzoeksresultaten kunnen worden vertaald naar de ‘echte’ wereld. Binnen de sociale wetenschappen bestaan er twee soorten externe validiteit. De eerste is populatievaliditeit en is de mate waarin een steekproef een goede afspiegeling is van de populatie waarover onderzoekers uitspraken willen doen. Dit wordt ook wel de representativiteit genoemd.

De tweede soort is de ecologische validiteit en verwijst naar de mate waarin resultaten kunnen worden gegeneraliseerd naar andere plaatsen of tijden, bijvoorbeeld naar een andere cultuur of naar een andere manier van onderzoek doen.

Reactiviteit treedt op wanneer mensen zich anders gaan gedragen als ze weten dat ze onderzocht worden. Het effect dat hierdoor optreedt, is niet het gevolg van de experimentele manipulatie maar het effect dat optreedt, omdat men weet dat ze onderzocht worden. Dit wordt ook wel het Hawthorne-effect genoemd (naar een studie over werkcondities en productiviteit, waaruit bleek dat aandacht voor de werknemers ertoe leidde dat mensen meer gingen produceren).

Mensen kunnen ook sociaalwenselijke antwoorden geven, waarbij mensen een geïdealiseerde of onjuiste versie van de waarheid geven en dit de resultaten verstoort.

Er zijn verschillende manieren om na te gaan of een meting valide is, met andere woorden; is er gemeten wat gemeten moest worden? Een eerste vorm om dit te bepalen is inhoudsvaliditeit, waarbij een instrument wordt gecheckt op alle soorten items die er volgens deskundigen in moeten zitten.

Soortgenootvaliditeit treedt op als een oud instrument niet meer voldoet en een nieuwe test nodig is. Als beide tests dan worden ingezet, zou dat een sterke samenhang tussen beide instrumenten moet opleveren. Van convergente validiteit is sprake als beide instrumenten hetzelfde begrip meten. Dit kan het beste worden onderzocht door twee verschillende soorten instrumenten te gebruiken. Convergente validiteit gaat verder dan soortgenootvaliditeit, omdat de onderzoeker wil aantonen dat instrumenten elkaar overlappen of convergerend zijn. Bij soortgenootvaliditeit lijken de instrumenten juist op elkaar.

Construct- of begripsvaliditeit betreft de mate waarin de empirische verschijnselen de theoretische begrippen of constructen dekken. Predicatieve validiteit wordt gebruikt als het vooral gaat om psychologische tests. Het gaat er vooral om een voorspelling te doen en deze tests worden dus vooral gebruikt in diagnostisch en praktijkgericht wetenschappelijk onderzoek.

Bruikbaarheid

Er wordt onderscheid gemaakt tussen drie soorten gebruik van sociaal-wetenschappelijk onderzoek.

Ten eerste is er conceptueel gebruik, dat vooral wordt ingezet voor discussie wanneer definities voor problemen niet meer voldoen.

Ten tweede is er instrumenteel gebruik, en wordt gebruikt als er sprake is van beleidsbeslissingen en komt vooral voort uit praktijkonderzoek.

Het derde type gebruik is vooral een combinatie van de voorgaande twee. Het gebruik om te overtuigen gaat wel om discussie, maar onderzoek is vaak ingesteld door bepaalde partijen om argumenten te krijgen die hun standpunten kunnen ondersteunen. Het is voor onderzoekers echter wel belangrijk om zo veel mogelijk objectief te blijven, en niet te zwichten onder druk van bepaalde partijen voor een voor hen positieve uitkomst.

Hoofdstuk 6 Het experiment

Experimenten zijn te definiëren als een gecontroleerde methode van waarnemingen, waarbij de waarden van één of meerdere onafhankelijke variabelen worden gemanipuleerd, met als doel de oorzakelijke of het causale effect daarvan vast te stellen op één of meerdere afhankelijke variabelen. Deze vorm van voorspellen heeft een enigszins kunstmatig karakter, omdat de onderzoeker controle heeft over de deelnemers en omstandigheden.

Het gaat er bij experimenten om om oorzaak-gevolgrelaties te onderzoeken. Bij wetenschappelijke experimenten gaat het ook om het manipuleren van de oorzaak om te kijken of het verwachte gevolg optreedt. De oorzaak wordt ook wel de onafhankelijke variabele (of oorzaakvariabele) genoemd, en het gevolg de afhankelijke variabele (of effect- of gevolgvariabele). De onafhankelijke variabele wordt dus gemanipuleerd om een effect te vinden bij de afhankelijke variabele. Hierbij worden causale hypothesen geformuleerd, en deze worden regelmatig via een laboratoriumexperiment getest. Veel praktijkgericht wetenschappelijk onderzoek wordt middels een alledaagse situatie, oftewel een veldexperiment, uitgevoerd.

Causaliteit is het vinden van regelmatigheden tussen kenmerken of variabelen. Om van een causaal verband tussen X en Y te spreken, moet er aan de volgende drie voorwaarden zijn voldaan:

1. Er moet een statistisch verband (covariatie) zijn tussen X en Y.

2. De veroorzakende, onafhankelijke variabele (X) moet voorafgaan aan de afhankelijke variabele (Y).

3. Er moet worden aangetoond dat het verband tussen X en Y geen schijnbaar causaal verband is.

Deze voorwaarden worden hieronder uitgelegd.

1. Bij een variatie in X moet er ook een variatie zijn in Y. Bijvoorbeeld het wel of niet kijken van een film (X) en de houding ten opzichte van immigranten (Y).

2. Het kijken van een film moet worden vergeleken met een controlegroep, die de film niet heeft gezien. Als onderzoeker wil je weten dat het kijken naar een film voorafgaat aan de houding ten opzichte van migranten, en niet andersom.

3. Als X (film) voorafgaat aan Y (houding), wil dit nog niet zeggen dat er ook een oorzakelijk verband is. Het is namelijk mogelijk dat een derde kenmerk (Z) invloed heeft. Een voorbeeld hiervan is een onderzoek uit de VS waarbij Afro-Amerikanen en Latino’s vaker werden aangehouden door de politie voor autocontrole. In eerste instantie werd dit als discriminatie gezien, maar later bleek dat de politie vooral oude en slecht onderhouden auto'scontroleerde, en daar bleken meer Afro-Amerikanen en Latino’s in te rijden.

Het experimenteel ontwerp

Over het algemeen wordt een categorie mensen (experimentele groep) blootgesteld aan een experimentele ingreep of stimulus (experimentele conditie). De experimentele variabele wordt dus gemanipuleerd door de onderzoeker om na te gaan of en in welke mate het effect heeft op de afhankelijke variabele. Een onderzoeker meet op tijdstip 1 (t1) de afhankelijke variabele, dit wordt ook wel de voormeting genoemd. Daarna ondergaan de deelnemers de experimentele stimulus x, waarna vervolgens de afhankelijke variabele opnieuw wordt gemeten op tijdstip 2 (t2).

Als er verschil blijkt op te treden hoeft dit niet te liggen aan de experimentele stimulus, maar kan ook komen door storende of externe factoren. Daarom wordt er een vergelijkingsgroep gemaakt die de stimulus niet krijgt; de zogenaamde controlegroep die zich in de controleconditie bevindt. Wanneer de werkzaamheid van de experimentele stimulus wordt bekeken, heet dit de manipulation check.

In schema ziet dit er zo uit:

                                                       t1          t2

             Experimentele groep               01    x    02

             Controlegroep                       03          04

Deelnemers

Proefpersonen zijn de mensen die meedoen aan een experiment dat wordt geleid door een proefleider. Het is belangrijk dat proefpersonen op een aselecte wijze over de experimentele- of de controleconditie verdeeld worden. Er zijn daarvoor drie manieren.

De eerste is via canonisatie, waarbij proefpersonen via een toevalsprocedure worden toegewezen aan een van de twee groepen. Randomiseren is een essentiële voorwaarde om van een echt of zuiver experiment te kunnen spreken. Met behulp van statistiek kan een onderzoeker bepalen of het verschil tussen de experimentele- en controlegroep toe te schrijven is aan toeval of aan de systematische werking van de onafhankelijke variabele.

Een andere manier van toewijzing is matchen ofwel gekoppelde toewijzing. Hierbij proberen onderzoekers de experimentele en controlegroep gelijk te maken door bekende externe kenmerken (bijvoorbeeld leeftijd, sekse of opleiding) in beide groepen even groot te maken. Dit kan gebeuren door precisiematching en globale matching. Precisiematching is het per proefpersoon paarsgewijs matchen of individueel matchen, waarbij dus steeds een proefpersoon met dezelfde variabelen wordt ingedeeld in de controle- dan wel experimentele groep. Een probleem hiervan is dat er een groot aantal proefpersonen nodig is om tot gelijke paren te komen als men op een aantal variabelen tegelijk wil matchen.

Een tweede methode is globale matching, waarbij de onderzoekers een gelijke frequentieverdeling van een aantal belangrijke kenmerken in de controle- en experimentele groep proberen te krijgen. In elke groep zijn dan evenveel vrouwen en mannen, laag- en hoogopgeleiden etc. aanwezig.

Een ander alternatief is homogenisering. In dat geval kiezen onderzoekers ervoor om groepen zo gelijk mogelijk te laten zijn op een externe variabele. Als de onderzoekers vermoeden dat leeftijd een storende factor is, kunnen zij het onderzoek beperken tot alleen jongeren of juist ouderen. Homogeniseren en matchen zijn echter geen vervanging voor randomiseren, omdat ze alleen controleren voor geselecteerde variabelen. Randomiseren controleert in principe voor alle variabelen, dus ook voor variabelen die niet worden gemeten.

Vaak wordt bij de opzet van een experiment gebruikgemaakt van een gerandomiseerd blokontwerp. Dit is een combinatie van canonisatie en matching. Bij een blokontwerp worden de proefpersonen voorafgaand aan een onderzoek ingedeeld in homogene categorieën. Bijvoorbeeld op basis van sekse en leeftijd: 6 groepen met de categorieën man/vrouw, jong, middelbaar en senior. Vervolgens worden de proefpersonen per blok op toevalsbasis toegewezen aan de controle of de experimentele groep. Het gerandomiseerde blokontwerp wordt ook wel groepsgewijs matchen genoemd.

Experimentele ontwerpen

Van een zuiver experiment is sprake wanneer er naast een experimentele groep minstens één controlegroep wordt betrokken. Vervolgens moeten de proefpersonen op toevalsbasis worden toegewezen aan een van beide groepen. Hieronder volgen vijf zuiver experimentele onderwerpen.

                               t1                   t2

Groep 1                     R         x         01 experimentele groep

Groep 2                     R                    02 controlegroep

Alleen een nameting en met een controlegroep.

Hierbij staat de R voor randomiseren. Het voor- en nadeel van dit ontwerp is dat er geen voormeting plaatsvindt. Door een voormeting kunnen proefpersonen te weten komen waar het om gaat in een experiment. Een nadeel is dat de onderzoeker niet weet wat de scores van de proefpersonen zijn op variabelen, waardoor er hele hoge (plafondeffect) of lage (vloereffect) scores uit kunnen komen.

                             t1                      t2

Groep 1         R       01         x            02 experimentele groep

Groep 2         R       03                      04 controlegroep

Een voormeting en een nameting en een controlegroep.

Dit ontwerp wordt ook wel het klassieke experimentele ontwerp genoemd. Door een voormeting kan men meer informatie verkrijgen, wat de statistische power (onderscheidingsvermogen) ten goede komt. Hierdoor heeft het een grotere kans om statistisch significant te zijn. Toch gebruiken onderzoekers in de sociale wetenschap vaker het vorige ontwerp, omdat mensen nu eenmaal minder naïef zijn dan andere onderzoekseenheden (dieren of moleculen).

                               t1                        t2

Groep 1          R        01          x            02 experimentele groep

Groep 2          R        03                       04 controlegroep

Groep 3          R                      x           05 experimentele groep

Groep 4          R                                   06 controlegroep

Het Solomon viergroepenontwerp.

Met dit ontwerp is het mogelijk om gedetailleerde uitspraken te doen over de oorzaken van veranderingen in de afhankelijke variabele. Hierbij wordt zowel het effect van de experimentele ingreep als het effect van de voormeting onderzocht. Er kan ook een interactie-effect ontstaan tussen een voormeting en experimentele stimulus.

                             t1                          t2

Groep 1        R        01           x1           02 experimentele groep 1

Groep 2        R        03           x2           04 experimentele groep 2

Groep 3        R        05           x3           06 experimentele groep 3

Groep 4        R        07                         08 controlegroep

Meerdere experimentele groepen en één controlegroep.

De x1 tot x3 verwijzen naar een oplopende intensiteit van de onafhankelijke variabele, bijvoorbeeld de intensiteit van een behandeling. Hierdoor kan de onderzoeker nagaan of de verschillen in intensiteit van de onafhankelijke variabele leiden tot verschillen bij de afhankelijke variabele.

                              t1                          t2

Groep 1      R           01           x1           02 experimentele groep 1

Groep 2      R           03           x2           04 experimentele groep 2

Groep 3      R           05           x3           06 experimentele groep 3

Meer experimentele groepen, geen controlegroep.

Dit model komt vooral voor in evaluatieonderzoek, wanneer interventies worden geëvalueerd op hun effectiviteit. Het is in die gevallen niet nodig om een controlegroep te hebben.

Bij een ‘quasi-experiment’ wordt geen randomisatie toegepast. We zien dit bijvoorbeeld bij praktijkgericht wetenschappelijk onderzoek. Men kan drie basisontwerpen onderscheiden, namelijk:

1. Een voor- en nameting: mét controlegroep, maar zonder randomisatie; dus geen toevallige toewijzing in een van de groepen.

2. Een enkelvoudige tijdreeks: in plaats van een voor- en nameting worden zowel voor als na de invoering van de experimentele variabele verschillende metingen gedaan. Men onderzoekt bijvoorbeeld het aantal verkeersovertredingen gedurende een jaar en gaat daarna maatregelen invoeren. Vervolgens kan men weer metingen gaan uitvoeren, om te zien of de maatregel effect heeft gehad.

3. Een meervoudige tijdreeks, geen randomisatie: zoals een enkelvoudige tijdreeks, maar met zowel een experimentele als een controlegroep en zonder randomisatie. Bijvoorbeeld metingen op twee wegen doen, waarbij de ene weg geen maatregel krijgt en de andere weg wel.

Daarnaast zijn er ook pre-experimenten als er slechts één of geen enkele vergelijkingsbasis is voor het gedrag na de toediening van de experimentele groep, en er geen randomisatie is. Een voordeel hiervan is dat onderzoekers kunnen aansluiten bij een natuurlijke situatie. Op bladzijde 190 van het boek staat een kader waarin een overzicht wordt gegeven van alle experimentele ontwerpen.

Bij experimenten geldt dat wetenschappers, vooral bij praktijkgericht onderzoek, concessies moeten doen om het onderzoek uit te kunnen voeren. Men moet soms dus een pragmatische inslag hanteren en daarbij tussen wetenschappelijke eisen en praktische mogelijkheden in gaan zitten.

Kwaliteit

Er is sprake van een hoge interne validiteit als de experimentele variabele vrijwel zeker van invloed is op de afhankelijke variabele. Er zijn verschillende storende factoren die kunnen optreden bij voornamelijk pre-experimentele of quasi-experimentele ontwerpen. Deze zijn:

• Tussentijds extern voorval (van invloed op afhankelijke variabele).

• Rijping of groei (verandering door tijd van afhankelijke variabele).

• Testeffect (leereffect van voormeting bij nameting).

• Instrumentatie (bepaalde uitkomsten als gevolg van het meetinstrument, en niet door de experimentele variabele).

• Statistische regressie (afwijkende resultaten bij herhaling van de meting).

• Selectie (kenmerken van de experimentele groep leiden tot verschillen in plaats van de experimentele variabele).

• Uitval (minder mensen bij een nameting dan bij een voormeting).

• Interactie 1 tot en met 7 (wanneer voorgaande factoren in combinatie actief zijn).

• Verspreiding van de ingreep (contaminatie of besmetting: mensen in de experimentele conditie spelen informatie door naar de controleconditie).

• Gelijkmaken van de experimentele groep en controlegroep (als mensen in de controlegroep bijvoorbeeld geld krijgen ter compensatie van het voordeel dat mensen hebben in de experimentele groep).

• Compenserende rivaliteit (als door concurrentie of rivaliteit tussen de twee groepen mensen het onderzoek gaan tegenwerken).

Externe validiteit betreft de vraag of de resultaten gegeneraliseerd kunnen worden naar een andere populatie (populatievaliditeit) of naar andere omstandigheden (ecologische validiteit).

Er bestaan drie mogelijke verstorende factoren van externe validiteit. Deze zijn:

1. Interactie voormeting en stimulus (voormeting heeft invloed op de manier waarop de experimentele stimulus wordt ervaren). Er is sprake van reactiviteit, omdat het onderzoek zelf van invloed is op hetgeen dat wordt onderzocht. Mogelijke oplossingen hiervoor zijn een blind experiment, waarbij de proefpersoon niet weet in welke groep hij of zij zit. Van een dubbelblind experiment is sprake als zowel de onderzoeker als de proefpersoon niet weten in welke groep een proefpersoon geplaatst zal worden.

2. Interactie van selectie en experimentele stimulus (het is de vraag of de geselecteerde proefpersonen wel een juiste afspiegeling zijn van de bevolking).

3. Reactieve experimentele locatie (de proefleider of de plaats heeft een subtiel verstorend effect op de resultaten)

Verder zijn er ook ethische codes en beroepscodes waarin beschreven wordt waaraan een experiment moet voldoen. Als er mensen betrokken zijn bij een experiment wordt het onderzoek door een medisch-ethische commissie beoordeeld. Ook informed consent is van belang, dit houdt in dat proefpersonen goed worden ingelicht over het project voordat zij toestemming geven om mee te doen.

Dataverzameling

Voor het verzamelen van data in een experiment kunnen onderzoekers vragenlijsten gebruiken of gedrag observeren. Bij het inventariseren van gevoelens, meningen, interpretaties of attitudes van proefpersonen kan men interviews of vragenlijsten gebruiken. Een onderzoeker kan ook observeren, als hij of zij informatie nodig heeft over gedrag en gedragsverandering. Hierbij kan de onderzoeker bijvoorbeeld het aantal gebeurtenissen tellen (bijvoorbeeld event-sampling) of om de zoveel minuten opschrijven wat iemand doet (bijvoorbeeld time-sampling). De aanwezigheid van de observator kan storend werken waarvoor een camera of spiegelglas oplossingen zijn. Observatie is geschikt als de proefpersonen zelf niet in staat zijn om bijvoorbeeld vragen te beantwoorden (zoals kinderen).

Hoofdstuk 7 Enquêtes

De enquête is een veelgebruikte manier om onderzoek te doen in de sociale wetenschappen. Een ander woord voor enquête is survey. De enquête kan gebruikt worden als men feiten, gedrag, meningen, kenmerken of sociale verschijnselen in kaart wil brengen. Voor de bepaling wie er onderzocht moeten worden, wordt er over het algemeen een steekproef getrokken. Hierbij ligt de nadruk doorgaans op ontwikkelingen; veranderingen die interessant zijn (bijvoorbeeld om een beleid voor op te stellen). De enquête kan ook gebruikt worden voor onderzoek naar oorzakelijke verbanden, maatschappelijke veranderingen, persoonlijke kenmerken, gedrag of opinies. Grootschalig beschrijvend onderzoek wordt ook wel cross-sectioneel onderzoek genoemd.

Wanneer onderzoekers vragen stellen over iets dat ‘eerder in de tijd’ gebeurd is, heten die vragen retrospectieve (terugkijkende) vragen. Deze zijn echter niet zo heel betrouwbaar. Het is beter om periodiek metingen over een langere tijd te doen. Dit heet longitudinaal onderzoek en wordt ook wel aangegeven met het woord trend survey. Men kan ook een panel (vaste groep personen) gebruiken en de panelenquête op deze groep toepassen. Dit is ook handig voor longitudinaal onderzoek.

Om vergelijkbare informatie te krijgen, wordt niet alleen de vragenlijst gestandaardiseerd maar ook de manier van interviewen of enquêteren. Standaardisatie maakt naast vergelijkbaarheid van de antwoorden ook replicatie van het onderzoek mogelijk. Wanneer alle personen in een doelpopulatie ondervraagt worden, spreekt men van een census. Deze laatste volkstelling stamt uit 1971 en gebeurt dus zelden. Meestal wordt er gewoon een steekproef getrokken, die een goede afspiegeling zou moeten zijn van de gehele doelpopulatie.

Opzetten van een enquête

Er zijn vier keuzeprocessen te onderscheiden, namelijk selectie van onderzoekseenheden (wie), samenstellen van de vragenlijst (wat), de tijdsperiode(n) van onderzoek (wanneer) en de organisatie van het veldwerk (hoe).

Er wordt een onderscheid gemaakt in drie manieren van gegevensverzameling (modes of data collection): de persoonlijke, de telefonische en de enquête met zelf-invullijsten. Tegenwoordig zijn websurveys natuurlijk ook zeer populair. Voordelen van het gebruik van computers zijn dat het ten eerste sneller is. Ten tweede zijn er minder fouten in de vragenlijst door een betere routing (de manier waarop iemand door een vragenlijst heen gaat waarbij onbelangrijke vragen worden overgeslagen). Tot slot kan er beter worden gecontroleerd op de consequentie van gegeven antwoorden (minder typefouten of onduidelijkheden in antwoorden op open vragen).

Toonantwoorden zijn de antwoordmogelijkheden die door een onderzoeker zijn opgesteld (bijvoorbeeld opleiding: havo, vwo etc). Non-respons heeft te maken met de kwaliteit van gegevens en verwijst naar de situaties waarin respondenten niet bereid of bereikbaar zijn voor onderzoek. Item non-respons ontstaat wanneer mensen geen antwoord geven op bepaalde vragen.

De doelpopulatie is de groep waarover men onderzoek wil doen. Als het niet mogelijk is om populaties te definiëren naar tijd en plaats noemt men dit ook wel hypothetische populaties. Wanneer de doelpopulatie is vastgesteld, is het van belang om te omschrijven welke mensen in het onderzoek moeten worden opgenomen. Dit is de operationele populatie.

In de volgende stap wordt er een steekproefplan opgesteld waarin beslissingen over de grootte en de trekking van de steekproef aangegeven worden. Deze kunnen worden getrokken uit een steekproefkader; een administratie van de populatie, bijvoorbeeld een persoonsadministratie. Er is sprake van een kaderfout als sommige eenheden wel tot de doelpopulatie behoren maar niet voorkomen in het steekproefkader. Dit heet ook wel onderdekking. Als er zich elementen in het steekproefkader bevinden die er ten onrechte tussen zitten, heet dit overdekking. Om een representatieve steekproef te krijgen, is het belangrijk om de eenheden in een populatie at random of aselect (op toevalsbasis) te selecteren.

Er bestaan een aantal verschillende typen kanssteekproeven.

De eerste is de enkelvoudig aselecte steekroef, waarbij de selectie ontstaat door op volstrekt willekeurige wijze uit alle eenheden van de steekproef elementen te selecteren. Dit kan bijvoorbeeld door lottoballetjes.

Een andere manier is de gestratificeerde steekproef. Hierbij wordt er een indeling in belangrijke categorieën of strata gemaakt, bijvoorbeeld in leeftijd (jonger dan 25, tussen 25 en 50 etc).

Een clustersteekproef is een onderzoek onder groeperingen die onderling contact houden, bijvoorbeeld straten, huishoudens en schoolklassen. Wanneer er binnen een cluster nog een steekproef wordt getrokken, heet dit een getrapte steekproef. Een voorbeeld hiervan is eerst een steekproef van gemeenten, dan van huishoudens en dan van personen.

Naast kanssteekproeven bestaan er ook niet-kanssteekproeven of monsters. De eerste is de quotasteekproef, en wordt gebruikt als er geen bevolkingsregistratie is. Dit lijkt op een getrapte steekproef, maar het belangrijke onderscheid is dat interviewers zelf respondenten selecteren binnen vastgestelde quota. De tweede is de sneeuwbalsteekproef en wordt gebruikt als er geen goed steekproefkader is. De methode hierbij is om via mensen andere mensen te interviewen, en is dus erg afhankelijk van een min of meer persoonlijk netwerk.

Er is sprake van non-respons als er geen gegevens verkregen worden van sommige onderzoekseenheden. Ten eerste is er non-respons of unit non-respons, wat er op neerkomt dat een respondent niet meedoet aan het vraaggesprek. Hierdoor kan vertekening ontstaan, waarbij de analyse verkeerde resultaten oplevert. Een incentive of beloning kan mensen stimuleren toch mee te doen.

Item non-respons speelt vooral bij zelfinvullijsten, dus wanneer mensen op bepaalde vragen geen antwoord geven. Als veel mensen dit doen dan bestaat er de kans dat er verschillende of incorrecte conclusies worden getrokken. Dit wordt ook wel responsvertekening genoemd en komt veel voor bij bedreigende en gevoelige onderwerpen. In deze gevallen hebben mensen de neiging om sociaalwenselijke antwoorden te geven.

De vragenlijst

Het opstellen van een vragenlijst begint met het definiëren van begrippen. Theoretische begrippen zijn vaak complex, in de zin dat ze kunnen worden opgedeeld in verschillende onderdelen. De operationalisering resulteert dan in het formuleren van één of meer enquêtevragen. Vaak worden er schalen gebruikt die weer uit verschillende vragen bestaan.

Er zijn drie typen vragen: gesloten vragen, open vragen en halfopen vragen. Bij de gesloten vragen staan zijn de antwoordmogelijkheden op de vragenlijst. Open vragen worden gesteld wanneer de onderzoeker niet weet welke antwoorden er allemaal mogelijk zijn en benieuwd is naar de associaties die een vraag oproept bij de respondent.

Vragen moeten ook in een bepaalde volgorde komen. Met het woord routing wordt de bewegwijzering van een vragenlijst bedoeld die een respondent door de vragenlijst stuurt. Daarnaast is het vaak nodig om toelichting en instructies te geven bij vragen, en moet een duidelijke lay-out het invullen vergemakkelijken. Verder is het handig om een vragenlijst eerst uit te testen zodat het duidelijk wordt waar nog het een en ander aan moet worden gesleuteld. Er bestaan speciale vragenlaboratoria waar professionele onderzoekers met verschillende methoden de juistheid van een vragenlijst testen.

Het is van belang om goed te communiceren met de respondenten zodat zij weten wat, hoe, wanneer en waarom iets van hun verwacht wordt. Soms wordt er een mixed-mode survey toegepast. In dat geval is een vragenlijst aangepast aan de verschillende wensen en mogelijkheden van respondenten. Er kunnen hierbij echter wel moduseffecten ontstaan omdat mensen andere antwoorden geven als de vragenlijst op verschillende manieren wordt afgenomen (bijvoorbeeld internet, telefoon en print).

In het geval van panelonderzoek zijn er drie soorten non-respons. De eerste is initiële non-repsons en ontstaat tijdens het eerste contact als er mensen benaderd worden. Bij incidentele non-respons laat de respondent het een enkele keer afweten. De derde is uitval of mortaliteit en verwijst naar het algehele afhaken na een enkele deelname. Om dit te voorkomen kunnen onderzoekers via kleine attenties, een loterij of een nieuwsbrief proberen de panelleden vast te houden. De responsratio is het aantal respondenten dat aan het uiteindelijke onderzoek heeft meegewerkt gedeeld door het aantal personen in de oorspronkelijke steekproef.

De meeste enquêtes hebben een beperkte interne validiteit. Om hier wat aan te doen, kan de meting ten eerste op een meer continue basis worden gedaan, door bijvoorbeeld longitudinaal onderzoek. Ten tweede kunnen er zo veel mogelijk andere factoren die een alternatieve verklaring kunnen vormen voor het gevonden verband worden gecheckt op hun mogelijke oorzaken. Het persoonlijke interview is de beste methode maar ook de duurste. De goedkoopste methode is de zelfinvullijst, maar heeft weinig mogelijkheden om de hoogte en de kwaliteit van de respons te beïnvloeden. Het telefonische interview zit tussen beide methoden in. In tabel 7.2 op bladzijde 244 zijn de voor- en nadelen van alle methoden op een rij gezet.

Hoofdstuk 8 Kwalitatief onderzoek

Kwalitatief onderzoek is een overkoepelend begrip voor onderzoekstypen die zich richten op het in kaart brengen, verklaren & voorspellen van gedrag, ervaringen en gevoelens. Onder kwalitatief onderzoek vallen verschillende tradities die elk een eigen benadering en methode hanteren. In kwalitatief onderzoek gaat men ervan uit dat mensen handelen op basis van zingeving, waarbij ze betekenis verlenen aan hun omgeving. Mensen leren vanaf hun geboorte allerlei symbolen, normen en waarden maar ook gebruiken en organisaties kennen. In kwalitatief onderzoek wordt op zoek gegaan naar het begrijpen van de betekenisgeving, en trekken onderzoekers het veld in om de diepte in te gaan.

Omdat het vooraf niet altijd duidelijk is op welke manier mensen betekenis geven aan hun omgeving kunnen onderzoekers werken met een voorlopige vraagstelling. In dat geval passen onderzoekers hun vragen aan en specificeren zij hun vraag aan de hand van resultaten die zij tijdens veldonderzoek vinden. Sensitizing concept of richtinggevende begrippen worden ingezet wanneer relevante begrippen uit de literatuur worden gebruikt als zoeklicht. Onderzoekers willen dan met een open blik te werk gaan en zich laten leiden door begrippen die relevant blijken te zijn.

Onderzoeksontwerp

Onderzoekers zetten zichzelf in als instrument om data te verzamelen om erachter te komen wat het perspectief van mensen is op hun sociale omgeving. Dit wordt ook wel het emic perspective genoemd. Methoden hiervan zijn bijvoorbeeld participerende observatie en kwalitatieve interviews. Kenmerk hiervoor is dat de uitvoering niet helemaal van tevoren is vastgelegd door de onderzoekers. Deze flexibele methoden zijn een open procedure omdat een standaardisatie de resultaten in de weg zou kunnen staan.

Kenmerkend voor een ontwerp van een kwalitatieve studie is de afwisseling van data-analyse en dataverzameling. Dit is een cyclisch proces waarbij steeds op de eigen bevindingen wordt gereflecteerd. De eerste reden voor deze werkwijze is dat kwalitatief onderzoek mogelijkheden biedt voor exploratie of verkenning van een veld (want dat is nog deels onbekend). De tweede reden is dat door de afwisseling het makkelijker is om bevindingen direct te toetsen, en dus te kijken of eerdere bevindingen ook op een later moment opgaan.

Het benaderen van de onderzoeksgroep doen onderzoekers volgens de regel van doelmatige selectie. Dat wil zeggen dat men heel doelgericht op zoek gaat naar de mensen (de eenheden) die voor het onderzoek relevant en interessant zijn.

Hiervoor bestaan verschillende strategieën. Als men bijvoorbeeld op zoek is naar het normale of gemiddelde van een bepaalde eenheid, dan is de typische eenheid gelegitimeerd. Als onderzoekers meer op zoek gaan naar minder alledaagse en bijzonder ongewone onderwerpen, dan is de extreme eenheid de juiste. Weer een andere mogelijkheid is maximale variatie. Hierbij moeten de diverse uitingsvormen (variatie) van een verschijnsel in de steekproef worden opgenomen. Tot slot is het ook mogelijk om theoretische selectie toe te passen. Dit is een doelgerichte steekproeftrekking waarbij onderzoekers de eenheden selecteren op basis van een potentiële bijdrage. Hier wordt op zoek gegaan naar uitzonderingsgevallen die kunnen leiden tot falsificatie (ontkrachting).

Het is echter wel de vraag wanneer een onderzoeker eigenlijk klaar is met dataverzameling en selectie van eenheden. Dit punt heet verzadiging of saturatie en verwijst naar het moment wanneer er geen nieuwe informatie meer verkregen wordt over de voor onderzoekers relevante onderwerpen. Om deelnemers voor onderzoek te krijgen, kan de sneeuwbalmethode geschikt zijn, vooral wanneer het gaat om gevoelige onderwerpen of moeilijk bereikbare groepen. In de antropologie wordt veel aan participerende observatie gedaan oftewel etnografisch onderzoek. Dit wordt zo genoemd, omdat het vaak gericht is op bevolkingsgroepen in culturen.

Het is belangrijk dat onderzoekers in de praktijk open optreden, waarbij ze om medewerking vragen van de personen die zij bestuderen. Het is niet ethisch verantwoord om verhuld op te treden, en de onderzochten dus niet op de hoogte te stellen van de rol van de onderzoeker.

Hoe meer sprake er is van standaardisatie, hoe meer een onderzoeker de richting van een interview bepaald. De standaardisatie is afhankelijk van de inhoud, de manier, de volgorde van en mogelijke antwoorden op de vragen.

Er bestaan drie typen interviews. Er is sprake van een gestructureerd interview als de vier genoemde zaken vastliggen. Als deze vier zaken gedeeltelijk of niet vast liggen, dan wordt er gesproken van een semi-gestructureerd dan wel ongestructureerde interview. Onderzoekers gebruiken meestal een topiclijst waarop de hoofdvragen en de onderwerpen die besproken worden, vermeld staan.

De data-analyse wordt in toenemende mate met behulp van computerprogramma’s gedaan (CAQDAS). Kwalitatieve onderzoekers hanteren een inductieve analysemethode. Het benoemen van categorieën tijdens de analyse heet coderen. Een belangrijk principe is dat gegevens constant met elkaar worden vergeleken, waarbij nieuwe gegevens met oude worden vergeleken. Tot slot worden ze met elkaar in verband gebracht, zodat onderzoekers een verklaring kunnen geven voor hun waarnemingen.

Kwaliteit

Er bestaan verschillende visies op de kwaliteit van kwalitatief onderzoek. Validiteit en betrouwbaarheid zijn natuurlijk van belang. Ten aanzien van de betrouwbaarheid kan het volgende worden gezegd.

Ten eerste komt het de betrouwbaarheid ten goede als metingen kunnen worden herhaald. Een andere vorm van herhalen is wanneer verschillende methoden worden gebruikt om hetzelfde onderwerp te bestuderen. Dit heet methodetriangulatie, waarbij dus meerdere metingen worden verricht vanuit verschillende invalshoeken. Een andere procedure om de betrouwbaarheid te verhogen is om onderzoekstriangulatie toe te passen. Hierbij wordt er in een team van onderzoekers overlegd over de systematiek en consistentie van werkwijzen. Onderzoekers kunnen uitgewerkte interviews voorleggen aan participanten ter controle (member check/ member validation). Ook training in een onderzoekspraktijk en systematische werkwijzen komen de kwaliteit en betrouwbaarheid van onderzoek ten goede. Tot slot is methodische verantwoording aan te raden, omdat dan duidelijk wordt opgeschreven wat de onderzoekers hebben gedaan en waarom zij daarvoor hebben gekozen.

Ten aanzien van de validiteit is het belangrijk dat een onderzoeker in zijn rol blijft en niet te veel opgaat in de wereld van degenen die worden onderzocht. Dit verschijnsel wordt ook wel aangeduid met going native, waarbij de werkwijze en interpretatie beïnvloed worden door het teveel opgaan in de sociale omgeving. Ook reactiviteit is een gevaar voor de validiteit. Als onderzoekers vanuit verschillende disciplines elkaars resultaten bediscussiëren op hun juistheid, kan dit bijdragen aan validiteit. Het gebruiken van verschillende methoden, member validation en methodische verantwoording, zijn belangrijk en zorgen voor verhoogde validiteit. Ook reflectie op de rol van de onderzoeker kan meer duidelijkheid geven over de achtergrond en andere kenmerken die van invloed zijn op de manier waarop onderzoekers te werk gaan. Voor de generalisatie van kwalitatieve onderzoeksresultaten kan er gebruik worden gemaakt van inhoudelijke generalisatie of op basis van vergelijkbaarheid.

Hoofdstuk 9 Gebruikmaken van bestaande gegevens

Een probleem van onderzoeksgegevens uit experimenten, enquêtes en kwalitatief onderzoek is dat ze door een onderzoeker zijn uitgelokt. Het gevaar van reactiviteit is hier aan de orde, omdat mensen niet hun ‘ware’ gedrag laten zien. Een voordeel van hergebruik van bestaande gegevens is dat het veel tijd en geld bespaart. Gegevens kunnen met elkaar worden vergeleken, wat kan leiden tot een comparatief onderzoek of trendonderzoek.

Een nadeel van bestaande gegevens is dat zij meestal met een ander doel zijn verzameld, en dat de hergebruiker dus gebonden is aan de oorspronkelijke eenheden, variabelen en waarden. Soms is het ook niet duidelijk wat de oorspronkelijke wijze van gegevensverzameling is geweest. Daarentegen is het als een voordeel te zien dat onderzoekers mensen niet nog een keer ‘lastig hoeven te vallen’.

Neerslag van gedrag

Er is zowel verbaal als non-verbaal neerslag van gedrag. Bij neerslag van non-verbaal gedrag gaat het in de eerste plaats om registratie. Allerlei aspecten van menselijk gedrag worden op een of andere manier geregistreerd, zoals bijvoorbeeld kijkcijfers. Daarnaast kan er gebruik worden gemaakt van zogenoemde sporen van menselijk gedrag zoals afval. Probleem van deze methoden is het selectieve karakter ervan, wat natuurlijk zijn gevolgen heeft voor de validiteit.

Bij neerslag van non-verbaal gedrag gaat het om alle producten die bewaard blijven uit de enorme stromen van informatie en communicatie. Hierbij gaat de interesse van onderzoekers vooral uit naar de inhoud van de boodschappen. De methode die hiervoor gebruikt wordt is de inhoudsanalyse; een techniek om op basis van systematische en objectieve analyse uitspraken te doen over de betekenis van boodschappen. Dit kan gebeuren door nieuwsberichten, politieke documenten of geluidsarchieven te gebruiken. Problemen die hierbij kunnen ontstaan is dat documenten onvolledig zijn of dat archieven hun eigen regels gebruiken ten aanzien van de raadpleging van derden.

De betrouwbaarheid van de codeurs die teksten beoordelen kunnen vergroot worden door meerdere observatoren onafhankelijk van elkaar te laten waarnemen. Hiermee kan de intercodeur –betrouwbaarheid vastgesteld worden.

Het voordeel van gebruikmaken van neerslag van verbaal gedrag is dat het om niet-uitgelokte gegevens gaat. Als er sprake is van een officiële archivering kan men gebruikmaken van aselecte steekproeven en kunnen de resultaten worden gegeneraliseerd, waardoor de externe validiteit gewaarborgd is. Selectiviteit kan echter wel een probleem vormen voor kwaliteit van de resultaten en conclusies.

Bestaande onderzoeksgegevens

De belangrijkste bronnen voor het gebruik van gegevens uit eerder onderzoek zijn ambtelijke statistiek, bestanden van onderzoeksgegevens en wetenschappelijke literatuur.

Ambtelijke statistieken komen voort uit een aantal instellingen die de expliciete taak hebben om statistische gegevens te verzamelen, zoals het CBS. Om onderzoeksvragen te beantwoorden moeten onderzoekers soms beschikken over een datamatrix met daarin de oorspronkelijke gegevens.

Secundaire analyse van bestaande onderzoekgegevens gebeurt via data-archieven van gegevens die na afloop van onderzoek door wetenschappers zijn vrijgegeven. De meest voor de hand liggende bronnen zijn relevante literatuur in (elektronische) wetenschappelijke bibliotheken. Er is een onderscheid tussen abstracts en indexen. Een abstract is een korte samenvatting van een artikel, boek of monografie, terwijl indexen een weergave zijn van manieren waarop naar een bepaalde inhoud of auteur kan worden gezocht. Er is sprake van een meta-analyse als er gezocht wordt naar een gemiddeld effect van een hypothese die getoetst is op een groot aantal verschillende studies.

Hoofdstuk 10 Communiceren over onderzoek

Kennis moet worden overgebracht. Het doel van onderzoek doen is het uiteindelijk aan anderen kunnen laten zien. Dit gebeurt in een viertal trajecten.

1. Corresponderen

2. Rapporteren

3. Parafraseren

4. Presenteren

Gedurende of na afloop van het onderzoek wordt er tussen onderzoekers onderling en tussen andere betrokkenen gecorrespondeerd. Presentatie van onderzoeksresultaten kan ook voorkomen. Deze wordt getoond aan opdrachtgever(s), maar soms ook aan ‘het grote publiek’ of meerdere betrokkenen. Ook worden er rapporten geschreven over de voortgang en resultaten van het onderzoek; deze rapporten komen (in elk geval) bij de opdrachtgever(s) terecht. Uitkomsten van onderzoek worden ook door ‘buitenstaanders’ gecommuniceerd en geciteerd in een artikel. Wetenschappers parafraseren de uitkomsten van onderzoek aan beroepsgroepen die er in de praktijk mee te maken krijgen. Bij al deze communicatievormen moeten onderzoekers rekening houden met de academische mores, d.w.z. dat men kritisch is, vrijheid van meningsuiting heeft, belangeloos is, de waarheid nastreeft en niet naïef is.