Samenvatting bij: Research Methods for the Behavioral Sciences van Forzano & Gravetter
Samenvatting geschreven in 2015 (custom UvA editie)
Dit boek is bedoeld om een eerste inzicht te bieden in verschillende onderzoeksmethoden en aanpakken bij het doen van onderzoek. Er zijn verschillende redenen waarom het handig kan zijn om een goed beeld te hebben van de soorten onderzoek die bestaan.
Als je zelf een onderzoek moet uitvoeren kan een goede kennis over de verschillende manieren van onderzoek hierbij helpen. Het uitvoeren van een onderzoek kan nodig zijn voor je scriptie of als je later de wetenschap in gaat.
Kennis van onderzoek leert je om kritisch te kijken naar wetenschappelijke artikelen, waardoor je de resultaten en conclusie kan evalueren.
Studies die kort zijn samengevat zijn makkelijker te begrijpen met een voorkennis over onderzoek.
Gebruik in het dagelijks leven, bijvoorbeeld bij het nadenken over de bron van informatie.
In dit boek is vooral gekeken naar de wetenschappelijke methode om antwoord te krijgen op bepaalde vragen, maar er zijn natuurlijk meerdere manieren waarop mensen kennis kunnen verkrijgen.
Methode van ‘vasthoudendheid’
Deze methode heeft betrekking tot ideeën die mensen hebben en dingen die ze geloven op basis van het feit dat het al lange tijd wordt gezien als feit of waarheid. Het is een methode van kennis vergaren die gebaseerd is op gewoontes, bijvoorbeeld doordat we bepaalde uitspraken heel vaak horen en ze dan vanzelf gaan geloven. Ook bijgeloof speelt in deze methode een rol, bijvoorbeeld het feit dat heel veel mensen denken dat onder een ladder door lopen ongeluk brengt. Dit bijgeloof is niet gebaseerd op feiten, maar ‘is nu eenmaal zo’. Een probleem met kennis opgedaan door deze methode is dat de informatie niet altijd waar is, zoals te zien is aan het voorbeeld van bijgeloof.
Methode van intuïtie
Bij intuïtie wordt bepaalde informatie aangenomen als waarheid omdat het goed voelt, mensen gebruiken hun gevoel om bepaalde vragen te beantwoorden. Vooral als we snel een antwoord willen geven op een vraag maar geen gefundeerde data hebben, vertrouwen we op ons gevoel. Een nadeel aan deze methode is dat de kennis nergens op gebaseerd is, er is geen empirisch bewijs aanwezig.
Methode van autoriteit
Kennis kan ook verkregen worden door uit te gaan van een autoriteit of expert op een bepaald gebied, waarbij je dus vertrouwt op de kennis en ervaring van een ander. Je kan deze kennis verkrijgen door direct iets aan de expert zelf te vragen, maar het is ook mogelijk om de kennis uit boeken te halen of van het internet. Hoewel dit een snelle en vaak goede manier is om te beginnen met het verzamelen van kennis, zijn er enkele beperkingen. Zo kan het zijn dat de expert waar je iets aan vraagt niet daadwerkelijk een expert is, waardoor je foute informatie krijgt. Ook kan het zo zijn dat de expert niet objectief is, maar subjectieve informatie doorgeeft als de waarheid. Daarnaast wordt de informatie van een expert vaak niet geverifieerd, mensen nemen het voor waar aan en controleren de informatie verder niet.. Een variatie op deze methode van autoriteit noemen we ook wel de methode van geloof, waarbij je de expert op een gebied volledig vertrouwt en daardoor zonder enige twijfel het antwoord accepteert. Je hebt hierbij dus compleet geloof in de expert. Er zijn manieren om de informatie die je verkrijgt van een expert te controleren. Zo kun je bijvoorbeeld kijken of de bron waar de informatie vandaan komt wel klopt, is de expert wel echt zo bekwaam als hij zegt? Ook is het mogelijk om de informatie zelf te evalueren door te bedenken of de informatie wel logisch lijkt en of het strookt met andere informatie die je al hebt.
Deze drie methodes, die van vasthoudendheid, intuïtie en autoriteit, zijn vooral geschikt voro het beantwoorden van vragen waar je een snel antwoord op nodig hebt, en waarbij het geen ernstige gevolgen heeft als het antwoord niet klopt. Er zijn echter veel situaties waarin deze manieren van informatie verkrijgen niet goed genoeg zijn.
De rationele methode
Deze methode, die ook wel bekend staat als rationalisme, probeert kennis te verzamelen door gebruik te maken van logisch redeneren. Je begint met een aantal feiten, en aan de hand daarvan kun je een bepaalde conclusie trekken. Bijvoorbeeld:
Bij de bovenstaande logische redenering noemen we de eerste twee zinnen de premise uitspraken, oftewel uitspraken die we voor waar aan mogen nemen. Op basis van deze uitspraken kan vervolgens een logische conclusie getrokken worden. Als de premise uitspraken waar zijn en er juiste logica wordt gebruikt, mogen we aannemen dat de conclusie klopt. Hoewel er dus op logische manier geredeneerd wordt, kan het nog steeds zo zijn dat de conclusie niet waar is. Er kan bijvoorbeeld een fout zitten in een van de uitspraken die we voor waar aannemen, of de uitspraken kunnen incompleet en niet allesomvattend zijn. Ook is het zo dat mensen niet altijd even goed zijn in logisch redeneren, en dus kan een verkeerde conclusie getrokken worden uit de premise uitspraken.
De empirische methode
Ook wel empirisme, een methode die aan de hand van directe observatie of eigen ervaringen kennis probeert te verzamelen. Het is te linken aan de empirie vanuit de filosofie, een standpunt waarin mensen denken dat we alleen kennis kunnen verzamelen door gebruik te maken van onze zintuigen. Doordat er veel vragen direct beantwoord kunnen worden door het gebruik van onze zintuigen en dus de empirie, is het een goede methode om te gebruiken. Het is echter wel zo dat zelfs onze zintuigen ons kunnen misleiden, en dat dus zelfs de waargenomen kennis vanuit zintuigen niet volledig te vertrouwen is. Zo zijn er bijvoorbeeld bepaalde illusies voor de ogen en hebben dingen als bestaande kennis, emoties, geloof en verwachtingen ook invloed op hoe we dingen waarnemen. Daarnaast kan de empirische methode veel tijd in beslag nemen en zelfs in bepaalde situaties gevaarlijk zijn.
Via de wetenschappelijke methode probeert men kennis te verzamelen aan de hand van observaties, het formuleren van specifieke vragen en het systematisch zoeken naar antwoorden op die vragen. Doordat we bij deze methode verschillende manieren om kennis te verzamelen combineren, hopen we de valkuilen van de individuele manieren te voorkomen. Deze manier van onderzoeken volgt een aantal stappen.
Stap 1 – Observatie
Wetenschappelijk onderzoek begint meestal met observaties door de onderzoeker, meestal op basis van eigen ervaringen. Deze observaties hoeven niet ingepland te zijn, maar kunnen ook gewoon op een willekeurig moment plaatsvinden. Je kan ook gebruik maken van de observaties van een ander die ergens beschreven staan. Na een eerste observatie maken mensen veelal gebruik van inductie, waarbij je vanuit de observatie naar een algemeenheid geformuleerd. Zo kun je op basis van een paar specifieke situaties of observaties een algemene conclusie trekken, bijvoorbeeld dat alle vogels zwart zijn nadat je honderd zwarte vogels hebt gezien en nog geen andere kleur.
Stap 2 – Het opstellen van een hypothese
Zodra je een fenomeen hebt geobserveerd is het belangrijk om te bekijken welke variabelen en factoren betrekking hebben tot dat fenomeen. Aan de hand van de gevonden variabelen kun je een bepaalde relatie verwachten, bijvoorbeeld dat warm weer en de hoeveelheid mensen die gaan zwemmen samen hangen. We noemen zo’n relatie ook wel een hypothese of een mogelijke verklaring voor een bepaalde relatie of een bepaald fenomeen. Kies voor zo’n hypothese de voorspelling voor een relatie of verklaring die je het interessants vindt.
Stap 3 – Gebruik je hypothese om een voorspelling te doen
Als je een hypothese hebt opgesteld, wil je deze kunnen toepassen in de echte wereld. Je moet de hypothese hierom omzetten naar een voorspelling die je kan meten, bijvoorbeeld door te zeggen ‘als de temperatuur boven de twintig graden komt zijn er meer mensen die gaan zwemmen dan bij een lage temperatuur’. Het is ook mogelijk dat een hypothese leidt tot meerdere voorspellingen, die je dan allemaal kan testen. De logische redenering die we gebruiken om zo’n voorspelling te doen aan de hand van een hypothese noemen we ook wel deductie, je denkt van een algemene waarheid naar een specifieke situatie.
Stap 4 – Evalueer je voorspelling door middel van observatie
Nadat je een voorspelling hebt opgesteld die je kan meten, is het tijd om data te verzamelen met betrekking tot je voorspelling. Door middel van observatie kun je informatie verzamelen die je voorspelling bevestigd of juist niet. Let er hierbij op dat je een precies verslag moet leveren van de observaties die je doet, waarbij geen subjectiviteit of eigen interpretatie aanwezig mag zijn.
Stap 5 – Gebruik je observaties om je hypothese te verifiëren of verwerpen
Als laatste stap dien je de observaties en voorspellingen te vergelijken, waardoor je kan concluderen of je voorspelling klopt. Als er geen overeenstemming is tussen de observaties die je hebt gedaan en je verwachtingen, dan kun je concluderen dat de hypothese niet klopt. In dit geval kun je de hypothese verwerpen, maar je mag deze ook aanpassen om zo opnieuw onderzoek te doen. Wetenschappelijk onderzoek is namelijk geen direct proces van begin tot einde, het is mogelijk om dezelfde stappen constant te blijven herhalen tot je een hypothese hebt gevormd die bevestigd kan worden.
Andere aspecten van de wetenschappelijke methode
Naast deze basis opzet voor het uitvoeren van een wetenschappelijk onderzoek, zijn er nog andere aspecten waar je rekening mee dient te houden.
Wetenschap is empirisch. Hiermee wordt bedoeld dat kennis vanuit de wetenschap gebaseerd moet zijn op systematische waarnemingen. Ook al zien mensen een fenomeen of antwoord als logisch, toch kan het niet geaccepteerd worden door de wetenschap totdat het bewezen is aan de hand van waarnemingen. Met systematisch bedoelen we hier dat de observaties gedaan worden onder bepaalde condities, zodat we op de juiste manier een antwoord kunnen krijgen op een vraag.
Kennis vanuit de wetenschap moet publiek zijn. Als een onderzoek is uitgevoerd moet het voor anderen mogelijk zijn om dit onderzoek te repliceren of controleren, dus moet alle informatie over het verkrijgen van kennis worden vrijgegeven. Dit gebeurt vaak door middel van wetenschappelijke publicaties in tijdschriften. Onderzoeken kunnen tot een verkeerde conclusie komen door een slordige opzet of door fraude van de onderzoekers, en het is belangrijk dat deze fouten geconstateerd en gerectificeerd kunnen worden.
Wetenschappelijke kennis moet objectief zijn. Observaties zijn systematisch en gestructureerd, waardoor de mening van de onderzoeker geen invloed kan hebben op de resultaten van het onderzoek. Een manier om ervoor te zorgen dat de subjectiviteit en de verwachtingen van de onderzoeker geen invloed heeft op een onderzoek, is door gebruik te maken van een observeerder die verder niet waar het onderzoek over gaat.
De wetenschap en de pseudowetenschap
Naast de wetenschap die hierboven besproken is, kunnen we ook spreken van pseudowetenschap. Dit is een vorm van wetenschap die zich voordoet als wetenschap, maar veelal gebrekkige bewijzen heeft en daardoor niet gezien wordt als wetenschap. Je kan hierbij denken aan dingen als astrologie of homeopathie. Er zijn enkele aanwijsbare verschillen tussen wetenschap en pseudowetenschap:
Wetenschap is gebaseerd op theorieën en het testen van hypotheses, terwijl pseudowetenschap geen gebruik maakt van hypotheses of toetsen.
Pseudowetenschap gebruikt subjectiviteit en anekdotes als bewijs van succes, wetenschap maakt gebruik van objectieve waarnemingen.
In de wetenschap is het normaal om theorieën te blijven testen en verwerpen, maar bij de pseudowetenschap worden tegensprekende resultaten vooral genegeerd.
Wetenschap is gebaseerd op voorgaande kennis en theorieën, terwijl de pseudowetenschap nieuwe manieren en theorieën ontwikkeld.
Het opzetten van een onderzoek bevat onder andere het kiezen van de juiste methode om een bepaalde onderzoeksvraag te kunnen beantwoorden. Terwijl je het onderzoek doorloopt, dien je als onderzoeker vele keuzes te maken met aspecten van het onderzoek en hoe je deze uit wilt voeren.
Stap 1 – Het vinden van een onderwerp en geschikte literatuur
Voordat je kan beginnen met een wetenschappelijk onderzoek is het belangrijk om een onderwerp te kiezen, waarbij je gebruik kan maken van wetenschappelijke literatuur. Door een breed onderwerp te kiezen kun je veel literatuur verzamelen, en aan de hand van die literatuur een specifiek onderwerp selecteren voor je onderzoek. De literatuur biedt als het ware een eerste inzicht in je onderzoeksveld en kan je op weg helpen met het formuleren van een onderzoeksvraag en het kiezen van belangrijke variabelen.
Stap 2 - Het opstellen van een hypothese
Zodra je een onderwerp hebt en een beeld hebt van de variabelen die meespelen bij het onderwerp, kun je een hypothese opstellen. Een hypothese veronderstelt een bepaalde relatie tussen de belangrijke variabelen en vormt de basis van je onderzoek. De hypothese is in feite het verwachtte antwoord op je onderzoeksvraag, waarbij het doel van het onderzoek dus is om de hypothese te bevestigen. Stel dus een hypothese op waarvan je verwacht dat deze klopt! Daarnaast dient een hypothese logisch te zijn op basis van literatuur, moet de hypothese te meten zijn door middel van observaties, moet het mogelijk zijn om de hypothese te weerleggen en is het belangrijk dat de hypothese op positieve wijze geformuleerd is. Dit laatste houdt in dat je er bij een hypothese altijd vanuit moet gaan dat er een relatie tussen de variabelen aanwezig is, je gaat namelijk op zoek naar die relatie en het is onmogelijk om op zoek te gaan naar het niet aanwezig zijn van een relatie.
Stap 3 – Vaststellen hoe je de variabelen gaat meten
Om de juiste conclusies te kunnen trekken in je onderzoek is het van belang dat je bepaalt hoe je de variabelen van je onderzoek gaat meten. Bijvoorbeeld een variabele als ‘blij’, deze kan voor iedereen net iets anders betekenen. Hierom is het belangrijk dat je een duidelijke en meetbare definitie geeft van elke variabele die je gebruikt in je onderzoek, en dat je hierbij ook rekening houdt met de gangbare definitie van de variabele. Kies iets wat hierop aansluit, om zo verwarring te voorkomen. Door meetbare variabelen op te stellen werken we verder aan onze hypothese en maken we er een specifieke, goed gedefinieerde uitspraak van die we kunnen testen aan de hand van empirie.
Stap 4 – Wie of wat wil je gaan onderzoeken?
Voordat je begint met het onderzoek is het van belang om vast te stellen welke groep je wilt onderzoeken. Waar komt het fenomeen dat je wilt bestuderen voor? Het is mogelijk om onderzoek te doen naar mensen, die we dan participanten noemen, maar ook naar dingen die niet menselijk zijn, ook wel subjecten genoemd. Als je voor je onderzoek wilt kijken naar mensen, is het ook belangrijk dat je een plan hebt voor het waarborgen van de veiligheid en waardigheid van deze mensen. Er zijn ethische regels waar een onderzoek aan moet voldoen. Daarnaast moet je een goede omschrijving hebben van je onderzoeksveld, wil je specifieke kenmerken juist wel of niet in het onderzoek betrekken? En hoeveel participanten denk je nodig te hebben om de onderzoeksvraag te kunnen beantwoorden?
Stap 5 – Het kiezen van een strategie
Het selecteren van een geschikte strategie voor je onderzoek hangt meestal af van de onderzoeksvraag die gesteld is en eventuele ethische of andere beperkingen. Het gaat dan om de algemene aanpak van je onderzoek, deze strategieën worden allemaal geïntroduceerd in hoofdstuk zes.
Stap 6 – Welke onderzoeksopzet ga je gebruiken?
Als je een strategie hebt gekozen, dien je nog verder te specificeren en aan te geven welke opzet van onderzoek je gebruikt. Er zijn vele manieren van onderzoek doen, bijvoorbeeld een experiment of inhoudsanalyse, die allemaal hun eigen voor- en nadelen hebben.
Stap 7 – Voer je daadwerkelijke onderzoek uit
Bij het uitvoeren van je onderzoek is het belangrijk om te letten op de omgeving van je onderzoek, bijvoorbeeld in het veld of in een laboratorium. Ook kun je denken aan het bestuderen van een individu of groepen als geheel.
Stap 8 – Evalueer de resultaten
Zodra je data hebt verzameld door het uitvoeren van je onderzoek kun je deze data analyseren, bijvoorbeeld door gebruik van statistische programma’s en door het opzetten van grafieken en tabellen.
Stap 9 – Rapporteer de gevonden resultaten
Zoals eerder aangegeven moet wetenschappelijk onderzoek publiek zijn, dus is het belangrijk dat alle observaties en resultaten gerapporteerd worden. Dit gebeurt voornamelijk door middel van wetenschappelijke artikelen.
Stap 10 – Concludeer en pas eventueel je onderzoeksidee aan
Op basis van de resultaten is het mogelijk om een uitspraak te doen over je verwachtingen en de hypothese, maar vaak roept onderzoek meer vragen op dan het kan beantwoorden. Vaak leidt onderzoek tot een nieuwe vraag doordat je maar een bepaald aspect van een onderwerp besproken hebt (en dus een ander aspect nog moet bekijken) of doordat je door aanpassing van de hypothese deze wel kan verifiëren.
Veel studenten en onderzoekers vinden het moeilijk om te beginnen me de opzet van een onderzoek. Als je begint met een onderzoek is ten slotte het eerste wat je nodig hebt een onderzoeksonderwerp, wat wil je eigenlijk bestuderen? Omdat veel studenten moeite hebben met het bedenken van een onderwerp voor hun onderzoek, zijn er enkele manieren om de opzet van je onderzoek makkelijker te maken.
Kies een onderwerp dat je zelf interessant vindt, bijvoorbeeld een bepaalde groep mensen of een bepaald gedrag. Door een interessant onderwerp blijf je gemotiveerd en zal het makkelijker zijn om je onderzoek goed af te ronden.
Bereid je goed voor, lees geschikte literatuur en vorm zo een beeld van het onderwerp voordat je begint met je onderzoek. Het is natuurlijk niet nodig om na de literatuurstudie alles te weten wat er over het onderwerp bekend is, maar aan de hand van selecte literatuur kun je in ieder geval snel een beeld krijgen van welk aspect van het onderwerp je wilt gaan onderzoeken en je hierop richten.
Wees niet te eenzijdig. Het is belangrijk dat je open blijft staan voor andere aspecten van het onderwerp en dat je flexibel blijft in je onderzoek. Zo voorkom je dat je teveel tijd besteedt aan een aspect van het onderwerp waar eigenlijk niet voldoende informatie over is of dat je onderzoek doet naar iets wat al veelvuldig onderzocht is. Tijdens een onderzoek worden er regelmatig aanpassingen gedaan aan de onderzoeksvraag of de opzet, om zo de best resultaten te behalen.
Begin zo snel mogelijk met het ‘verwijderen’ van irrelevante informatie, om zo extra werk te voorkomen. Gebruik alleen informatie die je echt nodig hebt voor het beantwoorden van de onderzoeksvraag, en laat de rest achterwege.
Voer je onderzoek stap voor stap uit om verwarring te voorkomen. Het onderzoeksproces kan langdurig en ingewikkeld zijn, maar door het stappenplan te volgen moet het lukken.
Er is altijd wel een aanleiding te vinden voor het begin van een onderzoek:
Eigen interesses en nieuwsgierigheid, je mag kan onderzoek beginnen omdat je zelf ergens benieuwd naar bent. Denk hierbij aan een fenomeen dat je hebt gezien maar niet volledig begrijpt of een prangende vraag waar je mee loopt.
Observaties, bijvoorbeeld als je in het dagelijks leven iets opmerkt waar je graag meer over te weten wilt komen.
Praktische problemen, waarbij je naar een oplossing zoekt. We noemen deze vorm van onderzoek, om iets uit de praktijk op te lossen, ook wel toegepaste wetenschap. Een vorm van onderzoek die enkel gericht is op het oplossen van eventuele theoretische problemen noemen we ook wel basis onderzoek.
Passerende gedachtes, soms krijg je plotseling inspiratie voor een onderwerp of een onderzoek. Je kunt hier echter beter niet op wachten als je van plan bent een onderzoek te doen, want het komt weinig voor.
Op basis van rapporten van anderen. Vaak kun je op basis van observaties van andere mensen een inzicht krijgen in interessante onderwerpen, wat kan leiden tot het ontstaan van vragen met betrekking tot het onderwerp.
Gedragstheorieën. Deze soort theorie probeert een gedrag te voorspellen, is het mogelijk om zo’n voorspelling te testen door middel van onderzoek?
Veelgemaakte fouten bij het opzetten van onderzoek
Vooral voor studenten die net beginnen met onderzoek doen kan het moeilijk zijn om te beginnen, en worden veelal dezelfde fouten gemaakt. Zo kiezen studenten een onderwerp dat ze niet interessant vinden, een onderwerp dat te makkelijk of juist te moeilijk is, of een heel breed onderwerp. Als je een onderwerp kiest dat te breed is krijg je niet alleen een enorme hoeveelheid verwachtingen en hypotheses, maar moet je ook heel veel literatuur lezen wat kan zorgen voor een onderzoek dat veel te veel tijd in beslag neemt. Daarnaast is een veel gemaakte fout dat studenten blijven hangen bij hun oorspronkelijke keuze, en niet meer openstaan voor een ander onderwerp als dat beter bestudeerd kan worden. Ook kan het zo zijn dat er voor een onderwerp te weinig bestaande literatuur te vinden is, bijvoorbeeld omdat het een moeilijk onderwerp is of omdat op onjuiste wijze gezocht is.
Als je een keuze hebt gemaakt qua onderwerp voor je onderzoek, is de volgende logische stap om op zoek te gaan naar bestaande literatuur die aansluit op je eigen onderwerp. Dit is niet alleen om extra kennis op te doen over het onderwerp, maar ook om een beeld te krijgen van de aspecten die al onderzocht zijn en om een specifieke onderzoeksvraag te kunnen formuleren. Daarnaast kun je door het lezen van voorgaande literatuur een beeld krijgen van hoe die onderzoeken zijn opgezet, en welke delen van het onderzoek goed of juist niet goed verliepen. Deze informatie kun je allemaal meenemen bij het begin van je eigen onderzoek. Bij het zoeken naar literatuur kun je duizenden artikelen tegen komen, dus is het van belang dat je de juiste artikelen voor jouw onderzoek selecteert. Hierbij kan het helpen om gebruik te maken van de onderlinge referenties in artikelen, dus als je één goed artikel vindt kun je kijken naar de literatuurlijst van dat artikel.
Primaire en secundaire bronnen
Literatuur kan worden opgedeeld in twee soorten, namelijk primaire bronnen en secundaire bronnen. Een primaire bron is een verslag of artikel waarin de onderzoeker direct zijn of haar observaties heeft beschreven, zoals bijvoorbeeld wetenschappelijke artikelen of een thesis. Een secundaire bron daarentegen beschrijft of bespreekt de observaties die een andere onderzoeker daarvoor al gedaan heeft, zoals bijvoorbeeld gebeurt in een meta-analyse. Beide soorten bronnen zijn van belang in je literatuuronderzoek. Primaire bronnen zijn vaak langdradig maar bevatten wel veel informatie, terwijl secundaire bronnen minder uitgebreid zijn maar een snel overzicht bieden. Gebruik dus secundaire bronnen om snel een overzicht te krijgen van het onderzoeksveld en de literatuur, maar gebruik primaire bronnen als je dieper in wilt gaan op een onderwerp en de juiste literatuur geselecteerd hebt. Let er ook op dat dus niet alles wat in een wetenschappelijk artikel gepubliceerd is een primaire bron is, ook deze publicaties kunnen een bespreking zijn van andermans werk en dus een secundaire bron.
Het doel van een literatuuronderzoek
Een literatuuronderzoek heeft als doel om je een inzicht te bieden in de kennis op het gebied van je onderzoeksonderwerp, zodat je zelf meer weet over het onderwerp maar ook zodat je kan zien op welke gebieden er nog kennis ontbreekt. Ook bij het schrijven van het uiteindelijke onderzoeksverslag kun je gebruik maken van de bestaande literatuur. Zo begint elk verslag met een introductie en een theoretische inkadering, waarin je een overzicht geeft van de informatie die al bekend is over het onderwerp aan de hand van eerdere literatuur. Ook in de conclusie kun je weer verwijzen naar eerdere literatuur, bijvoorbeeld door je eigen onderzoek te vergelijken met eerder onderzoek. Ondersteund jouw onderzoek eerdere informatie of wordt het juist tegengesproken?
Door middel van een literatuuronderzoek hoop je dus voldoende kennis op te doen, en zo je onderzoeksonderwerp om te zetten naar een goede onderzoeksvraag. Je kan een literatuuronderzoek het beste beginnen door gebruik te maken van secundaire bronnen, zoals een boek over het onderwerp dat je wilt onderzoeken. Aan de hand van de hoofdstukken en tussenkopjes kun je een beeld vormen van de verschillende aspecten van het onderwerp. Ook is het aan te raden om bij het lezen van zo’n secundaire bron aantekeningen te maken, bijvoorbeeld door steekwoorden of de namen van belangrijke auteurs op te schrijven. Een andere manier is het gebruik van een online database, waarin je van miljoenen artikelen het abstract kan doornemen om zo geschikte literatuur te vinden.
Gebruik van online databases
Er zijn veel manieren om informatie te vinden over een onderzoeksontwerp, maar een van de makkelijkste manieren is toch wel het gebruik van een online database. Een standaard online database bevat miljoenen publicaties over alle mogelijke onderwerpen, en ze zijn makkelijk te gebruiken door een steekwoord of meerdere steekwoorden in te voeren. Ook kun je door zo’n database makkelijk en snel van meerdere artikelen een abstract lezen.
Het gebruik van PsycINFO
PsycINFO is een database voor het vinden van geschikte wetenschappelijke literatuur, waarbij je door middel van de geavanceerde zoekoptie aan kan geven in welke jaren je zoekt, welke methodologie de gevonden artikelen moeten hebben en of je zoekt naar een bepaalde populatie. Vervolgens kun je naar artikelen zoeken aan de hand van zoektermen, die je op basis van je eigen kennis hebt opgesteld. Het kan echter zo zijn dat jouw zoektermen niet de gangbare termen zijn die gebruikt worden, en om hier achter te komen kun je in PsycINFO kijken in de Thesaurus. Hierin staan alle officiële termen verwerkt, en door deze termen te gebruiken vergroot je de kans op het vinden van literatuur.
Hoe begin je met een literatuuronderzoek?
Meestal begin je aan een literatuuronderzoek door een of meerdere zoektermen die relevant zijn in te voeren in een database, waarbij je eventueel gebruik kan maken van de eerder genoemde geavanceerde zoekopties. Vervolgens kun je aan de hand van de titels een eerste selectie maken van geschikte artikelen, en vervolgens het abstract van een artikel lezen om te kijken of het daadwerkelijk relevant is voor je eigen onderzoek.
Het proces bij een literatuuronderzoek
Gezien het feit dat je bij het zoeken naar geschikte literatuur duizenden artikelen tegen kan komen, is het belangrijk dat je zo snel mogelijk begint met het ‘weggooien’ van irrelevant materiaal. Er zijn geen duidelijke regels voor het selecteren van geschikte literatuur, je moet hierbij je eigen keuzes maken. Voor het selecteren van de juiste literatuur zijn echter wel enkele stappen die je op weg kunnen helpen:
Maak een eerste selectie op basis van de titel, en kijk hierbij of de titel eventueel kan aansluiten op je eigen onderzoek.
Een tweede selectie kan gemaakt worden aan de hand van het abstract, de korte samenvatting aan het begin van het artikel.
Zodra je de titel en het abstract hebt gelezen en nog steeds denkt dat een artikel relevant is, kun je het hele artikel opzoeken via het internet of eventueel in de bibliotheek van een universiteit.
Lees het artikel zorgvuldig door en let erop dat je het op een logische plek op slaat, zodat je het later nog terug kan vinden. Voor je eigen onderzoek moet je bij het lezen de focus leggen op de introductie, de discussie en de referenties. De introductie biedt een inzicht in eerder onderzoek en daarnaast ook kennis over het onderwerp, in de discussie staat een suggestie voor vervolgonderzoek die je kan gebruiken voor het bedenken van je eigen onderzoeksvraag en de referenties kun je gebruiken om andere relevante artikelen te vinden.
Er is geen minimum of maximum aantal artikelen aan te wijzen voor een goede basis in de literatuurstudie, dit hangt heel erg af van het onderzoeksonderwerp en de opzet van je onderzoek.
Vooruit zoeken
Het kan ook zo zijn dat je één artikel hebt gelezen en daarop je onderzoek wilt baseren. Als dit het geval is kun je het beste Web of Science gebruiken, deze database bevat een optie waarmee je kan bekijken welke nieuwe artikelen het oorspronkelijke artikel geciteerd hebben.
Het maken van aantekeningen
Zoals eerder gezegd is, kun je het beste aantekening maken van een artikel terwijl je het aan het lezen bent. Zorg er sowieso voor dat je het volledige artikel, dus met titel, auteurs en publicatie hebt opgeschreven of een kopie ervan hebt. Ook is het aan te raden om voor jezelf een korte samenvatting te maken van de inhoud van een artikel, zodat je makkelijk en snel terug kan lezen waar het ook alweer over ging.
Als je alle relevante en belangrijke literatuur voor je onderzoek gevonden hebt, kun je deze literatuur gebruiken om een onderzoeksvraag op te stellen. De makkelijkste manier is het gebruiken van suggesties voor vervolgonderzoek uit de eerdere artikelen, maar het is ook mogelijk om een studie die al gedaan is net iets aan te passen of om twee voorgaande onderzoeken te combineren tot een nieuw onderzoek. Een onderzoeksvraag heeft vaak betrekking op de relatie tussen twee variabelen of beschrijft één variabele. Dit kun je vervolgens omzetten naar een hypothese, wat in feite een verwacht antwoord is op de onderzoeksvraag. Om vast te kunnen stellen of de hypothese waar is, moet deze worden omgezet naar een duidelijke, meetbare voorspelling. Het soort voorspelling dat je opstelt en hoe je dit gaat onderzoeken hangt af van het onderzoeksveld en de meetinstrumenten die beschikbaar zijn.
Vaak zijn er bij het lezen van een wetenschappelijk artikel twee expliciete doelen, namelijk het leren over een bepaald onderzoek en er kennis over opdoen en daarnaast het gebruiken van bestaand onderzoek als beginpunt voor je eigen onderzoek. Om deze doelen te kunnen bereiken is het van belang dat je kritisch leest. Zo kun je bij de introductie vragen stellen als ‘Is het literatuuronderzoek compleet en zijn recente onderzoeken gebruikt?’ en ‘Zijn er relevante aspecten die niet besproken zijn?’. Bij de methode kun je vragen stellen met betrekking tot de participanten en de hoeveelheid hiervan en de procedure, en dan met name het definiëren en meten van de variabelen. De resultaten kun je kritisch bekijken door te letten op juist gebruik van statistische toetsen en of er wel sprake is van significante resultaten, en bij de discussie kun je letten op het feit of de resultaten wel echt gerelateerd zijn aan de hypothese en of de conclusie die wordt getrokken wel klopt.
In dit boek ligt de focus op kwantitatief onderzoek, oftewel een vorm van onderzoek waarbij we variabelen onderzoeken die kunnen variëren in grootte, lengte of tijdsduur. Er is echter ook een andere vorm van onderzoek doen, namelijk kwalitatief onderzoek. Het grootste verschil tussen de twee vormen is dat kwantitatief zich vooral richt op getallen en vergelijkingen, terwijl het resultaat van kwalitatief onderzoek meer lijkt om een verhaal ondersteund door uitspraken van een participant. Deze laatste vorm is dan ook vooral gebruikelijk binnen de sociale antropologie. Let er echter op dat het onderscheid tussen kwantitatief en kwalitatief onderzoek niet zo makkelijk is als het gebruik van getallen tegenover geen gebruik van getallen, ook variabelen die gebruikt worden binnen kwalitatief onderzoek kunnen getallen produceren die vervolgens op een kwalitatieve manier geïnterpreteerd worden.
Zodra je een onderwerp hebt dat je wilt onderzoeken met een bijpassende hypothese, meetbare variabele en een vastgestelde populatie, is het van belang dat je een goede onderzoeksstrategie kiest. Zo’n strategie is de algemene aanpak die je zal gebruiken tijdens je onderzoek en de doelen die je met je onderzoek wilt bereiken. Het kiezen van een geschikte onderzoeksstrategie gebeurt meestal aan de hand van je onderzoeksvraag en het soort antwoorden dat je op deze onderzoeksvraag wilt vinden.
Beschrijvend onderzoek
Deze strategie probeert een vraag de beantwoorden over één individuele variabele en de huidige staat van die variabele. Het gaat dus niet om het beschrijven van relaties tussen variabelen, maar enkel om een beschrijving van één variabele. Denk hierbij bijvoorbeeld aan ‘hoeveel tijd besteedt een gemiddelde student per dag aan zijn of haar studie?’
De relatie tussen variabelen
H
oewel beschrijvend onderzoek soms voorkomt, is het meeste onderzoek gericht op het beschrijven van de relatie tussen twee (of meerdere) variabelen. Dit houdt in dat een verandering in variabele een zorgt voor een verandering in variabele twee, en eventueel ook andersom. Er zijn verschillende soorten relaties mogelijk, om deze te kunnen ontdekken moet je als onderzoeker beide variabele observeren en meten. Een algemene, gewone relatie is er een waarbij de variabelen wel samenhangen maar verder geen duidelijke richting volgen. Bij een positieve lineaire relatie is er sprake van een toename van de ene variabele door een toename in de andere variabele. Een negatieve lineaire relatie, daarentegen, wordt gekenmerkt door het feit dat een toename in de ene variabele zorgt voor een afname van de andere variabele. Een curvilineaire relatie duidt op een relatie tussen twee variabelen die wel voorspelbaar is, maar niet zorgt voor een rechte lijn.
Onderzoek naar correlaties
De relatie tussen twee variabelen kan bekeken worden door de twee variabelen apart te observeren in een groep mensen, waar de variabelen op natuurlijke wijze voorkomen. Je krijgt hierbij aparte numerieke scores voor beide variabelen, waarbij een correlatie kan vinden tussen de variabelen. We noemen dit ook wel de correlationele onderzoeksstrategie, waarbij het belangrijk is om te onthouden dat het enkel gaat om het beschrijven van de relatie en dus niet het verklaren ervan.
Het vergelijken van twee of meer scores
Bij een tweede manier van de relatie tussen variabelen bestuderen kijk je naar de scores van twee of meer groepen, waarbij je een van de variabelen kan gebruiken om een onderscheid te maken in de verschillende groepen participanten. Denk bijvoorbeeld aan het onderscheid tussen mannen en vrouwen, of meerdere leeftijdsgroepen. De tweede variabele wordt vervolgens gebruikt om voor elke individu een score te kunnen bereken, bijvoorbeeld het IQ. Er zijn drie strategieën die op deze manier de relatie tussen twee variabelen onderzoeken.
Experimentele onderzoeksstrategie
De experimentele onderzoeksstrategie is een vorm van onderzoek die op zoek is naar een duidelijke oorzaak en gevolg relatie, door middel van twee of meer variabelen. Het doel bij deze strategie is het vinden van een relatie en het verklaren van deze relatie door de onderliggende oorzaak aan te wijzen.
Semi-experimentele onderzoeksstrategie
Een andere vorm is de semi-experimentele onderzoeksstrategie, waarbij ook gezocht wordt naar een antwoord op de oorzaak gevolg vraag. Deze strategie kan echter nooit een eenzijdig antwoord geven op die vraag, omdat ze niet zo strikt zijn opgezet als een echt experiment en dus niet alle omgevingsfactoren uit kunnen sluiten.
Non-experimentele onderzoeksstrategie
De laatste vorm is een non-experimentele onderzoeksstrategie, waarbij gekeken wordt naar de relatie tussen twee variabelen maar geen poging wordt gedaan om deze relatie ook te kunnen verklaren.
Data structuren en statistische analyses
Gezien het feit dat experimentele, semi-experimentele en non-experimentele strategieën allemaal gericht zijn op het vergelijken van groepen en hun scores, maken ze vaak gebruik van dezelfde soort statistische technieken. Zo ga je bij een beschrijvend onderzoek vaak op zoek naar een gemiddelde en een standaardafwijking, maar kun je bij een experimentele strategie ook op zoek naar onderlinge verschillen via een t-toets of een chi kwadraat.
Als we kijken naar de manier waarop het onderzoek is uitgevoerd en of dit eigenlijk wel antwoord geeft op de onderzoeksvraag, is er sprake van de validiteit van het onderzoek. Validiteit is dus gericht op de kwaliteit van het onderzoek, meet je wat je wilt meten en is de opzet van je onderzoek wel goed? Validiteit is dus in feite een soort maatstaf om mee te bepalen of het onderzoek wel goed is opgezet en of de kwaliteit van het onderzoek wel goed is. Het is van belang om een duidelijk verschil aan te geven tussen de validiteit van het onderzoek en de validiteit van de metingen en resultaten, vergeet nooit om hier duidelijk in te zijn. Alle factoren die een ervoor kunnen zorgen dat de validiteit van het onderzoek minder wordt noemen we ook wel een bedreiging van de validiteit.
Externe validiteit
Elk onderzoek vindt plaats op een bepaalde tijd en plaats, met gebruik van bepaalde participanten en meetinstrumenten. Mag je met al deze specifieke kenmerken het onderzoek en de resultaten wel generaliseren naar andere situaties? Dit is een vraag van externe validiteit, de mate waarin de resultaten van een studie ook buiten de opzet van de studie gelden. Factoren die de mogelijk om de resultaten te generaliseren dwarsbomen noemen we ook wel een bedreiging voor de externe validiteit, waarbij je aan drie vormen van generaliseren kan denken.
De generalisatie van steekproef naar een echte populatie. Vaak wordt onderzoek gedaan aan de hand van een bepaalde steekproef met bepaalde persoonlijke kenmerken, maar onderzoek dient eigenlijk ook wel te gelden voor een grotere groep mensen dan alleen de steekproef.
Van de ene studie naar de andere generaliseren. Kunnen de resultaten uit de ene studie ook gevonden worden in een andere studie die hetzelfde is opgezet? Bijvoorbeeld, als ik nu een onderzoek doe naar snoepgewoontes van kinderen van vijf jaar met behulp van een bepaalde onderzoeksopzet, kan ik dan over vijf jaar met dezelfde opzet dezelfde resultaten behalen bij een andere groep kinderen van vijf jaar oud?
Een onderzoekssituatie naar de ‘echte wereld’ generaliseren. Als je onderzoek doet in een laboratorium is dit niet hetzelfde als de buitenwereld, dus gelden de resultaten nog wel in de buitenwereld?
Interne validiteit
Als je op zoek bent naar een relatie tussen twee variabelen in je onderzoek, is het van belang dat je kunt aantonen dat een verandering in een van de variabelen veroorzaakt wordt door de andere variabele uit je onderzoek. We noemen dit ook wel de interne validiteit. Als er geen sprake is van een alternatieve verklaring, noemen we dit een intern valide onderzoek. Zodra er een mogelijkheid is dat niet de gekozen variabelen maar een externe variabele invloed heeft op je onderzoek, is er een bedreiging van de interne validiteit.
Validiteit in combinatie met de kwaliteit van je onderzoek
De kwaliteit van een onderzoek wordt deels bepaald door de mate waarin de studie voldoet aan de voorwaarden van zowel interne als externe validiteit. Het is dus van belang dat je voor het begin van je onderzoek goed nadenkt over de validiteit en mogelijke bedreigingen, zodat je een opzet kan opstellen die zoveel mogelijk bedreigingen uitsluit. Het is echter niet mogelijk om alle bedreigingen uit te sluiten binnen een onderzoek, want de interne validiteit verhogen gaat vaak ten koste van de externe validiteit. Je dient dus als onderzoeker te bepalen welke bedreigingen jij het belangrijkst vindt en moet deze aanpakken.
Groep 1: Het generaliseren van de resultaten onder participanten
Een eerste belangrijke vraag bij externe validiteit is, in hoeverre kun je deze resultaten generaliseren naar andere groepen mensen? Er zijn verschillende bedreigingen voor deze vraag.
Vertekende selectie van participanten. Als onderzoeker kun je onbewust een voorkeur hebben voor bepaalde participanten en deze meer selecteren, wat een bedreiging vormt voor de externe validiteit.
Gebruik van studenten. Het vragen van studenten voor onderzoek is heel gangbaar, omdat ze een makkelijk te bereiken groep zijn voor onderzoekers. Uit onderzoek is echter gebleken dat het gebruik van studenten zorgt voor een groep met bepaalde kenmerken die moeilijk te generaliseren zijn, wat er dus voor zorgt dat je een onderzoek krijgt met een lage externe validiteit.
Vertekening door vrijwilligers. Vaak hebben mensen die zich aanbieden voor onderzoek bepaalde kenmerken, zoals een hoge opleiding en sociaal karakter. Hierdoor kan het zijn dat je geen representatieve steekproef hebt, en dus moeilijk kan generaliseren. Helemaal als je begint met een groep mensen maar een gedeelte hiervan uitvalt doordat ze minder gemotiveerd zijn kan dit grote gevolgen hebben.
Kenmerken van participanten. Als je binnen een studie veel participanten gebruikt met eenzelfde soort persoonlijke kenmerken als leeftijd en geslacht, kan het problemen opleveren om de resultaten te generaliseren naar mensen met andere kenmerken.
Generalisatie door soorten heen. Sommige onderzoekers doen onderzoek naar objecten, niet menselijke ‘dingen’, maar willen dit vervolgens generaliseren naar mensen. Hoewel er natuurlijk dieren zijn die enigszins vergelijkbaar zijn met mensen, met name apen, is dit altijd een moeilijke vorm van generaliseren.
Groep 2: Het generaliseren van een onderzoeksopzet naar een andere
Hierbij gaat het om de vraag of je met een andere onderzoeksopzet die hetzelfde meet ook dezelfde resultaten kan krijgen.
Effect van ‘nieuwheid’. Vaak is het voor mensen de eerste keer dat ze meedoen aan een experiment, wat een bepaalde spanning en verwachting met zich mee brengt. Hierdoor kan het zijn dat mensen zich anders gedragen dan ze normaal doen, wat slecht is voor de externe validiteit.
Invloed van meerdere behandelingen. Als een participant tijdens een experiment meerdere behandelingen moet ondergaan, kan het zijn dat de volgorde van de behandelingen invloed heeft op de resultaten. Zo kan vermoeidheid bij de participant optreden of kan deze geoefend raken in de taken die hij of zij moet doen, wat kan leiden tot slechtere of juist betere resultaten.
Kenmerken van degene die het experiment afneemt. De kenmerken van de onderzoeker kunnen invloed hebben op de interpretaties of de manier waarop het experiment wordt uitgevoerd, en zo op de resultaten en generaliseerbaarheid.
Groep 3: Het generaliseren van de meetinstrumenten en kenmerken daarvan
Het is mogelijk om binnen een studie op verschillende manieren te meten, maar leveren deze verschillende metingen binnen dezelfde studie ook dezelfde resultaten op?
Gevoelig maken van de participant. Een bepaalde manier van meten kan ervoor zorgen dat participanten anders gaan reageren, ook wel sensitiviteit genoemd. Het is een bedreiging van de externe validiteit omdat de vraag opkomt op de resultaten komen door een stimulus of enkel door de manier van meten. Ook kan er sprake zijn van pre-test sensitiviteit, waarbij participanten anders gaan reageren omdat ze door de pre-test al weten dat ze mee gaan doen aan een bepaald onderzoek.
Verschillende manieren van meten. Als onderzoeker kies je voor de gebruikte variabelen een bepaalde definitie en manier van meten. Doordat je deze keuze maakt, kan het zijn dat de resultaten niet te generaliseren zijn naar dezelfde variabele maar met een iets andere definitie.
Tijd van de metingen. Als je een onderzoek uitvoert op een bepaald onderzoek, kan het zijn dat je met eenzelfde onderzoek op een ander tijdstip compleet andere resultaten krijgt. Participanten kunnen bijvoorbeeld ’s ochtends vroeg heel anders reageren dan ’s avonds laat.
Variabelen van buitenaf
Als je onderzoek doet naar de relatie tussen twee variabelen, zijn er altijd andere variabelen die wel onderdeel zijn van de studie maar niet worden meegenomen in het onderzoek. Het is namelijk bijna onmogelijk om twee variabelen volledig in isolatie te kunnen onderzoeken. Denk hierbij bijvoorbeeld aan het afnemen van een toets op verschillende tijdstippen of het geslacht van de participant, dit zijn allemaal dingen die ook meespelen in het onderzoek. We noemen deze variabelen in het Engels ook wel extraneous variables, dus variabelen die wel in de studie zitten maar niet direct onderzocht worden.
Storende variabelen
Het kan zo zijn dat een variabele van buitenaf invloed begint uit te oefenen op de resultaten, waardoor je niet langer kijkt naar een duidelijke relatie tussen de oorspronkelijke variabelen uit je onderzoek. Zo’n variabele die een alternatieve verklaring biedt voor de relatie of invloed uitoefent op de relatie noemen we ook wel een storende variabele, en dit is een bedreiging voor de interne validiteit van je onderzoek. Een voorbeeld hiervan is een onderzoek onder kinderen en hun woordenschat, je wilt weten of kinderen van autochtone ouders een grotere Nederlandse woordenschat hebben dan kinderen van allochtone ouders. Hierbij meet je kinderen tussen de vijf en de tien jaar oud. Het is echter zo dat kinderen van tien veel meer ervaring hebben met lezen en nieuwe woorden leren, dus dat de verschillen bij de kinderen ook verklaard kunnen worden door hoe oud ze zijn. Leeftijd is hier dan een storende variabele.
Variabelen van buitenaf, storende variabelen en interne validiteit
Als je een intern valide onderzoek wilt afleveren, mag er maar één mogelijke verklaring zijn voor de resultaten die je gevonden hebt. Je moet er dus voor zorgen dat er geen variabelen van buitenaf zijn die een invloed kunnen hebben op je resultaten, en dit kan door rekening te houden met eventuele storende variabelen in je onderzoeksopzet. Dit kan een flinke taak zijn in het onderzoek, omdat er soms wel honderden variabelen van buitenaf zijn die allemaal in een storende variabele kunnen veranderen. Als het doel van je onderzoek is om een relatie tussen twee variabelen te verklaren, wordt een van beide variabelen vaak gebruikt om bepaalde condities te maken binnen het onderzoek. Je doet bijvoorbeeld onderzoek naar het effect van verschillende muzieksoorten op de mate waarin studenten zich concentreren. Hierbij meet je dus de concentratie van studenten, en kun je via de muzieksoorten verschillende condities maken in de vorm van rockmuziek, pop en klassieke muziek. Om de interne validiteit van een onderzoek te behouden is het belangrijk dat het enige verschil tussen de meerdere condities veroorzaakt wordt door de variabele die gebruikt is om de condities te maken. Er zijn verschillende categorieën waardoor de interne validiteit bedreigd kan worden, die stuk voor stuk besproken zullen worden.
Variabelen vanuit de omgeving
Een eerste groep mogelijk storende variabelen is die van de omgeving waarin het onderzoek plaats vindt, bijvoorbeeld de grootte van de kamer en de kenmerken van de persoon die het experiment afneemt. Deze groep kan makkelijk gecontroleerd worden door ervoor te zorgen dat alle participanten in exact dezelfde omgeving mee doen aan het onderzoek
Variabelen door middel van individuele verschillen
Ook verschillen tussen de participanten kunnen zorgen voor een bedreiging van de interne validiteit. Dit zal voornamelijk betrekking hebben op persoonlijke kenmerken, zoals geslacht, leeftijd, intelligente enzovoort. Als je een groep kiest met zoveel mogelijk variatie op deze kenmerken, of juist een homogene groep, kun je dit probleem redelijk controleren. Er is echter een kans op vertekende toewijzing, waarbij je duidelijk mensen met één bepaald kenmerk (bijvoorbeeld hoge intelligentie) in een van de groepen zet en zo geen volledig valide resultaten krijgt
Variabelen die gerelateerd zijn aan de tijd
De laatste groep variabelen die invloed kan hebben is die van tijd, als je een onderzoek afneemt op verschillende tijdstippen kan dit invloed hebben. Er zijn vijf manieren waarop tijd het onderzoek kan beïnvloeden:
Geschiedenis. Dit refereert naar gebeurtenissen in de omgeving van de participanten die zorgen voor verandering bij de participant maar die niet bij de behandeling horen. Als er buiten de behandeling om gebeurtenissen plaatsvinden die een invloed hebben op de participanten of op de behandeling, kan dit zorgen voor een vertekening van de scores. Je kunt bij gebeurtenissen denken aan dingen die plaatsvinden in bijvoorbeeld de thuissituatie van de participant of op het werk.
Volwassen worden van participanten. Vooral bij onderzoek naar jongeren en kinderen over langere tijd is het mogelijk dat de participanten lichamelijk en geestelijk veranderen, wat het onderzoek kan beïnvloeden. Deze vorm van bedreiging is vooral mogelijk bij een onderzoek wat over een langere periode plaats vindt.
Instrumentatie. Dit houdt in dat de meetinstrumenten die gebruikt worden bij het onderzoek kunnen veranderen door de tijd heen, bijvoorbeeld een weegschaal die veel gebruikt wordt en daardoor steeds minder precies is. Het verschil in scores wordt dan dus niet veroorzaakt door een behandeling maar door een verandering in het meetinstrument.
Test effecten. Als participanten tijdens een onderzoek aan meerdere tests mee moeten doen, kan het zo zijn dat de eerste test invloed heeft op die daarna. We noemen dit ook wel test effecten. Om het iets specifieker te maken zijn er overdracht effecten, waarbij de participant verandert wordt door het eerste experiment en zo anders scoort op het tweede experiment, en volgorde effecten waarbij de volgorde van de testjes de participant kan beïnvloeden.
Regressie naar het gemiddelde toe. We noemen dit ook wel statistische regressie, en het betekent in feite dat je steeds minder extreme scores krijgt. Als je een individu met een extreem hoge score nog een keer test, is er een grote kans dat die persoon dan een stuk meer rondom het gemiddelde scoort. Regressie naar het gemiddelde is helemaal problematisch als participanten in eerste instantie geselecteerd zijn op basis van hun extreme waarden.
Een belangrijk doel bij elke studie is het maximaliseren van de interne en de externe validiteit, maar zoals eerder is aangegeven is het onmogelijk om alle onderzoeken compleet intern en extern valide te maken. Je moet als onderzoeker dus een goede balans weten te vinden tussen de twee vormen van validiteit. Als je een hoge interne validiteit wilt is het belangrijk om een gecontroleerde omgeving te gebruiken met allesomvattend gedefinieerde variabelen, maar hierdoor is een onderzoek vaak moeilijk te generaliseren. Houd je een onderzoek zo natuurlijk mogelijk voor de externe validiteit, dan is er weer grote kans op externe variabelen die de interne validiteit negatief beïnvloeden. Er is dus binnen een onderzoek een constante
Artefacten: een bedreiging voor de externe en de interne validiteit
Een artefact is factor van buiten die een bedreiging vormt voor de validiteit en de betrouwbaarheid van metingen, en daardoor zowel de interne als de externe validiteit van een onderzoek kan bedreigen. Er zijn verschillende soorten artefacten.
Vertekening door de onderzoeker
Een belangrijk artefact is een onderzoeker met een vertekend beeld, waarbij de onderzoeker zijn eigen verwachtingen en geloof mee neemt in het onderzoek en zo de conclusie kan beïnvloeden.
Demand characteristics en reactiviteit van de participant
Ook demand characteristics kunnen een onderzoek beïnvloeden. Dit houdt in dat er hints zijn binnen de studie of kenmerken van de studie die aan de participant kunnen laten zien wat de hypothese is van de studie of dat deze kenmerken van de studie de participant aanzetten tot het vertonen van een bepaald gedrag. Ook reactiviteit kan ervoor zorgen dat participanten zich anders gedragen, hierbij reageren participanten namelijk op het mee doen aan een studie door niet meer hun natuurlijke gedrag te vertonen. Sommige participanten gaan overdreven hun best doen of werken juist het onderzoek tegen en stellen zich defensief op. Als participanten zich anders gaan gedragen dan normaal is er sprake van een verslechterde interne validiteit, omdat niet meer is aan te tonen of de scores behaald zijn door de behandeling of doordat de participant zich überhaupt al anders gedraagt.
Overdreven variabelen
Het overdrijven van variabelen door onderzoekers houdt in dat ze de verschillen tussen de twee condities waarin getoetst wordt extra groot maken, om zo gegarandeerd resultaten te behalen.
Onderzoeksstrategie
De strategie refereert naar de algemene aanpak en het uiteindelijke doel van de studie, en wordt voornamelijk bepaald door de onderzoeksvraag en de antwoorden die je zoekt. Er zijn vijf basis strategieën, namelijk experimenteel, semi-experimenteel, non-experimenteel, correlationeel en beschrijvend.
Onderzoeksontwerp
De volgende stap, het ontwerp, heeft betrekking op de manier waarop je de strategie uit wilt gaan voeren. Je moet hierbij vooral letten op het bestuderen van een groep versus individu, gebruik van dezelfde groep of verschillende groepen en het aantal variabelen dat je bij het onderzoek wilt betrekken.
Onderzoeksprocedure
De laatste stap in het onderzoek is het invullen van de details, hoe ga je de uiteindelijke studie doen? Hierbij kijk je onder andere naar de manier waarop je variabelen wilt manipuleren, het aantal participanten dat je nodig hebt en hoe de participanten de studie gaan doorlopen.
Eerder zijn de verschillende onderzoeksstrategieën benoemd, namelijk experimenteel, semi-experimenteel, non-experimenteel, correlationeel en beschrijvend. In dit hoofdstuk wordt de experimentele onderzoeksstrategie besproken, waarbij het doel is om een relatie van oorzaak en gevolg aan te duiden tussen twee variabelen. Het kan echter ook zo zijn dat er wel een relatie is, maar dat dit puur toeval is. Zo’n toeval zal door middel van een experiment waarschijnlijk naar boven komen. Een experiment, wat we ook wel een zuiver experiment noemen, probeert dus een oorzaak en gevolg aan te tonen door te laten zien dat een verandering in de ene variabele direct zorgt voor een verandering in de andere variabele. Er zijn vier elementen die essentieel zijn voor zo’n experiment.
Manipulatie van een van de variabelen, om zo de verandering in de andere variabele teweeg te brengen.
Metingen. Je dient een variabele te meten om scores te krijgen van de participanten.
Vergelijken. Door te vergelijken kun je een relatie en de vorm van die relatie aantonen.
Controleren. Om andere invloeden tegen te gaan wordt er gebruik gemaakt van controle van variabelen van buitenaf.
Belangrijke termen voor deze strategie
Bij een experiment zijn er enkele termen die veel gebruikt worden en die je dient te kennen. De variabele die de onderzoeker manipuleert noemen we ook wel de onafhankelijke variabele, en deze variabele wordt veelal gemanipuleerd door het maken van een set van verschillende condities. Denk hierbij bijvoorbeeld aan de onafhankelijke variabele temperatuur, waarbij de verschillende condities twintig graden en dertig graden kunnen zijn. Er zijn bij zo’n onafhankelijke variabele altijd minstens twee condities nodig, maar het mogen er ook meer zijn. De variabele die vervolgens gemeten wordt om een verandering vast te stellen noemen we ook wel een afhankelijke variabele, en alle andere variabelen zijn variabelen van buitenaf (in het Engels extraenous variables). Een onderzoek is pas een experiment als aan alle voorwaarden die hierboven zijn genoemd voldoet, dus niet elk onderzoek is automatisch een experiment.
Oorzaken en het probleem met een derde variabele
Bij een experiment maak je gebruik van twee variabelen, maar het komt zelden voor dat deze twee variabelen al in isolement samen voorkomen. Er is vaak sprake van een samenhang met een grote hoeveelheid andere variabelen. In zo’n groep variabelen is het vrij eenvoudig om een relatie aan te tonen tussen twee van de variabelen, maar is het vinden van een oorzaak voor die relatie erg ingewikkeld. Om de oorzaak van een relatie aan te kunnen tonen, is het nodig om de twee gebruikte variabelen te scheiden van de rest. Bij dit proces kan echter het probleem optreden van de derde variabele, een variabele die de relatie tussen de twee beïnvloedt maar niet als zodanig gezien wordt in het onderzoek.
Causaliteit en het probleem van richting
Bij het zoeken naar een oorzaak en gevolg relatie, kan er ook sprake zijn van het probleem van richting. Als een studie een relatie tussen twee variabelen aan kan tonen, zegt dit nog niets over welke variabele de oorzaak is en welke het gevolg.
De controlerende natuur
Zoals uit de bovenstaande problemen duidelijk is geworden is het niet mogelijk om een oorzaak en gevolg relatie vast te stellen door enkel de observatie van twee variabelen. Er moet een experiment worden uitgevoerd in een onnatuurlijke situatie, waarbij de twee variabelen in isolement worden onderzocht. Alleen zo kan de aard van de relatie gevonden worden. Dat een zuiver experiment plaatsvindt in een onnatuurlijke situatie betekent niet dat de resultaten ook onnatuurlijk zijn, vaak is het mogelijk om deze resultaten met enkele aanpassingen best te generaliseren zijn naar andere situaties.
Zoals eerder gezegd is het doel van een experiment om een relatie van oorzaak en gevolg tussen twee variabelen aan te tonen. De eerste stap is dan het aantonen dat de oorzaak daadwerkelijk plaatsvindt voor het gevolg, wat bij een experiment inhoudt dat een verandering in de onafhankelijke variabele voorafgaat aan de verandering in de afhankelijke variabele. Vervolgens moet je, om er zeker van te zijn dat die ene variabele verantwoordelijk is voor de verandering in de andere variabele, er zeker van kunnen zijn dat je alle andere variabelen uit kan sluiten. Vanwege deze stappen zijn twee elementen van deze onderzoeksstrategie uniek en essentieel voor het uitvoeren van een goed experiment, namelijk manipulatie en controle.
Manipulatie
Een onderscheidend kenmerk van de experimentele strategie is dat de onafhankelijke variabele gemanipuleerd wordt. Een eerste stap bij deze manipulatie is dat je bepaald welke specifieke waarden van de onafhankelijke variabele je wilt onderzoeken. Bijvoorbeeld als je een experiment doet met verschillende soorten muziek, welke muziek wil je daarvoor gebruiken? Vervolgens zet je het experiment zo op dat je een aantal condities hebt die gelijk zijn aan de waarden van de onafhankelijke variabele die je wilt gebruiken. Door de manipulatie van die onafhankelijke variabele zal er vervolgens een verandering plaats vinden in de afhankelijke variabele, ten minste als je experiment klopt.
Manipulatie en het probleem van richting
Een belangrijk doel van de manipulatie in een experiment is het bepalen van de richting van een relatie, welke variabele gaat vooraf en welke volgt daarop? Een van de technieken om deze richting te kunnen bepalen is om één van de variabelen te manipuleren en om te kijken of de tweede variabele door deze manipulatie ook verandert.
Manipulatie en het probleem van de derde variabele
Een tweede doel van manipulatie is het feit dat het onderzoekers de gelegenheid geeft om eventuele invloeden van variabelen van buitenaf te controleren. Het ontbreken of juist aanwezig zijn van een relatie tussen de variabelen kan worden aangetoond door middel van manipulatie. Doordat onderzoekers niet wachten tot de onafhankelijke variabele uit zichzelf verandert, maar dit doen door middel van manipulatie, is direct te zien of de afhankelijke variabele wel reageert. Als er dus geen directe relatie is tussen de twee variabelen, zal dit door middel van manipulatie duidelijk worden.
Controle
Ook controleren van het onderzoek en variabelen van buitenaf is een belangrijk aspect van een zuiver experiment. Bij het houden van een experiment is het nodig om alle eventuele storende variabelen te kunnen verwijderen, zodat deze geen invloed uitoefenen op de relatie die je wilt onderzoeken. Het verwijderen van die storende variabelen kan door een volledig gecontroleerde omgeving, waarin alleen de twee benodigde variabelen voorkomen.
In een experiment ligt de focus op relatie tussen de onafhankelijke en de afhankelijke variabele, maar toch is er sprake van een grote hoeveelheid variabelen van buitenaf die eventueel invloed kunnen hebben op die relatie. Je kan hierbij denken aan persoonlijke kenmerken van participanten, zoals leeftijd, geslacht en persoonlijkheid. Naast de onafhankelijke en afhankelijke variabelen noemen we alle andere variabelen extraneous variabelen, zoals al eerder is aangegeven. Als onderzoeker is het belangrijk dat je door middel van controle ervoor zorgt dat deze variabelen van buitenaf geen storende variabelen worden. Een variabele kan pas storend zijn als het een invloed heeft op de afhankelijke variabele en als het systematisch varieert in samenhang met de onafhankelijke variabele. De eerste stap die nodig is voor het controleren van eventuele storende variabelen is het identificeren van deze variabelen, wat je als onderzoeker voornamelijk doet door middel van logisch redeneren en bestaande kennis gebruiken. Als je bezig bent met het identificeren van extraneous variabelen die in storende variabelen kunnen veranderen is het handig om rekening te houden met de drie categorieën, namelijk variabelen uit de omgeving, individuele verschillen en variabelen gerelateerd aan de tijd.
Controle door constant houden
Als je in het onderzoek een aantal variabelen van buitenaf hebt geconstateerd die een grote kans hebben om een storende variabele te worden, is het mogelijk om deze te controleren. Een eerste manier om dit te doen is door de variabele constant te houden, bijvoorbeeld door iedereen op hetzelfde tijdstip te onderzoeken of door alleen vrouwen te gebruiken in je onderzoek. Bij sommige variabelen is het mogelijk ze volledig constant te houden, maar vaker wordt ervoor gekozen om de variabele binnen een bepaalde waarde te houden. Een voorbeeld hiervan is alleen mensen onderzoeken met een IQ tussen de 100 en de 110. Hoewel het constant houden van een variabele ervoor zorgt dat deze variabele geen invloed meer uit kan oefenen op de relatie die je onderzoekt, heeft het negatieve gevolgen voor de externe validiteit van je onderzoek.
Controle door het matchen van waarden
Naast het constant houden van een storende variabele is er ook de mogelijkheid om te matchen, waarbij je ervoor zorgt dat de variabele (en bepaalde waarden ervan) in alle groepen ongeveer evenveel voorkomt. Matchen is ook mogelijk bij tijd, dit noemen we ook wel counterbalancing en wordt later nog besproken. Matchen is een goede methode als er sprake is van enkele storende variabelen, maar is niet geschikt voor alle variabelen van buitenaf. Het kost ten slotte veel extra werk.
Controle door randomisatie
Omdat het bijna onmogelijk is om alle variabelen van buitenaf constant te houden of te matchen, maken onderzoekers vaak gebruik van randomisatie. Hierbij wordt een onvoorspelbare procedure gebruikt om participanten aan een van de condities toe te wijzen, zodat de participanten willekeurig zijn ingedeeld. Doordat er sprake is van een willekeurige toewijzing, kunnen storende variabelen redelijk gecontroleerd worden omdat ze in alle groepen ongeveer evenveel aanwezig zullen zijn. Hoewel het dus een geschikte methode is om grote hoeveelheden variabelen van buitenaf te controleren, is deze manier niet geheel zonder risico. Vooral in kleine steekproeven is er een kans dat de randomisatie niet optimaal werkt en dat de verdeling van storende variabelen over de groepen niet gebalanceerd is.
De voor- en nadelen van methodes om te controleren
De actieve manieren van het controleren van variabelen van buitenaf, matchen en constant houden, kosten extra werk en metingen. Ze zijn dus vooral geschikt voor enkele storende variabelen die een grote dreiging vormen voor het onderzoek. Randomisatie daarentegen is geschikt voor controle van grote hoeveelheden variabelen van buitenaf, maar is niet altijd even succesvol.
Bij een experiment is er altijd sprake van een vergelijking. Dit kan zijn tussen de verschillende condities in het onderzoek, maar soms wil een onderzoeker een groep die behandeld wordt vergelijken met groep die niet behandeld wordt. We noemen dit ook wel een vergelijken van een behandel conditie met een conditie zonder behandeling, oftewel een controle groep.
Een controle groep zonder behandeling
Bij een controle groep zonder behandeling krijgen participanten, zoals de naam al zegt, geen behandeling. Deze groep wordt enkel gemeten om zo een standaard aan te geven voor de onderzoeker.
Placebo controle groepen
Een placebo is een nep medicijn, bijvoorbeeld een suikerpil of een injectie zonder medicinale stoffen. Het zogeheten placebo effect is dan ook psychologisch; mensen denken dat ze zich beter voelen door een nep medicijn en gaan zich dan daadwerkelijk beter voelen. Als we kijken naar de experimentele strategie, kan het placebo effect zorgen voor vragen met betrekking tot de interpretatie van de resultaten. Als er significante verschillen zijn tussen de behandelde groep en de controle groep, komt dit dan door de behandeling of door een placebo effect? Hoe belangrijk deze vraagt is hangt af van het doel van het onderzoek. Bij een onderzoek gericht op de uitkomst gaat het om de effectiviteit van een behandeling en zoekt men dus naar een uiteindelijke uitkomst en niet zozeer de oorzaak van die uitkomst, maar bij een onderzoek naar het proces gaat het om de actieve bestanddelen die zorgen voor een succesvolle behandeling. Bij die laatste is een placebo effect dus wel belangrijk.
In een experiment manipuleert de onderzoeker altijd de onafhankelijke variabele. Hoewel deze manipulatie duidelijk is voor de onderzoeker zelf, kan het zijn dat er vragen zijn met betrekking tot het effect dat de manipulatie heeft op de participanten. Zijn de participanten zich wel bewust van de manipulatie en hoe interpreteren ze deze eigenlijk? Om hier een goed beeld van te krijgen is het belangrijk dat de manipulatie gecontroleerd wordt, bijvoorbeeld door een expliciete meting van de onafhankelijke variabele of door achteraf vragen te stellen aan te participanten met betrekking tot de manipulatie. Hoewel zo’n controle van de manipulatie in elke studie gebruikt kan worden, is het vooral van belang in vier situaties:
Manipulatie van de participanten.
Subtiele manipulaties. In sommige situaties is de manipulatie niet heel duidelijk aanwezig, en kan het zo zijn dat de participanten de manipulatie gemist hebben.
Simulaties. Hierbij proberen onderzoekers om een echte wereld na te bouwen, en moet gecontroleerd worden of dit ook zo ervaren wordt door de participanten.
Controle van een placebo. De effectiviteit van een placebo hangt af van de geloofwaardigheid, het is essentieel dat de participanten geloven dat de placebo echt is en dit moet gecontroleerd worden.
Bij een experiment wordt in een gecontroleerde omgeving op zoek gegaan naar een oorzaak en gevolg relatie tussen twee variabelen, veelal in een laboratorium. Deze onnatuurlijke omgeving kan er echter voor zorgen dat de gevonden resultaten geen goede weerspiegeling zijn van de natuurlijke situatie, oftewel een slechte externe validiteit van het onderzoek. Om toch te zorgen voor een goed en extern valide onderzoek zijn hiervoor meerdere oplossingen.
Simulatie
Bij simulatie in onderzoek wordt een natuurlijke omgeving nagebootst, zowel qua fysieke karakteristieken als algehele sfeer. Er wordt door onderzoekers vaak onderscheid gemaakt tussen twee soorten simulatie, namelijk werelds realisme en experimenteel realisme. Bij wereld realisme gaat het om de oppervlakkige kenmerken van de simulatie, die verder weinig invloed hebben op de verbetering van de externe validiteit. Experimenteel realisme gaat meer om de psychologische aspecten van de simulatie, in hoeverre voelen mensen dat ze in een natuurlijke omgeving zijn en gaan ze zich ook zo gedragen? Een van de beroemdste voorbeelden van een zeer gedetailleerd simulatie experiment is dat van Haney, Banks en Zombardo (1973), waarin een gevangenis werd nagebouwd met echte cellen en de participanten de rol van bewaarder of gevangene kregen.
Veldstudies
Bij een simulatie wordt geprobeerd om een echte wereld na te bouwen, maar in een veld studie gaan onderzoekers daadwerkelijk de echte wereld in om hun onderzoek uit te voeren. Het kan moeilijk zijn om zoveel controle uit te oefenen als normaal vereist is bij een experiment, maar voor sommige onderzoeksvragen zijn veldstudies erg geschikt. Zo keken Cialdini, Reno en Kallgren (1990) naar de mate waarin mensen afval op de grond gooien als er al afval ligt door middel van een veldstudie.
Voordelen en nadelen van simulatie en veldstudies
Hoewel we simulatie en veldstudies kunnen gebruiken om een experiment realistischer te maken, zitten er bepaalde risico’s aan deze manieren van onderzoek doen. Het belangrijkste voordeel van beide manieren van onderzoek doen is dat het de kans biedt om situaties na te bootsen die meer lijken op de werkelijkheid. Een nadeel is echter dat je als onderzoeker door het nabootsen van deze natuurlijke situatie minder controle hebt over de situatie, wat dus een bedreiging is voor de interne validiteit van het onderzoek.
Zoals eerder besproken is er bij een experimentele onderzoeksstrategie sprake van het zoeken naar een oorzaak en gevolg relatie tussen twee variabelen, waarbij de scores van de verschillende condities vergeleken worden om tot een conclusie te komen. Om dit te bereiken zijn er vier voorwaarden aan een experiment: manipulatie, meten van de afhankelijke variabele, vergelijking van de variabelen en controle van alle omliggende variabelen. Er zijn twee manieren om deze vergelijkingen te doen, namelijk een ontwerp binnen de groepen en een ontwerp tussen de groepen. De eerste zal in het volgende hoofdstuk besproken worden, dit hoofdstuk gaat over het onderzoeksontwerp tussen groepen.
De kenmerken van een ontwerp tussen de groepen
Het belangrijkste kenmerk van een ontwerp tussen de groepen is dat het verschillende groepen mensen vergelijkt, je gebruikt dus als onderzoeker voor elke conditie in je onderzoek een andere groep participanten. Het doel van dit ontwerp is om te ontdekken of er verschillen bestaan tussen de verschillende condities. Een tweede kenmerk van dit ontwerp is het feit dat elke participant aan het onderzoek maar één score krijgt, ze doen ten slotte allemaal maar aan een van de condities mee. We noemen dit in de methodologie ook wel dat elke participant maar aan één level van het onderzoek mee doet.
Voordelen en nadelen van een ontwerp tussen de groepen
Het grootste voordeel van een ontwerp tussen de groepen is dat elke score van een individu volledig onafhankelijk is van de andere scores. Omdat elke individu maar één keer gemeten wordt, kun je er als onderzoeker vanuit gaan dat er weinig invloeden op de resultaten zijn door andere factoren van de behandeling. Je kan hierbij denken aan factoren als getraind raken in de tests, vermoeidheid of volgorde effecten van de behandelingen. We noemen dit onderzoeksontwerp daarom ook wel een ‘onafhankelijke metingen ontwerp’. Dit ontwerp kan voor vele onderzoeksvragen gebruikt worden en is dus erg breed inzetbaar, maar heeft als groot nadeel dat je een enorme hoeveelheid participanten nodig hebt. Ook heb je bij een grote hoeveelheid participanten veel verschillende persoonlijkheidskenmerken, wat problemen kan opleveren. Individuele verschillen zorgen voor veel variabelen van buitenaf, wat problemen kan opleveren. Zo kunnen individuele verschillen leiden tot storende variabelen of voor een hoge variantie in het onderzoek. Waarom deze variantie een probleem is wordt later nog besproken.
In een ontwerp tussen de groepen wordt elke conditie vertegenwoordigd door een aparte groep participanten, waarbij er dus wel verschillende groepen zijn maar het belangrijk is om de verschillen tussen de groepen zo klein mogelijk te houden. Alle variabelen van buitenaf kunnen namelijk veranderen in storende variabelen, wat slecht is voor de validiteit van het onderzoek. Ook kan het opdelen van veel participanten in verschillende groepen vertekend worden door vertekening door toewijzing.
Andere storende variabelen
Naast een vertekening door het op een bepaalde manier toewijzen van participanten aan de condities, is het ook mogelijk dat omgevingsvariabelen een storende invloed hebben op het onderzoek. Denk hierbij aan het testen van mensen in verschillende ruimtes of op verschillende tijdstippen, iets wat we ook wel storende variabelen uit de omgeving noemen.
Gelijkwaardige groepen
In een eerder hoofdstuk zijn randomisatie, matchen en constant houden genoemd als manieren om storende variabelen te controleren. Bij een tussen de groepen opzet moet echter ook rekening gehouden worden met vertekening door toewijzing van de participanten, dus is het van belang om de groepen op dezelfde wijze te maken, op dezelfde wijze te behandelen en in te delen als gelijkwaardige groepen. Op deze manier voorkom je als onderzoeker dat er vertekening van de resultaten plaats kan vinden.
De eerste stap in het maken van een tussen de groepen opzet is het toewijzen van de participanten aan een van de condities, dit kan op verschillende manieren gedaan worden.
Randomisatie
De meest gebruikte manier om ervoor te zorgen dat er gelijkwaardige groepen participanten zijn is aan de hand van randomisatie, oftewel het willekeurig toewijzen van participanten aan een van de condities. Als je de participanten volledig willekeurig indeelt, bijvoorbeeld door een muntje te werpen, loop je de kans op zeer ongelijke groepen qua grootte. Om deze reden wordt vaak gebruik gemaakt van een beperkte willekeurige toewijzing, waarbij van tevoren is vastgesteld hoeveel participanten elke groep kan hebben door bijvoorbeeld lootjes te maken. Het voordeel van deze methode is dat er een eerlijke manier is om participanten op te delen in groepen, maar ondanks het feit dat de methode willekeurig is kun je er nooit zeker van zijn dat alle groepen gelijkwaardig zijn.
Het matchen van groepen
In veel onderzoeken zijn er een aantal variabelen die het onderzoek kunnen beïnvloeden als storende variabelen. In plaats van vertrouwen op een willekeurige verdeling van de participanten, kan de onderzoeker dan ook gebruik maken van matchen. Je kiest hierbij voor elke participant in de ene groep een participant met dezelfde belangrijke kenmerken in de tweede groep, wat zorgt voor een eerlijke verdeling van belangrijke variabelen. Een nadeel aan deze methode is dat je eerst al die variabelen moet meten, wat zorgt voor extra werk. Het is dus aan te raden om matchen van variabelen alleen te gebruiken bij een kleine groep variabelen die een grote kans hebben om storend te zijn.
Het constant houden van variabelen of de variantie beperken
Een laatste methode voor het beperken van grote verschillen tussen de groepen participanten is het constant houden van bepaalde variabelen, bijvoorbeeld geslacht of leeftijd. Ook kan gekozen worden voor het beperken van de mogelijke waarde op een variabele, zoals alleen mensen die tussen de vijftig en zestig kilo wegen. Hoewel dit een zeer betrouwbare methode is, zorgt het voor een slechtere externe validiteit.
Naast het feit dat individuele verschillen kunnen leiden tot storende variabelen, kunnen ze ook zorgen voor een grote variatie in de scores binnen het onderzoek. Om een verschil tussen de condities aan te kunnen tonen, is het van belang dat er tussen de condities duidelijke verschillen te vinden zijn. Je kunt hiervoor alleen kijken naar het gemiddelde van een conditie, maar in feite moet je ook de variantie van de conditie mee nemen. Variantie houdt bij in hoeverre er spreiding is binnen een groep, als er een lage variantie is dan liggen alle scores dicht bij elkaar en bij een hoge variantie liggen de scores ver uit elkaar. Als een conditie een hoge variantie heeft, betekent dit dus dat er veel verschillende scores gehaald zijn binnen die conditie en dat moeilijk te zeggen is of het gemiddelde komt door de behandeling of door iets anders. Veel variantie bij tussen de groepen onderzoek wordt veroorzaakt door individuele verschillen.
Verschillen in de behandeling en variantie tussen de behandelingen
Bij een studie met verschillen tussen de groepen gaat het erom dat je tussen de verschillende groepen grote verschillen aan kan tonen, dit is namelijk het bewijs dat de condities een invloed hebben op het resultaat. Wat je echter niet wilt is grote verschillen in de groep zoals hierboven besproken is. We noemen deze verschillen ook wel de variantie, dus krijg je de variantie binnen condities (ongunstig) en de variantie tussen groepen (gunstig).
Het minimaliseren van variantie tussen de behandelingen
Zoals eerder opgemerkt kunnen grote individuele verschillen zorgen voor een grote variantie in de groep, wat kan leiden tot een verstoring van de resultaten van de studie. Er zijn enkele manieren om deze variantie in de groep te verkleinen.
Het standaardiseren van procedures
Een logische manier om te variantie in een groep participanten te verkleinen is door het standaardiseren van de procedure, dus ervoor zorgen dat alle participanten dezelfde behandeling krijgen.
Het beperken van individuele verschillen
Je kunt de belangrijke kenmerken van participanten die invloed kunnen hebben ook constant houden, zo beperk je de individuele verschillen en heb je dus binnen een groep minder variantie.
Willekeurige toewijzing en matchen
Door middel van het willekeurig toewijzen van participanten kun je verschillen binnen de groepen minimaal houden, maar deze willekeurige toewijzing heeft geen invloed op de variantie tussen de groepen. Zo krijg je dus een beter onderzoek.
Grootte van de steekproef
Hoewel de grootte van een steekproef niet heel direct invloed heeft op de variantie, kan het gebruiken van een zeer grote steekproef er wel voor zorgen dat er minder problemen zijn die meestal gerelateerd worden aan hoge variantie. Je moet er echter wel rekening mee houden dat je voor deze methode om de variantie binnen groepen te verkleinen een enorme steekproef nodig hebt, en het vinden van zoveel participanten kan moeilijk zijn.
Bij een studie waarin je kijkt naar verschillen tussen de groepen zijn er een aantal bedreiging die direct gerelateerd zijn aan deze specifieke onderzoeksopzet.
Uitval van participanten
Er is een uitval van participanten mogelijk, waarbij participanten tijdens de studie aangeven dat ze niet langer willen deelnemen aan het onderzoek. Zolang er een gelijke uitval is dan is dit geen probleem, maar zodra er uit één groep meerdere participanten uitvallen kan dit vertekening opleveren. Je krijgt dan namelijk zeer ongelijke aantallen in de groepen en zo kan vertekening ontstaan en is er een vermindering van de interne validiteit.
Communicatie tussen de groepen
Als je de participanten uit de verschillende groepen toestaat om met elkaar te communiceren dan kan dit leiden tot problemen. Er zijn verschillende manieren waarop:
De mensen die in de groep zitten met de oude behandeling of zonder behandeling kunnen van de nieuwe behandeling horen, en dan er uit zichzelf voor kiezen om de nieuwe behandeling ook te gaan gebruiken. We noemen dit ook wel diffusie.
Ook kan het zo zijn dat de groep zonder behandeling hoort over de groep met behandeling, en dat ze dezelfde behandeling op te eisen. We noemen dit ook wel compensatory equalization.
Als participanten in een groep zonder behandeling horen over de groep met behandeling kunnen ze zich extra gaan uitsloven om dezelfde scores te behalen als de groep met behandeling, ook wel compenserende rivaliteit genoemd.
Een laatste mogelijkheid is dat de groep zonder behandeling hoort over de behandeling en dat ze opgeven omdat ze vinden dat ze oneerlijk behandeld worden, ook wel resentful demoralization.
De meest eenvoudige manier van een opzet qua verschillen tussen de groepen is er een met twee groepen participanten, dit ontwerp noemen we ook wel een single factor two group design. Het grote voordeel van deze opzet is de eenvoud ervan, de resultaten zijn makkelijk te interpreteren en vergelijken. Een nadeel is dat deze opzet relatief weinig informatie verschaft en daarnaast is het ook moeilijk om een groep met behandeling met een controle groep te vergelijken. Er zijn namelijk vaak meerdere controle groepen nodig om er zo zeker van te zijn dat de behandeling effectief is.
Het vergelijken van meer dan twee groepen
Onderzoeksvragen zijn vaak zo opgesteld dat er meer dan twee groepen nodig zijn om de relatie tussen een onafhankelijke en een afhankelijke variabele vast te kunnen stellen. We noemen een studie die meerdere groepen gebruikt ook wel een single-factor multiple-group design. Voor deze opzet is het aan te raden om de gemiddelden van alle groepen te vergelijken en om vervolgens een variantieanalyse te gebruiken, eventueel met een post hoc toets. Naast het feit dat deze opzet meer informatie geeft over de relatie en de reden achter die relatie, is het bewijs van de relatie ook veel sterker. Let er echter wel op dat je niet teveel groepen gaat gebruiken, want dit kan je onderzoek onnodig ingewikkeld maken en vergt ook erg veel tijd.
Het vergelijken van proporties in twee of meer groepen
De afhankelijke variabele in een onderzoek wordt vaak bekeken of een categorische schaal, oftewel nominaal of ordinaal. Als dit het geval is heb je als onderzoekers geen numerieke score per participant en kun je dus geen gemiddelden vergelijken om zo tot een conclusie te komen. In plaats daarvan deel je elke participant in bij een bepaalde categorie, bijvoorbeeld een leeftijdcategorie, en kun je gebruik maken van het tellen van frequenties, kijken hoe vaak elke categorie voorkomt. Als je op deze manier onderzoek doet kun je geen gebruik maken van een variantieanalyse, maar wel van een chi-kwadraat toets.
In dit hoofdstuk introduceren we een onderzoeksontwerp binnen groepen, waarbij het belangrijkste kenmerk is dat er maar één groep participanten gebruikt wordt die alle condities doorloopt. Als je vanuit een statistische analyse spreekt noemen we dit ontwerp ook wel een ontwerp met herhaalde metingen, je meet ten slotte dezelfde personen meerdere keren.
Voordelen van een ontwerp binnen groepen
Een eerste voordeel van dit ontwerp is dat er relatief gezien weinig participanten nodig zijn, je kan ten slotte iedereen gebruiken bij elke conditie. Een ander, groter voordeel is het feit dat je door het gebruik van dezelfde participanten niet langer te maken hebt met individuele verschillen tussen de condities, waardoor je minder kans hebt op storende variabelen in de vorm van persoonlijke kenmerken (Bij de opzet tussen groepen heb je wel veel individuele verschillen). Doordat je bij een ontwerp binnen groepen maar één groep gebruikt, kun je meerdere condities meten zonder daarbij rekening te hoeven houden met individuele verschillen in de verschillende condities. Aangezien je in elke conditie dezelfde participanten gebruikt, kun je echter wel kijken naar de verschillen tussen participanten over alle condities. Bijvoorbeeld, je hebt conditie A en conditie B waarin participant 1 en participant 2 mee doen. Bij conditie A is er vijf punten verschil tussen de score van participant 1 en participant 2, en ook bij conditie B is er een verschil van vijf punten tussen deze twee participanten. Je kunt deze individuele verschillen dan verwijderen en zo de scores standaardiseren, waardoor je geen last meer hebt van variantie tussen de verschillende participanten en de invloed die dit heeft op de uiteindelijke gemiddelden. Het standaardiseren van binnen groepen maat het dus makkelijker om het effect van een conditie kan aantonen.
Nadelen van een ontwerp binnen groepen
Het grootste nadeel van deze opzet is dat alle participanten aan meerdere condities mee doen, waardoor tijd gerelateerde factoren zoals vermoeidheid of het tijdstip van het onderzoek een invloed uit kunnen oefenen. Deze factoren kunnen eventueel zorgen voor een verminderde validiteit, wat zorgt voor een teleurstellend onderzoek. Een ander probleem is de mogelijkheid tot uitval van participanten, mensen die stoppen met het onderzoek voordat dit volledig is afgerond. Vooral bij langdurige experiment is er een grote kans dat mensen tussentijds stoppen, omdat ze geen zin meer hebben of afspraken gewoon vergeten. Om problemen door uitval van participanten te voorkomen is het aan te raden om te beginnen met een grotere groep participanten dan je eigenlijk nodig hebt.
Er zijn twee belangrijke factoren die een bedreiging kunnen vormen voor de interne validiteit. De eerste groep is storende variabelen uit de omgeving, zoals bijvoorbeeld het tijdstip waarop het onderzoek plaatsvindt of de ruimte waar het onderzoek wordt gehouden. De tweede groep is een aantal storende variabelen gerelateerd aan tijd. Zoals al eerder is besproken (hoofdstuk 6) zijn deze variabelen gerelateerd aan tijd geschiedenis, volwassen worden van participanten, instrumentatie, test effecten en statistische regressie.
Het scheiden van factoren gerelateerd aan tijd en volgorde effecten
Als we kijken naar variabelen die gerelateerd zijn aan de tijd, kunnen we een onderscheid maken tussen variabelen die exclusief met tijd te maken hebben en variabelen die we kunnen linken aan eerdere ervaring met onderzoek. In deze laatste categorie vinden we bijvoorbeeld test effecten, die ook weer op te delen zijn in groepen:
Volgorde effecten. Participanten volgen de verschillende condities in een bepaalde volgorde, en hun prestaties per conditie kunnen worden beïnvloed door deze keuze van volgorde.
Overdrachtseffecten. Hierbij zorgt een eerdere conditie voor een permanente of langdurige verandering bij de participant, en deze verandering heeft invloed op de prestatie van de participant in de volgende conditie.
Contrasterende effecten. De grote contrasten die bestaan tussen de verschillende condities kunnen de prestatie van een participant beïnvloeden.
Progressieve fouten. Effecten die niet verbonden zijn aan een specifieke behandeling of volgorde, maar meer aan de algemene ervaring van heel veel condities doorlopen. Denk hierbij aan geoefend raken in bepaalde opdrachten of vermoeidheid.
Volgorde effecten als storende variabelen
Volgorde effecten kunnen veranderingen in de condities veroorzaken die niet door de behandeling komen, maar puur door de volgorde van de verschillende condities. Deze volgorde effecten variëren altijd op systematische wijze met de behandelingen en dit kan negatieve gevolgen hebben voor de validiteit van het onderzoek. Zo kan het effect van een behandeling bijvoorbeeld overdreven of verminderd worden door de volgorde waarin de behandelingen plaatsvinden.
Bij een ontwerp tussen groepen kun je dezelfde vormen van controle gebruiken om bedreigingen tegen te gaan. Dit zijn randomisatie, het matchen van variabele of het volledig controleren van een variabele.
Het controleren van tijd
De mogelijkheid om een bedreiging van geschiedenis of het volwassen worden van participanten is direct verbonden met de duur van het onderzoek, dus door te tijd te controleren kun je de validiteit van je onderzoek verbeteren. Dit controleren kun je bijvoorbeeld doen door de tijd tussen de verschillende condities te verkleinen, al kan dit wel leiden tot een vergroting van het aantal volgorde effecten. Participanten hebben ten slotte minder tijd om bij te komen en te herstellen tussen de behandelingen, wat kan zorgen voor vermoeidheid bij de participanten.
Overstappen naar een tussen de groepen ontwerp
Vaak heb je voordat je een onderzoek begint al wel een idee van de mogelijke storende variabelen en eventuele volgorde effecten. Als de volgorde effecten die je verwacht zo sterk zijn dat ze een grote invloed kunnen hebben op je onderzoek, is het beter om te kiezen voor een ontwerp tussen de groepen in plaats van een ontwerp binnen de groepen.
Counterbalancing
Het is mogelijk om variabelen met betrekking tot tijd in een onderzoek te matchen, we noemen dit ook wel counterbalancing. Hierbij doen verschillende participanten de verschillende condities in een andere volgorde, waardoor je geen volgorde effecten krijgt. Zo doet participant een bijvoorbeeld de volgorde A - B - C en participant twee de volgorde B – C – A. Voor deze aanpak zijn verschillende groepen participanten nodig, maar omdat ze allemaal wel dezelfde condities doorlopen (in verschillende volgordes) spreken we hier nog steeds van een ontwerp tussen de groepen. Zodra een ontwerp gebruik maak van counterbalancing kunnen er nog wel kleine volgorde effecten bestaan, maar omdat niet alle participanten dezelfde volgorde gebruiken kunnen deze effecten geen groter invloed meer hebben op het uiteindelijke onderzoek.
Beperkingen van counterbalancing
Hoewel counterbalancing een simpele techniek is om volgorde effecten in het onderzoek tegen te gaan, is er wel sprake van enkele beperkingen. Zo kan het zo zijn dat counterbalancing zorgt voor volgorde effecten bij bepaalde participanten maar niet bij andere participanten, en dat deze verschillen zo groot zijn dat het de uiteindelijke resultaten van het onderzoek zal beïnvloeden. Ook kan het zo zijn dat bepaalde volgordes meer volgorde effecten produceren dan anderen, dus dat de volgorde effecten niet symmetrisch verdeeld zijn. Als laatste is er nog een probleem mogelijk als we kijken naar de hoeveelheid condities die aanwezig zijn in een onderzoek. Het is namelijk zo dat je eigenlijk alle mogelijke volgordes moet gebruiken bij counterbalancing. Dit is bij een onderzoek met drie condities nog vrij gemakkelijk, maar als je een onderzoek met tien condities doet betekent dit dat er een enorme hoeveelheid mogelijke volgordes is. Een mogelijke oplossing van dit probleem is gedeeltelijk counterbalancing, waarbij je niet elke mogelijke volgorde gebruikt maak alleen degene die nodig zijn om ervoor te zorgen dat de belangrijkste volgordes gebruikt zijn. Om te helpen bij het bepalen van de belangrijke volgordes kun je gebruik maken van een latin square, een matrix van elementen waarin een volgorde staat aangegeven.
Een ontwerp met twee condities
De simpelste toepassing van een ontwerp tussen groepen is het vergelijken van twee condities. Een voordeel hieraan is dat het makkelijk is om dit onderzoek uit te voeren en om de resultaten te vergelijken, maar nadelig is het feit dat de informatie die je krijgt vrij beperkt blijft. Vaak worden gemiddeldes vergeleken om aan informatie te komen, en wordt vervolgens door een t-test of een ANOVA gekeken naar de significantie van de verschillen.
Ontwerpen met meerdere condities
Zoals eerder aangegeven kan een ontwerp met meerdere condities ook meer informatie geven over de oorzaak-gevolg relatie, maar als er teveel condities gebruikt worden kunnen de verschillen tussen condities te klein zijn voor significantie. Daarnaast is het moeilijker om deze vorm van een onderzoek op te zetten en kost het meer tijd. Statistisch gezien kun je het beste gebruik maken van een ANOVA om verschillen te meten.
Er zijn drie belangrijke verschillen als we kijken naar een ontwerp tussen de groepen en een ontwerp binnen de groepen:
Individuele verschillen. Zoals eerder aangegeven zijn vooral bij het ontwerp tussen de groepen de individuele verschillen een mogelijke dreiging. Aangezien je bij een ontwerp binnen de groepen alle participanten meerdere malen gebruikt, is deze dreiging daar niet aanwezig.
Factoren gerelateerd aan tijd en volgorde. Doordat een ontwerp binnen de groepen vaker over een langere tijd is gepland, heb je hier meer kans op storende variabelen die gerelateerd zijn aan tijd en volgorde.
Hoeveelheid participanten. Bij een ontwerp tussen de groepen zijn aanzienlijk meer participanten nodig dan bij een ontwerp binnen de groepen.
Een ontwerp met het matchen van groepen
Soms proberen onderzoekers van beide bovenstaande ontwerpen het beste te combineren, door midden van een ontwerp met het matchen van groepen. Hierbij wordt voor elke conditie een andere groep participanten gekozen, maar probeert men om de participant van de ene groep te matchen aan een participant in de andere groep. Dit matchen gebeurt voornamelijk op basis van enkele belangrijke variabelen, maar het is onmogelijk om de participanten perfect te matchen. Daarnaast kost het matchen van participanten erg veel tijd, vooral als er sprake is van meerdere variabelen.
In veel situaties is het moeilijk of zelfs onmogelijk om aan alle eisen van een zuiver experiment te voldoen, vooral als je onderzoek doet in een natuurlijke omgeving zoals het onderwijs. Hierom zijn strategieën opgezet die deels voldoen aan de verwachtingen, ook wel semi-experimentele of non-experimentele strategieën genoemd. Deze strategieën bevatten altijd een storende variabele of een andere bedreiging van de interne validiteit, waardoor niet volledig een oorzaak en gevolg relatie blootgelegd kan worden. Het verschil tussen de twee strategieën is de mate waarin die storende variabelen en bedreigingen door de onderzoeker geminimaliseerd kunnen worden. Non-experimenteel maakt geen tot weinig werk van het beperken van deze bedreigingen, bij semi-experimenteel wordt er wel een poging gedaan tot het beperken van de bedreigingen maar kan niet alle bedreiging worden uitgesloten.
De structuur van non-experimentele en semi-experimentele
Beide strategieën lijken qua opzet erg op een zuiver experiment, ze produceren allebei scores voor verschillende groepen die je vervolgens kunt vergelijken om tot een conclusie te komen. Ook heb je een afhankelijke variabele die gemeten wordt en een onafhankelijke variabele die onderscheid in de groepen aan brengt. Deze strategieën maken echter geen gebruik van manipulatie van de onafhankelijke variabele, deze variabele is namelijk vaak een persoonlijk kenmerk waarop de participanten worden ingedeeld. Ook bij deze strategieën is er sprake van een tussen de groepen opzet, ook wel een non-equivalente groep, of een binnen de groepen opzet, ook wel pre-post ontwerp.
Een belangrijk onderdeel van een non-equivalent ontwerp, dus ook wel tussen de groepen genoemd, is het feit dat er sprake is van individuele verschillen omdat je per conditie andere participanten gebruikt. Door middel van willekeurige toewijzing van de participanten aan een groep hoop je om de groepen qua persoonlijkheidkenmerken zo gelijk mogelijk te houden. Soms is deze willekeurige toewijzing echter niet mogelijk, bijvoorbeeld als je gebruik maakt van bestaande groepen. Doordat je bestaande groepen gebruikt en dus geen controle hebt over bepaalde persoonlijke kenmerken, noemen we dit ook wel een non-equivalent.
Bedreigingen van de interne validiteit bij non-equivalente groepen
Het doel van een experiment is veelal om aan te tonen dat de onafhankelijke variabele zorgt voor de verschillende scores van groepen, maar doordat non-equivalente groepen grote onderlinge verschillen kunnen hebben qua indeling is er ook wel sprake van een vertekende toewijzing (hoofdstuk 6).
Het differentiële onderzoeksontwerp
Er zijn onderzoeken waarbij de onderzoekers aparte groepen maken gebaseerd op individuele verschillen als leeftijd of geslacht. Er is dan geen sprake van manipulatie, maar er zijn bestaande groepen die van elkaar verschillen op een persoonlijk kenmerk. We noemen deze aanpak ook wel een differentieel onderzoeksontwerp of ex post facto onderzoek, omdat het doel is om de verschillen tussen bestaande groepen aan te tonen.
Differentieel onderzoek en correlationeel onderzoek
In zowel differentieel als correlationeel onderzoek kijkt de onderzoeker naar twee natuurlijk voorkomende variabelen die al voorkomen in de groep, zonder hierbij iets te manipuleren. Er is echter een klein verschil tussen deze twee vormen van onderzoek. Zo kijkt differentieel onderzoek naar een persoonlijk kenmerk waardoor je de participanten automatisch kan indelen in groepen (op basis van dat kenmerk), maar worden bij een correlationele studie alle participanten als één groep gezien en worden simpelweg de twee variabelen per individu gemeten.
Het posttest non-equivalente onderzoeksontwerp
Non-equivalente groepen worden vaak gebruikt in toegepast onderzoek waarbij het doel is om de effectiviteit van een bepaalde behandeling te bestuderen, met gebruik van bestaande groepen. Een tweede groep van enigszins gelijke maar non-equivalente participanten dient als controle groep. We noemen deze opzet ook wel het non-equivalente controle groep ontwerp. Een veelvoorkomend voorbeeld van zo’n ontwerp heet een enkel posttest non-equivalent controle groep ontwerp, waarbij de participanten enkel na de behandeling worden gemeten en vervolgens vergeleken.
Hoewel het lijkt alsof je met deze opzet een oorzaak en gevolg relatie aan kan tonen, is er geen bescherming tegen de bedreiging van vertekening door toewijzing. Omdat voor de behandeling niet gekeken is of de groepen wel gelijk scoren, kan niet met zekerheid gezegd worden dat de verschillende scores door de behandeling komen.
Pretest en posttest non-equivalent onderzoeksontwerp met controle groep
Een betere versie van de bovenstaande opzet is de versie die gebruik maakt van een voormeting.
In deze opzet worden de participanten gemeten voor de behandeling en na de behandeling, zodat er geen vertekening meer kan zijn door toewijzing. Een voormeting kan namelijk aanduiden of de groepen voor de behandeling gelijk zijn, en zo kan de bedreiging van vertekening door toewijzing verminderd worden. Aangezien door dit onderzoeksontwerp een vorm van een oorzaak en gevolg relatie kan worden aangetoond, noemen we het ook wel semi-experimenteel.
Bedreigingen door differentiële effecten
Hoewel het toevoegen van een voormeting de bedreigingen door individuele verschillen kan verminderen, kan het deze bedreiging nooit volledig wegnemen. Zo kan er nog een bedreiging plaatsvinden door factoren gerelateerd aan tijd, het kan zo zijn dat beide groepen andere tijdseffecten hebben. We noemen dit ook wel differentiële effecten, ze zijn voor beide groepen anders, en deze effecten kunnen een storende variabele vormen in het onderzoek.
Een tweede categorie in de semi-experimentele en non-experimentele strategieën is die van de pre-post ontwerpen, waarbij een groep participanten voor en na de behandeling gemeten wordt. Het doel van dit ontwerp is het evalueren van de invloed van de behandeling, waarbij er geen gebruik wordt gemaakt van een controle groep maar enkel van een experimentele groep.
Bedreigingen voor de interne validiteit van pre-post ontwerpen
Als je eenzelfde groep participanten voor langere tijd bestudeert en onderzoekt, heb je kans op factoren gerelateerd aan de tijd als bedreiging van je onderzoek. Zoals eerder besproken kan het gaan om geschiedenis, instrumentatie, test effecten, volwassen worden van participanten en statische regressie. Aangezien je maar één groep hebt en een pretest altijd voor een posttest moet komen, is het niet mogelijk om gebruik te maken van counterbalancing om deze bedreigingen tegen te gaan.
Het pretest – posttest ontwerp met een groep
De eenvoudigste versie van het pretest en posttest ontwerp is die met een groep, waarbij voor elke participant een observatie wordt gedaan voor de behandeling en een observatie na de behandeling. We noemen deze opzet ook wel een pretest en posttest ontwerp voor een groep. Aangezien dit ontwerp geen poging doet om de vele externe bedreigingen van onderzoek tegen te gaan, is het niet mogelijk om vast te stellen dat een verandering in scores is veroorzaakt door de behandeling. We noemen deze aanpak dan ook wel non-experimenteel.
Een tijd series ontwerp
B
ij een ontwerp met tijd series is er sprake van een serie van observaties voor en na de behandeling.
De behandeling kan hierbij wel of geen manipulatie zijn van de onderzoeker, er kan ook sprake zijn van een natuurlijke behandeling zonder manipulatie. Als er geen sprake is van een manipulatie spreken we ook wel van een onderbroken tijd series ontwerp. Het gebruik van meerdere observaties zowel voor als na de behandeling heeft enkele redenen. Ten eerste zorgen de vele pretest observaties ervoor dat de onderzoeker eventuele trend bij de participanten kan waarnemen, en als er voor de behandeling al bepaalde trends te zien zijn kan geconstateerd worden dat de scores beïnvloedt worden door iets anders dan de behandeling. Ook is het zo dat een externe gebeurtenis tijdens de pretest geen invloed heeft op het uiteindelijke onderzoek, zolang deze gebeurtenis niet samenvalt met de manipulatie. Als zo’n gebeurtenis namelijk tussen de pretesten door plaats vindt, zal dit enkel een piek veroorzaken tijdens die pretest en heeft dit verder geen invloed op de posttest.
Ook ontwikkelingsontwerpen zijn een vorm van non-experimenteel onderzoek en kunnen gebruikt worden om veranderingen in gedrag te bestuderen die gerelateerd zijn aan leeftijd. Het doel van zo’n onderzoek is om de relatie tussen leeftijd van de participant en een andere variabele te beschrijven.
Crosssectionele ontwikkelingsontwerp
Dit ontwerp is er een tussen groepen, waarbij verschillende groepen participanten van elke leeftijdsgroep met elkaar worden vergelijken. Er wordt dus gekeken in hoeverre leeftijd invloed heeft op een andere, afhankelijke variabele. De groepen worden dus niet gecreëerd door het manipuleren van een variabele maar enkel gebaseerd op leeftijd. Een voordeel van deze opzet is dat je als onderzoeker de verschillen bij verschillende leeftijdsgroepen kan controleren zonder dat je hoeft te wachten tot de participanten opgroeien. Je kunt dus data verzamelen in een korte tijd, wat de kans verkleint dat participanten uit het onderzoek stappen. Een groot nadeel is dat je niet kan zeggen in hoeverre de veranderingen daadwerkelijk door leeftijd komen en niet door iets anders. Zo zijn mensen die nu tachtig zijn heel anders opgevoed dan mensen die nu dertig zijn, en ook dit kan invloed hebben op de uiteindelijke resultaten. Mensen die wel in dezelfde leeftijd zijn en in eenzelfde milieu zijn opgegroeid noemen we cohorten, ze zullen relatief weinig verschillen hebben. Als er wel sprake is van verschillen tussen de groepen vanwege het feit dat ze een andere leeftijd hebben en anders zijn opgegroeid, noemen we dit cohort effecten.
Het longitudinale ontwikkelingsontwerp
Dit ontwerp bevat metingen van dezelfde groep mensen over een langere tijdsperiode, waarbij de individuen die mee doen aan het onderzoek vaak cohorten zijn. Het is een voorbeeld van een non-experimenteel ontwerp binnen de groepen, er is maar één groep en met die groep wordt een pretest en een posttest uitgevoerd. Een groot voordeel aan deze vorm van onderzoek is het ontbreken van eventuele cohort effecten, omdat je gebruik maakt van dezelfde soort mensen. Ook kun je als onderzoeker bestuderen hoe leeftijd bij een persoon invloed heeft op bepaalde factoren. Een nadeel is het feit dat het heel veel tijd en geld kost om zo’n langdurig onderzoek op te zetten, en ook is er een grote kans op uitval van de participanten.
Een cross-sectioneel longitudinaal ontwerp
Er zijn onderzoeken die de resultaten van verschillende steekproeven vergelijken, waarbij die resultaten op verschillende tijdstippen verkregen zijn. Dit soort onderzoek wordt vaak gedaan als gekeken wordt naar fenomenen.
In een non-experiment of een semi-experiment is geen sprake van manipulatie, dus spreken we ook niet van een onafhankelijke variabele. We noemen deze variabele bij deze strategieën een quasi onafhankelijke variabele.
In de meeste onderzoekssituaties is het doel om een relatie tussen twee variabelen te onderzoeken, waarbij er geen andere variabele aanwezig horen te zijn. In het dagelijks leven is het echter bijna onmogelijk om twee variabelen in isolatie tegen te komen, dus zijn er speciaal voor complexe situaties uit het echte leven onderzoeksontwerpen ontwikkelt die meerdere onafhankelijke variabelen bevatten.
Experimenteel factorieel ontwerp
We beginnen met het kijken naar een onderzoek waarbij twee of meer variabelen gemanipuleerd worden, ook wel een experimenteel factorieel ontwerp. Als je zo’n opzet hebt, waarbij je twee of meer onafhankelijke variabelen gebruikt, noemen we die variabelen ook wel een factor. De naam van de opzet hangt vaak af van het aantal factoren dat gebruikt wordt, zoals bijvoorbeeld een twee factoren ontwerp of een drie factoren ontwerp. Over het algemeen krijgt elke factor in zo’n onderzoek dan een letter toegewezen, bijvoorbeeld factor A en factor B, waarbij je vervolgens ook nog het aantal levels of condities van de factor moet aangeven. Je krijgt dan bijvoorbeeld een 3 x 2 opzet, en dat ziet er als volgt uit.
Een voordeel van deze opzet is het feit dat je een meer natuurlijke situatie creëert doordat er meerdere variabelen aanwezig zijn, zo kun je ook een beeld krijgen van hoe de variabelen elkaar beïnvloeden.
Het grootste voordeel aan een factorieel ontwerp is feit dat je als onderzoeker een beeld krijgt van hoe combinaties van factoren allemaal samenwerken en zo gedrag kunnen beïnvloeden. De structuur van zo’n ontwerp kun je in een matrix zetten, waarin je de levels van de ene variabele in de kolommen zet en de levels van de andere variabele in de rijen. Uit zo’n matrix kun je vervolgens hoofdeffecten halen, dus effecten van een onafhankelijke variabele op de afhankelijke variabele, maar ook interactie effecten waarbij de onafhankelijke variabelen invloed op elkaar hebben.
Het identificeren van interacties
Om de verschillende interacties in een factorieel ontwerp te kunnen identificeren moet je de gemiddelde verschillen uit de cellen van de matrix vergelijken met de gemiddelde verschillen van de hoofdeffecten.
Als er een interactie is tussen de factoren zijn er extra verschillen tussen de gemiddelden van de cellen, zoals te zien is in de matrix. We zien hier dat de hoofdeffecten van het ontwerp allebei een invloed hebben op gedrag, maar ook dat de twee factoren invloed hebben op elkaar.
Alternatieve definities van een interactie
W
e zien een interactie als het effect dat twee onafhankelijke variabelen op elkaar hebben, de ene factor beïnvloedt de andere factor. Als de effecten van een factor variëren op basis van de levels van een andere factor, zorgen de factoren samen voor een uniek effect. Een tweede, alternatieve, definitie van interactie richt zich juist op het patroon dat wordt geproduceerd als je de gemiddelden van een twee-factoren studie laat zien in een grafiek.
Voor deze specifieke grafiek is te zien dat de lijnen niet parallel zijn, en dat er dus sprake is van een interactie effect is tussen de factoren. Als er echter twee parallelle lijnen te zien zijn in een grafiek is er geen sprake van een interactie effect.
Het interpreteren van hoofdeffecten en interacties
De verschillen in gemiddelden tussen de kolommen en de rijen zijn de hoofdeffecten van een studie, terwijl de verschillen tussen de cellen de interactie effecten weergeven. Deze verschillen zijn echter enkel beschrijvend, en moeten nog door middel van een statistische test geëvalueerd worden voordat ze als significant kunnen worden aangeduid. Ook als je bij een statistische test te maken krijgt met significante effecten moet je voorzichtig zijn met de interpretatie ervan, het is altijd mogelijk dat de resultaten een vertekend beeld geven.
Onafhankelijkheid van hoofdeffecten en interacties
Een twee-factoren studie zorgt ervoor dat onderzoekers drie aparte soorten effecten kunnen evalueren: het hoofdeffect van factor A, het hoofdeffect van factor B en het interactie effect.
Hiernaast zie je de verschillende soorten effecten in een grafiek uitgebeeld.
Op dit moment hebben we maar een versie van een factorieel ontwerp besproken. Alle ontwerpen gebruiken een aparte groep mensen voor elke behandeling die aanwezig is en er worden alleen factoren gebruikt die volledig onafhankelijk zijn. Hoewel het mogelijk is om voor elke aanwezige behandeling een apart groep te gebruiken, kan je ook gebruik maken van dezelfde groep mensen die alle behandelingen ondergaat. Een factorieel ontwerp kan zelfs een combinatie zijn van experimentele en non-experimentele strategieën, en het kan ook tussen-groepen en binnen-groepen ontwerpen beide gebruiken. De mogelijkheid om al deze dingen te mixen tot een nieuwe vorm maakt dat een factorieel ontwerp vaak goed aansluit op een bepaalde onderzoeksvraag.
Tussen-groepen en binnen-groepen ontwerpen
Het is mogelijk om een factorieel ontwerp te hebben met enkel tussen-groepen, waarbij een groot nadeel is dat je veel participanten nodig hebt. Ook heb je een grote kans op individuele verschillen, wat een bedreiging kan vormen voor de validiteit van het onderzoek. Het is ook mogelijk om een factorieel ontwerp te hebben met alleen maar binnen-groepen, waarbij een nadeel is dat elke participant een flinke hoeveelheid condities of behandelingen moet ondergaan, wat kan leiden tot vermoeidheid of uitval.
Gemengd ontwerp
Soms hebben onderzoekers een situatie waarbij ze beide vormen ontwerp willen gebruiken, dus zowel tussen-groepen als binnen-groepen. Het is dan mogelijk om gebruik te maken van een gemengd ontwerp, waarbij je een factor hebt met tussen-groepen en een factor met binnen-groepen.
Gecombineerde strategieën
Binnen de gedragswetenschappen is het normaal voor een factorieel ontwerp om gebruik te maken van een experimentele strategie voor de ene factor en een semi- of non-experimentele strategie voor de andere factor. Deze vorm van een onderzoek noemen we ook wel een gecombineerde strategie, waarbij de onafhankelijke variabele vaak in een van de volgende groepen valt:
De tweede onafhankelijke variabele is een bestaande kenmerk van de participanten, zoals bijvoorbeeld leeftijd of geslacht.
De tweede onafhankelijke variabele is tijd, waarbij het gaat om de verschillende behandelingen en hoe deze beïnvloedt kunnen worden door tijd.
Pretest en posttest controle groep ontwerpen
Elke O staat hier voor een meting, de X staat voor een behandeling.
Elke rij staat voor een van de groepen participanten, waarbij er
sprake is van een twee-factoren gemengd model. In deze opzet
is het een semi-experimenteel model, maar als de groepen op willekeurige wijze worden toegewezen aan een van de condities is het een gecombineerde strategie met een experimentele factor. Willekeurig toewijzen wordt in zulke schema’s aangeduid met de R van random.
Factorieel ontwerp van hogere orde
Het basis concept van een twee-factoren ontwerp kan worden uitgebreid naar een complexer model met nog meer factoren, ook wel een ontwerp van hogere orde genoemd. Je kan hierbij dus met drie, vier of zelfs meer factoren combineren. Het interpreteren van drie factoren en interactie effecten is nog vrij eenvoudig, maar vanaf vier factoren kan het een probleem worden om de interacties juist te interpreteren.
Een factorieel ontwerp voorziet een onderzoeker van een zeer flexibele opzet voor een studie, waarbij meerdere onafhankelijke variabelen tegelijk bestudeerd kunnen worden. Vaak wordt deze methode gebruikt om een voorgaand onderzoek uit te breiden met nieuwe variabelen, je kan als onderzoeker dan gewoon de oorspronkelijke opzet gebruiken met een toevoeging van een extra variabele. Een factorieel ontwerp is ook geschikt voor het verminderen van de variantie in een tussen-groepen ontwerp. Als er een persoonlijk kenmerk van de participanten is dat zorgt voor grote variantie in het oorspronkelijke ontwerp, kan de onderzoeker gewoon dit kenmerk als extra onafhankelijke variabele gebruiken in een factorieel ontwerp en zo de variantie verkleinen. Ook volgorde effecten kunnen worden verminderd aan de hand van een factorieel ontwerp, door de volgorde van de behandeling ook als factor te gebruiken in het onderzoek. Er zijn drie mogelijke patronen mogelijk als je kijkt naar volgorde:
Er zijn geen volgorde effecten aanwezig.
Volgorde effecten zijn aanwezig en symmetrisch. Het maakt niet uit welke van de behandelingen er als eerste gedaan wordt, er is altijd een gelijk verschil door de volgorde.
Er is sprake van asymmetrische volgorde effecten. Hierbij is het dus zo dat elke behandeling zijn eigen invloed heeft op de volgende behandeling, en dat er dus verschil zit in de volgorde effecten afhankelijk van de volgorde.
Het voorbereiden van een onderzoeksrapport is stap negen in het algehele onderzoeksproces, waarbij dit rapporteren voornamelijk gebeurt door middel van een wetenschappelijk artikel of een wetenschappelijke poster. Het belangrijkste doel van een goed onderzoeksrapport is het leveren van drie soorten informatie over je onderzoek:
Wat is er precies gedaan binnen het onderzoek en welke stappen zijn er allemaal onderhouden?
Welke bevindingen zijn er gedaan aan de hand van het onderzoek?
Hoe is het onderzoek en de kennis eruit te relateren uit eerder onderzoek in hetzelfde onderzoeksveld?
Hoewel de taak van het schrijven van het rapport misschien veel lijkt, valt het reuze mee. Je hebt tenslotte al veel wetenschappelijke artikelen gelezen en kennis over het onderwerp opgedaan, en aan de hand van de richtlijnen van APA is het gehele proces erg gestructureerd. Als je een wetenschappelijke verslag schrijft doe je dit aan de hand van het Publication Manual of the American Psychological Association, oftewel in APA stijl.
Een onderzoeksrapport is niet hetzelfde als het schrijven van een verhaal. Terwijl het doel van een verhaal is om mensen te vermaken of ze een bepaald gevoel te geven, is het doel van een onderzoeksrapport om te informeren en een duidelijk overzicht te geven van je onderzoek. Er zijn daarom een aantal belangrijke regels om te onthouden bij het schrijven van een rapport:
Gebruik een onpersoonlijke schrijfstijl, je moet zo objectief mogelijk blijven en een duidelijk overzicht bieden van je onderzoek en de resultaten.
Bij gebeurtenissen uit het verleden gebruik je de verleden tijd, als de gebeurtenis niet in het verleden ligt of nog bezig is mag je ook de tegenwoordige tijd gebruiken. Als je bezig bent met het opschrijven van je resultaten moet je ook de verleden tijd gebruik.
Gebruik zo min mogelijk woorden waarin een voorkeur naar voren komt. Beschrijf mensen zo objectief mogelijk, gebruik beschrijvingen die participanten zelf prettig vinden en maak duidelijk dat de participanten vrijwillig mee hebben gedaan.
Als je andere onderzoekers wilt citeren moet je altijd goed verwijzen naar de persoon waar het citaat vandaan komt, doe je dit niet dan kan het gezien worden als plagiaat. Je kan citeren door een geheel citaat te kopiëren en de naam van de onderzoeker erbij te zetten of aan de hand van ‘Deze onderzoeker zegt…’. Bij een onderzoek van één tot vijf onderzoekers gebruik je alle namen, bij een onderzoek met meer dan zes onderzoekers schrijf je de eerste naam gevolgd door ‘et al’. Hoe je ook citeert, je citaat en de informatie er omheen moet altijd genoeg informatie bieden voor de lezer om het oorspronkelijke artikel terug te vinden. Daarnaast is het altijd beter om dingen in je eigen woorden te omschrijven dan het gebruik van een citaat.
Richtlijnen voor de opmaak van een tekst
De algemene richtlijnen vanuit APA vereisen dat een manuscript gebruik maakt van regelafstand 1,5 en dat de tekst links is uitgelijnd, met een voorkeur voor het lettertype Times New Roman in grootte 12. Vervolgens zijn er enkele pagina’s die in elk manuscript aanwezig moeten zijn.
De belangrijke delen van een manuscript
Titel
De eerste pagina van een rapport is vanzelfsprekend de titelpagina. Hierop staat de titel van het onderzoek, waarbij je er op moet letten dat je geen onnodige woorden gebruikt, dat het eerste woord relevant is voor het onderzoek en dat je geen grappige titel gebruikt. De informatie van de onderzoeker die op deze pagina staat dient te bestaan uit de naam van de auteur, de universiteit waar deze auteur vandaan komt, een contactpersoon en eventuele financiële steun die verleend is. Als laatste moet er ook een running head aanwezig zijn, een afgekorte titel waarin maximaal vijftig leestekens mogen zitten. Vergeet ook niet om paginanummers in je manuscript te zetten.
Abstract
De abstract is een korte, volledige samenvatting van wat er verder in het artikel staat. Omdat veel mensen eerst een abstract lezen om te bepalen of het artikel voor hun relevant is, is het belangrijk dat de abstract van een verslag goed is en alle informatie bevat. Wat er sowieso in moet staan is:
Een korte uitspraak over het probleem en de onderzoeksvraag.
Korte beschrijving van de participanten en eventuele kenmerken.
De onderzoeksmethode die gebruikt is met bijpassende procedures.
Een korte rapportage van de resultaten.
Uitspraken met betrekking tot de conclusie of eventuele implicaties.
Introductie
Het eerste grote gedeelte van een onderzoeksverslag is de introductie, een stuk tekst waarin de wetenschappelijke achtergrond van het onderzoek wordt aangegeven. Ook de onderzoeksvraag komt in dit onderdeel naar voren. Belangrijke onderdelen zijn:
Een algemene introductie van het onderwerp van het onderzoek.
Overzicht van de relevante, bestaande literatuur op het gebied van het onderzoek.
Een specificatie van het daadwerkelijke probleem dat onderzocht is, in de vorm van een hypothese of een onderzoeksvraag.
Beschrijving van de onderzoeksstrategie die gebruikt is om de onderzoeksvraag te beantwoorden.
Als mensen de introductie van je manuscript gelezen hebben horen ze een goed beeld te hebben van de onderzoeksvraag, de theoretische achtergrond van het onderwerp en een eerste inzicht in hoe je het onderzoek hebt aangepakt.
Methode
De methode sectie van een onderzoeksrapport biedt een uitgebreide en overzichtelijke omschrijving van de definitie van de variabelen, hoe deze gemeten zijn en hoe het onderzoek is uitgevoerd. Dit gedeelte van het verslag biedt andere onderzoekers de kans om te kijken of het onderzoek goed is uitgevoerd en om het eventueel te repliceren. Een methode bestaat uit verschillende onderdelen:
Subjecten/participanten sectie. In dit gedeelte worden de participanten of subjecten die gebruikt zijn in het onderzoek uitvoerig beschreven, waarbij het aantal deelnemers en relevante persoonlijke kenmerken genoemd worden.
Procedure sectie. Hierin wordt het proces stap voor stap beschreven, waarbij de selectie procedure, tijd en plaats van het onderzoek, eventuele vergoedingen voor de deelnemers, ethische vragen, indeling van de groepen en het onderzoeksontwerp belangrijk zijn.
Apparatus sectie, waarin alle dagelijkse voorwerpen die zijn gebruikt worden beschreven. Vaak gaat het hier om dingen als tafels en stoelen, dus dit hoeft niet heel uitgebreid besproken te worden.
Materialen sectie, met de identificatie van de variabelen. Dit bevat een goede omschrijvingen van de variabelen en de manier waarop deze gemeten zijn.
Resultaten
Dit gedeelte van een rapport biedt een overzicht van alle data en de statistische analyses die gebruikt zijn in het onderzoek, waarbij er op een onbevooroordeelde manier gerapporteerd dient te worden. Bij statistische significantie is het belangrijk dat het soort test, de vrijheidsgraden, de uitkomt van de test en de mate van significantie worden weergegeven.
Discussie
Het laatste gedeelte van een rapport is de discussie, waarin je als onderzoeker een interpretatie geeft van de resultaten uit het onderzoek. Je begint met een herhaling van de hypothese en beschrijft kort de resultaten en hoe deze samenhangen met de hypothese, vergelijkt het werk met voorgaande onderzoeken, bespreekt de beperkingen van het onderzoek en kan ook nog wetenschappelijke en praktische implicaties noemen.
Referenties
In de referenties van het rapport staan alle artikelen en onderzoekers waar je in het gehele onderzoek naar verwezen hebt. Elk item dat je in het verslag zelf hebt genoemd of besproken, hoort in de referenties te staan. De referenties zijn op alfabetisch volgorde geordend, met de eerste letter van de achternaam van de eerste onderzoeker als basis.
Tabellen en figuren
Als toevoeging aan je onderzoek kun je gebruik maken van tabellen en figuren om bepaalde informatie te verduidelijken. Tabellen en figuren zijn enkel nodig als ondersteuning van de tekst, ze hoeven geen informatie weer te geven die al in de tekst genoemd is.
Appendix
Een appendix kan gebruikt worden om informatie te presenteren die zeer gedetailleerd is en daardoor niet in het oorspronkelijke verslag past.
Het presenteren op een conferentie
Het is niet altijd mogelijk om je manuscript te laten publiceren in een wetenschappelijk tijdschrift, soms moet je een onderzoek op alternatieve manieren presenteren. Een van deze manieren is om het te presenteren aan de hand van een poster of op een professionele, wetenschappelijke conferentie. Bij een poster presentatie is er vaak een sessie waarbij meerdere onderzoekers in een hal staan met een poster voor hun onderzoek, zodat andere wetenschappers rond kunnen lopen en aan de hand van de posters vragen kunnen stellen. Bij een presentatie op een conferentie wordt je als onderzoeker gevraagd om tussen de tien en de twintig minuten te spreken aan de hand van bijvoorbeeld een Powerpoint.
Als je een onderzoeksverslag hebt geschreven en deze graag gepubliceerd wil zien in een of meerdere wetenschappelijke bladen, zul je het manuscript op moeten sturen voor publicatie. Let er hierbij goed op dat je een geschikt tijdschrift selecteert voor je manuscript, houd rekening met de instructies die dat specifieke tijdschrift geeft en stuur met je manuscript een begeleidende brief mee.
Een onderzoeksvoorstel is in feite een plan voor een nieuwe studie. Hierin moet je al aan kunnen geven wat je onderzoeksontwerp is, welke hypothese je wilt onderzoeken, hoe je dingen wilt definiëren en meten, welke proefpersonen nodig zijn en welke strategie je wilt gebruiken. Op deze manier staat er in je voorstel in ieder geval wat je wilt doen, wat eventuele bevindingen kunnen zijn en hoe dit onderzoek gerelateerd is aan eerder onderzoek. Het schrijven van een onderzoeksvoorstel kan nodig zijn om financiële steun te krijgen van instanties of om toestemming te krijgen voor het beginnen van een bachelor thesis. Het schrijven van een onderzoeksvoorstel is in feite niet heel anders dan het schrijven van een manuscript, afgezien van een paar punten:
Een onderzoeksvoorstel hoeft geen abstract te bevatten.
Het literatuuronderzoek is in een manuscript vaak uitgebreider dan in een voorstel.
De resultaten en conclusie zijn nog niet te geven in een onderzoeksvoorstel, dus worden deze vaak vervangen door een verwachte resultaten.
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
Je vertrek voorbereiden of je verzekering afsluiten bij studie, stage of onderzoek in het buitenland
Study or work abroad? check your insurance options with The JoHo Foundation
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
Field of study
Add new contribution