Deze samenvatting is gebaseerd op het studiejaar 2013-2014.

Hoorcollege 1A

Hoofdstuk 1

Alledaagse kennisvormen (common sense)

• Method of tenacity: vasthouden aan oude ideeen/inzichten (bijv. elke dag hetzelfde broodbeleg omdat je dit al jaren zo gewend bent).

• Method of authority: vertrouwen op experts, autoriteiten en charismatische personen (bijv. een bepaalde auto kopen omdat je baas die ook heeft).

• Method of intuition: vertrouwen op eigen gevoel, intuitie (bijv. zelf de weg zoeken als je verdwaald bent).

Wetenschappelijke kennis

• Method of science: kennis zoeken, duidelijk omschreven regels voor onderzoek.

Eisen voor wetenschappelijk onderzoek:

• Openbaar: controleerbaar (anderen moeten kunnen zien welke stappen je maakt in je onderzoek), open voor kritiek, resultaten altijd ‘voorlopig’ (je moet altijd zeggen, ‘met de kennis die we nu hebben, trekken we deze conclusie’, want de wetenschap ontwikkelt zich steeds).

• Objectief: bevindingen mogen niet ‘persoonsgebonden’ zijn. Er wordt gebruikt gemaakt van uniforme regels, zodat wanneer een andere onderzoeker hetzelfde onderzoek uitvoert, er vergelijkbare uitkomsten zijn.

• Empirisch: gebaseerd op de werkelijkheid

• Systematisch en cumulatief: er moet voortgebouwd worden op eerder onderzoek, en er moet gezocht worden naar algemene patronen (theorieën die te generaliseren vallen)

• Predicatief: als onderzoek bepaalde resultaten oplevert, leidt dit tot voorspellingen, want je hebt nu een patroon ontdekt en dit kan ook voor andere situaties zo werken.

In de wetenschap is er constante twijfel en (zelf)correctie, je kunt nooit iets met 100% zekerheid zeggen.

Doel fundamenteel onderzoek: het bijdragen van kennis aan de wetenschap

Doel praktijkgericht onderzoek: verwerven van kennis voor het oplossen van praktische problemen (bijv. een lage arbeidsproductiviteit in een bedrijf, je doet dan onderzoek voor dat bedrijf)

Methoden van dataverzameling:

• Observaties: het bekijken van mensen (hun gedrag)

• Vragen stellen aan onderzoekseenheden: diepte-interviews, groepsinterviews, vragenlijsten

• Inhoudsanalyse: informatie uit bestaande beelden of teksten halen

Onderzoeksstrategieën: bij de opzet van een onderzoek kun je kiezen voor

• Experiment

• Enquête

• Kwalitatief onderzoek

• Gebruik bestaand materiaal

Hoorcollege 2A

Hoofdstuk 2 en 3

Literatuuronderzoek is gebaseerd op onderzoeksverslagen.

Vier belangrijke fasen in onderzoek: probleemstelling ⇒ onderzoeksopzet ⇒ uitvoering onderzoek ⇒ rapportage. In het onderzoek begin je met een probleemschets (grove lijnen), daar maak je de probleemstelling van (het precieze probleem).

Probleemstelling: de doelstelling (waarom?) + de vraagstelling (wat?)

Onderzoeksopzet: de plaats + tijd + onderzoekseenheden + methoden van het onderzoek

De probleemstelling + de onderzoeksopzet = het onderzoeksplan.

Fouten bij het formuleren van een doelstelling: het kan zijn dat de doelstelling ontbreekt, onvolledig is, vaag is, te ruim is, niet eenduidig is. Fouten bij het formuleren van een vraagstelling: het kan zijn dat de vraagstelling ontbreekt, niet bij de doelstelling past, onbewezen/onjuiste veronderstellingen bevat, meer een enquêtevraag is (te specifiek), vaag is, niet eenduidig is.

De vraagstelling kan verder onderverdeeld worden in deelvragen, onderzoeksvragen en uiteindelijk waarnemingsvragen (vragen in een enquête of interview). Zo worden de vragen steeds specifieker.

Beschrijvende vraagstellingen: zijn gericht op kennis over wat een verschijnsel of gebeurtenis is of hoe het eruit ziet. Bijv. ‘Hoeveel mensen hebben in Amsterdam een auto?’

Causale vraagstellingen: gaan over de verbanden tussen variabelen (verklarende vraagstelling) of doen voorspellingen die de onderzoeker gaat toetsen (voorspellingsvraagstelling).

Toetsend onderzoek: je hebt dan al een verwachting, nu ga je die verwachting toetsen.

Explorerend onderzoek: er is nog niet veel bestaande informatie, dus je moet nog uitzoeken wat de verwachtingen zijn.

Fundamenteel onderzoek heeft wel wetenschappelijke relevantie (het voegt iets toe aan de kennis in de wetenschap), maar niet echt maatschappelijke relevantie (het helpt bij het verbeteren van de maatschappij). Praktijkgericht onderzoek heeft wel maatschappelijke relevantie en kan ook wetenschappelijke relevantie hebben.

Onderzoeksopzet: je moet voor je onderzoek kiezen waar, wanneer, wie en hoe je gaat onderzoeken.

Plaats: welke locatie geografisch, op welke locatie je onderzoeksplek zal zijn (in de stad, in een laboratorium), of je een gecreëerde of bestaande onderzoekssituatie wilt (bij een gecreëerde situatie in een onderzoekslab heb je meer controle over hoe het onderzoek verloopt, maar de situatie lijkt minder op hoe die in de werkelijkheid zou zijn, dus kunnen de effecten op proefpersonen ook anders zijn).

Tijd: wanneer je gaat onderzoeken, of je een vergelijking maakt met het verleden of een voorspelling doet voor de toekomst. Ook het aantal meetmomenten is van belang:

• Eenmalig (cross-sectie)

• Voor- en nameting (je stelt de onderzoekseenheden tussen de twee meetmomenten bloot aan een stimulus en kijkt of er verschillen in de metingen zijn).

• Longitudinaal onderzoek (naar effecten kijken over een lange periode): trendstudie (het bekijken van een ontwikkeling, langere periode, maar niet perse dezelfde groep), panelstudie (langere periode van onderzoek met dezelfde groep) of tijdreeksonderzoek.

Eenheden: individuen, groepen, organisaties, landen, processen.

Methoden en technieken:

• Onderzoeksstrategieën, onderzoeksdesigns: experiment, enquête, kwalitatief onderzoek, bestaand materiaal.

• Dataverzamelingsmethoden: observeren, vragen, inhoudsanalyse

• Data-analysemethoden: kwantitatief en/of kwalitatief

Empirische cyclus (bekijk voor meer duidelijkheid de PowerPoint): observatie/kennisprobleem (beschrijven, interpreteren) ⇒ inductie (generaliseren, modelleren) ⇒ theorie (modelleren, specificeren) ⇒ deductie voorspelling (voorspellen) ⇒ toetsing (toetsen) ⇒ evaluatie (evalueren).

Deductie: het afleiden van een algemene wet/stelling naar een specifiek geval/situatie.

Bij een theorie maak je een voorspelling (hypothese) en die ga je dan toetsen. Na het toetsen merk je of de hypothese klopt met de theorie.

Verificatie: de hypothese klopt met de theorie.

Falsificatie: de hypothese klopt niet met de theorie.

Regulatieve cyclus (bekijk voor meer duidelijkheid de PowerPoint): praktijkprobleem (beschrijven, interpreteren) ⇒ diagnose (generaliseren, modelleren, ontwerpen) ⇒ plan (besluiten) ⇒ ingreep/interventie (proces evalueren) ⇒ evaluatie (product evalueren).

Hoorcollege 3A

Hoofdstuk 4 en 5

Van theorie naar variabelen

Deductie: van algemene theorie doe je een specifieke afleiding.

Nomologie: wetmatigheid

Syllogisme: logische afleiding, redenering. Voorbeeld van een syllogisme:

Alle mensen zijn sterfelijk ⇒ algemene uitspraak

Ik ben een mens ⇒ aanname, assumptie

Dus

Ik ben sterfelijk ⇒ voorspelling, conclusie

Alle appels rotten (na verloop van x weken, bij kamertemperatuur) ⇒ wetmatigheid

Rottende appels stinken ⇒ wetmatigheid

In deze doos zit een appel ⇒ aanname

Dus

Deze doos gaat stinken (na verloop van x weken, bij kamertemperatuur) ⇒ voorspelling, conclusie

Als de doos niet gaat stinken, is er waarschijnlijk een fout in het onderzoek gemaakt (de doos met de appel in de vriezer gezet), want met wetmatigheden zal niet zomaar iets mis zijn.

Theorie als grafisch model

Een model is een schematische weergave van de werkelijkheid. Het geeft de belangrijkste (onafhankelijke en afhankelijke) variabelen weer. De relaties tussen variabelen wordt aangegeven met pijlen. In een conceptueel model worden verwachtingen van een onderzoek weergegeven. Hierin staan ook weer de relevante variabelen, de verwachte verbanden tussen variabelen, en de verwachte richting en sterkte van die verbanden. Een onderzoeksmodel maak je na het onderzoek, want hierin staan de empirische resultaten en dus de vastgestelde (positieve of negatieve) verbanden tussen variabelen.

Model opstellen van bestaand onderzoek

Als je een onderzoeksmodel op moet stellen, ga je eerst na welke variabelen er zijn in je theorie, vraagstelling, methode- en resultaten-sectie zijn. Ga ook na of ze afhankelijk of onafhankelijk zijn. Dan stel je de verbanden vast: zijn ze symmetrisch of asymmetrisch, positief of negatief, en direct, indirect of modererend (van invloed op het directe effect van een ander)? Dan teken je het model: geef met pijlen de verbanden en de richtingen van het verband aan en vermeld eventueel de relatieve sterkte. Er kan in een model ook sprake zijn van een intermediërende variabele: wanneer het verband tussen twee variabelen via een derde (de intermediërende) variabele loopt.

Bouwstenen in (sociaal-)wetenschappelijke uitspraken:

De onderzoekseenheden zijn alle subjecten/objecten waar iets over gezegd wordt, bijvoorbeeld mensen, organisaties, kranten, landen, programma’s etc. Variabelen zijn de kenmerken van onderzoekseenheden, bijvoorbeeld leeftijd, geslacht, opleiding, productwaardering etc. Variabelen kunnen variëren per onderzoekseenheid. Een constante is een variabele die niet kan variëren. Constanten zijn voor onderzoek meestal niet interessant, want die kunnen geen verschil in gedrag verklaren tussen onderzoekseenheden. De waarden zijn de mogelijke categorieën per kenmerk (variabele), bijvoorbeeld 0-99 jaar, man-vrouw, laag-hoog/lagere school-universiteit. De waarden observeer je in een onderzoek.

Variabelen beschrijven: meetniveaus

• Nominaal: onderscheid tussen categorieën. Bijv. godsdienst, haarkleur.

• Ordinaal: onderscheid tussen categorieën, rangordening. Bijv. top 5 favoriete eten.

• Interval: onderscheid tussen categorieën, rangordening, betekenisvolle intervallen (intervallen zijn gelijk van grootte). Bijv. geboortejaar, temperatuur in graden Celsius.

• Ratio: onderscheid tussen categorieën, rangordening, betekenisvolle intervallen, absoluut nulpunt. Bijv. leeftijd, lengte.

Enkelvoudige of samengestelde uitspraken:

Bij een univariate analyse is er één variabele, bij een bivariate analyse twee variabelen en bij een multivariate analyse zijn er meer dan twee variabelen.

Methodologische regels voor uitspraken toetsen

Als je een theorie toetst, moet deze theorie ook daadwerkelijk toetsbaar en dus empirisch vast te stellen zijn. Bij een toetsing kan je doel falsificatie (een hypothese uitsluiten/weerleggen) of verificatie (vaststellen dat een hypothese waar is) zijn. Falsificatie is makkelijker, want het is lastig en veel werk om een uitspraak te doen die algemeen is en dus voor alle situaties moet kloppen (als je alle gevallen ter wereld onderzoekt, moet deze hypothese dan kloppen). Uitspraken die niet toetsbaar zijn, zijn speculatieve uitspraken (spoken bestaan, er is een god), normatieve uitspraken (zijn voor iedereen anders, bijv. men moet met mes en vork eten) en definities (werklozen zijn mensen zonder werk). Bij het doen van methodologische uitspraken is explicitering (heel concreet en precies in woorden brengen) belangrijk, want methodologische uitspraken moeten door iedereen hetzelfde geïnterpreteerd worden. De informativiteit van een uitspraak wordt hoger als de uitspraak algemener is in toepassing, explicieter is in effect en er meer falsificatoren in zitten (want meer dingen kunnen uitgesloten worden).

Bij definities mag het begrip zelf niet in de omschrijving voorkomen. De beschrijving moet alomvattend zijn en uitsluiten wat niet onder het begrip valt. Ook moet de beschrijving zo mogelijk aansluiten bij gangbare omschrijvingen en mag het geen normatief karakter hebben.

Operationaliseren: van het begrip een meetbare variabele maken

Expliciteren betekent dat concepten en begrippen expliciet (heel precies en concreet) omschreven worden. De repliceerbaarheid is de mate waarin een onderzoek opnieuw uitgevoerd kan worden volgens dezelfde ‘regels’. We beschrijven heel concreet hoe we een variabele gaan meten voor een goede repliceerbaarheid. Bij begrippen kan er een verschil zijn tussen het begrip als bedoeld (de theoretische omschrijving door de onderzoeker) en het begrip als bepaald (hoe het begrip uiteindelijk praktisch gemeten wordt in het onderzoek). Het begrip als bepaald is vaak wat kleiner dan het begrip als bedoeld, want het is lastig de volledige betekenis van een begrip te meten in onderzoek.

Betrouwbaarheid en validiteit bij het meten

Betrouwbaarheid van de meting: vrij van toevallige fouten (meerdere keren de lengte van een persoon willen meten maar hem steeds verschillende schoenen laten dragen).

Validiteit van de meting: vrij van systematische fouten (iemand op de weegschaal zetten om zijn lengte te meten). Een meting gebaseerd op de uitspraken van iemand die altijd liegt is wel betrouwbaar (liegt altijd, dus altijd dezelfde meting), maar niet valide (de uitspraken van diegene kloppen niet). Als iets niet betrouwbaar is, kan het ook niet valide zijn.

De betrouwbaarheid van een meetinstrument wordt altijd uitgedrukt in een getal: een betrouwbaarheidscoëfficiënt. Je kunt de betrouwbaarheid o.a. meten door een test-hertest: hierbij meet je twee keer en kijk je of de antwoorden overeenkomen. Bij twee keer hetzelfde antwoord kan de meting wel betrouwbaar zijn, maar het zegt niets over de validiteit (het antwoord kan ook twee keer fout gegeven zijn). Bij de interobservator-betrouwbaarheidsmaat kijk je naar de stabiliteit van meerdere metingen bij hetzelfde persoon. Bij de intercodeur-betrouwbaarheidsmaat bekijk je de stabiliteit van meerdere metingen bij verschillende personen. Bij een paralleltest meet je de betrouwbaarheid door op verschillende manieren naar hetzelfde antwoord te vragen: bijvoorbeeld zowel iemands leeftijd als geboortejaar.

Meetvaliditeit gaat over of het onderzoek meet wat je wilt meten. Als proefpersonen zich ervan bewust zijn dat hun gedrag geregistreerd wordt, kunnen ze hierdoor bewust of onbewust anders reageren. Dit kan komen door hun sociale wenselijkheid (ze willen graag reageren zoals de onderzoeker dat waarschijnlijk wilt/verwacht), ze kunnen gedrag vertonen dat alleen door dit onderzoek zo uitgelokt worden en ze normaal niet zouden vertonen of ze hebben een persoonlijke reactie op de interviewer of proefleider die hun gedrag beïnvloedt. Beïnvloedde reactiviteit komt de validiteit niet ten goede. De externe validiteit gaat over of de bevindingen te generaliseren zijn (je wilt dat je steekproef representatief is voor hele bevolking). De interne validiteit gaat over of de conclusies van het onderzoek correct zijn (alternatieve verklaringen uitgesloten) Betrouwbaarheid kun je meten/berekenen, validiteit niet; die moet je beargumenteren.

Voor de inhoudsvaliditeit is het beschrijven van de operationalisatie belangrijk, zodat anderen kunnen beoordelen hoe je validiteit is. Voor de soortgenootvaliditeit kijk je naar de vergelijkbaarheid van jouw meting met een bestaande of alternatieve meting. Zo kun je het meten van de lengte van een persoon kijken of deze in verhouding staat tot de schoenmaat). Voor de construct-of begripsvaliditeit kijk je naar de theoretische samenhang met andere begrippen, bijvoorbeeld: mensen die langer zijn, zullen ook hoger kunnen springen.

Hoorcollege 4A

Literatuur zoeken en literatuur onderzoeken

Het hele onderzoek kan gebouwd zijn op literatuur, maar literatuur kan ook gebruikt worden om een onderzoek voor te bereiden. De literatuur kan verschillende rollen hebben in een onderzoek. Iets dat je leest kan ervoor zorgen dat je jezelf iets afvraagt en zo de inspiratie zijn voor een onderzoeksvraag. Je hebt literatuur ook nodig voor de start van je onderzoek: van tevoren kijk je in bestaande literatuur naar wat er al onderzocht is over het onderwerp en wat voor onderzoeksmethoden er al zijn gebruikt. Je kunt het als basis gebruiken om een theorie op te bouwen en je onderzoek af te bakenen. Als er al bestaand onderzoek is, beoordelen wat er al gedaan is en welke methoden wel of niet werkten. Zo kun je verder bouwen op bestaand onderzoek en rekening houden met het eventuele wetenschappelijk debat over het onderwerp. Ook voor de operationalisatie van de concepten die je gebruikt is het handig om te kijken wat andere onderzoekers al over die concepten gepubliceerd hebben.

Bij een desk research wordt literatuur gebruikt om de onderzoeksvraag mee te beantwoorden: je bouwt het hele onderzoek dan op bestaande wetenschappelijke literatuur (boeken, artikelen etc.) Grijze literatuur kun je ook gebruiken voor je onderzoek: dit is literatuur over wetenschappelijk onderzoek dat nog niet officieel gepubliceerd is (work in progress). Wetenschappelijk onderzoek duurt vaak heel lang, en voordat de resultaten officieel naar het publiek worden gebracht, publiceert de onderzoeker eerst over de eerste opzet of vorderingen van het onderzoek en geeft presentaties op wetenschappelijke conferenties. Deze grijze literatuur kan evengoed al gebruikt worden voordat het officieel is gepubliceerd. Ook publicaties met niet-wetenschappelijk doel zoals overheidsrapporten en artikelen van onderzoeksinstellingen (SCP, CBS, Wereldbank) kun je gebruiken.

Bij een review article wordt een overzicht gegeven van de wetenschappelijke kennis en literatuur die er op een specifiek onderzoeksgebied is. Hierbij beschrijf je dus wat er al gepubliceerd is over dat onderwerp en welke discussies er al over zijn geweest. Deze publicaties analyseer en beoordeel je. Je kijkt hierbij naar de sterke en zwakke kanten van de verschillende onderzoeken, de verschillen en overeenkomsten die onderzoeken hebben op gebied van methoden en resultaten, de discussiepunten en suggesties voor verder onderzoek die gegeven kunnen worden en de mogelijke verklaringen voor de verschillen of tegenstrijdige uitkomsten van onderzoeken (dit kan te maken hebben met verschillende manieren van onderzoeken: bijvoorbeeld experiment of vragenlijst). Het maken van een review article is een goede basis voor een eigen onderzoek, handig voor andere onderzoekers en je krijgt veel referenties.

Bij een meta-analyse worden bestaande onderzoeksuitkomsten uit de literatuur geanalyseerd en worden die analyses gebruikt om daar een eigen conclusie uit te trekken. De bestaande literatuur wordt dus niet slechts samengevat, maar de uitkomsten ervan worden opnieuw geanalyseerd en vergeleken. Dit is een kwantitatieve analyse. De opzet van het onderzoek is vergelijkbaar met ‘normaal’ empirisch onderzoek.

• Bij een meta-analyse selecteer je bestaande studies op een objectieve, traceerbare manier: je moet duidelijk maken welke onderzoeken gebruikt zijn en waarom juist deze. In literatuur-databases kun je met steekwoorden onderzoeken zoeken.

• Bepaal welke effecten je kunt vergelijken. Onderzoekers kunnen verschillende onderzoeksmethoden hebben gebruikt. Voor een meta-analyse moet je bepalen of je alleen studies met dezelfde onderzoeksmethode gebruikt of niet. Verschillende methoden kunnen namelijk voor verschillende uitkomsten zorgen.

• Om de resultaten van verschillende onderzoeken zoals die gerapporteerd worden in de artikelen vergelijkbaar te maken, moet je ze coderen. Je wilt alles in een vergelijkbare dataset zetten. Hierbij let je dus op de onderzoeksopzet, het aantal respondenten, de uitkomsten etc.

• Voer een analyse uit en presenteer de uitkomsten en bevindingen.

Literatuur:

Bij journalistieke publicaties (kranten, tijdschriften, radio, televisie) wordt vaak de bron niet vrijgegeven. Zonder bron weet je niet in hoeverre de publicatie accuraat, volledig, vooringenomen (of de journalist/krant een plan ermee had) of opzettelijk gekleurd is. Deze publicaties zijn dus moeilijk te controleren en niet bruikbaar voor feitelijke informatie. Ze zijn wel bruikbaar als indicatie van het publieke debat (onderwerpen die men belangrijk vindt in de maatschappij) en ze hebben een signaalfunctie van maatschappelijke problemen (er wordt zo veel over geschreven, misschien moeten we eens onderzoeken of het echt zo is ⇒ inspiratie voor onderzoek).

Internetsites met informatie moet je zelf beoordelen: let op de achtergrond van de website/auteur, de artikelen die verder op de site staan, het doel van de website, of de website van een officiële instantie of organisatie is etc. Sites van universiteiten in Amerika kun je herkennen aan .EDU op het einde, sites van universiteiten in Engeland aan .AC.UK op het einde.

Wetenschappelijke publicaties zijn goed bruikbaar voor een onderzoek: bijvoorbeeld boeken, tijdschriften en artikelen van wetenschappelijke instanties of semiwetenschappelijke instanties (onderzoeksbureaus die geen wetenschappelijk doel hebben, maar wel op maatschappelijk niveau onderzoek doen).

Alle literatuur is bruikbaar, maar niet voor ieder doel. De literatuur moet voldoen aan de wetenschappelijke regels (openbaar; controleerbaar, objectief; repliceerbaar).

Wetenschappelijke publicaties (boeken, tijdschriften, artikelen) die door een peer review systeem zijn gegaan (onderlinge artikelen op kwaliteit beoordelen. Onderzoekers uit hetzelfde veld beoordelen een onderzoek). ⇒ dus kwaliteitscontrole. (Semi-)wetenschappelijke instanties zoals universiteiten, overheidsinstellingen en onderzoeksbureaus staan ook bekend om hun hoge wetenschappelijke kwaliteit, kun je ook gebruiken. Grijze literatuur is ook een bron (zie pp).

Stappenplan literatuur zoeken:

1. Oriënteer je op je onderwerp (concreet onderwerp en onderzoeksvraag)

2. Formuleer de vragen (welke vragen wil je met literatuur kunnen beantwoorden?)

3. Formuleer zoektermen die je vragen dekken. Dit kunnen zowel Nederlandse als Engelse zoektermen zijn, maar in het Engels krijg je vaak meer uitkomsten en je onderzoek bevat dan meer internationale informatie.

4. Bepaal je zoekstrategie: welke informatie heb je nodig en waar kun je die vinden?

5. Documenteer je zoekproces systematisch: ook je zoekproces naar informatie moet openbaar en repliceerbaar (te herhalen door andere onderzoekers) zijn. Andere onderzoekers kunnen dan precies controleren wat jij hebt opgezocht en wat zij misschien nog aan informatie bij moeten zoeken.

Bij je onderwerp stel je algemene zoektermen op, die voer je dan gecombineerd in en dan krijg je artikelen die je zoektermen dekken. Zo krijg je specifiekere artikelen die bij jouw onderwerp passen in plaats van heel veel artikelen die bij je losse zoektermen passen. Synthese: het samenvoegen van zoektermen tot één zoekterm

Bij ‘footnote chasing’ kijk je naar de cited references (de gebruikte referenties van het artikel): je kijkt naar welke informatie voor dit artikel gebruikt is door middel van de referenties, zodat je die informatie kan gebruiken voor je eigen onderzoek. Bij ‘snowballing’ kijk je wie het artikel nog meer gelezen hebben en of ze het voor een eigen onderzoek gebruiken. Hun onderzoeken kan je dan misschien ook gebruiken.

Via UvA RefWorks heb je toegang tot gratis literatuur. Je kunt je gevonden referenties bewaren en er opmerkingen/aantekeningen aan toevoegen. Je kan ook referenties automatisch in je eigen tekst invoegen.

Hoorcollege 6A

Hoofdstuk 9: Inhoudsanalyse

Als je slechts een paar personen als onderzoekseenheden wilt onderzoeken, kun je kiezen voor een diepte-interview. Bij veel personen als onderzoekseenheden kun je een vragenlijst afnemen. Als je artikelen wilt onderzoeken, kan een inhoudsanalyse worden gedaan. Een inhoudsanalyse is het bestuderen van bestaande uitingen (onderzoekseenheden) via het coderen van die uitingen. Bij surveys bestudeer je de kenmerken of de meningen van je onderzoekseenheden via ondervragingen. Bij een experiment kan de onderzoeker de omstandigheden van de onderzoekseenheden manipuleren. Vervolgens bestudeer je het gevolg van die manipulatie door de onderzoekseenheden te observeren en te ondervragen. Hierbij heeft de onderzoeker dus veel controle. Bij kwalitatief onderzoek proberen onderzoekers de denkwijze of motivatie van onderzoekseenheden te doorgronden via (participerende) observatie, diepte-interviews of groepsgesprek. De onderzoeker wilt deel worden van de belevingswereld van de onderzoekseenheden.

Een inhoudsanalyse is het bestuderen van bestaande uitingen (onderzoekseenheden) via het coderen van die uitingen. Onder bestaande uitingen vallen tv-programma’s, films, muziekclips, kranten, tijdschriften, boeken, radioprogramma’s, gesprekken, liedjes etc. Onderzoeken over bestaande uitingen kunnen ook heel makkelijk herhaald worden, omdat deze onderzoekseenheden over de tijd niet veranderen. Bij coderen proberen we de eigenschappen van die uiting objectief te karakteriseren. Bij een kwantitatieve inhoudsanalyse gaat het om een objectieve, systematische codering. Bij een kwalitatieve inhoudsanalyse gaat het meer om een interpretatieve codering.

Ook uitgelokte uitingen kunnen we proberen te analyseren, zoals verslagen van diepte-interviews of antwoorden op open vragen in enquêtes. Bij non-reactief onderzoek (unobtrusive measure) gaat het erom dat de onderzoekseenheden niet weten dat ze geobserveerd worden. Hierdoor kunnen ze niet anders gaan reageren dan dat ze normaal zouden doen. Er is dus geen sprake van reactiviteit, zoals bij reactief onderzoek zoals het stellen van vragen aan onderzoekseenheden. De objectiviteit en validiteit zijn hierdoor beter.

Stappenplan van een inhoudsanalyse: Je begint bij de probleemformulering, dus met een doel- en vraagstelling. Vervolgens ga je operationaliseren: variabelen bepalen en een codeboek maken. Dan ga je bepalen welke populatie je gaat onderzoeken en wat voor steekproef je daar voor vaststelt. Vervolgens bepaal je hoe je gaat coderen en bereken je de betrouwbaarheid van het coderen. Ten slotte analyseer je je onderzoekseenheden en maak je een rapportage. Op je probleemformulering baseer je dus je strategiekeuze, waarna je je inhoudsanalyse doet. Je doet alleen een inhoudsanalyse als het in je onderzoek gaat om de inhoud van de onderzoekseenheden.

Bij het bepalen van je variabelen kun je kiezen voor manifest vaststellen of latent vaststellen. Onder manifest vaststellen vallen variabelen als lengte (aantal woorden, kolomcentimeters, aantal seconden), positie (voorpagina, binnenpagina, foto’s, eerste item, later item, wel/niet beeld). Bij een acteur in een serie kun je bekijken hoeveel seconden de acteur in beeld is, of hij wel/niet in beeld is, parafraseren of citeren. Bij latent vaststellen kijk je of de inhoud positief, negatief of neutraal is, of een acteur een leidende rol of een volgende rol heeft, of het een sympathiek of onsympathiek karakter is. Latent vaststellen is minder eenduidig dan manifest vaststellen. Manifeste variabelen zijn erg objectief en betrouwbaar te meten. Bij latente variabelen gaat het veel meer om interpretatie van de resultaten, dus kunnen die meer variëren. Hogere orde variabelen zijn variabelen die we niet meteen kunnen bekijken maar die we vaststellen aan de hand van een aantal andere variabelen die we meten. Dit noemen we aggregeren.

Variabelen moet worden beschreven met behulp van een codeboek en een codeerschema. Hierin geven we heel duidelijk aan wat we gaan onderzoeken, hoe we dat gaan doen en hoe we de gegevens gaan categoriseren. Dit zodat het onderzoek goed te repliceren is. Een codeboek is een verzameling van de codeervoorschriften die de onderzoeker voor zijn onderzoek heeft opgesteld. Voor een objectief onderzoek is het belangrijk om zoveel mogelijk een eenduidig codeerschema op te stellen. Hoe beter je een beschrijving maakt van wat wel en wat niet onder jouw begrippen vallen, hoe eenduidiger het codeerschema is. Dit maakt de validiteit van je codeerschema hoger. Als meerdere codeurs de gegevens analyseren, is het beter vast te stellen of het codeerschema eenduidig/objectief is. Ook kan er op meerdere momenten gecodeerd worden. Door de verschillende codeurs en codeermomenten te vergelijken, kan de betrouwbaarheid van het codeerschema vastgesteld worden.

Bij eenduidige variabelen is er geen overlap tussen concepten/dimensies. Je hebt het niet over ‘een oude vrouw’, maar over de variabelen geslacht en leeftijdsgroep. Binnen de variabelen moeten er ook eenduidige categorieën zijn. Uitputtend betekent dat alle mogelijke categorieën opgenomen worden. Categorieën moeten elkaar uitsluiten, zodat gegevens niet in meerdere categorieën te plaatsen zijn. Duidelijke instructies voor de codering zijn erg belangrijk. Het codeerschema + de codeerinstructies is samen het codeboek. Met een pilot test probeer je je codeerschema vooraf uit. Hierdoor kun je vaststellen of je codeerschema nog veranderd moet worden. Dit kan niet meer veranderd worden tijdens het onderzoek, omdat binnen het onderzoek gegevens anders misschien op verschillende manieren gecodeerd worden. Dit gaat ten koste van de validiteit van het onderzoek.

Bij meerdere codeurs kijk je naar of iedereen hetzelfde codeert. Dit noemen we de intercodeursbetrouwbaarheid en gaat over de consistentie tussen meerdere codeurs. Bij meerdere codeermomenten kijk je naar of je nu hetzelfde codeert als aan het einde van het onderzoek. Dit noem je de intracodeurbetrouwbaarheid en gaat over de consistentie over de tijd. Als meerdere codeurs de gegevens coderen, kun je sneller coderen, dwingt het je tot objectieve documentatie en is de codering minder gevoelig voor subjectieve interpretatie. Het nadeel van meerdere codeurs is dat er meer kosten aan verbonden zijn, omdat ze bijvoorbeeld meer training nodig hebben. Krippendorff’s Alpha (de beste) en de Cohen’s Kappa zijn manieren om de betrouwbaarheid te berekenen (leren we bij BS).

Bij het coderen kan de betrouwbaarheid ten koste gaan van validiteit. Bij meer categorieën kun je beter classificeren, maar bij minder categorieën is het makkelijker eenduidiger te categoriseren bij meerdere codeurs. Meer categorieën is dus meer valide, maar minder categorieën is meer betrouwbaar.

Alle onderzoekseenheden bij elkaar vormen de populatie of de universum die we willen gaan onderzoeken. De onderzoeker bepaalt hoe groot de groep is waarover hij uitspraken wilt doen en wat wel en niet onder die populatie valt. De hele populatie onderzoeken is vaak niet mogelijk en vaak ook niet nodig, daarom trekken we een steekproef van de populatie.

Een enkelvoudige aselecte steekproef is een toevalssteekproef uit alle onderzoekseenheden. Bij een gestratificeerde steekproef kijk je bijvoorbeeld naar de relatieve oplage van kranten en baseer je daar je steekproef op. Als 40% van de bevolking de Telegraaf leest, bestaat 40% van je steekproef ook uit Telegraaflezers. Bij een cluster steekproef kijk je bijvoorbeeld alleen naar alle artikelen van de voorpagina en pagina 5 van een krant. Bij een systematische steekproef zit er een systeem in je steekproef. Je kunt alle soorten steekproeven ook combineren, bijvoorbeeld een gestratificeerde systematische clustersteekproef.

Hoorcollege 7A

Hoofdstuk 7: Survey

Een survey is een dataverzamelingsmethode waarbij het gaat om het stellen van vragen. Bij een vragenlijst is er een grote mate van standaardisatie. Bij deze manier van informatie verzamelen wordt er niet gemanipuleerd, maar direct gegevens gevraagd. Dit is dus in tegenstelling tot een experiment, waarbij variabelen wel worden gemanipuleerd. Een vragenlijst kan gebruikt worden bij grote aantallen respondenten. Een survey is geschikt voor het meten van kenmerken van personen, gedrag en meningen (deze kun je ook onderling koppelen).

De eerste stap bij het uitvoeren van een enquête (het daadwerkelijke instrument bij het gebruiken van een vragenlijst) is het opstellen van een onderzoeksvraag. Je moet kiezen of je een enquête eenmalig of meerdere malen afneemt en of je dat mondeling of schriftelijk doet. Je moet de populatie bepalen en daaruit een steekproef trekken. Dan stel je een vragenlijst op, waarmee je verwacht dat je met de antwoorden je onderzoeksvraag kunt beantwoorden. Die vragenlijst voer je uit, en van de antwoorden maak je een analyse en een rapportage.

Op basis van de probleemformulering wordt een strategiekeuze (experiment, inhoudsanalyse of survey) bepaald. Experimenten geven het beste resultaat bij causale vraagstellingen, maar zijn niet altijd mogelijk. Surveys zijn hiervoor minder geschikt, omdat andere variabelen ook een rol kunnen spelen op de gemeten variabelen.

Een cross-section is een survey met een eenmalig meetmoment. Hierbij wordt met een vragenlijst een groep respondenten eenmalig ondervraagt. Er kunnen zo kenmerken en verbanden op individueel en geaggregeerd (gebundeld) niveau gemeten worden. Men kan ook een longitudinaal onderzoek uitvoeren. Hierbij worden meetmomenten herhaald. Dit wordt een trendsurvey genoemd. Je kunt longitudinaal onderzoek ook dezelfde vragen bij andere respondenten gebruiken. Zo meet je veranderingen op geaggregeerd niveau. Tenslotte kan men een panelsurvey gebruiken, waarbij dezelfde of andere vragen aan dezelfde groep respondenten gesteld worden. Zo kun je veranderingen op individueel niveau en geaggregeerd niveau meten. Panelsurveys zijn sterker voor de interne validiteit dan cross-sectionsurveys of longitudinale surveys. Er is ook een nadeel: sommige mensen die je de eerste keer onderzocht hebt, zijn nu niet meer bereikbaar voor onderzoek.

Er zijn verschillende manieren voor de afname van de enquêtes. Dit kan met een interviewer of zonder interviewer. Met een interviewer maken we nog onderscheid tussen persoonlijk contact of telefonisch contact. Zonder interviewer kan een survey schriftelijk zijn of via email of internet. Bij het vragen naar persoonlijke gegevens kan beter een survey zonder interviewer gebruikt worden, omdat mensen dan eerder eerlijk antwoord durven te geven. Bij een vragenlijst met veel ingewikkelde vragen, kan beter wel een interviewer gebruikt worden, omdat deze dan de vragen uit kan leggen. Ook zullen mensen waarschijnlijk eerder bereid zijn mee te werken aan een enquête als er een interviewer voor de deur staat dan als ze een email krijgen. Aspecten die ook nog van invloed zijn op de verschillende vormen van afname is de respons, snelheid, kosten en complexiteit van de vragenlijst. Persoonlijk contact met een interviewer levert goede resultaten op, omdat men de interviewer niet snel zal wegsturen en er zo lange vragenlijsten afgenomen kunnen worden. Bij telefonisch contact is er minder respons, omdat mensen het vaak hinderlijk vinden om telefonisch geïnterviewd te worden. De resultaten via een schriftelijke interviewer zijn vaak matig en via email of web matig. Een persoonlijke enquête is langzaam, terwijl een telefonische enquête juist heel snel is. Een schriftelijke enquête is langzaam, terwijl een enquête via email of internet weer heel snel kan zijn. De kosten van persoonlijke en telefonische enquêtes zijn hoog, terwijl schriftelijke enquêtes via email of internet juist weinig geld kosten. Bij een complexe vragenlijst zijn de resultaten bij persoonlijk of telefonisch contact met een interviewer hoog, omdat de interviewer de vragen uit kan leggen. Bij een enquête via email of web is er ook veel ruimte om de vragen uit te leggen. Via een schriftelijke enquête is deze ruimte vaak beperkt, dus moet de complexiteit van de vragenlijst ook laag blijven.

Er zijn twee soorten vragen: open en gesloten vragen. Bij een open vraag worden er geen antwoordmogelijkheden gegeven. Dit omdat het aantal mogelijke antwoorden veel te groot is. Het kan ook zijn omdat de antwoorden te veel voor de hand liggen (bij geslacht of leeftijd). Het is dan niet nodig de antwoordmogelijkheden specifiek vast te stellen. Het voordeel van open vragen is dat je de respondent niet stuurt via de antwoordopties en ze zo helemaal zelf een antwoord moeten bedenken. Er is dus geen bias. Het nadeel is dat je alle antwoorden in categorieën moet indelen of vergelijkbaar moet maken. Het invoeren en coderen van de antwoorden is veel werk. Soms verduidelijken de antwoorden de vraag niet. Bij gesloten vragen worden zowel de vraag als de antwoordmogelijkheden gegeven. Dit betekent dat bij een persoonlijk gesprek de interviewer alle antwoorden moet voorlezen. Het voordeel van gesloten vragen is dat het makkelijk is voor de respondent en makkelijk voor de data-invoer van de antwoorden. De nadelen zijn dat de respondent mogelijk beïnvloed kan worden door de antwoordopties en dat bij telefonisch contact er maar een beperkt aantal antwoordopties gegeven kunnen worden. Antwoordmogelijkheden moeten uitputtend zijn: alle mogelijke antwoorden moeten ook als mogelijkheid gegeven worden, zodat het niet voorkomt dat een antwoord dat een respondent eigenlijk wilt geven er niet bij staat. Ook moeten de antwoordmogelijkheden uitsluitend zijn (mutually exclusive): mensen moeten niet meerdere antwoorden kunnen invullen als dat niet de bedoeling is.

Het taalgebruik van de vragen moet aansluiten bij de doelgroep, zodat de respondenten de vragen goed begrijpen en niet zomaar een antwoord geven. Er mogen ook geen dubbelzinnige vragen in de enquête voorkomen en alle begrippen moeten duidelijk gedefinieerd worden. Niet ‘jonge kinderen’ maar ‘kinderen onder de 10 jaar’. Double barreled questions moeten vermeden worden: dit zijn vragen waarin er twee dingen tegelijkertijd gevraagd worden. Bijvoorbeeld: ‘vindt u dat er teveel geweld en seks op televisie te zien is?’

Manifeste variabelen zijn ‘direct waarneembaar’, dit betekent dat ze niet snel voor meerdere uitleg vatbaar zijn. Bijvoorbeeld geslacht, leeftijd, opleiding of aantal kinderen. Latente variabelen zijn niet direct meetbaar en dus voor meerdere uitleg vatbaar. Hierbij gaat het meer op gevoelens, attitudes en meningen. De meting van latente variabelen is een (potentieel) probleem. De inhoud van het concept is niet zondermeer duidelijk: onderzoekers en respondenten kunnen concepten anders interpreteren. De meeteenheid van het begrip is soms ook niet duidelijk. Het concept kan ook meerdere aspecten omvatten, waardoor je in een enquête verschillende vragen moet stellen om het concept te meten.

In de sociale wetenschappen wordt vaak gebruik gemaakt van meetschalen. Door verschillende vragen voor verschillende aspecten van het begrip te gebruiken, kunnen meerdere aspecten van een complex begrip gemeten worden. Het voordeel hiervan is dat de meting hierdoor betrouwbaarder wordt. Abstracte begrippen kunnen door meetschalen gekwantificeerd worden. Door begrippen te rangschikken op ‘meer – minder’ maak je ze ordinaal te meten. Door de begrippen een numerieke waarde te geven, kun je ze op interval/rationiveau meten. Als je een begrip op meerdere manieren meet, leidt de meting vaak tot een betrouwbaardere uitkomst.

Een meetschaal bevat meerdere vragen (items) om een latent construct te meten. Een antwoordenschaal bevat meerdere antwoordmogelijkheden voor een vraag. De schaal loopt bijvoorbeeld van 1 t/m 5, waarbij 1 voor ‘zeer mee oneens’ staat en 5 voor ‘zeer mee eens’.

Bij de Likertschaal worden stellingen gevolgd door antwoordopties (vaak oplopend van ‘geheel mee oneens’ tot ‘geheel mee eens’). Bij een Likertschaal worden altijd meerdere stellingen gegeven. Deze schaal wordt veel gebruikt in de sociale wetenschappen, omdat er snel veel aspecten mee gemeten kunnen worden. Je kunt namelijk dezelfde antwoordopties gebruiken voor verschillende stellingen. Ook is deze schaal geschikt voor meningen, gedrag en houdingen. Op basis van deze schaal kunnen we scores aan respondenten geven: hoog of laag, latent of manifest.

Semantic differential gebruiken we verschillende woorden of begrippen die het concept beschrijven. Semantisch betekent ‘woorden/betekenis’ en differentiaal ‘onderscheid’. Bij een semantische differentiaal worden er tegengestelde woorden gegeven waarbij de respondent moet aangeven bij welk woord zijn mening dichter in de buurt komt.

Bij inhoudsvaliditeit gaat het erom of je alles meet wat je meten wilt. Het weglaten van variabelen (vragen) bedreigt de inhoudsvaliditeit. Voor de betrouwbaarheid is het belangrijk dat de meting consistent is. Om dit te testen kun je meerdere vragen stellen om hetzelfde aspect te meten en dan te kijken of de antwoorden overeen komen. Dit noem je test/hertest en meet de stabiliteit. Ook gaat het erom of alle items hetzelfde latente construct meten. Hiervoor gebruik je een split-halftest: de antwoorden van de eerste helft van de vragen worden vergeleken met de antwoorden van de laatste helft van de vragen.

De populatie is de groep waarover je uitspraken wilt doen. Omdat je niet de hele populatie kunt meten, trek je een steekproef. De representativiteit van de steekproef is erg belangrijk om uitspraken te kunnen doen over de hele populatie. Eerst moet je de populatie definiëren en operationaliseren. Hierop baseer je je steekproefplan en selecteer je je onderzoekseenheden. Vervolgens maak je een selectie van je informaten.

Als je een steekproef compleet door toeval laat bepalen, moet een steekproef in principe representatief zijn. Een steekproefkader is een lijst met alle respondenten die je zou kunnen gebruiken. Hieruit trek je een steekproef. Een representatieve steekproef is een goede afspiegeling van de populatie in het geheel. Onderdekking is als een steekproef niet iedereen omvat die in de steekproef aanwezig hoort te zijn. Soms horen bepaalde mensen niet in een steekproefkader te zitten, maar zitten er (nog) wel. Dit noemen we overdekking.

Bij een enkelvoudige aselecte steekproef is de steekproef op willekeurige wijze uit alle eenheden van de populatie getrokken. Bij een gestratificeerde steekproef wordt de populatie ingedeeld in deelpopulaties (strata). Vervolgens wordt een aselecte keuze van een proportioneel aantal stratumleden uit elk stratum gemaakt. Hierdoor wordt de representativiteit gegarandeerd. Elk lid van elk stratum in de populatie heeft een berekende kans om in de steekproef te komen. Bij een clustersteekproef trek je groepen/clusters zoals straten, huishoudens en schoolklassen als primaire eenheden en ondervraag je alle leden van dat cluster. Als binnen de clusters niet iedereen ondervraagd worden, maar ook binnen de clusters nog een steekproef wordt getrokken, noem je dat een getrapte steekproef. Dit zijn allemaal kanssteekproeven.

In een quotasteekproef worden interviewers verspreid over het land ingezet en die interviewers kiezen zelf de respondenten, die aan bepaalde criteria moeten voldoen. Die criteria zijn bijvoorbeeld bepaalde combinaties van geslacht, leeftijd en welvaartscategorieën. Het verschil met een gestratificeerde steekproef is dat in de quotasteekproef de interviewers de steekproef selecteren, en daardoor is het niet bekend hoe groot de kans is om in de steekproef te worden betrokken. Een sneeuwbalsteekproef kan gebruikt worden als er geen goed steekproefkader is, zoals bij drugsgebruikers. De interviewer probeert in contact te komen met drugsgebruikers, en vraagt hen vervolgens een lijstje te maken van mensen die in dezelfde omstandigheden zitten. Daaruit kiest hij aselect mensen voor ondervraging. Er kan ook gekozen worden voor personen die sociaal het meest ver weg staan van de eerste ondervraagde, om mensen uit andere sociale netwerken te bereiken. Dit zijn beiden niet-kanssteekproeven.

Om te bepalen wat de grootte van je steekproef moet zijn, maakt het niet uit hoe groot de populatie is. Een bepaald aantal is doorgaans genoeg. De grootte van de steekproef maakt alleen uit als de populatie heel klein is. Als je veel deelpopulaties hebt die je wilt onderscheiden, moet je steekproef ook groter zijn. Bij een grotere steekproef kun je ook preciezere uitspraken doen over de populatie.

Non-respons onderscheiden we unit non-respons en. Unit non-respons betekent dat de geselecteerde respondent niet mee kant doen doordat diegene niet te bereiken is, de taal niet spreekt of niet mee wilt doen. De gevolgen daarvan is dat je vooraf een grotere steekproef moet trekken om te zorgen dat je uiteindelijk ook echt je ingestelde aantal respondenten hebt. Doordat sommige mensen niet geïnteresseerd zijn in een bepaald onderwerp, willen ze misschien niet mee doen aan het onderzoek. Hierdoor is de steekproef niet meer representatief, wat gevolgen heeft voor de externe validiteit. Vaak weet een onderzoeker niet helemaal zeker welke groepen niet bereikt worden. Om zo veel mogelijk groepen te bereiken, kunnen onderzoekers het simpelweg nog een keer proberen of interviewers inzetten of beter trainen. Item non-respons betekent dat bepaalde antwoorden van respondenten bij items missen, omdat de respondent bijvoorbeeld de vraag niet snapt of de vraag niet wilt beantwoorden (vraag te intiem, bedreigend of moeilijk). Voor de externe validiteit betekent dit dat deze minder wordt als de items non-respons samenhangen met de eigenschappen van het respondent. Om items non-respons tegen te gaan, kan de onderzoeken de vraag vooraf testen, de vraag anders stellen of de respondent het gevoel te geven dat diegene anoniem kan antwoorden.

De betrouwbaarheid van surveys proberen we te garanderen door standaardisatie toe te passen op de respondenten. Dit doen we door een uniforme manier van vragen stellen aan alle respondenten. Door alles op dezelfde manier te doen, krijg je een vergelijkbare meting. Panelstudies hebben vaak een betere interne validiteit dan cross-sectie, omdat we al gegevens hebben en deze kunnen vergelijken met latere antwoorden. De externe validiteit is goed als de steekproef representatief is voor de populatie.

Hoorcollege 9A

Hoofdstuk 8: Kwalitatief onderzoek

Bij kwalitatief onderzoek is het doel om meer inzicht te krijgen in de belevingen en de ervaringen van de onderzoekseenheden, alles wat in een persoon een rol speelt. De vragen gaan niet over hoeveel of hoe vaak iets voorkomt, maar hoe dingen ervaren worden door mensen. Er wordt gezocht naar variatie/verschillen in de ervaringen naar mensen, niet alleen naar hoe die overeenkomen. We willen een verschijnsel van binnenuit begrijpen.

Bij individuele interviews wil je inzicht verkrijgen in de beleving van de geïnterviewde. Hierbij wil je de beleving noteren in de woorden die diegene gebruikt. Bij semigestructureerde interviews zijn de onderwerpen wel gestructureerd. De interviewer bepaalt van te voren welke onderwerpen besproken worden, maar geeft vervolgens ruimte aan de geïnterviewde om binnen die onderwerpen zijn verhaal te doen. Hierbij wordt er dus vastgehouden aan een interview-guide/topic-list: een lijst van onderwerpen die besproken moeten worden. LSD staat voor wat de interviewer tijdens het interview moet doen. L staat voor luisteren. Het is belangrijk aantekeningen te maken tijdens het interview, om te onthouden wat de geïnterviewde verteld heeft. S staat voor stilte, want de interviewer moet de geïnterviewde de ruimte geven om alles te vertellen wat diegene wilt. S kan ook staan voor samenvatten: de interviewer moet de rode draad uit het verhaal van de geïnterviewde kunnen halen. Als je het verhaal voor de geïnterviewde samengevat herhaald, kan deze misschien nog meer dingen bedenken die diegene er nog bij wilt vertellen. D staat voor doorvragen. De interviewer moet per onderwerp doorvragen op wat de geïnterviewde vertelt, om genoeg informatie te krijgen om aan het doel van de vraag te voldoen. Een antwoord moet volledig, duidelijk, valide (werkelijkheidsgetrouw) en relevant zijn.

Als je een groepsinterview houdt, moet je daar een doel bij hebben. Je wilt iets onderzoeken van de interactie in die groep. Bij een interview bij een focusgroep zie je ter plekke de sociale relaties tussen de personen. Je hebt hierbij wel minder diepgang per persoon, maar je ziet beter de sociale samenhang in de groep. Dit kan nuttig zijn voor sommige onderwerpen. Een focusgroep kan bijvoorbeeld een vriendengroep zijn. Het aantal personen in een focusgroep kan oplopen tot 8 personen.

Bij participerende observatie doet de onderzoeker actief mee in het onderzoek. Door de observeren krijg je inzicht in gedrag, routines en cultuur. De nadruk ligt meer op groepsniveau dan op individueel niveau. Je krijgt minder inzicht in de individuele beleving van personen. Daarom wordt participerende observatie vaak gecombineerd met interviews.

Het onderzoeksproces bij kwalitatief onderzoek moet open zijn. Er is veel ruimte voor de geïnterviewde. Kwalitatief onderzoek gaat om theorieontwikkeling, niet om theorie-toetsing. Het proces is flexibel: je kunt tussentijds je interviewguide aanpassen op basis van eerdere interviews. Misschien merk je tijdens een interview wel dat je toch ook naar andere onderwerpen moet vragen, of dat bepaalde onderwerpen niet relevant zijn. Je kunt dan de onderwerpen in je interviewguide aanpassen. De resultaten uit je dataverzameling analyseer je. Uit de reflectie daarop bepaal je wat je moet veranderen aan je onderzoek. Zo blijft de cyclus dus maar doorlopen. Ook bij kwalitatief onderzoek begin je met het bestuderen van bestaande literatuur. Attenderende/richtinggevende begrippen zijn begrippen die richting geven aan waar de onderzoeker in het interview naar gaat vragen en in de analyse op moet letten. Deze begrippen kunnen in het interview ingevuld worden en ontwikkeld worden in het interview.

Voor steekproeven bij kwalitatief onderzoek geldt ook weer dat ze open en flexibel staan. Als de onderzoeker mensen interviewt met een bepaalde mening, kan hij ook mensen gaan zoeken met een tegengestelde mening om te interviewen. Hierbij blijft de cyclus ook weer doorlopen. Bij een theoretische steekproef gaat het om het verkrijgen van kennis en een theorie ontwikkelen. Je selecteert dan mensen om te interviewen die kunnen helpen met het verkrijgen van deze kennis. De theoretische steekproef is dus gefundeerd in de data. Bij een doelgerichte steekproef worden mensen geselecteerd die representatief zijn voor het fenomeen dat onderzocht wordt.

Van de interviews maak je letterlijke transcripten, dus je legt letterlijk vast wat er is gezegd. Je haalt op een gestructureerde manier de belangrijkste punten uit wat er in de interviews is gezegd. Bij participerende observatie maak je aantekeningen van wat je hebt gezien. Je analysemateriaal is dus altijd tekst.

Bij kwalitatief onderzoek kan niet voldaan worden aan de richtlijnen van betrouwbaarheid. Er is geen sprake van repliceerbaarheid, want er is geen standaardisatie: je stelt de vragen niet bij iedereen op dezelfde manier. Bij kwalitatief onderzoek kan de betrouwbaarheid toch worden verhoogd als de stappen van de onderzoeker navolgbaar zijn. Die stappen moeten precies worden vastgelegd. Voor de interne validiteit bij kwalitatief onderzoek is het belangrijk dat de uiteindelijke resultaten een correcte weergave geven van het fenomeen dat je onderzocht hebt. Membercheck: je vraagt aan de geïnterviewde of de manier waarop je het verhaal begrepen hebt klopt met hoe de geïnterviewde het heeft bedoeld. Voor de externe validiteit is het belangrijk dat de bevindingen van een fenomeen overdraagbaar/toepasbaar zijn op andere omstandigheden.

Hoorcollege 10A

Experimenteel onderzoek – deel 2

Bij een experiment heeft de onderzoeker totale controle over wat er gebeurd. De onderzoekers manipuleren wat er gaande is in het experiment en bepalen welke groep een stimulus krijgt en welke niet. We verwachten dat er bij de groep die een stimulus ontvangt een effect optreedt, en dat er bij de groep die geen stimulus ontvangt geen effect optreedt. Vaak wordt er een voor- en nameting gedaan. Er kunnen ook meerdere meetmomenten voor en na de manipulatie zijn. Er is vaak een experimentele groep en een controlegroep. Bij de manipulatiecheck wordt gekeken of de manipulatie goed is uitgevoerd.

Bij de resultaten willen we alternatieve verklaringen uitsluiten. Alleen de manipulatie mag effect hebben op de groep: X moet tot Y leiden. De interne validiteit houdt in of de conclusie terecht is: is het effect dat optreedt inderdaad alleen toe te schrijven aan de manipulatie? Zijn er dus geen alternatieve verklaringen? Bij de groepssamenstelling letten onderzoekers er daarom op dat de experimentele groep en de controlegroep vrijwel gelijk zijn. Individuen zijn nooit 100% gelijk. Hierdoor zullen de groepen gemiddeld genomen gelijk zijn. Als de groepen gelijk zijn, verwachten we gelijke uitkomsten bij een voormeting.

Als de onderzoeker invloed heeft op de samenstelling, noemen we dat bias. Dit willen we niet, want dan gaat de interne validiteit omlaag: we weten niet zeker meer of effect toe te schrijven is aan manipulatie of aan bias. Interne validiteit is gebouwd op het random toewijzen van proefpersonen aan een groep, niet op het selecteren van de proefpersonen zelf. Random toewijzing moet leiden tot gelijke groepen. Als groepen op sommige individuele vooraf bepaalde kenmerken aan elkaar gelijk worden gemaakt, noemen we dit matching. Hierin onderscheiden we globale matching en precisiematching. Bij precisiematching worden paren van proefpersonen met dezelfde kenmerken gemaakt. Per paar wordt dan het ene persoon in de experimentele conditie en het andere persoon in de controleconditie geplaatst. Bij globale matching wordt ervoor gezorgd dat de groepen op bepaalde kenmerken ongeveer gelijk zijn.

Bij zuivere experimenten is er een aselecte toewijzing van proefpersonen aan condities. De onderzoek heeft volledige controle over welke respondenten in welke groep komen. Zuivere experimenten komen vaak in de volgende drie vormen voor. Bij de eerste vorm wordt er een voor- en nameting gedaan en er is een controlegroep. Als we een effect verwachten van een stimulus, verwachten we op meetmoment 2 bij de experimentele groep een andere meting dan op meetmoment 1. Bij meetmoment 2 bij de controlegroep verwachten we geen verandering in meting. Bij pretest-sensitisatie voelen de respondenten een effect alleen omdat de onderzoeker vraagt of ze het effect voelen. De respondenten gaan door de vraag erg nadenken over het effect, en denken dit dan te voelen. Dit kun je uitsluiten door geen voormeting te doen. Je kunt dan alleen geen voor- en nameting vergelijken en niet nagaan of de groepen gelijk zijn. Bij de tweede vorm van een zuiver experiment is er ook een controlegroep, maar alleen een nameting. Er is dus geen voormeting. De derde vorm is het vier-groepenontwerp van Solomon. Bij deze opzet worden alle mogelijkheden gecombineerd: er is zowel een experimentele groep met voor- en nameting, een controlegroep met voor- en nameting, een experimentele groep met alleen nameting en een controlegroep met alleen nameting. Bij een verschil tussen nameting bij de twee verschillende experimentele groepen, is er sprake van pre-testsensitisatie door de voormeting bij één van de groepen. Het Solomonontwerp kan veel informatie opleveren, maar is wel ingewikkelder en kost meer moeite en geld dan een simpele opzet.

Bij een quasi-experiment is er geen aselecte toewijzing van de proefpersonen aan condities. Hierbij heeft de onderzoeker dus geen volledige controle. Bij een quasi-experiment kan de onderzoeker wel een groep aan de experimentele conditie of de controlegroep toewijzen, maar geen individuen. Dit is het geval als bijvoorbeeld basisschoolklassen of werkgroepen onderzocht worden. Dit soort experiment is niet zo sterk als een zuiver experiment. Bij een pre-experiment is er geen controlemogelijkheid. Er is hier geen controlegroep OF geen controlemeting om de metingen mee te vergelijken. Een quasi-experimenteel gebruik je als je bestaande situaties wilt manipuleren. Er kan bij zo’n experiment ook geen controlegroep zijn, maar alleen meerdere metingen.

Bij een pre-experiment is er slechts een nameting na de stimulus. Er is óf geen voormeting óf geen controlegroep. Een mogelijkheid is dus dat er alleen een voor- en nameting is, maar geen controlegroep. Je kan ook wel controlegroep hebben, maar dan is er ook slechts een nameting. Je weet niet door gebrek aan een voormeting in dat geval niet of de twee groepen gelijk aan elkaar zijn. Dit experiment komt vaak voor als de stimulus al gebeurd is en onderzoekers maken dus gebruik van de situatie zoals die is.

Er zijn veel bedreigingen voor de interne validiteit. Bij een tussentijds extern voorval gebeurt er iets tussen de twee metingen in wat effect heeft op de respondenten. Hoe groter de tijd is tussen verschillende meetmomenten, hoe groter de kans dat er iets gebeurt. Rijping of groei houdt in dat mensen groeien tijdens het experiment en dat dit invloed heeft op hoe mensen reageren bij de nameting. Bij langdurende experimenten veranderen mensen dan van nature. Van een testeffect is sprake als een onderzoeker een proefpersoon een test voorlegt en dat persoon anders gaan reageren door alleen de test zelf (pre-testsensitisatie). Ook door de instrumentatie kan de interne validiteit bedreigd worden: een onbetrouwbare meetmethode veroorzaakt verschil in de voor- en nameting. Als een meting niet betrouwbaar is, is deze automatisch ook niet valide. Bij een bedreiging door selectie is de samenstelling van de groepen niet gelijk. Deze verschillen tussen de groepen veroorzaken dan het verschil in de afhankelijke variabele die gemeten wordt.

Verder kan de interne valide bedreigd worden door statistische regressie en plafond/vloereffecten. Dit wordt veroorzaakt doordat we niet helemaal consistent meten. Bij een plafond/vloereffect is het bereik van je meetinstrument onvoldoende aan de bovenkant of aan de onderkant. Stel dat de onderzoeker op een schaal van 1 tot 10 aan een aantal proefpersonen vraagt of zij hoofdpijn hebben, en deze personen scoren allemaal een 9 of 10. Vervolgens wil de onderzoeker een manipulatie uitvoeren die ervoor zou moeten zorgen dat de proefpersonen hoofdpijn krijgen. De proefpersonen scoorden al hoog en kunnen dus niet veel hoger op de meetschaal scoren. Hierdoor denkt de onderzoeker dat de manipulatie niet gewerkt heeft of geen effect heeft. Dit noemen we het plafondeffect. De omgekeerde situatie, als proefpersonen moeilijk nog lager kunnen scoren op de meetschaal, noemen we het vloereffect. De meetschaal moet dan veranderd worden.

Bij statistische regressie gaat het erom dat de meting nooit 100% betrouwbaar is. Soms scoort een proefpersoon bij de voormeting 5, en bij een tweede meting net iets hoger of lager, ook zonder stimulus. Dit geldt voor alle proefpersonen, dus komt dit gemiddeld wel goed uit. Als mensen heel hoog scoren bij de voormeting, kunnen ze niet door een inconsistentie nog veel hoger scoren bij de nameting, maar wel al snel iets lager. Als veel mensen een hoge score hebben bij de voormeting en dit dus bij veel mensen gebeurd, lijkt het alsof de proefpersonen lager scoren door een eventuele stimulus, terwijl dit gewoon door een inconsistentie in het meten is.

Uitval houdt in dat sommige mensen niet meer mee willen doen na de voormeting. De groepen zijn dan niet meer gelijk en dit kan de gemiddelde score veranderen. Van alle bovengenoemde bedreigingen voor de interne validiteit kan ook een combinatie voorkomen bij experimenten.

Bij een verspreiding van de ingreep heeft de manipulatie zich verspreid naar de controlegroep. Informatie van de experimentele groep wordt dan doorgespeeld aan de controlegroep, waardoor de controlegroep hoger scoort dan we verwachten dat ze zouden reageren zonder stimulus. Ook kan de controleconditie niet gelijkgemaakt zijn en dus niet neutraal zijn. Bij compenserende rivaliteit gaan de proefpersonen in de controlegroep extra hun best doen, omdat ze weten dat ze beoordeeld worden. Ze proberen dan net zo goed te zijn als de experimentele groep. Zij zouden niet extra hun best gaan doen als ze niet wisten dat ze beoordeeld worden door een onderzoeker.

Ook voor de externe validiteit zijn er bedreigingen. Zo kan de steekproef niet representatief zijn. Een onderzoeker heeft bijvoorbeeld alleen studenten geselecteerd, terwijl het onderzoek representatief moet zijn voor alle jongeren in Nederland. Bij een interactie tussen de voormeting en de experimentele stimulus gaan de proefpersonen anders reageren op de stimulus door de voormeting die bij ze afgenomen is (pre-testeffect). In de gewone wereld zal men wel stimuli ondergaan, maar geen voormeting die hen extra doet nadenken over de stimuli.. Hierdoor kunnen proefpersonen in een experiment anders reageren op de stimulus. Ook kunnen proefpersonen anders reageren op de stimulus omdat ze beïnvloed worden door de onderzoeker. Dit noemen we reactiviteit.

De interne validiteit is bij experimenten belangrijker en relevanter dan de externe validiteit. Bij surveys zijn onderzoekers er juist erg op gericht dat de externe validiteit hoog is. Het aselect selecteren van de steekproef zorgt voor een hogere externe validiteit. Voor een hogere interne validiteit moet men de geselecteerden aselect toewijzen.

Wetenschappelijke literatuur

Kennis die als onderzoeker hebt opgedaan door je onderzoek deel je in wetenschappelijke publicaties. Als je praktijkgericht wetenschappelijk onderzoek hebt gedaan voor bijvoorbeeld een bedrijf , schrijf je ook een rapportage van het onderzoek voor dat bedrijf. Ook kan je vakpublicaties schrijven voor specifieke gebruikers of beroepsgroepen in wetenschappelijke tijdschriften etc. Populaire wetenschappelijke onderzoeken kunnen ook op televisie komen, op de radio, in tijdschriften etc. Wetenschappelijke publicaties zijn heel belangrijk om een onderzoek te presenteren. Vaak zit er een tussenstap tussen het af hebben van het onderzoek en het publiceren. Onderzoekers gaan namelijk vaak naar wetenschappelijke conferenties, waar ze papers of posters presenteren. Hun onderzoeken vallen op dat moment nog binnen de grijze literatuur: het onderzoek is nog work in progress. Er kan nog kritiek op de literatuur worden gegeven en het kan nog verbeterd worden. Dit zijn vaak ook nog een soort tussenverslagen. Op conferenties geven onderzoekers presentaties en andere onderzoekers stellen dan vragen, geven kritiek of suggesties. Onderzoekers kunnen hun onderzoek ook presenteren op een poster. Hierna kunnen ze hun onderzoek aanpassen, extra onderzoek doen of literatuur lezen. Dit leidt tot een verbeterde vorm van het onderzoek. Na verbetering wordt het onderzoek opgestuurd voor publicatie en hopelijk gepubliceerd.

De onderzoeker stuurt het manuscript op naar een wetenschappelijk tijdschrift. De editor van het tijdschrift bekijkt het artikel en zoekt reviewers (peers). De peers zijn mede-onderzoekers in hetzelfde veld als het de onderzoeker. Die beoordelen het artikel, geven kritiek en een oordeel. Dit noemen we een peer review. De reviewer weegt de kritiek en bepaalt dan wat de onderzoeker er mee moet doen: niet publiceren (negatief), verbeteren (onderzoeker past artikel aan) of gelijk publiceren (positief). Als het artikel verbeterd moet worden, stuurt de onderzoeker het na verbetering weer opnieuw op. Uit sommige onderzoeken ontstaat valorisatie: er wordt dan iets met de kennis gedaan wat niet de directe bedoeling was van het onderzoek, maar wat wel voor de maatschappij van belang is. Dit wordt steeds belangrijker, omdat veel onderzoeken worden gesteund door de overheid.

In het onderzoek van Rens Vliegenhart is gekeken naar of maatschappelijke ontwikkelingen, parlement, media en steun voor anti-immigratiepartijen elkaar beïnvloeden. Bij deze factoren waren wederzijdse causale relaties mogelijk. Dit was een longitudinaal onderzoek van 1995 tot 2004, op basis van een inhoudsanalyse. Bij regressie werd een asymmetrisch eenzijdige beïnvloeding verwacht tussen de factoren. Dit is onderzocht met een Vector auto regressieve analyse: een systeem waarbij op tijdstip 1 gekeken wordt welke invloed x op y heeft en op tijdstip 2 welke invloed y op x heeft. Dit is dus een longitudinaal onderzoek. Bij een longitudinaal onderzoek is het mogelijk om ook te zien welke kant een relatie tussen twee factoren opgaat: wat beïnvloedt wat? Je toont dan niet slechts aan dat er een relatie is, maar ook de richting van de relatie. Bij de factor maatschappelijke ontwikkelingen is gekeken naar het aantal asielaanvragen en naar belangrijke gebeurtenissen en rampen (9/11, bomaanslagen in Madrid, moord op van Gogh). Dit is gedaan met een desk research. Bij de factor publiek is gekeken naar wat het belangrijkste politieke probleem was. Omdat hier niet genoeg informatie over was, is gekeken naar de steun aan anti-immigratiepartijen. Dit is gedaan met een survey. Bij de factor media is gekeken naar vijf nationale kranten, door middel van een inhoudsanalyse. Bij de factor parlement is gekeken naar beleidsvoorstellen en schriftelijke vragen, ook met een inhoudsanalyse.

In het onderzoek van Gezduci en d’Haenens is gekeken naar de verschillen tussen allochtone (Turkse, Marokkaanse) jongeren en autochtone (Vlaamse) jongeren in hun voorkeuren en motieven bij nieuwsconsumptie. Dit is gedaan met een cross-sectionele survey. De vergelijking tussen de allochtone en autochtone jongeren is gemaakt middels een regressieanalyse. Dit onderzoek is zowel fundamenteel als praktijkgericht. De motieven van jongeren bij nieuwsconsumptie zijn onderscheden in gespreksstof, surveillance (wat is er gaande in de wereld), betrouwbaarheid, boeiendheid, vermaak en verlangen naar het land van herkomst. Deze motieven zijn door de onderzoeker zelf bedacht. De definitie van Turks, Marokkaans en Vlaams is gebaseerd op bestaande literatuur. De definitie van jongeren is niet heel duidelijk, maar dit blijkt later in het onderzoek jongeren van 12 t/m 18 jaar te zijn. De beoogde populatie is allochtone en autochtone jongeren in Vlaanderen. De operationele populatie is schoolgaande Vlaamse jongeren tussen 12 en 18 jaar. Het steekproefkader is genomen met het Databank Ministerie van Onderwijs. De onderzoekers hebben niet aangegeven waarom West-Vlaanderen niet is opgenomen in onderzoek. Er is geen sprake van een random aselecte steekproef, omdat West-Vlaanderen niet mee deed en er geen individuen werden geselecteerd voor het onderzoek, maar scholen. Er is dus een getrapte steekproef: eerst zijn scholen geselecteerd, vervolgens van die scholen leerlingen. Het voordeel hiervan is dat de onderzoeker niet naar alle scholen van het land hoeft te gaan, maar slechts een aantal scholen neemt en op die scholen leerlingen selecteert.

De representativiteit van het onderzoek komt hierdoor wel in gevaar, want omdat maar 20 scholen mee wilden doen aan het onderzoek, zijn de resultaten misschien niet representatief voor alle Vlaamse jongeren.