Samenvatting - Real World Research van Robson - 3e druk

Enkele hoofdstukken ontbreken in deze samenvatting.

Hoofdstuk 1: Onderzoeken

Er zijn twee verschillende plaatsen waar onderzoek gedaan kan worden:

1. Laboratorium
   Alles is onder controle, daarom kan je nauwkeurig onderzoeken wat voor effect een experiment op mensen heeft. Je spreekt hier van een ‘gesloten systeem’.

2. Veldsituatie
   Er zijn invloeden van buitenaf, daarom heb je weinig controle over het experiment. Het is de bedoeling dat je iets van waarde kan zeggen over deze rommelige situatie. Je spreekt hier van een ‘open systeem’.

Ook zijn er twee verschillende manieren om onderzoek te doen:

1. Wetenschappelijk (Fixed design)
   - volgens vooraf gestelde regels
   - vooraf veel onderzoek
   - je weet precies wat je wilt onderzoeken
   - controleerbaar
   - voor een algeheel publiek geldende uitslag

2. Klinisch (Flexible design)
   - geen vaste manier van onderzoek doen
   - vooraf weinig onderzoek
   - naarmate onderzoek vordert, meer duidelijkheid
   - gericht op één specifiek persoon

   * Beide manieren van onderzoek zijn wetenschappelijk, omdat beide onderzoeken systematische zijn, volgens bepaalde principes werken en veel gebruikt worden.

Veel onderzoek in de ‘real world’ is evaluatieonderzoek, dat houdt in dat je na het onderzoek volledig gedaan te hebben, pas ziet wat de veranderingen zijn.

Er zijn veel verschillende soorten van onderzoek doen, een daarvan is actie onderzoek. Dit houdt in dat je veel aandacht besteed aan het ondersteunen en tot stand brengen van veranderingen. De onderzoeker is hierbij erg verwikkeld in het onderzoek en is ook betrokken.

Naast de verschillende manieren van onderzoek doen, zijn er ook twee verschillende manieren van kijken als onderzoeker naar je onderzoek:

1. Je stopt met onderzoeken zodra je het punt bereikt waarbij je weet wat er gaande is en je deze informatie hebt doorgestuurd naar betrokkenen.

2. Je gebruikt de uitslag van je onderzoek om voorstellen te doen over hoe verandering kan plaatsvinden.

Wat er in veldonderzoeken (real world enquiry) centraal staat:

• problemen oplossen (dus niet alleen kennis opdoen)

• groot effect na onderzoek/zoeken wat mogelijk is

• de echte wereld onderzoeken (in plaats van in laboratorium)

• in scholen, industrie e.d. onderzoek doen (in plaats van in een onderzoeksinstituut)

• zo snel mogelijk oplossen probleem (in plaats van afwachten en ‘blijven dobberen’)

• veel verschillende methodes (in plaats van maar één methode steeds toepassen)

• gericht op de cliënt (in plaats van gericht op een betere status krijgen)

• onderzoek op plaatsen waar het echt nodig is

Zoals hierboven beschreven is de verhouding tussen onderzoeker en cliënt goed. De onderzoeker heeft de cliënt centraal staan in zijn onderzoek, daar is hij op gericht.

Hoofdstuk 2: Benaderingen voor sociale onderzoeken

Een scientific attitude (wetenschappelijke houding) heeft 3 kenmerken:
- Systematisch: regelmatig duidelijk maken wat je doet, hoe en waarom je dat doet. De omgeving van je observaties uitleggen, de omstandigheden waarin ze gemaakt zijn en welke rol jij zelf had.
- Sceptisch: je ideeën onderwerpen (controleren) aan dingen die mogelijk nog niet bevestigd zijn, je observaties en conclusies onderwerpen door alles nog eens goed te bekijken, eerst door jezelf, later ook door anderen.
- Ethisch: een gedragscode volgen voor het onderzoek, dat verzekert dat de belangen van degene die er deel van uitmaken, of er mogelijk bij betrokken zijn, beschermd zijn.

Onderzoek kan op allerlei verschillende soorten worden gedaan, vanuit verschillende visies. Enkele hiervan zijn:

• Positivisme (Fixed)
  Volgens vele wetenschappers is dit de zogenoemde ‘standard view’ en meest gebruikte benadering van de wetenschap.

Enkele kenmerken:

• Wil vooruitgang

• Gaat enkel van waarneembare feiten uit (niet-waarneembare is betekenisloos, alleen het zichtbare heeft betekenis)

• Eén objectieve realiteit

• Wetenschap is enige betrouwbare bron van kennis

• Alle verschijnselen zijn onderworpen aan universele wetten (gebeurtenissen zijn dus te verklaren vanuit die wetten) -> Doel: universeel geldende regels opstellen door onderzoek.

• Scheidt feiten van meningen

• De wetenschap is gebaseerd op kwantitatieve gegevens, ontleend aan strikte regels (fixed) en procedures, en wijkt in principe af van de ‘gewone waarnemingen’

• Het is mogelijk om de veronderstellingen en methodes van de natuurlijke wetenschap te verplaatsen naar de sociale wetenschap.

• De onderzoeker moet erachter komen wat de objectieve realiteit is.

Kritiek op positivisme:

1. Er kan geen onderscheid gemaakt worden tussen feiten en meningen
2. Wetenschappelijke wetten zijn niet gebaseerd op constante volgbeelden tussen gebeurtenissen in de wereld
3. Het is onmogelijk om onderscheid te maken tussen de taal van het observeren en de theorie.
4. Het standpunt dat de wetenschap alleen omgaat met de verschijnselen die te observeren zijn, valt te verwerpen.

• Relativisme (Flexible design)

  • Realiteit is niet objectief, zoals positivisme zegt, maar relatief en afhankelijk van de context (plaats, tijd, subject).

  • Realiteit is afhankelijk van het geloof en beleving van mensen: waarom doen mensen wat ze doen?

  • Accent ligt op rol van de taal

  • Observatie is niet meer de hoofdzaak (er is geen objectieve realiteit)

  • Particuliere perspectieven zijn belangrijk

  • Gaat uit van hypothesen i.p.v. feiten

Kritiek op relativisme: ‘alles is relatief’ -> deze zin dus ook.

• Constructivisme (Flexible)
  - Geeft basisleer van de benadering aan.
  - Wetenschappelijke theorieën krijgen vorm door hun sociale en politieke context.
  - Er zijn meerdere realiteiten.
  - Moeite met objectieve realiteit van positivisme.
  - Vooral veel gebruik van interview en observatie (veel perspectieven)
  - Deelnemers aan het onderzoek helpen bij het construeren van de realiteit.
  - Taak onderzoekers: sociale constructies leren kennen en begrijpen.

• Emancipatorische benadering
  - Gefocust op onevenwichtigheden met betrekking op het geslacht. Bijvoorbeeld het focussen op het leven en de ervaringen van diverse groepen (bijv. vrouwen) die volgens de traditie worden achtergesteld.
  - Analyseert hoe onevenwichtigheid tot stand is gekomen.
  - Kijkt hoe de situatie kan worden verbeterd.
  - Meer gelijkheid tussen onderzoeker en cliënt.
  - Gebruik emancipatietheorie.

• Realisme (goede vorm van onderzoek doen)
  - Wetenschap leert ons de werkelijkheid kennen.
  - Hypothesen worden getoetst aan redelijke criteria.
  - Vermijdt zowel positivisme als relativisme.
  - Er is geen objectieve realiteit, feiten bestaan niet. Feiten zijn namelijk met theorie geladen, terwijl kennis sociaal en historisch is.
  - Je bent op zoek naar ‘mechanismen’: technieken die bepalend zijn of iets wel of niet werkt (!) -> Je kijkt naar oorzaak en gevolg.
  - Kennis is aan een context verbonden.

  Verschil met positivisme:
  Realisme: kennis is sociaal en historisch product dat context gebonden is (tijd, plaats)
  Positivisme: kennis is objectief en overal gelijk.

Embeddedness

Om uit te leggen wat er gebeurt in het sociale systeem is het zeker dat we gebruik moeten maken van verschillende mechanismenlevels. bv. micro & macro of groep & organisatie.

Bij vernieuwingen kijken naar:

• wat werkt het beste?

• waarom?

• onder welke omstandigheden?

Dit is belangrijk in realistisch onderzoek.

Open & gesloten systemen

Gesloten systeem: Alle aspecten van het onderzoek zijn onder de controle van de onderzoeker. ‘Wat we kunnen verklaren, kunnen we voorspellen’. Het realisme geeft aan dat dit in de sociale wetenschap onmogelijk is.

Omdat we dus gebruik maken van een open systeem hebben we te maken met ontwikkelingen (veranderingen) en berekeningen. Voorspellen is onmogelijk, de context is namelijk niet overal hetzelfde.

Replicatie (herhaling)

Proberen om een studie/onderzoek te herhalen komt vaak voor bij de natuurlijke wetenschap, de uitkomst van het onderzoek (theorie) wordt niet gezien als veilig en risicoloos, tenzij het een onafhankelijke herhaling is van andere onderzoeken. In de sociale wetenschap is een replicatie zeldzaam. Volgens sommige onderzoekers is het onmogelijk. Ieder onderzoek is volgens hen uniek.

Pragmatische benadering

• Niet alle vragen voor sociaal onderzoek worden aangedreven door subjectieve overwegingen.

• Verschillende vragen hebben verschillende methodes nodig om een antwoord te vinden.

• Je moet kijken naar wat je wilt bereiken met je onderzoek en kiest dan een juiste methode.

• Pragmatisch: verandering is goed als het praktisch nut heeft. ‘Truth is what works’.

Hoofdstuk 3: Ideeën ontwikkelen

Er bestaan verschillende ideeën over hoe je onderzoek moet doen. Of je bijvoorbeeld eerst de theorie moet weten of eerst in de praktijk observaties moet doen. Voor onderzoek in de ‘real world’ is het lastig om een bepaald model te volgen, omdat je dan vaak al een stevige basis van kennis moet hebben die er niet is.

Onderzoeksfocus

De focus is het onderwerp van je onderzoek. Om deze focus vast te stellen, moeten de volgende stappen worden doorlopen:

1. Onderzoeksgebied vaststellen

2. Groepsbeslissing: welk onderwerp wordt gekozen?

3. Problemen vaststellen

4. ‘Starting where you are’. Doe onderzoek in je eigen omgeving. Je weet veel over die omgeving. Pas wel op dat je geen vooroordelen (bias) in je onderzoek meeneemt, ook niet van andere schrijvers.

5. Achtergrondinformatie verzamelen. Bronvermelding is belangrijk. Wat is al bekend over dit onderwerp?

6. Kennis van beperkingen hebben. (Je hebt maar beperkte tijd)

Succes in onderzoek

Een onderzoek heeft grote kans op succes, wanneer het voldoet aan de volgende criteria:

1. Activiteit en betrokkenheid. (regelmatig contact met groepsgenoten en het veld)

2. Samenkomsten onderzoekers

3. Intuïtie (gevoel dat onderzoek goed verloopt en belangrijk is)

4. Theoriekennis

5. Nieuwe ideeën

Geen succes onderzoek

Een onderzoek heeft minder grote kans op succes, wanneer het voldoet aan de volgende criteria:

1. Onderschatten van onderzoek.

2. Teveel leunen op wat je al weet over een onderwerp.

3. Onderzoek doen voor publicatie en niet omdat je er geïnteresseerd bent.

4. Gebrek aan kennis van de theorie.

Onderzoeksvragen ontwikkelen

Op de volgende manier komen onderzoeksvragen tot stand:

1. Ken het onderzoeksgebied

2. Verbreed je ervaringsbasis (bekijk andere onderzoeken)

3. Bedenk verschillende technieken om de creativiteit te verhogen.

Bijvoorbeeld Delphi-techniek: In een groep van onderzoekers allemaal zelf 3 onderzoeksvragen bedenken en dan met elkaar de beste kiezen.

4. Vermijd valkuilen:

   • Het belangrijkste is dat je voor een goede onderzoeksmethode niet op zoek gaat naar een probleem dat past bij de methode, maar dat je op zoek gaat naar een methode die het beste past bij het probleem.

   • Bedenk geen onderzoeksvragen die niet te beantwoorden zijn.

   • Stel geen vragen die al voldoende beantwoord zijn.

5. Maak geen te brede onderzoeksvraag

6. Houd bij het maken van de onderzoeksvraag het doel van je onderzoek voor ogen.

Goede onderzoeksvragen zijn: duidelijk, gemakkelijk te begrijpen, specifiek, gericht, beantwoordbaar, overzichtelijk, met elkaar verbonden, opgedeeld in hoofd- en deelvragen, relevant en de moeite waard om te onderzoeken.

Theorie

Een theorie is de uitleg van wat er gebeurt in een situatie waarin we onderzoeken. Er wordt soms verschil gemaakt in verificatie van een theorie en in het maken van een theorie.

Kwanititatief onderzoek (fixed) begint vaak met een theorie (theorie genereren), vervolgens worden hypothesen gemaakt. Deze hypothesen worden getest.
Kwalititatief onderzoek (flexible) eindigt met een theorie. Vanuit de gevonden gegevens wordt langzaam een theorie ontwikkeld (theorie verificatie). In ‘real world’ onderzoek is er vaak geen tijd voor theory generation, maar alleen voor theory verification.

Conceptueel raamwerk: theorie over wat er precies aan de hand is, wat er gebeurt en waarom, vooral in diagrammen uitgewerkt.

Het is belangrijk dat je je aan het begin van je onderzoek je gaat bezighouden met de ethiek van de mogelijke uitkomsten van je onderzoek. Zijn er bijvoorbeeld mensen die zich bedreigd of angstig zouden kunnen voelen door de uitkomsten van je onderzoek.

Ethiek verwijst naar de algemene principes over wat zou moeten. Dit verschilt een beetje van moraal. Moraal verwijst naar de overweging of een specifieke daad overeenkomt met de algemeen geaccepteerde norm van goed of slecht.

Mogelijke ethische risico’s zijn:

• risico van fysieke bedreiging of misbruik

• risico van mentale trauma’s of consequenties, als resultaat van geweld of dreiging van geweld, of dood of wat niet aangegeven is tijdens gesprekken.

• Risico van een compromis situatie, in welke er misschien aantastingen of ongepast gedrag wordt vertoond

• Toegenomen uitsluitings kansen van het alledaags – en sociaal leven (zoals reizen, infectie ziektes, ongelukken)

Ethisch onverantwoorde zaken in onderzoeken:

• Mensen er in betrekken zonder dat ze het weten of toestemming hebben gegeven

• Menen dwingen mee te doen aan het onderzoek

• Weglaten van informatie over het onderwerp van het onderzoek

• Op een andere weize het misleiden van de deelnemer

• Opzettelijk deelnemers dwingen dingen te doen die hun zelfbeeld naar beneden haalt

• Mensen het recht ontnemen zelf dingen te beslissen

• Deelnemers blootstellen aan fysieke of mentale stress

• Het schenden van de privacy

• Het weglaten van voordelen voor de deelnemers

• Niet eerlijk behandelen van deelnemers, of met overleg en met respect

Er zijn ethische problemen bij het werken met sommige groepen mensen, zoals kinderen, geestelijk gehandicapten, gevangenen enz. Om met deze mensen te werken moet je toetstemming van bijvoorbeeld ouders hebben. Soms stuit een onderzoeker zelf op iets dat ethisch onverantwoord is (mishandeling van kinderen o.i.d.), dit moet dan meteen aan de politie of andere overheidsinstantie gemeld worden.

Politiek en sociaal onderzoek

• Onderzoek kan nooit helemaal politiek neutraal zijn.

• Er zijn bij onderzoek bronnen nodig en schrijvers van die bronnen kunnen ook een politieke voorkeur hebben.

• Onderzoek is gebaseerd op het idee dat de onderzoeker vooraf heeft, dit kan betekenen dat het onderzoek beïnvloed is door de etnische achtergrond of standpunten van de onderzoeker.

Politieke invloed op onderzoeken:

• Op basis van de selectie van de onderzoeksfocus en de keuze van het onderwerp wordt bepaald of het onderzoek wordt gefinancieerd of niet.

Hoofdstuk 4: Algemeen bij onderzoeken

Het onderzoeksdesign kan worden gezien als de omzetting van een onderzoeksvraag in een onderzoeksopzet. Er wordt dus begonnen met een onderzoeksvraag, van daaruit wordt de opzet van het gehele onderzoek bepaald. Er zijn een vijftal factoren waarop gelet moet worden wanneer een onderzoeksdesign wordt opgesteld, namelijk:

1. Inhoud: Vaststellen wat je met het onderzoek bereiken wilt. Wat is het doel van het onderzoek?

2. Theorie: Welke theorieën kunnen gebruikt worden in het onderzoek?

3. Onderzoeksvragen: Welke vragen moeten door het onderzoek doen beantwoord worden? En is dit uitvoerbaar?

4. Mehoden: Welke methoden en technieken worden gebruikt voor het verzamelen van de gegevens?

5. Steekproefmethode: Waar worden de gegevens vandaan gehaald?

Soorten onderzoeksdesigns

Er kan onderscheid gemaakt worden tussen twee soorten onderzoeksdesigns, namelijk het ‘flexible’ design en het ‘fixed’ design. Het flexible design wordt gebruikt wanneer de te verzamelen gegevens niet getallen zijn, maar woorden. Ook is het vaak het geval dat bij dit onderzoeksdesign sprake is van een open vraagstelling. Bijvoorbeeld: Wat vinden studenten van de lessen MTS1?

Het fixed design wordt gebruikt wanneer de te verzamelen gegevens getallen zijn. Vaak is de vraag meer gesloten. Bijvoorbeeld: Is er een verschil tussen jongens en meisjes op interesse in statistiek?

Framework

Een goede opzet van een onderzoek heeft een grote overeenkomst in inhoud, theorie, onderzoeksvragen steekproefstrategieën en methoden. Als de onderzoeksvragen bijvoorbeeld niet passen bij de inhoud van het onderzoek, zal waarschijnlijk de onderzoeksvraag  aangepast moeten worden. Ook als de onderzoeksvragen niet door theorie kan worden onderbouwd, zal het onderzoek niet veel waarde hebben. De theorie zal verder ontwikkeld moeten worden of de onderzoeksvraag moet wederom worden aangepast. Als de methoden of de steekproefstrategie geen antwoord geven op de onderzoeksvraag, moeten aanvullende gegevens moeten worden verzameld of de onderzoeksvraag moet worden gewijzigd.

Causaliteit betekent dat de uitkomst van het onderzoek het gevolg is van een andere gebeurtenis die hieraan vooraf is gegaan. Er is dan sprake van een oorzaak-gevolgrelatie. In wetenschappelijk onderzoek kan meestal niet gesproken worden van een causaal verband, omdat er meerdere factoren een rol hebben gehad in de uitkomst, waardoor niet met 100% zekerheid kan worden gesteld dat dit het gevolg is van het onderzoek.

Longitudinaal onderzoek is een onderzoek waarbij herhaalde metingen plaatsvinden over tijd, steeds op dezelfde manier, om zo ontwikkeling in kaart te brengen.
Interne validiteit is de mate waarin het onderzoeksdesign antwoord kan geven op de onderzoeksvraag. Als een onderzoeksdesign correct is uitgevoerd, is de interne validiteit hoog.

In een experimenteel design is de onderzoeker actief bezig om de situatie, omstandigheden en dergelijke aan te passen om veranderingen in het gedrag van de deelnemers te laten plaatsvinden. Bij een niet-experimenteel design is het veranderen  van de situatie, omstandigheden en ervaring van de deelnemers juist niet van belang.

Kiezen van onderzoeksstrategie

Bij het kiezen van een onderzoeksstrategie, kunnen de volgende stappen doorlopen worden:

• Nagaan of fixed of flexible design moet worden gebruikt

• Wat wil je met het onderzoek bereiken?

• Is het de bedoeling om actief onderzoek te doen?

• Als je kiest voor fixed design, wil je dan een experimenteel of niet-experimenteel design?

• Als je kiest voor een flexible design, wat voor type wil je dan? Er zijn 3 soorten:

1. Case studie: Ontwikkeling van gedetailleerde, intensieve kennis over één enkel geval of een klein aantal verwante gevallen.

2. Ethnographische studie:  Willen weten, interpreteren en verklaren hoe een groep, een organisatie, of een gemeenschap, het zin maken van het leven en hun wereld ervaren.

3. Grounded theory: Theorie produceren van gegevens die tijdens het onderzoek zijn verzameld.

Hoofdstuk 5: Fixed design

Bij het ‘fixed’ of gesloten design kan allereerst worden gekozen voor een experimenteel design. Daarnaast bestaan er quasi-experimentele designs en single-case experimenten. Hieronder worden deze allemaal toegelicht.

Experimenteel design

Matched pairs design
De proefpersonen worden getest, de mensen die heel dicht bij elkaar liggen qua leeftijd, achtergrond en dergelijke worden koppels van gemaakt. Steeds wordt at random (willekeurig) één van beide aan de experimentelegroep toegevoegd en de ander aan de controlegroep. Toeval speelt hierbij een rol, omdat je willekeurig personen toewijst aan een conditie, maar de invloed van toeval is niet zo  groot daardat de onderzoeker zelf de groepen redelijk eerlijk indeelt (qua leeftijd, achtergrond enzovoorts).

Repeated measures designs (herhaalde metingenanalyse)
Dit is een design waarbij slechts één proefpersoon wordt getest op meerdere behandelingen (herhaalde metingen). De onderzoeker maakt gebruik van counter balancing: Groep 1 krijgt eerst behandeling 1 en daarna behandeling 2, groep 2 krijgt eerst behandeling 2 en daarna 1.

Quasi-experiment

Een quasi-experiment is een onderzoeksopzet die vrijwel gelijk is aan een experiment. Het enige verschil is dat er geen random toewijzing wordt gebruikt. Voorbeelden van  quasi-experimenten zijn:

1. Pre-test post-test non-equivalent groups design
   Er zijn weer twee groepen gemaakt (als het maar niet random is gegaan!) allebei een pre-test geven, dan krijgt één groep behandeling, de andere groep niet. Vervolgens krijgen beide groepen een post-test.

2. Seeking equivalent groups through matching
   Dit lijkt op ‘matched pairs design’ in een experiment. Alleen is hier al bedacht wie een behandeling krijgt en wordt bij hem een partner gezocht die tot de controlegroep gaat horen.

3. Time series designs
   Er is één groep waar voor en na de behandeling verschillende observaties op meerdere momenten worden gedaan.

4. Regression discontinuity design
   Alle deelnemers maken een pre-test. Als ze boven een bepaalde waarde scoren horen ze bij de ene groep, als ze onder een bepaalde waarde scoren horen ze bij de andere groep.

Single-case-experiment

Een single-case experiment is een onderzoeksopzet waarbij het individu een grotere   rol speelt dan de groep. Er vinden herhaalde observaties plaats op individuen, voor, tijdens en na het experiment. Voorbeelden van single-case experimenten zijn:

• A-B
  Er zijn twee condities, één (A) wordt de basislijn en de tweede (B) lijn geeft de behandeling weer. De onderzoeker zoekt naar een verschil in het patroon van gedrag in de beide fases.

• A-B-A
  Hetzelfde als de vorige, alleen is er nu een omkering terug naar de basislijn. Het punt is dat de onderzoeker de behandeling stopt en wacht op de terugkeer van de basislijn.
  Een kritiekpunt bij het ABA-design is: er is een mogelijkheid om te stoppen meten wanneer je ziet dat de  behandeling werkt (er kan  ook sprake  zijn van een tijdelijk effect of een omdraaiing van effect op den duur)

• A-B-A-B
  Hiermee neem je de kritiek gedeeltelijk weg, want als je de behandeling hebt gestopt en weer terug bent op de basislijn begin je de behandeling weer.

Multiple base-line designs

• Op design: een afhankelijke variabele van een proefpersoon wordt geobserveerd in een aantal verschillende situaties, de behandeling wordt steeds gestart op een ander moment in de situatie.

• Op gedrag: verschillende afhankelijke variabelen(gedragingen) voor een bepaalde proefpersoon, de behandeling wordt steeds op een ander moment in een variabel gestart.

• Op informant: informatie wordt verzameld op een bepaalde basislijn voor verschillende proefpersonen en de behandeling begint steeds op een ander moment bij de verschillende proefpersonen.

Hoofdstuk 6: Flexible designs

Flexible designs hebben de volgende kenmerken: er wordt gebruik gemaakt van verschillende databronnen, begrijpen staat centraal, de onderzoeksopzet kan tijdens het onderzoek worden aangepast en het onderzoek vindt plaats in de context van datgene wat onderzocht wordt.

Je hebt 3 soorten flexible designs: case studie, etnografische studie en grounded theory.
Deze zijn hieronder in een tabel weergegeven.

Kwalitatieve onderzoekers gebruiken meestal niet de termen ‘betrouwbaar’ en’valide’, maar zij gebruiken liever geloofwaardigheid (trustworthiness). Dit komt, doordat kwalitatief onderzoek vaak niet betrouwbaar is, maar subjectief; replicatie is vaak onmogelijk.

Bedreigingen van de validiteit

De validiteit van het kwalitatieve onderzoek kan op verschillende manieren worden bedreigd, namelijk:

• Gegevens zijn niet representatief door aanwezigheid van de onderzoeker (reactiviteit) of als gevolg van weerstand bij de respondent (respondent bias).

• Er zijn interpretatiefouten. Dit kan komen door verwachting van onderzoeker (research bias).

Met de volgende methoden kan validiteitsgevaar worden tegengegaan:

• Langer in het veld participeren

• Gebruik maken van triangulatie: verschillende bronnen, observatoren, methodes e.d.

• Peer debriefing: regelmatig overleg met collegeonderzoekers.

• Member checking: resultaten aan betrokkenen in het onderzoeksveld voorleggen.

• Gebruik maken van negative case analysis: steeds nagaan of je niet ongelijk hebt. Kortom: advocaat van de Duivel spelen.

• Audit trial: alles wat je doet en meemaakt goed vastleggen.

Verschillende kwalitatieve onderzoeken nader toegelicht:

Case studie

• Een thema (groep, situatie, hangplek) bestuderen aan de hand van concreet geval

• Holistisch karakter: alle facetten van probleem in verband zien en in context analyseren

• Gebruik verschillende bronnen

• Keuze: modaal (in context) of extreme case (als het hier werkt, werkt het overal)

• Concentreren op één geval

• Bijv: betekenis van mishandeling op basis van diepgaande analyse van een of enkele gevallen.

Etnografisch onderzoek

• Cultuur en sociale structuur van een specifieke groep beschrijven

• Vaak gebruik van participerende observatie

• Indrukken en ervaringen worden opgeschreven

• Bijvoorbeeld: pedagogiek/onderwijskunde studenten beschrijven en interpreteren

  Nadelen:

• Kost veel tijd

• Vaak beschrijvende stijl/niet heel wetenschappelijk

Grounded theory

• Ontwikkelen van een theorie na dataverzameling

• Vooral interviews

• Gebruikt purposive sampling (theoretische sampling): geïnterviewde is een specifiek soort persoon die helpt de theorie te ontwikkelen

• Constant comperative method: steeds nieuwe data verzamelen en vergelijken met al verkregen data, tot er saturatie (iteratief: verschillende manieren) optreedt.

• Maakt gebruikt van open coding, axial coding en selective coding

• Bijvoorbeeld: Wat maakt dat sommigen hun harddrug- verslaving weten op te geven?

Open coding: Interviewtekst wordt ingedeeld in fragmenten. Deze worden voorzien van een code die zoveel mogelijk de lading dekt.
Axial coding: Kijken of er een structuur in deze codes zit en geordend kunnen worden.
Selective coding: nieuw gevormde codes in model plaatsen.

Andere kwalitatieve onderzoeken:

• Biografisch onderzoek: Onderzoek naar de levensgeschiedenis van mensen

• Fenomenologisch onderzoek: Mensen beschrijven vanuit hun eigen beleving. Hoe beleeft een persoon een bepaalde situatie. (bijv. gehandicapt kind op ‘normale’ school)

• Symbolisch interactionalisme: sociale interactie vindt plaats op basis van betekenisverlening (je gaat anders met leraar om dan met leeftijdgenoten)

• Hermeneutiek: de leer van het interpreteren. Interpreteren van gedrag in context.

• Feministisch perspectief: verwerpen kwantitatieve benadering waaring mens en onderzoeker gescheiden worden (staat voor dominante mannelijke cultuur).

Pilotstudie: geen kwalitatief onderzoek. Kijken of je instrumenten goed werken. Meestal gebruikt als hulpmiddel: een klein onderzoekje vooraf.

Hoofdstuk 7: Evaluation, action and change

1. Evaluatieonderzoek

Het doel van een evaluatieonderzoek is er achter komen wat het effect en de effectifiteit van iets is. Evaluatie is niet per se onderzoek, het wordt pas wetenschappelijkonderzoek als het systematisch wordt aangepakt (zoals meestal in wetenschappelijk onderzoek), dan noem je het evaluatieonderzoek.

Bij evaluatieonderzoek kijk je naar het verschil tussen product- en procesevaluatie:
Productevaluatie: vaak  kwantitatief. Experimenteel nagaan. Alleen kijken naar uitkomst. Effect en effectiviteit in zijn geheel bekijken (summative/outcome).
Dus: Is de uitkomst het gewenste effect?
Procesevaluatie (formatief): vaak kwalitatief/participerend. Proces zelf bekijken, vragenlijsten uitdelen. Dus: Wat is nodig om het gewenste effect te bereiken?

Bijv: Doet mijn therapie wat het moet doen? Wordt de beoogde verandering bereikt (product) en zo nee, waarom niet (proces)?

Eisen voor evaluatieonderzoek

• Nut: het is zinloos om onderzoek te doen dat niet nuttig is voor een bepaald publiek.

• Uitvoerbaarheid: alleen een evaluatie doen als het uitvoerbaar is, dus als er genoeg geld, tijd en dergelijke is.

• Propriety: alleen evaluatie doen als het bewezen ethisch verantwoord is.

• Technisch adequaat: alleen als de evaluatie goed is.

Innovatieve programma’s worden ontworpen als er een bepaald behoefte is die niet vervuld wordt door de huidige programma’s. Bij deze innovaties is het vanzelfsprekend dat er eerst een evaluatie plaats vindt voordat het ontworpen wordt.

2. Actieonderzoek

Invloed uitoefenen op een bepaald aspect in hetgene dat je onderzoekt. Hierbij zijn improvement en involvement sleutelwoorden:

• Verbetering proces en manier waarop het plaatsvindt.

• Betrokken mensen helpen mee in het onderzoek.

Bij dit soort onderzoek is het gewoonlijk dat de onderzoeker meedoet met de mensen die het proces dat hij onderzoekt, ondergaan. De link tussen evaluatieonderzoek en actieonderzoek, is dat actieonderzoek vaak gefocust is op een evaluatie.

Hoofdstuk 8: Vragenlijsten en steekproeven

Toelichting Part III – Methoden van dataverzameling

Dataverzamelingsmethode: (vragenlijst, interviews, observatie, tests)

• Het soort informatie dat je wilt hebben

• Van wie je die informatie wilt hebben

• De omstandigheden waaronder je die gegevens wilt verzamelen

Definiëren: gedrag, gevoel, gedachten, houding, kennis, vaardigheden.

Indicatoren: een abstract begrip vertalen in concrete termen. Deze vormen het uitgangspunt voor het maken van je instrument.

Dimensies: intrinsiek en extrinsiek.

Tests: vaak wordt gedrag uitgelokt dat vervolgens geobserveerd en gescoord wordt.

Instrumentele validiteit: meet de test wel wat je wilt meten?

Vragenlijsten en steekproeven (alleen begrippenlijst)

Steekproeftrekking: sampling

Aselect (probability) is de kans om in de steekproef te komen is voor ieder populatie-element gelijk.

Voor inferentiële statistiek moet je feitelijk een aselecte steekproef trekken, in de praktijk gebeurt dat echter zelden.

Survey: vaststellen van een relatie tussen kenmerken. (design)

Populatie: wordt gevormd door alle eenheden waar je uitspraken over wilt doen.

Steekproef: afhankelijk van zuiver toeval, iedereen heeft een gelijke kans. Aantal eenheden.

Simple random sampling: ieder element uit de populatie heeft een gelijke kans om in de steekproef te komen. Geen controle over wie je onderzoekt. Lijst met alle populatie elementen/eenheden waaruit je aselect een steekproef trekt.

Systematic sampling: systematisch. Begin met aselect begingetal, bijv. 8 à 18, 28, 38…

Stratified random sampling: populatie (strata) à subpopulatie (aselect stratum).  Proportioneel of disproportioneel.

Cluster sampling: maakt steekproef kleiner (trappen) Bijv. Aselect gemeentes trekken à per gemeente aselect een of meerdere scholen à alle leerkrachten van de getrokken scholen een vragenlijst.

Multistage sampling: Zie cluster. Tot individueel persoon. Leerkracht à aselecte steekproef.

Select (non-probability): de kans om in de steekproef te komen is voor ieder populatie-element niet gelijk.

Quota sampling: van tevoren bepalen hoeveel eenheden met één bepaald kenmerk en dan selecteren. Je spreekt in de kantine bijv. de eerste 10 mannelijke en vrouwelijke studenten aan met de vraag…

Dimensional sampling: Meerder kenmerken (zie quota sampling), bijv. niet alleen op geslacht, maar ook leeftijd.

Convenience/ accidental sampling: Toeval, loopt naar de plek en kiest. Bijv. je spreekt in de kantine de eerste 10 studenten aan met de vraag….

Purposive sampling: Case, zoekt doelbewust persoon bijv. ADHD kind, representatief voor de problematiek die je bestudeert à diepte interviews.

Snowball sampling: persoon drugs à vriend drugs à vriend. Hetzelfde sociale kring. 

Extreme case sampling: Hier kun je bijvoorbeeld doelbewust kiezen voor enerzijds een of enkele mensen die misbruikt zijn maar daar als volwassenen mee hebben leren leven en anderzijds mensen die als kind misbruikt zijn maar daar als volwassene nog altijd onder lijden.

Non-respons: selecte steekproef te maken. Want de mensen die uitvallen in een onderzoek vormen een selecte groep.

Hoofdstuk 9: Interviews

Er bestaan in het onderzoek doen drie soorten interviews, namelijk:

1. Gestructureerd (formeel) interview (survey interview)

• Vaste, meestal gesloten vragen

• Vaste volgorde

• Vaste bewoording

• Fixed design

• Interviewer heeft alle controle

2. Semi gestructureerd interview

• Vaste topics

• Volgorde en verwoording kan aangepast worden

• Flexible design

• Interviewer heeft controle

3. Ongestructureerd (informeel) interview:

• Vooral open vragen,  niet van te voren vastgelegd

• Bijzondere soort hiervan is het diepte-interview (depth): beginnen met openvraag en van vervolg hangt af wat geïnterviewde zegt.

• Flexible design

• Vanuit beleving persoon (non-directief)

Interviews kunnen individueel face-to-face, via de telefoon of via internet (chatten) afgenomen worden. Ook zijn er groepsinterviews. De gestructureerde interviews worden veelal in kwantitatief en de ongestructureerde in kwalitatief onderzoek gebruikt. Het grote nadeel van interviews is dat het veel tijd kost.

Bij de afname van een interview kan gekozen worden bij wie deze afgenomen wordt. Bij een informant interview geeft een persoon informatie over situatie of over anderen. Dit is niet dezelfde persoon waar het interview over gaat. De interviewer volgt hem in zijn verhaal. Bij een respondent interview wordt echter vooral door de interviewer bepaald waarover het interview gaat.

Daarnaast zijn er nog verschillende manieren om het interview terug te laten komen in de wetenschappelijke praktijk:
Long interview: vervangt een deel van de observatie.
Informal interview: kort aanstippen van belangrijke zaken. Eigenlijk is dit geen interview te noemen.
Focused interview: specifieke informatie willen verkrijgen met interview.
Focusgroep: open groepsinterview over een specifiek onderwerp (Bijv. studenten over opleiding)

Voordelen van een focusgroep:

• Veel informatie van veel mensen in korte tijd

• De data wordt van nature al gecontroleerd door de groep.

• De groep helpt om te focussen op de meest belangrijke onderwerpen.

• Deelnemers vinden leuk om mee te doen aan een interview.

• De methode is goedkoop en flexiebel en kan snel opgezet worden.

• Mensen die normaal voorzichtig zijn om alleen geïnterviewd te worden, omdat ze toch denken dat ze niks te zeggen hebben, worden nu aangemoedigd door de groep om ook iets te zeggen.

• Mensen die niet kunnen lezen of schrijven of die andere moeilijkheden hebben, worden niet gediscrimineerd op deze manier.

• De interviewer kan een taboe onderwerp in de groep gooien, en het ijs kan in de groep dan breken, omdat een buitenstaander erover begonnen is.

Nadelen van een focusgroep:

• Minder vragen dan bij 1:1-interview

• Om de groep aan je te laten wennen, heb je wel wat ervaring nodig.

• Het interview moet goed geregeld zijn. Het moet niet zo zijn dat twee of drie personen het woord voeren voor de hele groep. Extreme waarden komen dan sneller naar voren.

• Tijdens het interview kunnen er conflicten ontstaan. (bijv. over status, macht)

• Vertrouwelijke informatie kan een probleem vormen wanneer er binnen een groep geïnteracteerd wordt.

• De resultaten zijn niet generaliseerbaar en niet representatief voor populatie.

• De sfeer tijdens het interview kan ervoor zorgen dat de onderzoeker meer vertrouwen in de vindingen stelt dan werkelijk het geval zou moeten zijn.

Om een focusgroepsinterview  te houden, wordt vaak gebruik gemaakt van internet. Zo kan je alles teruglezen. Het is altijd noodzakelijk om interviews op te nemen, in verband met de betrouwbaarheid en validiteit.

Computer-mediated focus groups: alle communicatie vindt plaats via de computer.

Hoofdstuk 11: Observatiemethoden

Alleen begrippenlijst

Voordeel observatie: ziet direct wat je wilt weten, gunstig voor validiteit en betrouwbaarheid. In vragenlijst/interview informatie vaak indirect en gekleurd.

Nadeel observatie: kost veel tijd, moeilijk uitvoerbaar, soms invloed op gedrag.

Kwalitatieve (participerende, informal) observatie: observator kan participeren in het proces dat hij observeert.

Unobtrusive observation: geen participatie onderzoeker. (obtrusive =bemoeiziek/opvallend)

Kwantitatieve (gestructureerde, formal) observatie: observator is hoogstens toeschouwer en neemt niet deel aan het proces.

Wat kun je observeren?

• Intensiteit: hoe hard iemand praat, beoordelingsschaal (rating scale)

• Frequentie: hoe vaak (turven)

• Duur: hoelang kan hij zijn aandacht vasthouden?

• Richting: waar gaat de aandacht heen?

Beschrijvende (descriptive) observaties: gerichte observatie (focused observation). Voortdurend bewust zijn van je eigen vooroordelen en subjectiviteit (biases).

Observatie-eenheid: afhankelijk van de frequentie waarmee het betreffende gedrag voorkomt.

• Event coding gedrag: kruisje op schema

• Time sampling: steekproef in korte tijdsperiode

• Interval coding: korte tijdsperiodes

• State coding: begin en eindtijd

Inter-observator betrouwbaarheid: verschillen in beoordeling tussen verschillende beoordelaars.

Intra-observator betrouwbaarheid: verschil in beoordeling op verschillende tijdstippen door dezelfde beoordelaar. à instrumentation effect.

Hoofdstuk 12: Additional methods of data collection

Accretion measure: indirecte maten om bijvoorbeeld te meten welke attractie van de Efteling kinderen het leukst vinden. Kijk bijvoorbeeld naar hoeveelheid afval. Je gebruikt het ‘erbij’.

Erosion measure: ‘Slijtage’. Ook hier kijk je naar het gebruik. Door slijtage kan je zien wat vaak gebruikt wordt en wat niet.

Zowel accretion measures als erosion measures zijn een vorm van trace measures: je kijkt naar de fysieke effecten van interactie nadat die interactie plaatsvond. Ook zijn ze allebei een vorm van unobstrive measures, omdat ze onopvallend zijn en onderzoeker deelneemt aan het proces.

Voordelen trace measures:

1. Non-reactief en onopvallend. Er hoeft geen direct contact tussen observator en geobserveerde te zijn.

Nadelen trace measures:

1. Persoon die geobserveerd wordt is soms niet geschikt voor onderzoek

2. De link tussen oorzaak en gevolg kan door invloed van buitenaf komen

3. Ethische moeilijkheden

Wanneer er gebruik gemaakt wordt van bestaand materiaal wordt vaak inhoudsanalyse gebruikt:
Inhoudsanalyse (content analyse): kwantitatieve analyse van wat er inhoudelijk in het document staat. Dit gaat niet alleen om brieven, boeken e.d. maar ook om foto’s, films e.d. De onderzoeksvraag vormt het uitgangspunt van de analyse.

Inhoudsanalyse in stappen:

1. Start met een onderzoeksvraag

2. Gebruik een random steekproef

3. Beslis je analyse-eenheden: Ga je analyseren bij documenten op woord-, zins-, paragraaf-, of themaniveau?

4. Sta stil bij het ‘scoren’ (categories for  analyse) van die eenheid: kijk je naar de inhoud, de vorm of de richting?

5. Controleer op fouten: bijvoorbeeld met een computer.

6. Voer de analyse uit

KWIC-analyse: wanneer je een computer gebruikt voor het opzoeken van woorden(combinaties) en fragmenten.

Discourse analyse: hierbij gaat het om taalgebruik: hoe benader je iemand? Praten mannelijke leerkrachten anders tegen leerlingen, dan vrouwelijke leerkrachten?

Hard-op-denkprotocollen (verbal protocols): bijvoorbeeld kind vragen om hardop te denken bij het oplossen van allerlei problemen, om inzicht te krijgen in hun leerstrategie.

Meta-analyse: resultaten van een groot aantal studies over hetzelfde onderwerp samenvoegen om te kijken of je op basis van die resultaten een uitspraak kan doen. Hierbij wordt de totale effectgrootte bekeken.

Review: literatuur alleen bespreken/beschrijven.

Secundaire analyse: bestaande onderzoeksgegevens opnieuw analyseren

Triangulatie: verschillende bronnen, dataverzamelingstechnieken, methoden toepassen.

Hoofdstuk 14: Analysis of Qualitative data

Het doel van een kwalitatieve data-analyse is het terugbrengen of reduceren van een enorme hoeveelheid informatie tot een kern. Bijvoorbeeld bij interviewteksten. Voor het analyseren van kwalitatieve data zijn verschillende methoden, namelijk:

• Quasi statistische benadering: tellen hoe vaak iets in een tekst voorkomt. Meestal niet doel van kwalitatief onderzoek, maar meer ordenen en overzien.

• Iteratief proces: het proces van continu teruggaan van codes naar de tekst en andersom, totdat er een goed passende structuur is geworden die de kern van de data duidelijk weergeeft.

• Template benadering: hulpmiddelen gebruiken om op basis van kernlabels modellen te bouwen. Soms start men hier bijvoorbeeld mee op basis van een theorie.

• Grounded theory benadering: eerst onderzoeken, vervolgens theorie daaruit afleiden. Labeling gebeurt hierbij op basis van interpretatie van de tekst (editing approach) Hierbij maak je bijvoorbeeld gebruik van open, axial en selective coding.

Drie fasen van data-analyse:

1. Datareductie: bijvoorbeeld coderen

2. Datadisplay: presentatie van gegevens m.b.h. matrices, kaarten

3. Trekken en verifiëren van conclusies

Die fasen lopen vaak wel door elkaar.

Memo’s: belangrijk om in te beschrijven welke beslissingen je hebt genomen, en waarom.

Twee manieren om te kijken of conclusie van data-analyse klopt:

1. Gaat de theorie ook op voor extreme gevallen?

2. Negative case analyse: is er geen bewijs voor het tegendeel te vinden?

In etnografische en case-studie wordt niet met labels gewerkt. Daar wordt het materiaal steeds weer opnieuw doorgekeken om tot nieuwe inzichten te komen.

Immersion benadering:  steeds opnieuw bekijken van het verkregen materiaal, zodat er nieuwe inzichten komen die weer getoetst kunnen worden. Dit toetsen gebeurt door het vergelijken van nieuwe inzichten met de al bestudeerde data. De drie stappen die steeds worden doorlopen, zijn:

• Beschrijven

• Ontdekken van thema’s

• Interpretatie