Aantekeningen hoorcollege 12 - Toepassing van Onderzoeksmethoden en Statistiek - Universiteit Utrecht (2022/2023)

H C   1 2   -   8   J U N I   2 0 2 3

‘Goed’ onderzoek

Rigor/trustworthiness = de kwaliteit van het onderzoek in z’n geheel

Rigor

• De kwaliteit van onderzoeksresulten:
  • Plausibel » credibility van de resultaten, in hoeverre is het antwoord op de onderzoeksvraag daadwerkelijk het juiste antwoord?
  • Stabiel » afhankelijk van omgeving waar je onderzoek uitvoert
  • Niet beïnvloed door de onderzoeker » objectiviteit, dus objectieve weergave van de realiteit. Confirmability, dus zoeken naar bevestiging van eigen ideeën mag niet
  • Past in een brede context » kunnen vertalen naar andere situaties (transferability)
• Toepassing van deze kwaliteitscriteria:
  
  • Verzekering op het gebied van credibility door veel data te verzamelen en inbedden in literatuur
    
    • Prolonged engagement » meer data van dezelfde persoon te verzamelen
    • Persistent observation » gericht data verzamelen
    • (data/methoden) triangulatie
    • Member check » terug naar respondent (en hen laten checken of je hen accuraat representeert)
  • Verzekering op gebied van dependibility:
    
    • Audit trail » lezer indirect laten het proces laten checken door een ‘spoor’ achter te laten van memo’s en fieldnotes
    • Overlappende methoden – data triangulatie
    • Stapsgewijze replicatie – onderzoekers triangulatie
  • Conformability:
    
    • Audit trail
    • Reflexiviteit » reflecteren op jouw rol als onderzoeker
  • Transferability » empirisch (kunnen we onderzoeksgegevens naar andere situaties vertalen?) vs. theoretisch (in hoeverre is er een ‘fit’ tussen de data en bestaande theorieën?)
    
    • Thick description » goed begrijpen wat de context is waarin mensen leven, dus waarin de data verzamelt wordt. Dit geeft ons alle relevante details over het leven van de respondent, waardoor we beter weten in welke context het onderzoek toepasbaar is
    • Theoretical sampling » gedurende het onderzoek, wordt je steekproef steeds geüpdate, zodat je respondenten hebt die het meest aansluiten bij je onderzoek
• Overkoepelende discussie
• • Begrippen:
    
    • Credibility » interne validiteit
    • Dependability » betrouwbaarheid
    • Confirmability » objectiviteit
    • Transferability » externe validiteit
  • Betrouwbaarheid kan op twee verschillende manieren:
    
    • Data-niveau » zelfde score tussen verschillende items
    • Onderzoeksniveau » overlappende resultaten op ‘uitgezoomd’ niveau
• Rigor in praktijk: checklist
  
  • Bevat punten die nodig zijn voor ‘goed’ onderzoek
  • Expliciete en gewogen beoordeling
  • Gevaren:
    
    • ‘OK’ stempel (dus ‘even’ aanpassinkje maken en dan afvinken)
    • Procedureel afdoende is niet per definitie relevant
    • Elementen forceren op onderzoek
    • Niet altijd gelijk aan beoordeling peer/expert

Reflexiviteit

‘The process of critical self-reflection about oneself as researcher (own biases, preferences, preconceptions), and the research relationship (relationship to the respondent, and how the relationship affects participant’s answers to questions).’

• Twee vormen:
  • Persoonlijke reflexiviteit » introspectief (wat is mijn invloed als onderzoeker op het onderzoek?)
  • Epistemologische reflexiviteit » methodologisch, theoretisch (waar komen de resultaten vandaan? In hoeverre heeft het design invloed gehad op de resultaten?)
• Reflexiviteit inbouwen door:
  
  • Aannames identificeren » wat zijn mijn asssumpties?
  • Achtergrond uiteenzetten » hoe sturen mijn ervaringen mijn blik?
  • Emotionele band met deelnemers » bepaalt deze dat ik bepaalde vragen wel/niet stel?
  • Fysieke omgeving en logistiek » in hoeverre is de setting van invloed?
• Limitatie: Vereist totale alertheid op gedrag/keuzes binnen het onderzoek (maar het is niet realistisch om constant alert te zijn en het leidt af van het eigenlijke doel)

Perspectieven op ethiek

• Ethische kwesties rondom kwalitatief onderzoek:
  • Pseudo-intimacy » respondent heeft andere verwachting van onderzoek/ondezoeker dan dat de werkelijkheid is en delen daardoor dingen die ze eigenlijk niet hadden willen delen (gerelateerd aan onderzoeksonderwerp)
  • Script deviation (inadvertant disclosure) » respondent deelt gegevens die niet relevant zijn voor het onderzoek (niet gerelateerd aan onderzoeksonderwerp)
  • Participant’s agenda » participanten hebben zelf ook een doel met dat onderzoek
  • Undue intrusion » je moet een participant zo min mogelijk willen vragen, zo veel mogelijk straight to the point
  • Zelfbescherming voor onderzoeker » niet teveel op zich nemen of teveel betrokken raken
• Werkelijkheid:
  
  • Weging tussen belangen van onderzoek, participant en andere steakholders
  • Binnen wetten en regels blijven, sommige zaken zijn écht verboden (op dit moment want perspectieven veranderen)
• Verschillende perspectieven:
  
  • Utilitaristisch/teleologie » wat levert het beste resultaat op voor zo veel mogelijk mensen (de maatschappij)?
  • Deontologie/universalisme » beslissing op basis van vaststaande normen en waarden (universele ‘regels’)
  • Virtue ethics » een goed persoon doet goede dingen (je kijkt naar de waarden van de persoon en bepaalt op basis daarvan of die persoon ook daadwerkelijk goed is)
  • Casuistry » baseren op eerdere gebeurtenissen/casussen en op basis daarvan een oordeel vellen
  • Relational ethics » mensen met voorbeeldrollen worden vaak strenger beoordeeld