H C   1   -   2 4   A P R I L   2 0 2 3

Correlationeel onderzoek

Correlationeel onderzoek: op zoek naar de samenhang tussen twee variabelen.

Toepassing van onderzoeksmethoden en statistiek gaat over het onderzoeksontwerp en hoe je dit kunt uitvoeren.

Data verzameling (verschillende soorten)

• Klanttevredenheid
• (politieke) polls
• (governmental) statistics

Snelle groei dataverzameling door alle mogelijkheden (zoals smartphones).

Ontstaan data

• Data wordt gegenereerd op twee verschillende manieren:
  • incidenteel/organisch » automatisch/transactioneel
  • Doelbewust/designed
• Designed data is ‘custom made’, terwijl organic data juist ‘kant-en-klare’ data is

Correlationele data (designed)

• We ontwerpen en verzamelen data om:
  • Sociale realiteit te beschrijven
  • (causale) relaties te bestuderen
  • Te generaliseren naar de doelpopulatie
• Doelen:
  
  • Beschrijven
  • Oorzaak-gevolg relatie aantonen
  • Voorspellen

Type surveys

• Face-to-face (Computer Assisted Personalized Interview (CAPI)
• Post
• Telefoon (CATI)
• Mixed-mode » meerdere vormen tegelijk

Verschillen tussen de typen

Afhankelijk van:

• Betrokkenheid van interviewer
• Interactie met respondent
• Hoeveelheid privacy
• Communicatie kanalen
  
  • Visueel
  • Auditief
• Technologiegebruik

Survey modes in Nederland

• Willekeurige steekproeven zijn vaak krachtigere dan niet-willekeurig (probability-sample)
• Onderzoek doen is keuzes maken » waarom kies je wat je kiest?
• Er wordt veel gebruik gemaakt van de mixed-mode zodat er een hogere response-rate is

Typen mixed-mode design

• De ene modus voor een bepaalde deel van respondenten, een andere modus voor een ander deel van de respondenten
• Een modus voor werving, een andere modus voor administratie
• Een modus voor dataverzameling, een andere voor reminders/follow-ups
• Een modus voor het hoofdgedeelte van het interview, een andere modus voor bepaalde (specifieke) vragen

Verschillende methoden voor verschillende respondenten zorgen voor andere uitkomsten

Cross-sectional en panel surveys

• Panel: interviewen mensen over de tijd heen
  • De inhoud van het interview blijft meestal hetzelfde
  • Vanuit willekeurige steekproef gestart
• Voordelen:
  
  • We kunnen veranderingen en causaliteit binnen een persoon beoordelen
  • We kunnen leeftijds-, periode- en cohorteffecten scheiden
• Mogelijke nadelen:
  
  • Drop-outs: mensen die stoppen met deelname » kan verkeerd beeld/eindresultaat veroorzaken
  • Opeenvolgend geen reactie ontvangen (op vervolg surveys)
  • Panel conditionering

Operationaliseringsproces

• Construct » conceptuele definitie » operationele definitie » variabele
• Deze stappen moeten worden uitgevoerd om het operationalisatieproces te voltooien

Ompolen: omdraaien van schaalscore als deze niet overeenkomt met algemene uitkomst (bijv. alle vragen zijn negatief geformuleerd en één vraag positief, dan moet bij die vraag de schaalscore omgedraaid worden)

H C   3   -   4   M E I   2 0 2 3

Regressie

SLR = simple linear regression

MLR = multiple linear regression

Significantie

• Om te testen of de lineaire relatie ook significant is, zijn er twee toetsen om uit te voeren:
  • Toets 1: toets voor de helling (hoe schuin de lijn loopt) » bepaald of de ‘helling’ significant anders is dan nul
    • Dit kun je testen door een t-toets
    • De resultaten zijn te vinden in de output
  • toets 2: toets voor de verklaarde variantie  » de toets bepaald of de proportie van bepaalde variantie significant groter is dan nul
    
    • Het kan worden getest door middel van een F-toets
    • Resultaten zijn te vinden in de output
• Gebruik van alfa is een keuze. Een keuze om een nul-hypothese op basis van de ingestelde alfa wel of niet te verwerpen. Daardoor kunnen er onterecht nulhypotheses verworpen worden.

Coëfficiënten (SLR)

• Bij SLR is de gestandaardiseerde regressiecoëfficiënt bèta gelijk aan de correlatiecoëfficiënt r
• Het meet de toename/afname van Y in standaarddeviaties (standaardafwijkingen) wanneer X met 1 SD toeneemt.
• Voorbeeld 1: E+ of E- staat voor de decimaal zoveel plekken naar voren of naar achteren schuiven (dat zou een heleboel decimalen geven dus daarom wordt het zo neergezet)

Aannames over lineaire regressiemodellen

Validiteit: past je data bij je onderzoeksvraag? Wanneer dit niet het geval is ben je eigenlijk iets anders aan het meten

• Er is een lineaire relatie tussen IV en DV
• IV en DV zijn beide op interval/ratio niveau
• De residuen zijn normaal verdeeld » dit kun je checken d.m.v. een histogram van de residuen
• De residuen zijn gelijk verdeeld (homoscedasticiteit)
  
  • Dit betekent dat er overal langs de regressielijn sprake moet zijn van gelijke spreiding van de restanten/residuen.
  • Je kunt dit checken door een spreidingsdiagram van de residuen (op de y-as) en x-variabele of voorspelde waarde op de x-as
• Er moeten geen uitschieters zijn (je moet voorzichtig zijn met wat je een uitschieter noemt) » ze zijn niet goed voor het statistisch model maar kan soms wel horen bij de populatie/doelgroep die je onderzoekt

Homoscedasticiteit vs. heteroscedasticiteit

• homoscedasticiteit: gelijke verdeling van residuen (geen waarneembaar patroon)
• heteroscedasticiteit: verdeling van de residuen heeft de vorm van een vlinderdas of trechtervorm (op z'n kant) 

Meervoudige lineaire regressie  

• In een regressiemodel kunnen we meerdere variabelen toevoegen
• Dit schrijf je als:

• De regressievergelijking wordt op dezelfde manier

H C   5   -   8   M E I   2 0 2 3

Bayesiaanse statistiek en design overwegingen

Waarom houden wetenschappers van experimenten?

• Er is een hoge mate van controle » je kan veel zelf beïnvloeden
• Mensen nemen vaak deel aan experimenten

De empirische cirkel

1. Theorie en onderzoeksvraag
2. Onderzoeksontwerp
3. Hypothese formulering en preregistratie
   
   • Nulhypothese zegt altijd ‘er is geen effect’
   • Preregistratie: onderzoeksresultaten publiceren, ongeacht de resultaten
4. Steekproeftrekking, randomiseren en causaliteit, data verzameling en data controle
5. Nul hypothese significantie toetsing (NHST) of Bayesiaanse hypothese evaluatie
   
   • Cohen’s D = effectgrootte (stel ik vind een effect, is  het dan relevant?) » .20 is een klein effect, .50 is een gemiddeld effect, .80 is een groot effect
   • P-waarde: als ik aanneem dat de nulhypothese waar is, hoe bijzonder is het dat ik deze data vind?
   • Alfa: de kans op een type 1 fout (= ten onrechte verwerpen van de nulhypothese) » als je een kleinere kans wil op een type 1 fout, moet je een grotere steekproef nemen.
   • Power: de kans op een type 2 fout (= ten onrechte de nulhypothese niet verwerpen)
6. Rapportage
7. Replicatie onderzoek

De replicatie crisis

• Studies die niet genoeg power hebben, publiceren toch hun stuk. De replicatiestudie heeft een grotere groep respondenten met een grotere power om dezelfde effect size te vinden. Dit zorgt voor heel andere onderzoeksresultaten.
• De replicatie crisis leidt tot de vraag hoe het mogelijk is dat de resultaten van wetenschappelijk onderzoek vaak niet repliceerbaar blijken.
• Sloppy science:
  
  • Op de uitdrukkelijke vraag of zij ooit onderzoekgegevens hebben vervalst of vervalst. onderzoeksgegevens, of dat zij resultaten hebben gewijzigd of aangepast om het resultaat te verbeteren, antwoordde tussen 0,3% en 4,9% van de  wetenschappers bevestigend
  • Andere twijfelachtige praktijken werden toegegeven door tot 33,7% van de respondenten. Consistent in alle studies, gaven wetenschappers vaker toe "onderzoeksresultaten te hebben gewijzigd onderzoeksresultaten" om het resultaat te verbeteren dan dat zij resultaten te hebben gerapporteerd waarvan zij "wisten dat ze niet waar waren".
  • Op de vraag of zij persoonlijk kennis hadden van een collega die onderzoeksgegevens verzon of vervalste, of die onderzoeksgegevens veranderde of onderzoeksgegevens wijzigde tussen 5,2% en 33,3% van de respondenten bevestigend.
• Publicatie bias: het publiceren van onderzoek gebaseerd op type 1 fouten (vb: 9 onderzoeken vinden geen resultaat, 1 studie wel en die wordt wel gepubliceerd)

Bayesiaanse hypothese evaluatie

• Bayes factor: probeert aan te geven hoeveel ondersteuning er in de data is voor een bepaalde hypothese (vervanging van p-waarde)
• De Bayes factor BF_0a geeft de relatieve

H C   7   -   1 5   M E I   2 0 2 3

Tweeweg ANOVA via NHST

Tweeweg ANOVA: Er zijn twee factoren van invloed op de afhankelijke variabele

Het quasi experimentele design

• Tweeweg ANOVA met beide factoren van between type » beide factoren delen mensen in groepen in
• Quasi-experimenteel design: toewijzing aan groepen gebeurt niet door randomisatie
  
  • Doel: bepalen van causaal effect van experimentele manipulatie
  • Hoe kunnen alternatieve verklaringen voor het effect worden uitgesloten? (interne validiteit)
  • Toewijzing aan groepen gebeurt niet door randomisatie (wat normaal wel gebeurd bij experimenten, maar omdat het nu een quasi experimenteel design is, niet)
• Iedereen weet in welke conditie hij/zij is ingedeeld

Voorbeeld

• Situatie: Aan het begin van groep 7 kiezen de meeste meisjes voor extra huiswerk voor rekenen, terwijl de meeste jongens dat niet doen.
• Resultaat: Aan het einde van het jaar behalen de meisjes hogere cijfers voor rekenen dan de jongens.
• Vraag: Worden de betere prestaties van de meisjes verklaard door het extra huiswerk?
• Probleem: Mogelijke alternatieve verklaringen kunnen niet worden uitgesloten.
• Alternatieve verklaring: Aan het begin van het jaar konden de meisjes überhaupt al beter rekenen dan de jongens. Dat is gedurende het jaar niet veranderd.
• Oplossing: Kijk of het effect van huiswerk zowel voor de jongens als voor de meisjes bestaat. Als dit zo is, dan kan de alternatieve verklaring worden uitgesloten. Dit doen we met behulp van een twee weg ANOVA.

Hypotheses:

• H₀₁: Er is geen hoofdeffect van groep (huiswerk)
• H₀₂ : Er is geen hoofdeffect van sekse
• H₀₃ : Er is geen interactie effect tussen groep en sekse

• Probleem quasi experimentele designs: mensen kunnen zichzelf indelen dus er kan een vertekening ontstaan (door bijv. oneven representatie)
• Je kan geen causale uitspraken doen met quasi experimenten, maar doordat de kans op vertekening groot is kun je altijd gebruik maken van een tweeweg anova om meerdere factoren te kunnen meten

De Bayesiaanse Tweeweg ANOVA

• Belangrijke begrippen voor het tentamen: Bayesiaans updaten, posterior model kansen, Bayes factor
• Wanneer kijk je naar Bayes factor en wanneer posterior model kans:
  
  • Onderzoek naar specifieke hypothese: Bayes factor
  • Meerdere hypotheses waartussen een keuze gemaakt moet worden: posterior model kans
• Bayesiaanse tweeweg ANOVA maakt gebruik van informatieve hypotheses die de verwachtingen van onderzoekers weergeven.
• Informatieve hypotheses worden geformuleerd vóórdat de data worden verzameld, met behulp van > en < tekens.

Voorbeeld

Stel de situatie is als volgt: twee hoofdeffecten zijn zichtbaar, en er is geen interactie-effect.

H C   1 0   -   1   J U N I   2 0 2 3

Dataverzameling

Bij kwalitatief onderzoek wordt aan de start van het onderzoek geen hypothese gevormd.

• Inductieve werkwijze: op basis van de verzamelde data wordt een theorie geformuleerd (correlationeel = deductief)
• Abductieve werkwijze: op basis van de data worden verklaringen geformuleerd, die worden getoetst met nieuwe data. De dataverzameling wordt afgestemd op de vraag die er op dat moment is (=iteratief proces)

Kwalitatieve interviews

• Ongestructureerd » kwalitatieve interviews
• Semigestructureerd » kwalitatieve interviews
• Gestructureerd » surveys

Vormen van interviews

• Face to face
  • Gesprek met respondent in dezelfde ruimte
  • Tijdrovend, maar grote opbrengst
• Telefonisch
  
  • Kleine tijdsinvestering, maar non-verbale ques zijn niet duidelijk » verlies van informatie
• Online
  
  • Kleine tijdsinvestering, maar non-verbale ques zijn niet duidelijk » verlies van informatie en gebrek aan controle
• Go-along
  
  • Met een respondent meegaan
  • Dynamisch, informatief op meerdere manieren maar verlies van controle doordat het lastig te managen is
• Etnografisch

Interview: vraag-antwoord model (Tourangeau)

• Comprehension » begrijpen van de vraag
• Retrieval » ophalen van informatie, wat is het antwoord op de vraag?
• Judgement » gedachten, ideeën, meningen, ervaringen en herinneringen in het hoofd van respondent
• Response » bovenstaande wordt geformuleerd tot een antwoord

Het is belangrijk om vertrouwen/report op te bouwen zodat de respondenten delen wat ze willen delen, en dus genoeg antwoorden geven. MAAR het moet niet te vertrouwelijk zijn, want het blijft een ‘afstandelijke’ relatie

Onderdelen van een interview

• Stage 1: Aankomst en introductie » bepaalt veel over beeld die respondent van interviewer krijgt
• Stage 2: Introductie onderzoek » bruggetje tussen algemene introductie en in onderzoek
• Stage 3: Begin van het interview » interviewer zegt zo weinig mogelijk, beginnen met een makkelijk onderwerp wat basis legt voor de rest van het gesprek
• Stage 4: Tijdens het interview
• Stage 5: Einde interview » laatste algemene vragen, meer overgaan in gespreksvorm
• Stage 6: Na het interview » belangrijk om ‘doorknob effect’ te voorkomen (belangrijke info komt boven zodra je ‘relaxed’ wordt maar dan geen tijd meer heb om de info te delen)

Focusgroepen

“A focus group study is a carefully planned series of discussions designed to obtain perceptions on a defined area of interest in a permissive, nonthreatening environment” (Krueger & Casey, 2009)

• Data wordt gegenereerd door interactie » er is een gesprek tussen de leden van de focusgroep, wat wordt

H C   1 2   -   8   J U N I   2 0 2 3

‘Goed’ onderzoek

Rigor/trustworthiness = de kwaliteit van het onderzoek in z’n geheel

Rigor

• De kwaliteit van onderzoeksresulten:
  • Plausibel » credibility van de resultaten, in hoeverre is het antwoord op de onderzoeksvraag daadwerkelijk het juiste antwoord?
  • Stabiel » afhankelijk van omgeving waar je onderzoek uitvoert
  • Niet beïnvloed door de onderzoeker » objectiviteit, dus objectieve weergave van de realiteit. Confirmability, dus zoeken naar bevestiging van eigen ideeën mag niet
  • Past in een brede context » kunnen vertalen naar andere situaties (transferability)
• Toepassing van deze kwaliteitscriteria:
  
  • Verzekering op het gebied van credibility door veel data te verzamelen en inbedden in literatuur
    
    • Prolonged engagement » meer data van dezelfde persoon te verzamelen
    • Persistent observation » gericht data verzamelen
    • (data/methoden) triangulatie
    • Member check » terug naar respondent (en hen laten checken of je hen accuraat representeert)
  • Verzekering op gebied van dependibility:
    
    • Audit trail » lezer indirect laten het proces laten checken door een ‘spoor’ achter te laten van memo’s en fieldnotes
    • Overlappende methoden – data triangulatie
    • Stapsgewijze replicatie – onderzoekers triangulatie
  • Conformability:
    
    • Audit trail
    • Reflexiviteit » reflecteren op jouw rol als onderzoeker
  • Transferability » empirisch (kunnen we onderzoeksgegevens naar andere situaties vertalen?) vs. theoretisch (in hoeverre is er een ‘fit’ tussen de data en bestaande theorieën?)
    
    • Thick description » goed begrijpen wat de context is waarin mensen leven, dus waarin de data verzamelt wordt. Dit geeft ons alle relevante details over het leven van de respondent, waardoor we beter weten in welke context het onderzoek toepasbaar is
    • Theoretical sampling » gedurende het onderzoek, wordt je steekproef steeds geüpdate, zodat je respondenten hebt die het meest aansluiten bij je onderzoek
• Overkoepelende discussie
• • Begrippen:
    
    • Credibility » interne validiteit
    • Dependability » betrouwbaarheid
    • Confirmability » objectiviteit
    • Transferability » externe validiteit
  • Betrouwbaarheid kan op twee verschillende manieren:
    
    • Data-niveau » zelfde score tussen verschillende items
    • Onderzoeksniveau » overlappende resultaten op ‘uitgezoomd’ niveau
• Rigor in praktijk: checklist
  
  • Bevat punten die nodig zijn voor ‘goed’ onderzoek
  • Expliciete en gewogen beoordeling
  • Gevaren:
    
    • ‘OK’ stempel (dus ‘even’ aanpassinkje maken en dan afvinken)
    • Procedureel afdoende is niet per definitie relevant
    • Elementen forceren op onderzoek
    • Niet