H C   4   -   4   M E I   2 0 2 3

Measurement & Bias

Bias: systematische vertekeningen van metingen

Survey

• Problemen: Het is niet betrouwbaar (door herinneringsbias of construct validiteit (meet het wel wat het moet meten?))
• Effect van herinneringsbias: er wordt minder gerapporteerd dan de bedoeling is

Observaties in een lab

• Problemen: mensen gedragen zich anders dan normaal omdat ze geobserveerd worden (Hawthorne effect) en je kan voor een bepaalde tijd meekijken (snapshot)
• Dit geeft problemen voor de externe validiteit

Foto’s

• Problemen: lage constructvaliditeit en lage betrouwbaarheid
• Het geeft veel context

Dagboek bijhouden

• Op papier:
  • Problemen: non-respons, moeilijk te herinneren en onderrapportage
  • Zorgt voor lage betrouwbaarheid en validiteit
• Op smartphone:
  
  • Problemen: dekkingsfout (niet iedereen kan ermee overweg), wordt het systematisch bijgehouden (non-respons)?
  • Het valt misschien niet te coderen

Problemen met meten

• Validiteit
  • Construct validiteit
  • Externe validiteit
    
    • Dekking
    • Non-respons
    • Reactiviteit/Hawthorne effect
    • Herinnering » onderrapportage
• Wat werkt hangt af van de populatie en de resources van de onderzoeker

Meten

• Wat wil je weten?
  • Feiten » secundaire data verzamelen, specialisten vragen
  • Gedrag » observeren/persoon vragen
  • Meningen » vraag de persoon
• Vragenlijst wordt gebruikt om mensen zelf te vragen naar bepaalde gegevens (nuttig voor informatieverzameling over gedragingen)

Respons proces

• Waarom is het moeilijk om fout-vrije metingen te krijgen?
• Proces: begrip – ontvangen/herinnering – beoordeling – reactie
• Mensen maken in dit proces stappen heen en weer tussen de verschillende stappen, wat ervoor zorgt dat de antwoorden minder accuraat worden

Survey problemen die zorgen voor bias

• Recall/herinnering problemen leiden tot onder- of overschatting van de werkelijkheid
• Bias kan ook ontstaan door andere redenen

Survey lifecycle                                            Total survey error framework

Survey lifecycle and error framework

• Doelpopulatie en dekking
  • Doelpopulatie: de groep die we willen onderzoeken
  • Steekproefkader: de lijst die gebruikt wordt voor de uiteindelijke steekproef
  • Het kan zijn dat het steekproefkader niet de volledige doelpopulatie dekt, waardoor een dekkingsfout kan ontstaan
• Dekkingsfout: Komt voor wanneer niet alle leden van de populatie een ‘niet-nul’ kans hebben om in de steekproef te komen en als een persoon die wordt uitgesloten van het steekproefkader verschilt van die wel in het steekproefkader komen
  
  • Over-dekking » respondenten die niet in doelpopulatie zitten maar wel in steekproefkader en daardoor in de steekproef komen
  • Onder-dekking » respondenten die wel in de doelpopulatie zitten maar niet in het steekproefkader en daardoor niet in de steekproef komen
• Steekproeffout: komt voor wanneer je een paar (in plaats van alle) leden van de doelpopulatie bevraagt. Dit kan leiden tot onzekerheid over de geldigheid waardoor statistische informatie om deze onzekerheid te kwantificeren » je pakt een klein gedeelte uit het sampling frame, als dit niet willekeurig is, wordt de kans op een steekproeffout groter
• Non-respons: personen die gekozen worden voor de steekproef vullen de vragenlijst niet in (unit non-respons) of slaan sommige vragen over (item non-respons). Redenen:
  
  • Technische moeilijkheden
  • Geen/weinig motivatie of interesse
  • Geen gevoelige vragen willen beantwoorden
• Adjustment error/aanpassingsfout: data wordt anders behandeld, doordat de ene factor zwaarder meegewogen wordt dan de andere (= verschillende inschattingen maken)
• Verwerkingsfout: komt voor tussen het ontvangen van de respons en het publiceren van de statistieken » de data is niet verwerkt zoals het moet, waardoor je een vertekening van de resultaten krijgt. Voorbeelden:
  
  • Fout bij gegevensinvoer
  • Coderingsfouten
  • Fouten bij verwerken van vertrouwelijke gegevens
  • Rekenfouten
• Meetfout: komt voor wanneer respondenten inaccurate antwoorden geven
  
  • Dit kan door:
    
    • Vragenlijst vorm (bijv. op smartphone)
    • Slechte vraagstelling (bijv. moeilijke woorden gebruiken of lastige zinsconstructie)
    • Aspecten van hun gedrag
  • Uit te splitsen naar twee fouten:
    
    • Question bias: er zijn fouten in de vragenlijst (bijv. leidende/suggestieve vragen waardoor mensen al naar een antwoord gestuurd worden, dubbele vragen, dus twee vragen in 1 zin, gevoelige vragen of volgorde van de vragen)
    • Response bias: wordt veroorzaakt door het gedrag van de respondenten (bijv. niet goed lezen, sociaal wenselijke antwoorden geven, neiging om het eens te zijn met statements, straightlining of fence-sitting)