Sheetnotes 15/16

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit hoorcollege wordt het onderwerp bias in de psychologische diagnostiek behandeld. Dit is te koppelen aan de literatuur van H15 van Mastery Modern Psychological Testing.

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur?
De specifieke toelichtingen over de situatie in Amerika en Nederland. Zie hiervoor de hoorcollege aantekeningen. 

Welke recente ontwikkelingen in het vakgebied worden besproken?
De huidige situatie ten opzichte van verantwoord testgebruik wordt besproken. 

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
Er worden geen opmerkingen gemaakt over het tentamen.

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 
Er worden geen tentamenvragen behandeld.

Hoorcollege aantekeningen 15/16

Een testitem is niet zomaar wat het lijkt, verwachtingen over de testsituatie kunnen de testuitslag bepalen (bijv. moeilijker denken dan het is). Bias = systematische fout in een testuitslag (Reynolds & Livingston). Een vertekening die de validiteit van een testuitslag bedreigt (van de Vijver, 2011) CTB hypothese: groepsverschillen te wijten aan een inherente fout in de test.

Perspectieven hoe je tegen bias aan kan kijken

• Statistisch
• Juridisch: jaren ’60 – jaren ’80, zijn testuitslagen valide genoeg om ze in een rechtzaak te gebruiken?
• Filosofisch / ethisch: wat betekent bias ethisch gezien? Mogen we wel op grond van de test beslissingen nemen?
• Sociaal - cultureel: CITO-scores, mogen we deze openbaar maken? E.d.
• Klinisch / praktisch: als je weet dat een test mogelijk bias heeft voor een groep, wat betekent dit in de praktijk? Welke waarde moet je daar aan hechten?

Fairness = onpartijdige toepassing van test

• Zonder bias
• Gelijke testomstandigheden
• Gelijke gelegenheid ter voorbereiding / leren
• Gelijke groepsuitkomsten (voor zo ver mogelijk)

Bias = unfair
Unbiased ≠ fair

3 vormen van vertekening bij een test

• Constructbias: meet niet zoals het zou horen te meten
• Methodebias: afname, afnemer, interactie testafnemer en geteste
• Itembias: een specifiek item in een test beoordeelt sommige groepen anders.

H&M beweren (VS): intelligentie / iq voorspelt maatschappelijke variabelen zoals inkomen en werk, etnische verschillen in IQ tussen blanke en zwarte amerikanen is gemiddeld 15 punten (SD = 1).

Gould: er wordt uitgegaan van 4 verschillende aannames:

1. Intelligentie is een getal
2. Dat getal kun je in rang ordenen (en correleert met maatschappelijke verschillen)
3. Intelligentie is erfelijk
4. Intelligentie is onveranderlijk

Huidige situatie in de VS

In 1999 hebben APA en AERA Standards opgesteld: fairness is het belangrijkste aandachtspunt bij toetsen en het beoordelen van de kwaliteit van een test. Ook wordt er meer aandacht besteedt aan fairness dan aan bias en er is bijzondere aandacht voor fairness bij minderheden, meertalige kinderen en mensen met beperkingen.

Achtergronden in NL

• Weinig interesse (’60 en ’70)
• W.B. Hofstee signaleert en analyseert het probleem (eind ’80)
• Onderzoek naar bias in IQ en assessment tests (’90)
• Ontwikkeling van nieuwe tests, bruikbaar in multiculturele samenleving (vanaf ’90)

Hofstee e.a. hebben de toepasbaarheid van psychologische tests bij alloctonen onderzocht (1990): 20 tests, etnocentrisme in bijna alle tests (bias dominante cultuur) en er waren geen normgegevens beschikbaar over de toepasbaarheid van de test voor allochtonen. De tests waren dus beperkt bruikbaar.

Als gevolg van dit onderzoek heeft Hofstee de COTAN gestimuleerd om het criterium bias en toepasbaarheid op te nemen, hij vond dat er onderzoek nodig was naar testbias in NL en herziening van subtests in verband met etnocentrisme. Ook was er grote terughoudendheid bij toepassing van tests bij allochtonen (i.h.b. bij werving en selectie)

Huidige situatie in NL: Bochhah e.a.

• Meer onderzoek, nieuwe tests ontwikkeld
• Aan bestaande tests is niks veranderd
• Boek: deskundigen over testen van etnische minderheden
• 2005: richtlijnen voor het gebruik van diagnostische instrumenten bij etnische minderheden
  - Bijna niemand kent/gebruikt deze richtlijnen (worden ook niet gebruikt bij opleidingen)
• Huijding e.a. (2012): voorzet voor verantwoord en fair testgebruik en de rol van de COTAN

Oplossingen of schijnoplossingen?

• Cultuurvrije tests: taal, spreekwoorden, abstracte begrippen
  - Niet mogelijk
• Standaardtests: voorspellende waarde IQ- en capaciteitentests is goed, maar niet alle tests beogen te voorspellen
• Geen testgebruik, maar interviews en observaties: nog minder validiteit, kind weg met badwater (en-en ipv of-of)

Nu: kunnen gestandaardiseerde test verantwoord en fair worden gebruikt bij diverse groepen?

Drie domeinen van testgebruik: arbeidsmarkt (werving en selectie), onderwijs (diagnostiek, behandeling en verwijzing) en geestelijke gezondheidszorg (intake, diagnostiek, monitoring effecten)

• Verantwoord testgebruik (voor de afname): controleer de testbaarheid van de deelnemer, mocht Nederlands niet de eerste taal zijn neem dan de test die zo min mogelijk beroep doet op de taalvaardigheden. Gebruik als dat mogelijk is altijd meer dan één instrument, controleer de validiteit en ga de groepsverschillen na. Controleer ook begrippen, symbolen, afbeeldingen en check mogelijke aanpassingen die je zou mogen of kunnen doen.
• Verantwoord testgebruik (tijdens de afname): informeer over het doel van de test, de procedure en de tijdsduur.
• Verantwoord testgebruik (resultaten en interpretatie): normgroepen, bij twijfel over de validiteit geen conclusies trekken. Wat is de waarde van de testscore in de eindbeoordeling en wat is het leerpotentieel? Leg veranderingen en overwegingen vast.