Hoe meten we de kwaliteit van diagnostiek? - Hoofdstuk 2

Psychodiagnostiek bestaat uit drie onderdelen:

• diagnostische theorieën of referentiekaders;

• de beschrijving van de drie theorieën in modellen uit de testtheorie en de statistiek;

• tests.

Er zijn drie soorten referentiekaders, die elk op ander idee berusten over hoe (problematisch) gedrag het best begrepen en verklaard worden:

• Individuele verschillen. In dit kader wordt er gekeken naar individuele verschillen. Dit is voor de diagnosticus het beste referentiekader om te gebruiken.

• Ontwikkeling. In dit kader wordt er gekeken naar de ontwikkeling in tijd.

• Context. Volgens dit kader kan gedrag pas begrepen en verklaard worden als het gedrag verandert of in stand gehouden wordt door oorzaken: stimuli, gebeurtenissen, interventies. Dit wordt ook wel de (manipuleerbare) sociale context genoemd. Ook dit is een goed referentiekader om te gebruiken, maar hier moet de diagnosticus wel zelf het te meten gedrag bepalen.

Wat is de kwaliteit van de referentiekaders?

Het bepalen van de kwaliteit van referentiekaders wordt gedaan aan de hand van vier criteria:

1. Zijn de elementen en relaties uit de theorie getoetst en wat is het resultaat?

2. Is de theorie zo opgeschreven dat toetsing mogelijk is?

3. Is de theorie inspiratiebron geworden van empirisch onderzoek?

4. Is er onderzoek gedaan naar praktische toepassingen van de theorie en wat is het resultaat van dit onderzoek?

Volgens Van der Werff zijn de eigenschapsbenadering, de biopsychologie en de orthodoxe sociale-leertheorieën de beste referentiekaders om te gebruiken in de diagnostiek. Voor een diagnosticus is vooral de eigenschapsbenadering goed om te gebruiken, deze heeft ook veel intelligentie- en persoonlijkheidstests opgeleverd. De biopsychologische benadering en de sociale-leertheorieën komen uit de contextbenadering. Delen van de psychoanalyse zoals de egopsychologie vindt Van der Werff tot de middenklasse behoren. De ondermaatsen zijn de psychoanalytische, humanistische en existentiële psychologie. De ideeën in deze referentiekaders zijn vaak niet te toetsen.

Hoe wordt de kwaliteit van de modellen gemeten?

Er zijn meerdere modellen uit de testtheorie en statistiek die worden gebruikt om de centrale onderdelen van theorieën en constructen te beschrijven. Zo is er de klassieke testtheorie en de moderne testtheorie (IRT). De IRT is een theorie over gedragingen (een latente trek zoals emotionele stabiliteit of rekenvaardigheid). In deze theorie wordt de kans beschreven dat een persoon, wanneer die een bepaalde waarde heeft op een latente trek, ja zegt op een vraag of een taak goed oplost.

Voor de eerste referentiekader wordt er gebruik gemaakt van factoranalyses. Thurstone kwam met de multiple-intelligentietheorie en uiteindelijk koos hij er voor om deze te meten aan de hand van onafhankelijke factoren. Dit was in tegenstelling tot Spearman, die een g-factor gebruikte voor het meten van intelligentie. Met behulp van de factoranalyse kan er een profiel van iemand worden gemaakt. Een feitje is ook dat de vijf factoren in de Big Five (Extraversie, Vriendelijkheid, Zorgvuldigheid, Emotionele Stabiliteit en Intellect) na het uitvoeren van een factoranalyse geen onafhankelijke factoren blijken te zijn zoals de theorie stelt.

Het tweede referentiekader, de ontwikkeling, kan worden beschreven met bijvoorbeeld een lineaire, negatief versnellende of exponentiële toename van een (on)gewenste gedraging. Ook zijn er stadiummodellen waarin wordt verondersteld dat gedragingen uit verschillende stadia van elkaar verschillen.

Voor het derde referentiekader, de context, gaat het vooral om de effectiviteit van een interventie. Dit kan worden getoetst met een variantieanalyse. Hierin worden de afhankelijke variabelen opgevat als het resultaat van gemanipuleerde factoren, hun interacties en covariaten (zoals sekse en SES).

Hoe wordt de kwaliteit van de onderzoeksinstrumenten vastgesteld?

Er zijn duidelijke kwaliteitseisen voor tests. De Standards for Educational and Psychological Testing werd door de APA in 1999 uitgegeven. In Nederland is er op basis hier van een testbeoordelingsschema ontwikkeld die zeven criteria bevat. Deze criteria kunnen als ‘goed’, ‘voldoende’ of ‘onvoldoende’ worden beschouwd. De criteria zijn:

• De uitgangspunten van de testconstructie. Hierin moet een uitspraak worden gedaan over het doel van de test;

• De kwaliteit van het testmateriaal: de standaardisatie van de items, het scoringssysteem en de instructie. Ook wordt er gelet op de gebruikte materialen (testboekje, scoresleutels, lengte van de test) en op de inhoud van de items om te beoordelen of de items bijvoorbeeld niet kwetsend zijn voor bepaalde bevolkingsgroepen;

Hoe meten we de kwaliteit van de handleiding?

De kwaliteit van de normen. Hierin wordt er gekeken of de gebruikte normeringsgroep overeenkomt met het doel van de test. Er zijn twee typen interpretaties: een normgerichte interpretatie (het vergelijken met een relevante normgroep) en een criteriumgerichte interpretatie (het vergelijken met een absolute waarde of norm). De absolute normen moeten gebaseerd zijn op wetenschappelijk onderzoek.

Hoe bepalen we de kwaliteit van de betrouwbaarheidsgegevens?

Dit gaat over resultaten van onderzoeken met paralleltests, interne consistentie, test-hertest en de interbeoordelaarsbetrouwbaarheid.

Wat is begripsvaliditeit?

Dit gaat over hoe goed een construct past in een nomologisch netwerk met een duidelijke interne en externe structuur.

Wat is criterium validiteit?

Dit gaat over hoe goed de samenhang van een test is met een criterium (de resultaat van een behandeling).

Hoe hoog moet een betrouwbaarheidscoëfficiënt zijn?

Nunnally en Bernstein hebben waarden opgesteld voor beslissingen over wanneer betrouwbaarheidscoëfficiënten als onvoldoende, voldoende of goed kunnen worden beoordeeld. Voor belangrijke beslissingen moet er volgens hun een betrouwbaarheid van rxx > .90 zijn voor de interne consistentie en stabiliteitscoëfficiënten. Op basis hiervan zijn er criteria opgesteld voor de beoordeling van de coëfficiënten:

Bij tests die gebruikt worden voor belangrijke beslissingen op individueel niveau (bijvoorbeeld verwijzing naar speciaal onderwijs), is rxx < .80 onvoldoende, .80 ≤ rxx ≤ .90 voldoende en rxx ≥. 90 goed.

Bij minder belangrijke beslissingen zoals een voortgangscontrole is rxx < .70 onvoldoende, .70 ≤ rxx ≤ .80 voldoende en rxx ≥. 80 goed.

Voor tests die voor onderzoek op groepsniveau worden gebruikt is rxx < .60 onvoldoende, .60 ≤ rxx ≤ .70 voldoende en rxx ≥. 70 goed.

De betrouwbaarheid kan het best worden weergegeven met de standaardmeetfout. Bij tests en vragenlijsten wordt er verwacht dat er een toevallige meetfout zal zijn. Het gemiddelde van deze toevallige meetfout heet de standaardmeetfout. Een hoge standaardmeetfout geeft een lage betrouwbaarheid aan.

Hoe hoog moet een criteriumvaliditeitscoëfficiënt zijn?

Er zijn geen vuistregels voor het bepalen van validiteit. Cohen gaf wel drie vuistregels voor de gewenste hoogte van een validiteitscoëfficiënt:

• Een true correlatie van r = .10 is laag;
• Een true correlatie van r = .30 is gemiddeld;
• Een true correlatie van r = .50 is hoog.

Hoe wordt de kwaliteit van het diagnostisch proces vastgesteld?

De diagnosticus moet naast beslissingen over de theorie, het model en de meetinstrumenten ook beslissen over de wijze van de integratie van alle informatie. Deze informatie-integratie van diagnostici en oordelaars is vaak bestudeerd. Hierbij gaat het om de vraag of informatie door een diagnosticus of met behulp van een empirisch model moet worden geïntegreerd. De diagnosticus wordt vaak beschreven als een matig intuïtieve statisticus en informatieverwerker.

Wat is het verschil tussen een klinische en een statistisch georiënteerde diagnosticus?

Een diagnosticus die klinisch georiënteerd is, heeft vaak gesprekken met zijn cliënt waarin hij probeert te leren over de specifieke persoonlijkheid en de sociale context van deze cliënt. Hij komt tot een diagnose en voorspelling door zijn eigen ervaringen in de klinische praktijk en met behulp van theorieën over gedragingen, cognities en emoties.

Een statistisch georiënteerde diagnosticus integreert informatie met behulp van (lineaire) formules. Hiermee voorspelt hij een criterium redelijk goed op basis van een kans. Deze kansuitspraak kan echter nooit perfect zijn: een waarde van r = 1.00 is nooit haalbaar.

Er zijn hierdoor ook studies over de clinical versus mechanical prediction verricht. Clinical is de term voor de klinische oriëntatie en mechanisch voor de statistische oriëntatie. Het blijkt dat de oriëntaties even goed zijn, al is de statistische oriëntatie iets beter.

Wat zijn beperkingen in de statistische beoordeling van de diagnosticus?

Een aantal beperkingen die spelen bij de beoordeling door een diagnosticus zijn dat hij vaak iemand categoriseert op één opvallend kenmerk. Daarnaast houdt hij vaak geen rekening met de frequenties van hoe vaak iets voorkomt: dit heet de base rate. Ook laat een diagnosticus saillante informatie, dat wil zeggen, dingen die duidelijk zichtbaar zijn, zwaar wegen. Ook houdt een diagnosticus vaak geen rekening met een steekproef, terwijl resultaten van een grotere steekproef veel betrouwbaarder zijn dan die van een kleinere steekproef. Ook bekijken ze correlaties vaak verkeerd. Een voorbeeld hier van is: wanneer iemand ziek, wat vaker voorkomt, en naar de dokter toe gaat, krijgt hij medicijnen. Hij neemt deze in en daarna wordt hij beter. Dit betekent echter niet dat dit door de medicijnen komt! Het kan ook zo zijn dat de persoon door een natuurlijk verloop geneest van de ziekte. Hier wordt in de diagnostische praktijk soms te weinig rekening mee gehouden.

Wat zijn beperkingen in de informatieverwerking van een diagnosticus?

Er zijn een aantal heuristieken (vooroordelen) die het beoordelingsproces kunnen beïnvloeden. Er zijn vier soorten heuristieken voor elke stap in een informatieverwerkingsproces:

• Het werven van informatie. Hier is er sprake van de availability-heuristiek. Dit houdt in dat een diagnosticus eerder geneigd is om te denken dat iets gebeurt, wanneer hij of zij er vaak mee geconfronteerd wordt. Hier is dus weer sprake van niet goed letten op de base-rate;

• Het verwerken van informatie. In deze fase onderschat de diagnosticus de groeiprocessen, gebruikt hij vuistregels die niet altijd kloppen, oordeelt hij onder tijdsdruk en hierdoor niet zorgvuldig;

• Het beoordelen van de uitkomst van de informatie. In deze fase geldt dat de vraag het antwoord kan beïnvloeden. Er is soms sprake van ‘zien wat we willen zien’;

• Bij het omgaan met feedback. Vaak neemt de diagnosticus de informatie die alleen bevestigende informatie geeft serieus. Hij houdt geen rekening met ‘kans’. Ook is het soms zo dat een diagnosticus zelf dingen bedenkt en er in gelooft dat dit klopt, zonder enige wetenschappelijke onderbouwing.

Wat zijn middelen waardoor de diagnosticus fouten kan vermijden?

Doordat diagnostici dus redelijk wat fouten maken in hun beoordeling, is het belangrijk om hen hier op te trainen. Met behulp van training kan er geleerd worden om rekening te houden met de base rate, om te gaan met de availability bias en het voorkomen van foreclose. Dit is het te snel accepteren van een verklaring zonder verder te zoeken.

Een andere manier om fouten te vermijden is door het volgen van voorschriften zoals de diagnostische cyclus (het hypothesetoetsend model) en het gebruik van empirisch opgestelde regels om informatie goed tegen elkaar af te wegen en te integreren.

Ook zou feedback over de juistheid van de diagnosen die zij maken kunnen helpen, maar dit gebeurt erg weinig in de praktijk.

Waar moet rekening mee worden gehouden in de diagnostiek?

Er moet rekening worden gehouden met het feit dat tests vaak in het Nederlands zijn. Ook zijn er bij intelligentietests gedeelten waar mensen beoordeeld worden op hun begrip van de Nederlandse taal (spreekwoorden), zoals bij intelligentietests. Door deze reden zijn tests bij diagnostiek van personen die de Nederlandse taal niet goed beheersen zoals vluchtelingen beperkt.

Ook moet een diagnosticus rekening houden met zijn collega’s, de instelling waar hij werkt en met de wetgeving. Psychologen en pedagogen vallen onder de Wet op de beroepen in de individuele gezondheidszorg (Wet BIG).

Wat zijn de ethische regels?

Er zijn regels voor de beroepsvereniging waar leden zich aan moeten houden. Dit zijn:

• geen discriminatie;

• geen misbruik maken op basis van je macht;

• alleen een professionele relatie is toegestaan;

• geen middelen hanteren die de cliënt zijn welzijn aantast;

• geheimhouding;

• dossier minimaal één jaar bewaren en ontoegankelijk houden voor niet-bevoegden;

• de cliënt mag altijd beslissen over het aangaan en beëindigen van een professionele relatie.

Er is een commissie die zich bezighoudt met klachten. In Nederland komen er heel weinig klachten voor.

Wat is test fairness?

Test fairness houdt in dat er geen sprake is van bias (vertekeningen) bij het gebruik van tests. Denk aan dat een intelligentietest niet goed gebruikt kan worden voor vluchtelingen die de taal niet optimaal beheersen en zij daarom lager zullen scoren. Of bijvoorbeeld een vraag over auto’s die mannen makkelijker kunnen beantwoorden dan vrouwen en daardoor hoger scoren in een test over techniek-inzicht. Met behulp van de moderne testtheorie (IRT) kunnen de items worden beoordeeld hier op. Dit heet Differential Item Functioning (dif). Het doel is dus dat mensen met een gelijke vaardigheid niet anders scoren op een test.

Ten tweede is het voor test fairness belangrijk dat er een gelijke behandeling is van personen in het testproces. Het derde punt is gelijke gelegenheid om iets te leren: dit gaat over scholing. Niet elke groep in de samenleving heeft hier toegang tot. Ten slotte kan het zijn dat de geteste zelf oneerlijk is en zich anders voordoet. Dit kan bij persoonlijkheidstesten voorkomen, waarin faking bad (zichzelf slechter voordoen) en faking good (zichzelf beter voordoen) kan optreden.

Ben je geïnteresseerd in de samenvattingen van de rest van de hoofdstukken van Psychologische diagnostiek in de gezondheidszorg? Word dan Member van JoHo en krijg toegang tot de gehele bundel!