Hoorcollege Beslissend Testgebruik (signaal detectie theorie)

Sheetnotes 19/20

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit hoorcollege wordt de Signaal Detectie Theorie (SDT) uitgelegd. In de literatuur wordt hier weinig over gesproken. Het wordt kort toegelicht in H5 (blz. 168-170) van Mastery Modern Psychological Testing.

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur? 
In de literatuur wordt SDT niet volledig uitgelegd, daarom is dit college een toevoeging op de literatuur. 

Welke recente ontwikkelingen in het vakgebied worden besproken?
Er worden geen recente ontwikkelingen besproken.

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
Er worden geen opmerkingen gemaakt over het tentamen.

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen?
Er worden geen tentamenvragen behandeld. 

Hoorcollege aantekeningen 19/20

Hoe groot is de kans dat iemand bij een positieve diagnose, daadwerkelijk een stoornis heeft. Base rate fallacy/neglect = beoordeling op basis van een test waarbij onvoldoende rekening wordt gehouden met het voorkomen van het kenmerk in de populatie. Psychologische diagnostiek zijn vergelijkbaar met medisch diagnostiek of gebruik van detectieapparatuur. De beslissingen die worden genomen zijn onzeker, waardoor je voorzichtig moet zijn met het maken van een beslissing. Duiden de waargenomen symptomen op aanwezigheid van een kenmerk/eigenschap of niet? In veel procedures zit een deel subjectiviteit of onbetrouwbaarheid van een test. 

Signaal detectie theorie (SDT)

Theorie die de mogelijkheid biedt diagnostiek vanuit modelmatig, besliskundig perspectief aan te pakken. Denkkader en verzameling analysemethoden rondom het nemen van beslissingen. 

De meeste testen hebben overlap tussen de mensen die de stoornis wel hebben en niet hebben. Binnen de groep waar de stoornis aanwezig is en waar die gevonden wordt in de testscore, noemen we de ware positieven (hits). Waar de score duidt op aanwezigheid van een stoornis, maar de stoornis er daadwerkelijk niet is, noemen we deze groep de valse positieven (false positives). Wanneer de score onder de grenswaarde valt, maar deze groep wel een stoornis heeft, noemen we dit de valse negatieven (false negatives = misses). Wanneer de score onder de grenswaarde valt en wanneer deze groep daadwerkelijk geen stoornis heeft, noemen we dit de ware negatieven (correct negatives = correct rejection).

Er moet tot een gunstige grenswaarde gekomen worden, zodat de beslissing de minste ernstige gevolgen heeft. De beslissingen kun je in een uitkomstenmatrix zetten. Volgens de gouden standaard wordt bepaald of een kenmerk wel of niet aanwezig is. 

Sensitiviteit = kans dat iemand een positieve diagnose krijgt gegeven dat iemand die stoornis heeft. Dit bereken je door a (ware positieven) / a (ware positieven) + c (ware negatieven). Voorwaardelijke/conditionele kans = de kans dat iemand die een stoornis heeft ook volgens de test de stoornis krijgt. Je hebt een aselecte steekproef nodig om de test goed te beoordelen. 

Specificiteit = kans op negatieve diagnose gegeven dat iemand de stoornis niet heeft. Dit bereken je door d (ware negatieven) / b (valse positieven) + d (ware negatieven). 

Predictieve waarde = hoe groot is de proportie ware positieven gegeven een positieve diagnose. De positieve predictieve waarde (PPV) bereken je door a / a + b. De negatieve predictieve waarde (NPV) bereken je door d / c + d. Dit geeft in de meeste gevallen een behoorlijke overschatting van de populatie als je geen aselecte steekproef hebt. 

Prevalentie (base rate) = voorkomen van kenmerk in de populatie. Hiervoor is een aselecte steekproef van belang. 

Selectie ratio = de kans dat iemand uit de populatie een positieve diagnose (ware en valse positieven) krijgt. Op basis van de prevalentie, de sensitiviteit en specificiteit kan de selectieratio berekend worden. De kans op een positieve diagnose ongeacht aanwezigheid van de stoornis = sensitiviteit * prevalentie + (1-specificiteit) * (1-prevalentie). 

Hoe groot is de kans bij een positieve diagnose dat de persoon ook daadwerkelijk de stoornis heeft. Dit kan berekend worden volgens de Regel van Bayes = sensitiviteit * prevalentie / selectieratio. Door betrekking van preventie kom je tot een betere schatting van met hoeveel procent je een correcte beslissing maakt. 

Predictieve accuratesse = correcte positieve diagnose. Deze is afhankelijk van kwaliteit van instrument (sensitiviteit en specificiteit) en voorkomen van stoornis in populatie (prevalentie). Zelfs bij een betrouwbaar instrument is bij lage prevalentie de kans op correcte beoordeling klein. 

Base rate neglect = het niet betrekken van (lage) prevalentie bij beoordeling van cliënt op basis van positieve diagnose en de sensitiviteit van de test. 

Grenswaarde

Cut off score = grenswaarde. De vraag is wat bij diagnostiek met testscores een verstandige keuze is als grenswaarde. Bij een strenger criterium wordt het aandeel ware negatieven groter. Bij een minder streng criterium wordt het aandeel ware positieven groter. De optimale grenswaarde is het subjectieve nut van ware positieven, valse positieve, ware negatieven, valse negatieven. De vraag is hoe belangrijk een correcte beslissing is en hoe erg een foute beslissing is? Elke beslissing heeft een bepaald gewicht in hoe zwaar het weegt. Gewenst is een hoog percentage ware positieven (= hoge sensitiviteit) en laag percentage valse positieven (1 – specificiteit). Dit kun je weergeven in een ROC-curve. Voor alle mogelijke waarden als grenswaarde kun je een uitkomstenmatrix maken. De twee kenmerken die je gebruikt in de ROC-curve zijn de sensitiviteit (ware positieven) en de 1 – specificiteit (valse positieven). De ROC zet alle mogelijke grenswaarden tegen elkaar af. Nogmaals je wilt een hoge sensitiviteit en 1 – specificiteit zo laag mogelijk. De optimale grenswaarde is waar de diagonaal de ROC-curve snijdt, hier zijn de sensitiviteit en 1 – specificiteit het meeste in evenwicht. Door middel van de ROC-curve kun je uitspraak doen of een test geschikt is als diagnosemiddel, daarvoor moet de test groepen goed kunnen onderscheiden. Hoe dikker de buik, hoe beter de test de groepen kan onderscheiden. Dit wordt de Area Under Curve genoemd = maat voor testkwaliteit. Hoe groter dit gebied, hoe hoger de testkwaliteit. Een minimaal onderscheidend vermogen is een AUC van .50 en de maximale waarde is 1.00.