Sheetnotes 15/16

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit hoorcollege wordt de Signaal Detectie Theorie uitgelegd. Dit is te koppelen aan de literatuur van H5 van Mastery Modern Psychological Testing.

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur?
De uitleg over de SDT is meer uitgebreid dan in het boek wordt behandeld.

Welke recente ontwikkelingen in het vakgebied worden besproken?
Er worden geen recente ontwikkelingen besproken.

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
Er worden geen opmerkingen gemaakt over het tentamen.

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 
Er worden geen tentamenvragen behandeld.

Hoorcollege aantekeningen 15/16

Poppentest, (Koele, 1990), maken en nemen van beslissingen in onzekere omgeving. Bijvoorbeeld met het slachtoffer van incest.
Betrek bij het beoordelen van de voorspellende gave (predictieve accuratesse) van een test het voorkomen van het kenmerk in de populatie (prevalentie).

Beslissend testgebruik

Signaal Detectie Theorie (SDT)

• Sensitiviteit
• Specificiteit
• Prevalentie
• Selectieratio
• Predictieve accuratesse

Grenswaarden

• Keuze grenswaarde (cut-off values)
• ROC curve (Reciever Operating Characteristic)
• Area Under Curve (AUC)

Psychologische diagnostiek

• emotionele stoornis (depressie)
• cognitieve stoornis (dyslexie)
• gedragsproblemen (incest)
• geschiktheid (intelligentie)

Vergelijkbaar met medische diagnostiek (kanker, zwangerschap)en gebruik van detectieapparatuur (snelheidsmeter). Beslissingen: aannemen of afwijzen; wel of geen behandeling

Centrale vraag: duiden waargenomen symptomen (signaal, testscore) op:

• noodzaak van behandeling?
• geschiktheid kandidaat?
• gevaar samenleving?

Beslissingen moeilijk door:

• subjectieve oordelen van cliënt en diagnosticus.
• veelheid van informatie integreren tot een oordeel
• onzekerheid over testuitslag

Signaal detectie theorie (SDT)

Theorie die mogelijkheid biedt dit soort vragen vanuit modelmatig, besliskundig perspectief aan te pakken. Het is een denkkader en een verzameling van analysemethoden. Theorie over de kans op goede en foute beslissingen, met aannamen over verdeling van testuitkomsten onder verschillende omstandigheden.

Score hoger dan grenswaarde duidt op stoornis
Score lager dan grenswaarde duidt op geen stoornis.

Er zijn vier beslissingen:

Sensitiviteit

Sensitiviteit = gevoeligheid van een kenmerk.
Hoe groot is de kans op een positieve diagnose gegeven dat iemand die stoornis heeft?
Kans op positieve diagnose (D+) gegeven dat het individu behoort tot categorie (C+).
P(D+ l C+) = a/a+c = voorwaardelijke of conditionele kans
NB. Voor schatting sensitiviteit is een aselecte steekproef uit c+ nodig

Specificiteit

Specificiteit: Hoe groot is de kans op een negatieve diagnose gegeven dat iemand die stoornis niet heeft?
Specificiteit: Kans op negatieve diagnose (d-) gegeven dat het individu behoort tot categorie (c-).
P (D- l C-)= d/b+d

Predictieve waarde

• Positieve predictieve waarde (PPV) = proportie ware positieven gegeven een positieve diagnose.
  PPV = P(C+ l D+) = a/a+b
• Negatieve predictieve waarde (NPV) = proportie ware negatieven gegeven een negatieve diagnose.
  NPV = P(C- l D-) = d/c+d
• Prevalentie (base rate) = hoe groot is de kans dat iemand uit de populatie de stoornis heeft? Kans op aanwezigheid stoornis (c+) voor iemand uit de populatie.
  P(C+)= a+c/n

NB. Voor schatting prevalentie is aselecte steekproef uit populatie nodig of informatie uit eerder onderzoek of door expertschatting.

Selectieratio

Selectieratio: hoe groot is de kans dat iemand uit de populatie een positieve diagnose (ware en valse positieven) krijgt?
Selectieratio: ware en valse positieven samen. Kans op positieve diagnose (d+) voor iemand uit de populatie.
P(D+) = a+b/n = meestal niet goed.
NB. Voor schatting selectieratio is aselecte steekproef uit populatie nodig of informatie uit eerder onderzoek of door expertschatting.

De kans op een positieve diagnose ongeacht aanwezigheid stoornis = sensitiviteit x prevalentie + (1 – specificiteit) x (1 – prevalentie)

Regel van Bayes voor predictieve accuratesse:

Predictieve accuratesse

Predictieve accuratesse van diagnostische test is afhankelijk van:

• Kwaliteit instrument (sensitiviteit en specificiteit)
• Voorkomen van stoornis, ziekte, trauma (prevalentie). Zelfs bij betrouwbaar instrument is bij lage prevalentie de kans op correcte beoordeling klein.

Base rate neglect: niet betrekken van (lage) prevalentie bij beoordeling van cliënt op basis van positieve diagnose en de sensitiviteit van de test.

• Predictieve accuratesse is bij lage prevalentie altijd gering
• Met subjectieve apriori verwachting kun je P(C+) aanpassen

Grenswaarde β: Hoe goed kan je met een test de diagnose ‘dit is een pester’ stellen?
Algemeen: wat is bij diagnostiek met testscores een verstandige keuze voor grenswaarde β (cut off score).

Probleem

Hoe kiezen we op verstandige wijze (rationeel) de grenswaarde β?
Proportie ware positieven neemt af bij strengere grenswaarde (meer naar rechts). Proportie ware negatieven neemt toe bij strengere grenswaarde (meer naar links).
1. Optimale grenswaarde
Subjectieve nut/waarde vaststellen van ware positivene, valse positieven, ware negatieven en valse negatieven.
2. Subjectieve nut
Hoe belangijk is correcte beslissing? Ware positieve; ware negatieve.
Hoe erg is foute beslissing? Valse positieve; valse negatieve.
Keuze grenswaarde? Geen pester, wel pester.
Hiervoor gebruiken we een opbrengstmatrix.

Wat is gewenst?

1. Hoog percentage ware positieven. 
Alleen die leerlingen te pakken krijgen die echte pesters zijn --> hoog percentage ware positieven (= hoge sensitiviteit)
2. Laag percentage valse positieven
Geen leerlingen als pester aanwijzen terwijl ze het niet zijn --> laag percentage valse positieven (= lage (1 – specificiteit))

Hulpmiddel

Bekijk voor alle grenswaarden de sensitiviteit en de (1 – specificiteit ): ROC-curve
SPSS: Menu; Analyze; ROC-curves
Reveiver operating characteristic (ROC) – curve: Voor een test zet je voor alle mogelijke grenswaarden tegen elkaar af:

• Proportie ware positieven (Sensitiviteit)
• Proportie valse positieven (1-specificiteit)

Snijpunt diagonaal met curve is positie met beste grenswaarde.

Area under curve = maat voor testkwaliteit. Gevoeligheid van test voor onderscheiden van diagnostische categorieën (= testsensitiviteit) onafhankelijk van gekozen grenswaarde. Alles onder de curve!
Minimale sensitiviteit: AUC= .50; Maximale sensitiviteit: AUC = 1.0; Redelijke sensitiviteit: AUC= .75

Grenswaarde voor beoordeling schaal

Oppervlak onder de curve (AUC):

• > .90 uitmuntend
• .80 - .90 goed
• .70 - .80 redelijk
• .60 - .70 matig .
• 50 - .60 slecht