Aantekeningen college Signaal Detectie Theorie - Universiteit Utrecht 22/23

Hoorcollege 11

Redeneerfout: Base rate fallacy of base rate neglect.

• Positieve testuitslag moet altijd in het licht gezet worden van hoe groot is de kans dat iemand met zo’n positieve testuitslag niet positief is.
• Leidt tot verkeerde conclusies: bij positieve uitslag ga je ervan uit dat er ook echt een stoornis is.
• Naarmate de diagnose meer ingrijpend is, hoe belangrijker is dat je zeker bent van een positieve diagnose.
• Wel of geen behandeling. Voor toetsvragen hetzelfde: we kunnen denken je beschikt niet over genoeg kennis, maar dat heb je eigenlijk wel.
• Alle beslissingen zijn beslissingen in onzekerheid.

Signaal detectie theorie

• Denkkader en verzameling analysemethoden rondom het nemen van beslissingen
• Theorie over kans op goede en foute beslissingen, met aannamen over verdelingen van testuitkomsten onder verschillende omstandigheden.

We onderscheiden ware en valse beslissingen bij een testscore.

• Die scores overlappen deels.
• Op basis van de grenswaarde beslis ik of de stoornis wel of niet aanwezig is.

Dit is de basis van de signaal detectie theorie.

• De gouden standaard is de absolute kennis. Die klopt sowieso. Die is noodzakelijk als we een indeling willen maken. Dat is de C in bovenstaande tabel.
• False negatives zijn misses. Die mis je om een diagnose te stellen.
• Ware negatieven zijn ook wel correct rejections.

Sensitiviteit = hoe groot is de kans op een positieve diagnose gegeven dat iemand de stoornis heeft.

• P is de kans.
• Kans op D+, gegeven C+.
• Kans op diagnose gegeven het feit dat hij volgens de gouden standaard ook die stoornis heeft.
• Je wil een hoge waarde, je wil dat iedereen die waarvan bekend dat hij een positieve diagnose heeft, ook een positieve diagnose krijgt.
• Dit is een voorwaardelijke of conditionele kans. Dus de kans op D+ op voorwaarde dat je in die C+ zit. Daarom is het een voorwaardelijke kans.
• Je moet dus een steekproef hebben van mensen waarvan bekend is dat ze de stoornis hebben. Dus je hebt alleen de C+ nodig om de sensitiviteit te berekenen.

Specificiteit = de kans op een negatieve diagnose, gegeven dat iemand de stoornis niet heeft.

• Weer een conditionele of voorwaardelijke kans.
• Nu kijk je naar de C- groep.
• Je wil weer zo hoog mogelijke waarde.
• Kans om negatief geval negatief te testen.
• Sensitiviteit is positief geval ook daadwerkelijk positief testen.

Predictieve accuratesse is nodig om een correcte positieve diagnose te stellen.

• Niet alleen de sensitiviteit nodig, maar ook hoe zit het met de verkeerde testuitslagen.

De predictieve waarde gaan we het nu over hebben. Positieve predictieve waarde (PPV) = proportie/kans op ware positieven gegeven een positieve diagnose.

Wat is C+, gegeven diagnose.

• PPV zal niet helemaal kloppen, want de stoornis komt niet veel voor in de populatie. Je moet dus een correctie uitvoeren.
• We hebben informatie nodig over de prevalentie. Of de base rate. De proportie voor de mensen waarvoor geldt dat hij voorkomt bij de mensen. Ook wel de prevalentie.
• 0,16 is een problematische waarde. Geen goede schatting van het voorkomen. Er is een aselecte steekproef uit de populatie nodig. Dan heb je een veel lagere prevalentie.
• Soms enorme steekproeven nodig voor hele zeldzame stoornissen. Dan wordt gebruik gemaakt van expertschattingen.

Selectieratio = hoe groot is de kans dat iemand uit de populatie een positieve diagnose krijgt. Valse + ware positieven.

• Weer problematisch hier.
• Sensitiviteit en specificiteit met zo'n matrix prima te bepalen.
• Prevalentie en selectieratio niet, omdat je dan een aselecte steekproef moet hebben uit de populatie
• Prevalentie is gebaseerd op een expertschatting.
• Kans op een correcte positieve diagnose.

Regel van Bayes: Hoe groot is de kans dat iemand bij een positieve diagnose daadwerkelijk de stoornis heeft.

• Regel van Bayes dus voor de predictieve accuratesse.
• Kwart kans dat je het hebt als je een positieve uitslag hebt. Dat is wel een hele lage kans.
• Prevalentie komt van een expert. Sensitiviteit komt uit de matrix. Selectieratio heb je net berekend.
• Je negeert veel mensen die een positieve testuitslag kunnen krijgen, maar waar de stoornis niet aanwezig is.

Predictieve accuratesse kan hoog zijn, maar is afhankelijk van de kwaliteit van het instrument (sensitiviteit en specificiteit), maar ook van de prevalentie van de stoornis.

• Veel valse positieven als de prevalentie laag is.
• Inschatten van of er in de populatie een voorkomen van de stoornis is. Subjectieve a-priori verwachting is de expertschatting. Deze kan dus veranderen door de tijd heen. Dan kan ook weer de predictieve accuratesse weer aanpassen.
• Je moet denken aan een verstandige grenswaarde of cut-off score. Bij welke waarde is het probleem aanwezig?
• Heeft te maken met hoe erg een vals positieve is. Wat de consequenties voor hem zijn.
• Soms is een valse negatieve erger dan een valse positieve.

1. Optimale grenswaarde: Subjectievee nut/waarde vaststellen van ware positieven, valse positieven, ware negatieven en valse negatieven.
2. Subjectieve nut: hoe belangrijk is een correcte beslissing? Hoe erg is een foute beslissing?

• Subjectieve nut: oordeel van de gebruiker of de instantie van de test.
• Dat levert uiteindelijk een opbrengstmatrix op.

Je kijkt dus naar de sensitiviteit en de valse positieven (1-specificiteit). Voor de ROC curve.

De rode is agressief testen, omdat je daar vrij snel als pester wordt aangewezen.

Afhankelijk van wat je gewenst vindt, is waar je ze het meest in evenwicht vindt.

Hier zie je de ROC-curve

• Dat is hier. Hoge sensitiviteit en lage 1-specificiteit.
• Voor de pestschaal doen we alle combinaties voor alle mogelijke grenswaarden.
• ROC-curve pestschaal
• Optimaal is minste foutieve positieven, en meeste correcte beslissingen.

Testkwaliteit kan je wel gebruiken. Hoe goed de test in staat is om pesters te onderscheiden. Dat doen we met de Area Under Curve (AUC).

• Goed onderscheidende test. ROC curve die hoog loopt.
• Voor de tweede is er meer overlap en zal de ROC curve er tussenin zitten. Altijd sprake van veel verkeerde beslissingen.
• Die diagonaal is de lijn als hij zo zou lopen dat elke grenswaarde die ook maar iets zegt of dat je het kenmerk vindt op basis van de testscore. Je kan net zo goed gooien met een muntje. Dus die diagonaal is de curve als de test gewoon bullshit is.
• Hoe informatiever de test, hoe meer de curve naar links boven gaat.
• De area under curve. Hoe groter de oppervlakte onder de ROC-curve, hoe beter de kwaliteit van de test.
• Area under curve is onafhankelijk van gekozen grenswaarde.

Matige test: valse positieve groot en valse negatieve ook vrij groot.