Studiegids voor artikelsamenvattingen bij Psychometrie aan de Universiteit Leiden

Deze samenvatting is gebaseerd op een herziene tekst en verkorte vertaling van hoofdstuk 10 uit het boek Toegepaste data-analyse. Technieken voor niet-experimenteel onderzoek in de sociale wetenschappen (van de Heus, van der Leeden, Gazendam, 1995).

Principale componentenanalyse (PCA) is een multivariate data-analyse techniek die wordt gebruikt om een groot aantal variabelen tegelijk te analyseren. De analyse houdt zich bezig met de structuur in de relaties tussen de variabelen. Het hoofddoel is datareductie. PCA wordt vaak verward met factor analyse (FA), dit onderscheid komt later nog aan de orde.

Het doel van PCA

Het doel is om een beeld te krijgen van de belangrijkste associaties tussen de items van bijvoorbeeld een vragenlijst. Zo worden subgroepen verkregen die sterk met elkaar correleren: componenten of factoren. PCA is ook belangrijk voor het vormen van schalen: corresponderende subgroepen kunnen worden gecombineerd tot schalen.

Wat doet PCA?

PCA is met name een instrument voor datareductie zonder dat er veel informatie van de variabelen verloren gaat. De informatie die gebruikt wordt bij PCA is de associatie tussen de geobserveerde variabelen, uitgedrukt in correlaties of varianties en covarianties. Vervolgens vindt er decompositie plaats in componenten van de belangrijkste associaties tussen de variabelen.

Geometrisch: bekijk afbeelding 1 op pagina II.6 van het werkboek. Hier is te zien hoe twee gecorreleerde variabelen X1 en X2 weergegeven worden door twee ongecorreleerde componenten F1 en F2. Elk punt bestaat uit twee observaties van dezelfde persoon op de variabelen X1 en X2. De punten kunnen worden gezien als coördinaten in een assenstelsel. Hier is dus een positieve correlatie. Elk punt kan ook weergegeven worden in relatie tot het coördinaten systeem gevormd door F1 en F2. In de praktijk is PCA alleen interessant met veel meer dan drie variabelen, dit kan niet meer geometrisch worden weergegeven.

Algebraïsch: algebraïsch wordt PCA weergegeven met vierkanten voor de geobserveerde variabelen, en de componenten met cirkels. Een belangrijke rol is weggelegd voor de gewichten aij, deze relateert variabele Xi aan component Fj. Als er vijf geobserveerde variabelen en twee componenten zijn zien de vergelijkingen van F1 en F2 er zo uit:

F1 = a11X1 + A21X2 + a31X3 +a41X4 + a51X5

F2 = a12X1 + a22X2 + a32X3 + a42X4 + a52X5

Deze vergelijkingen laten zien dat de componenten Fj berekend worden als lineaire combinaties van de geobserveerde variabelen Xi. De gewichten aij worden component ladingen genoemd. De i verwijst naar de geobserveerde variabele, de j naar het component. F1 is zo gelijk mogelijk aan alle X-variabelen. F2 moet niet gecorreleerd zijn aan F1, daarom verklaart F2 minder variantie dan F1. Componenten kunnen zelf ook worden beschouwd als variabelen, en worden gebruikt als variabelen in andere data-analyse technieken. Component scores kunnen dus worden gebruikt om individuele verschillen te onderzoeken.

Variantie uitgelegd

In PCA wordt de correlatie tussen de variabelen en componenten gemaximaliseerd. Dat er correlatie is tussen de variabelen en componenten betekent dat ze ook gemeenschappelijke varantie hebben, die dus ook gemaximaliseerd wordt. Dit geeft de mogelijkheid van voorspelling. Een component verklaart een bepaald deel van de variantie van de X-variabelen. Alle componenten samen verklaren een deel van de totale variantie. In PCA worden de geobserveerde variabelen meestal gestandaardiseerd (m= 0, sd=1).

Variantie uitgelegd door een component: eigenwaardes: de component ladingen aij zijn gelijk aan de Pearson correlaties tussen Xi en Fj. Een gekwadrateerde lading geeft dus de proportie variantie van Xi die wordt verklaard door Fj. De hoeveelheid variantie van alle geobserveerde variabelen samen die wordt verklaard door een component wordt eigenwaarde genoemd, wat gelijk is aan de som van de gekwadrateerde factor ladingen van alle X-variabelen bij dat component: λ_j Σ^p_i=1 a_ij². Die van het eerste component zal altijd het hoogst zijn, de tweede lager dan de eerste etc. Door de eigenwaarde te delen door het aantal variabelen, krijg je de proportie verklaarde variantie.

Verklaarde variantie van een variabele: communaliteiten: Het deel van de variantie van variabele Xi dat wordt verklaard door de componenten wordt de communaliteit van die variabele genoemd (h²). De som van de gekwadrateerde component ladingen van variabele Xi op de componenten geeft de communaliteit van die variabele: h_i² Σ^k_j=1 a_ij². Communaliteit wordt ook gebruikt als mate van ‘fit’: hoe goed een variabele past in een factor oplossing.

Volle dimensionaliteit en uniekheid van de oplossing: als er evenveel componenten als variabelen zijn, wordt 100% van de variantie verklaard, dit wordt volle dimensionaliteit genoemd. Nu wordt de data echter niet gereduceerd. Ook is er sprake van het rotatieprobleem: het specifieke coördinaten systeem maakt niks uit voor de oplossing, dus er is een oneindig aantal manieren om dezelfde oplossing te beschrijven.

Voorrondes

PCA levert niet altijd een bruikbare oplossing. De hoofdbedreigingen zijn dat PCA oplossingen onstabiel kunnen zijn (sterk variërend van steekproef tot steekproef) of slechts willekeur weergeven. Daarom moeten voorbereidende controles worden gedaan.

Bescherming tegen willekeur

Bartletts test controleert of de correlaties tussen de variabelen in de analyse nul zijn. De Bartletts test moet significant zijn. Met echte psychologische data is deze test echter altijd significant. De beste indicatie van bruikbaarheid is de Kaiser-Meyer-Olkin (KMO) meting. Als de data een duidelijke factor structuur hebben, zijn de partiële correlaties tussen paren van variabelen heel dicht bij nul. Het wordt als volgt berekend:

• Som van gekwadrateerd correlaties / (som van gekwadrateerde correlaties + som van gekwadrateerde partiële correlaties).

KMO heeft meestal een waarde tussen 0.5 (het slechtste geval) en 1.00 (het beste geval, wanneer alle partiële correlaties nul zijn). Waardes hoger dan 0.7 zijn goed genoeg.

Stabiele resultaten

Vaak zijn de resultaten van PCA instabiel, ze verschillen per steekproef. Om dit tegen te gaan is het belangrijk een steekproef te nemen die groot genoeg is. Een vuistregel is dat groter dan of gelijk aan 300 bijna altijd groot genoeg is. Aanvullende regels zijn:

• Factor ladingen: Als een factor vier of meer ladingen heeft met een absolute waarde groter dan 0.6, maakt de steekproefgrootte niet uit. Factoren met ten minste tien ladingen hoger dan 0.4 zijn stabiel als N groter is dan 150.

• Communaliteiten: Als (bijna) alle communaliteiten groter zijn dan 0.6 is een steekproefgrootte van 100 goed, en boven 0.5 is N tussen 100 en 200 goed genoeg.

Hoe veel componenten?

Het vinden van de factoren of componenten heet factor extractie. Hoe meer factoren, hoe meer variantie uitgelegd wordt, maar hoe minder nuttig de oplossing is. Er is geen universeel criterium om dit probleem op te lossen, maar vier criteria kunnen gebruikt worden:

1. Het eigenwaarde-groter-dan-één criterium: de eigenwaarde moet minimaal 1 zijn, omdat elke variabele een variantie van 1 heeft.

2. Interpreteerbaarheid: Componenten moeten betekenisvol zijn. Dit bepalen we aan de hand van algemene kennis, theorie, kennis van voorgaand onderzoek, etc.

3. Het elleboog criterium: Volgens dit criterium moet je stoppen met het extraheren van factoren op het punt in de grafiek met eigenwaardes waar de curve op een elleboog lijkt. Soms kan geen duidelijke ‘elleboog’ gevonden worden, of zijn er meerdere te zien. Het advies is om j-1 en j+1 componenten te proberen, en degene te kiezen met de duidelijkste interpretatie.

4. Het ‘steenslag’ criterium: Soms liggen er punten in de eigenwaarde grafiek waar een duidelijke rechte lijn door getekend kan worden. Het criterium zegt dat de oplossing alleen de componenten moet bevatten waarvan de eigenwaardes boven deze rechte lijn liggen. Het probleem is dat er niet altijd een duidelijke rechte lijn is.

Geadviseerd wordt om altijd een grafiek te maken met SPSS van de eigenwaardes. Als er een ‘elleboog’ te zien is, is dit altijd de beste methode (plus of min 1).

Rotatie en interpretatie

Een PCA oplossing kan op oneindig veel manieren beschreven worden, die mathematisch gelijk zijn, maar tot heel verschillende interpretaties kunnen leiden. Dit wordt het rotatieprobleem genoemd.

Eén oplossing heeft een oneindig aantal beschrijvingen

Het rotatieprobleem ontstaat door het veranderen van het perspectief van waaruit we naar de oplossing kijken. Als we F1 en F2 bijvoorbeeld 30 graden naar rechts draaien, ontstaan er nieuwe X- en Y-assen (F1’ en F2’). Hiermee kunnen nieuwe coördinaten voor elke vector (dus variabele) berekend worden. Dit leidt tot verschillende interpretaties.

Simpele structuur

Het doel van rotatie is het vinden van een begrijpelijke en daarmee simpele oplossing. Dit betekent a. zo min mogelijk componenten, en b. elk component moet gerelateerd zijn aan een klein aantal geobserveerde variabelen. Zo’n simpele oplossing is bijna onmogelijk omdat de componenten zo worden gekozen dat het 1^e component zoveel mogelijk variantie verklaart, vervolgens moet het 2^e component ook zo veel mogelijk variantie verklaren enzovoorts. Dit is goed voor datareductie, maar geen simpele oplossing. PCA is ‘biased’ in de richting van het vinden van een algemeen eerste component. Dit accentueert wat alle geobserveerde variabelen gemeenschappelijk hebben. Alle volgende componenten zijn contrast componenten, omdat ze orthogonaal zijn aan het eerste component. Vooral in situaties met veel items en componenten is deze oplossing complex. Daarom is een rotatie die een simpele structuur vindt in de data gewenst. Dit kan op verschillende manieren.

Rotatiemethodes: orthogonale (VARIMAX) en niet-orthogonale (OBLIMIN)

De VARIMAX rotatie probeert de variantie van de ladingen voor elk component te maximaliseren. Als er een simpele structuur is in de data (homogene subsets van items die niet sterk gecorreleerd zijn met items van andere subsets), vindt VARIMAX deze eerder dan de andere rotaties. Na VARIMAX blijven de communaliteiten hetzelfde. De totale verklaarde variantie blijft ook hetzelfde. Het nieuwe coördinaten systeem blijft orthogonaal (in een hoek van 90°).

Rotatiemethodes waarbij de hoeken van de assen veranderen worden schuine rotaties genoemd (in SPSS: OBLIMIN). Dit levert een realistischer interpretatie, maar het wordt wel ingewikkelder. Daarom, en vanwege historische redenen, wordt VARIMAX het meest gebruikt. Doe altijd een VARIMAX rotatie, maar als deze oplossing onbegrijpelijk is, moet gekeken worden naar de ongeroteerde oplossing.

SPSS voorbeeld

De belangrijkste SPSS keuzes zijn als volgt:

• Analysemethode: In het extractie scherm binnen ‘FACTOR’ kan gekozen worden voor PCA en andere soorten factor analyses. PCA is de standaard instelling.

• Het aantal componenten kan gekozen worden in het Extractie scherm.

• Ongeroteerde oplossing en eigenwaardes plot: ‘Unrotated factor solution’ en ‘Scree plot’ aanzetten in het extractie scherm.

• Rotatiemethode: in het rotatiescherm kan VARIMAX worden gekozen.

• Variabelen sorteren: door ‘Sorting by size’ te kiezen in het ‘options’ scherm zijn alle variabelen van hoog naar lage ladingen op elke component gesorteerd.

Eigenwaardes, communaliteiten en verklaarde variantie

Onder het kopje ‘Extraction Sum of Squared Loadings’ in SPSS staan de eigenwaardes en de verklaarde variantie voor de ongeroteerde componenten. Als er sprake is van een sterke datareductie moet je geen al te hoge verklaarde variantie verwachten. Onder het kopje ‘Rotation Sum of Squared Loadings’ is de verklaarde variantie en de eigenwaardes voor de geroteerde componenten te vinden. De rotatie verandert niet de totale verklaarde variantie, maar de variantie is gelijkmatiger verdeeld over de componenten. Als een variabele een lage communaliteit heeft, is dit een unieke variabele. Dit kan betekenen dat de variabele iets heel anders meet dan we willen, maar kan ook betekenen dat het item iets belangrijks meet, wat niet door andere items wordt gemeten. Het hoeft dus niet slecht te zijn.

Assumpties in PCA

De volgende aannames worden in PCA gemaakt:

1. De relaties tussen de geobserveerde variabelen zijn lineair. Dit kan bepaald worden met scatterplots.

2. De geobserveerde variabelen volgen een multivariate normaalverdeling. Deze aanname is niet heel belangrijk.

3. De correlaties tussen de geobserveerde variabelen zijn betrouwbaar. De steekproef moet representatief en groot genoeg zijn.

PCA versus factor analyse (FA)

PCA en factor analyse worden vaak door elkaar gehaald in de praktijk. SPSS draagt bij aan deze verwarring door beide technieken te integreren in één procedure: FACTOR. Er is echter wel onderscheid tussen PCA en FA.

PCA: empirische samenvatting van verzamelde data

Het wordt wel gezegd dat PCA een empirische samenvatting geeft van data, omdat componenten worden gevonden door het optellen van geobserveerde variabelen die een bepaald gewicht hebben gekregen. Een component representeert de variabelen.

FA: model voor geobserveerde associatie

Terwijl PCA wil onderscheiden wat belangrijk en onbelangrijk is in de variantie van variabelen, wil FA juist ontdekken wat gemeenschappelijk is in de variantie van variabelen vergeleken met wat uniek is voor individuele variabelen. Bij FA wordt eerst een model gemaakt voor de geobserveerde associaties binnen een set variabelen. Het model probeert deze associaties zo accuraat mogelijk te reproduceren. De factoren, ook latente variabelen genoemd, zijn hypothetische constructen die alleen indirect meetbaar zijn, in tegenstelling tot bij PCA. Bij FA wordt ook een unieke factor gemaakt voor elke variabele, dit bevat alle variantie van die variabele die niet verklaard kan worden door de algemene factoren. De unieke factoren zijn dus ‘error’. FA wordt soms structureel of causaal model genoemd.

Het factor analyse model

Het factor analyse model specificeert elke geobserveerde variabele als de gewogen som van de gemeenschappelijke factoren en een unieke factor, die specifiek is voor die variabele. Bij FA zijn de factoren de oorzaak van de geobserveerde correlaties, in tegenstelling tot bij PCA. Het tweede verschil is de aanwezigheid van unieke factoren Uj. Unieke factoren zijn niet gecorreleerd met elkaar en met algemene factoren. FA en PCA komen vaak op dezelfde conclusie omdat ze dezelfde informatie gebruiken. Alleen bij een klein aantal variabelen kunnen de resultaten verschillen. Dan is te zien dat FA vooral een model is voor de geobserveerde correlaties, terwijl PCA een techniek is die zo veel mogelijk variantie probeert te verklaren. Samenvattend kunnen we zeggen dat PCA de varianties wil verklaren, terwijl FA de covariantie van de geobserveerde variabelen wil verklaren.

Deze samenvatting is gebaseerd op een herziene tekst en verkorte vertaling van hoofdstuk 10 uit het boek Toegepaste data-analyse. Technieken voor niet-experimenteel onderzoek in de sociale wetenschappen (van de Heus, van der Leeden, Gazendam, 1995).

Psychometrisch onderzoek wordt uitgevoerd in de hoop om betekenisvolle uitspraken te doen over onszelf en anderen. Er zijn hierbij twee soorten oordelen die we kunnen maken. In de eerste plaats zijn er Dimensionale oordelen, waarbij gekeken wordt naar onze positie op een bepaalde dimensie. Daarnaast kunnen we ook classificeren, oftewel vaststellen tot welke categorie we behoren.

Van dimensies naar classificaties

Er zijn verschillende manieren waarop we mensen in categorieën kunnen indelen. De algemene procedure om van een dimensionaal oordeel naar classificatie begint met een onderzoeksgroep Er is een sample nodig waarbij voor elk individu scores bekend zijn op de dimensionale oordelen en de individuele classificatie. Binnen zo’n sample probeert men op basis van de dimensionale oordelen vast te stellen tot welke groep individuen behoren. Hoewel we de classificatie eigenlijk al weten, zorgt dit ervoor dat we (1) een voorspellingsregel hebben die we kunnen gebruiken voor nieuwe individuen en (2) dat we informatie hebben over hoe goed de voorspellingsregel werkt. Als we vervolgens vinden dat de voorspellingsregel goed genoeg werkt, kunnen we het gebruiken om nieuwe individuen te classificeren waarvan we nog niet weten tot welke groep ze behoren.

Complicaties

Hoewel het proces op deze manier eenvoudig klinkt, werkt het in de praktijk niet zo vanzelfsprekend. Zo twijfelen we vaak aan de betrouwbaarheid en validiteit, maar baseren we onze voorspellingsregel hier toch op. Ook zijn er verschillende criteria om vast te stellen hoe accuraat een voorspelling is, die elkaar kunnen tegenspreken. Bovendien kan het toepassen van een voorspellingsregel op een nieuwe groep tot onverwachte resultaten leiden.

Classificatie: het basisproces

De makkelijkste manier om the classificeren op basis van een dimensionaal oordeel is voor twee groepen op slechts een dimensie. We kunnen verschillende dingen doen met deze data. In de eerste plaats kunnen we een t-test uitvoeren om te zien of er een significant verschil is tussen de gemiddelden van de groepen. Maar door te laten zien dat een bepaalde interval variabele (zoals depressie) gerelateerd is aan een nominale variabele met twee categorieën (depressie status) hebben we het classificatieprobleem nog niet opgelost. We willen niet van nominaal naar interval voorspellen, maar van interval naar nominaal. Als er maar een interval voorspeller gebruikt wordt, kan er een cut-off point worden vastgesteld.

Iedereen die boven die bepaalde waarde komt krijgt een positieve diagnose en iedereen die eronder blijft een negatieve diagnose. In werkelijkheid zal de voorspellingsregel niet perfect werken, omdat er overlap is tussen de verdelingen van de twee groepen op de intervalvariabele. Dit zorgt ervoor dat we altijd twee soorten fouten kunnen maken: (1) valse positieven, waarbij iemand bijvoorbeeld geen depressie heeft maar wel zo wordt geclassificeerd en (2) valse negatieven, waarbij depressieven geclassificeerd worden als niet-depressieven.

Het bepalen van de Cut-off regel

Wat voor cut-off regel we gebruiken hangt af van de mate waarin we beide soorten fouten even slecht vinden. Als we beide soorten fouten even slecht vinden en de groepen dezelfde symmetrische distributie met dezelfde standaardafwijking hebben, zal het punt zich precies tussen de twee groepsgemiddelden bevinden. Als we valse positieven erger vinden en willen elimineren, lopen we de kans om meer valse negatieven te vinden en vice versa. Dit laat zien dat we altijd bepaalde keuzes moeten maken als we de cut-off regel willen bepaalden. De situatie wordt zelfs nog complexer als we meer dan twee groepen willen vergelijken op verschillende dimensies. In dat geval wordt er vaak een discriminantanalyse uitgevoerd.

Discriminantanalyse (DA)

Het doel van een discriminantanalyse is het zo goed mogelijk voorspellen tot welke groep een bepaald persoon behoort door een bepaald aantal interval variabelen (>2) te gebruiken. We kunnen op twee manieren naar de verschillen kijken: vanuit het groepsperspectief en het individueel perspectief. In het eerste geval proberen we de natuur van de verschillen tussen groepen te beschrijven, wat beschrijvende discriminantanalyse wordt genoemd. Daarnaast kunnen we ook het individu als uitgangspunt nemen en de scores op de intervalvariabelen gebruiken om te voorspellen tot welke groep de persoon behoort (Predictieve discriminantanalyse). In deze cursus ligt de nadruk op deze laatste variant.

Wat willen we voorspellen?

De eerste vraag die je je moet stellen is of onze voorspelling betekenisvol is. DA leidt tot een optimale (best mogelijke) voorspelling van de nominale variabele gebaseerd op de intervalvariabelen. Om te kijken of de voorspelling betekenisvol is, kun je kijken of de best mogelijke voorspelling beter is dan je zou verwachten op kansniveau, met behulp van Wilk’s Lambda. Als deze test niet significant is, kunnen we niets nuttigs zeggen over tot welke groep iemand zou behoren op basis van de intervalvariabelen, en is de voorspelling niet betekenisvol. Het is belangrijk om op te merken dat een significant resultaat geen garantie is voor een accurate voorspelling. Je vind soms meerdere Wilk’s Lambda’s in de output: in dat geval moet je de bovenste gebruiken.

Hoe verschillen de groepen?

Eigenlijk hoef je in de context van een voorspellende DA niet te weten op welke manier groepen verschillen (als individuele classificatie je doel is). Als psychologen willen we echter vaak ook weten hoe en waarom deze voorspellingen werken. Een ruwe, maar redelijk effectieve methode is het vergelijken van de gemiddelden op de intervalvariabelen.

Een belangrijke tekortkoming van deze aanpak is dat je geen rekening houdt met intercorrelaties tussen voorspellers, wat tot misleidende conclusies kan leiden. Om dit probleem op te lossen kun je beschrijvende discriminantanalyse gebruiken.

Individueel voorspellen met verschillende voorspellers

Het berekenen van het meest waarschijnlijke groepslidmaatschap voor elk mogelijk individu is een probleem dat niet een bepaalde optimale oplossing heeft die in alle situaties het beste is. Een mogelijke strategie hiervoor is het bekijken van zowel individuen en groepsgemiddelden op p variabelen in een p-dimensionale ruimte. In deze ruimte kunnen we de verschillen berekenen tussen elk individueel punt en alle groepsgemiddelen (m.b.v. de stelling van Pythagoras). Vervolgens wordt elk individu gerekend tot de groep waarnaar deze persoon de kortste afstand heeft. Deze methode kun je ook toepassen als er meer dan twee variabelen zijn, hoewel je het niet meer in ruimtelijke termen kunt voorstellen als je meer dan drie variabelen gebruikt.

Om een werkzame methode te kunnen gebruiken om te voorspellen tot welke groep een individu behoort, moeten een aantal problemen worden opgelost:

1. Als er verschillen in standaarddeviaties (SD) zijn tussen variabelen, hebben variabelen met een hoge SD een disproportionele invloed op de berekende afstanden. De oplossing voor dit probleem is standaardisatie (Z-scores).

2. Als variabelen met elkaar gecorreleerd zijn, heeft de variantie die variabelen delen een disproportionele invloed op de afstanden, zelfs als alle variabelen gestandaardiseerd zijn. De oplossing voor dit probleem is om te werken binnen een gestandaardiseerde component ruimte of in de ruimte van de ‘discriminant function variates’.

3. Als er verschillen tussen groepen zijn in variabiliteit rondom het gemiddelde, zullen homogene groepen een kortere afstand tot de groep nodig hebben dan heterogene groepen. Dit kan worden opgelost door de afstanden van bepaalde groepspunten te wegen op basis van de SD’s van de groep.

4. De grenzen tussen de groepen hoeven niet per se een lineair karakter te hebben. Met lineaire DA kan dit niet ontdekt worden en niet gebruikt worden als optimale classificatie voor individuen.

Hoe accuraat is de voorspelling?

Om te bepalen hoe accuraat de voorspelling van een DA is, wordt gebruik gemaakt van een classificatietabel. Dit is een tabel waarin de voorspelde en geobserveerde waarden tegen elkaar worden uitgezet, waarvan de cellen de frequenties van alle mogelijke combinaties bevatten. Een algemene maat voor de de kwaliteit van de voorspelling is het percentage accuraatheid in classificatie (PAC):

PAC = aantal goede voorspellingen / totaal aantal voorspellingen

In veel gevallen is een algemene maat zoals de PAC niet precies genoeg, omdat alle errors samenvoegt. Wat betreft meer specifieke maten voor de kwaliteit van de voorspelling, kan onderscheid gemaakt worden tussen de kwaliteit van het instrument (sensitiviteit en specificiteit) en de kwaliteit van de individuele diagnose (positieve en negatieve voorspellende waarde).

Kwaliteit van het instrument

Om de kwaliteit van een instrument vast te stellen is het belangrijk om na te gaan hoe groot de kans is dat een individu van een bepaalde groep ook wordt geïdentificeerd als lid van die groep, wat sensitiviteit genoemd wordt.

Sensitiviteit = aantal goede voorspellingen ziek in groep A / totaal aantal voorspellingen ziek in groep A

Een hoge mate van sensiviteit zorgt voor een toename van valse positieven en een afname van specificiteit en ware negatieven.

Specificiteit: aantal goede voorspellingen niet ziek in groep A / totaal aantal voorspellingen niet ziek in groep A

Zowel sensitiviteit als specificiteit zijn voorwaardelijke kansen. Dit verwijst de kans op gebeurtenis A als we weten dat een andere gebeurtenis (B) heeft plaatsgevonden.

Kwaliteit van individuele diagnose

Als je een diagnose wil stellen voor een bepaald individu, zijn sensitiviteit en specificiteit niet handig om de kwaliteit te beoordelen (je wil niet van echte situatie (Y) naar de voorwaardelijke kans van een specifieke diagnose (X), maar van een bepaalde diagnose (X) naar de voorwaardelijke kans van een echte situatie). In plaats daarvan kun je gebruik maken van de positieve predictieve waarde (het percentage van individuen met een positieve diagnose die ook bij de doelgroep horen) en de negatieve predictieve waarde (het percentage van individuen met een negatieve diagnose die ook niet bij de doelgroep horen). Deze concepten kunnen allemaal ook bij meerdere groepen gebruikt worden, wat bovendien de kans biedt om meerdere vragen te beantwoorden.

Gebruik in andere populaties (Bayes’ regel)

Als we een testbatterij aan een predictieve discriminantanalyse onderwerpen, is het aantrekkelijk om te werken met ongeveer even grote groepen, omdat onze voorspellingen dan een maximale precisie en statistische power hebben. In werkelijkheid zijn de groepen meestal niet gelijk in de populatie. Als je van de originele onderzoeksgroep overgaat naar de populatie veranderen de sensitiviteit en specificiteit niet, maar de positieve en negatieve predictieve waardes wel.

Als de distributie scheef is (bijv. een ziekte is heel zeldzaam) zullen er meer valse positieven zijn ten opzichte van ware positieven. Om hier rekening mee te houden kun je de stelling van Bayes gebruiken.

Bij discriminantanalyse is het dus belangrijk om rekening te houden met de relatieve serieusheid van de fouten die gemaakt kunnen worden en de relatieve frequenties van de groepen die voorspeld moeten worden in de populatie (base rate).