Sheetnotes 19/20

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit hoorcollege komt de validiteit van een test aan bod. De verschillende vormen validiteit en hoe je validiteit kunt beoordelen. De bijbehorende literatuur is H5 van Mastering Modern Psychological Testing; Theory & Methods.

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur? 
Cohens Kappa wordt niet besproken in dit hoofdstuk. Dit is een maat die de overeenkomst van de beoordeling van verschillende beoordelaars aangeeft, dit is van toepassing bij interbeoordelaars betrouwbaarheid. 

Welke recente ontwikkelingen in het vakgebied worden besproken?
Er worden geen recente ontwikkelingen besproken.

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
Er worden geen opmerkingen gemaakt over het tentamen.

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 
Er worden geen tentamenvragen behandeld. 

Hoorcollegeaantekeningen 19/20

Systematische meetfout

Validiteit gaat om afwezig van systematisch meetfout (bovenop toevallige meetfouten). Betrouwbaarheid is dus een noodzakelijke voorwaarde voor de validiteit van een testscore. Een testscore bestaat uit de ware score, systematische fouten en toevallige fouten. Bij een betrouwbare meting is de hoeveelheid van toevallige fouten klein. Bij een valide meting zijn zowel de toevallige als systematische fouten erg klein.

Als een respondent sociaal wenselijke antwoorden geeft, zal de testscore hoger uitvallen dan de ware score. De testscore is wel betrouwbaar, maar niet valide. 

Soorten validiteit

1. Inhoudsvaliditeitis hoe goed de test inhoudelijk het construct representeert.
2. Begripsvaliditeitis hoe goed de test het construct meet (interne of externe structuur). 
3. Criteriumvaliditeitis of de test in staat is om te voorspellen (verleden, heden, toekomst).

Doelen testscores

Afhankelijk van het gebruik van de test, moet je op zoek gaan naar ondersteuning voor dat testgebruik. De testscores kunnen gebruikt worden voor verschillende doelen: beschrijven, indiceren, evalueren, verklaren of voorspellen. Voor elk doel is een verschillende test.  

Soorten validiteitsbewijs (om validiteit te beoordelen)

1. Testinhoud: test laten bekijken door deskundigen die de test gaan beoordelen of naar de gebruikers die de indruk van de test bekijken = indrukvaliditeit.
2. Relaties met andere variabelen: onze testscores moeten samenhangen met andere scores die eraan gerelateerd zijn. Dit kan door te kijken naar test-criterium, convergente/divergente relaties, multitrait-multimethod analyse of onderzoek bij groepen. 
3. Interne structuur: kijken naar de samenhang van items, door factoranalyse of itemanalyse. Het beoordelen van structuren binnen de test. 

1. Inhoudsvaliditeit

In hoeverre representeert de inhoud van test het gehele inhoudsdomein? Alle domeinen van een construct moeten in de test opgenomen worden. De beoordeling gebeurt door vast te stellen in hoeverre de testitems het gehele domein dekken. Dit kan gedaan worden door oordeel van deskundigen of oordeel van gebruikers (indruksvaliditeit) gevraagd wordt. Er hoeft nog geen afname van de test gedaan te worden. 

Cohens kappa

Interbeoordelaars betrouwbaarheidgebruiken we wanneer er subjectieve beoordeling mogelijk is. Hoe goed we in staat zijn om onafhankelijk te oordelen. Als de test inhoudsvalide is, moeten de beoordelaars hetzelfde oordelen. Hoe meer items niet overeenkomen in de beoordelen, hoe lager de interbeoordelaars betrouwbaarheid. De kappaberekent de overeenstemming van de beoordelaars en houdt rekening met toevallige overeenkomsten. 

2. Begripsvaliditeit

Dit is een algemene vorm van validiteit die nagaat of de test beoogt wat het moet meten. Hoe goed representeren items van de test het psychologisch construct dat niet direct geobserveerd kan worden? de beoordeling hiervan kan op twee manieren: interne structuur van test of externe structuur. De interne structuur van test gaat over de homogeniteit tussen de items en de verwachte dimensies. De externe structuur van een test gaat over convergentie validiteit, divergente validiteit en nomologisch netwerk. 

Externe structuur

We spreken verwachtingen uit over de relaties van de testscores met andere kenmerken (voorbeeld 1: wanneer we verwachten dan mannen beter scoren dan vrouwen op een integriteitstest, moet de test wel onderscheid maken tussen mannen en vrouwen; voorbeeld 2: wanneer integriteit samenhangt met deskundigheid, moet op de test de relatie tussen deze twee ook naar voren komen). Elke keer wanneer de verwachting wordt ondersteunt, verhoogt dit de begripsvaliditeit.

• Convergentie validiteit = samenhang tussen kenmerken. 
• Divergente validiteit = afwezigheid van samenhang. 
• De derde vorm van onderzoeken van begripsvaliditeit is opstellen van nomologisch netwerk. Uit de relaties in dit netwerk kan ik de betekenis van mijn test afleiden. De betekenis wordt niet afgeleid uit de naam van de test, maar uit de vele verbanden met andere variabelen, andere tests en andere meetinstrumenten. 

Mogelijke analyses bij begripsvaliditeit

Om na te gaan of er een relatie is, zijn er statistische analyses nodig. De verschillende mogelijkheden zijn:

1. Factoranalyse, itemanalyse.
2. Vergelijken van groepen (t-test, ANOVA).
3. Berekenen van samenhang met tests voor (niet) verwante constructen: r, rho, tau, eta, phi, 
   Cramer’s V.
4. Multitrek-multimethode analyse (MTMM).
5. Multiple regressieanalyse.

Multitrek-multimethode analyse

Deze analyse houdt in dat je meerdere constructen (trekken) tegelijkertijd meet op verschillende manieren (methoden). Wanneer je metingen van verschillende trekken op verschillende methoden meet, krijg je een matrix. Hierbij bereken je de betrouwbaarheden van de test en de correlaties tussen de tests. 

Je veronderstelt dat er tussen bepaalde trekken en methoden samenhang is en bij sommige juist afwezigheid van samenhang. Als deze structuur overeenkomt met de verwachting, is er een sterke begripsvaliditeit. Voor het beoordelen van de begripsvaliditeit, bestudeer je alle betrouwbaarheden en correlaties. 

3. Criterium validiteit

De mate waarin een test in staat is om in de toekomst te voorspellen. Hoe hoog correleren testscores met concreet criterium (= gedrag of prestatie dat niet mer test wordt gemeten). Dit heeft betrekking op:

• Verleden, zoals test voor stoornis en mate van traumatische beleving in verleden.
• Heden (concurrent validity), test voor kennis op bepaald gebied (vliegsimulator) en vaardigheid zelfde gebied (echt vliegen).
• Toekomst (predictieve validiteit), zoals geschiktheid voor baan en succes baan.  

Multipele regressie

Een multipele regressie gaat na hoe je met een combinatie van predictoren iets kan voorspellen in de toekomst. 

Doelen van regressieanalyse:

1. Beoordeling criteriumvaliditeit. Dit doet een uitspraak hoe goed een test het criterium kan voorspellen. Hoe goed kun je met intelligentie en motivatie studiesucces voorspellen? Multipelecorrelatiecoëfficiënt (R) is een gegeven uit SPSS en dat zegt iets over de gerealiseerde en voorspelde score van studiesucces. Daarnaast is de R² de proportie verklaarde variantie = multipeledeterminatie coëfficiënt = de hoeveelheid variantie die verklaard wordt door de predictoren (intelligentie en motivatie). 
2. Selectie van test(s) voor voorspelling. Hierdoor kom je erachter welke tests een optimale voorspelling geven. Kun je beter intelligentie of motivatie gebruiken om studiesucces te voorspellen? In de uitvoer van een regressie vind je in SPSS de informatie van de afzonderlijke predictoren. B-coëfficiën tzegt iets over de verandering in voorspelde studiesucces per eenheid van een predictor. Dit gaat per eenheid van de meting, dus schaal afhankelijk, daarom kijken we naar de gestandaardiseerde B-coëfficiënt (Beta). Hoe groter de waarde, hoe betere voorspeller. Deze informatie gebruiken we bij het opstellen van een regressievergelijking, waarmee je het studiesucces kan voorspellen als je de intelligentie en motivatie weet. 
3. Voorspellen. Geeft intervalschatting met bepaalde waarschijnlijkheid. Kun je een schatting (betrouwbaarheidsinterval) voor studiesucces geven? We kiezen voor 95%, omdat je een bepaalde kans op een fout moet toestaan om de juiste informatie te krijgen. Een 5% fout is aanvaardbaar. Bij het schatten gebruik je nu de standaardschattingsfout (deze wordt gegeven bij de uitvoer van SPSS). De standaardschattingsfout is een soort gemiddelde fout bij het schatten met behulp van de regressielijn. Maar niet alle observaties liggen op de regressielijn, dus de spreiding (standaardafwijking) van schattingsfouten, ook wel residuen genoemd, is de schattingsfout. Let op: bij betrouwbaarheid wordt gebruik gemaakt van de standaard meetfout.