Hoorcollege 8 Psychologie als Wetenschap 2023 Universiteit Utrecht

Hoorcollege 8: testtheorie: betrouwbaarheid en validiteit

• integer,
• respectvol,
• verantwoordelijk
• deskundig.

• Gender (vragen naar man / vrouw / X)
• Lengte (geregisseerde meting in cm)
• Rekenvaardigheid (aantal goed op rekentest)
• Prestatie-motivatie (score op onderdeel van PMTK, motivatie en prestatie scores)
• Integriteit (score op integriteitstest).

• Latente of ware score T (true score). De echte mate van integriteit. Is ook de belangrijkste score. Ben jij niet integer dan scoor je laag.
• Toevallige meetfout E (error). Er zijn allemaal invloeden: persoon, omgeving, test of de testleider. Het kan dus overal aanliggen. Hoe groter deze fout, hoe minder zeker je bent van de daadwerkelijke score van een persoon.

• Spreiding van de toevallige meetfout bij oneindig aantal replicaties.
• Geeft een indicatie van de nauwkeurigheid van de meting in een populatie.
• De standaardmeetfout is identiek voor alle individuen waarbij je het instrument afneemt (= aanname). Het is voor iedereen hetzelfde. Met de standaardmeetfout kunnen we het betrouwbaarheidsinterval afleiden voor de ware score.
• formule: Betrouwbaarheid: Testscore is ware score plus toevallig fout: Testvariantie is ware scorevariantie plus errorvariantie: Betrouwbaarheid is verhouding tussen ware scorevariantie en testvariantie: Hoe dichter bij 1 hoe betrouwbaarder de test, hoe dichter bij 0, hoe onbetrouwbaarder. Toch is er een probleem. Want de variantie van ware scores S2/t is bekend, we moeten dus de betrouwbaarheid testscore moeten we daarom schatten.

• Test-hertest betrouwbaarheid (test-retest): Maakt gebruik van het idee dat testscores over de tijd hetzelfde zijn. - Correlatie rx1 en x2 tussen testafnames X1 en X2 als schatting voor de betrouwbaarheid van schaalscores. Waarde tussen de 0 en 1 is de schatting van de betrouwbaarheid) Problemen - Leereffect (carryover effects). Zorgt voor onder of overschatting van betrouwbaarheid. - Kort tijd tussen afnames is er sprake van herinnering, ervaring. - Lange tijd tussen afnames is er sprake van wijziging van de ware scores.
• Paralleltest betrouwbaarheid (alternate form): betrouwbaarheid (vaak bij cognitieve test, denk aan taal of rekenen) - Maakt gebruik van het idee dat twee gelijkwaardige versies van dezelfde test dezelfde scores moet opleveren. Het is een andere test, maar wel een gelijkwaardige test. - Correlatie rx en x1, tussen parallelle tests X en X’ als schatting voor de betrouwbaarheid. Probleem: zorgt voor onderschatting van betrouwbaarheid. - Strikte parallelle tests zijn moeilijk te realiseren. (Inhoud, Moeilijkheid en Vorm)
• Split-half betrouwbaarheid: Maakt gebruik van het idee dat twee helften van een test dezelfde scores op moet leveren. - (Gecorrigeerde) correlatie rh1 en h2 tussen parallelle testhelften als schatting voor betrouwbaarheid. Probleem (elke andere tweedeling levert een andere schattin van de betrouwbaarheid) - Hoe is de test in 2 delen te splitsen? (Even - oneven of Onderste helft - bovenste helft)
• Cronbach’s alfa (coëfficiënt alpha): Populaire methode betrouwbaarheidsschatting testscore. Maakt gebruik van het idee dat elk item van een schaal een indicatie is voor het te meten theoretisch concept. - Voor items met meer dan twee geordende categorieën. Dus een likert schaal. Met meer dan 3 categorieën. - Voor homogene set van items (een-dimensionaal). De interpretatie van Cronbach’s alfa - Ondergrens voor schatting betrouwbaarheid (rXX’ ≥ alfa - alfa = 0.80 betekent dat minimaal 80% van variantie in testscores wordt veroorzaakt door variantie in ware scores. - Waardering afhankelijk doel van de meting. 

• Lange test: Hoe langer test, hoe betrouwbaarder testscore. —> afwijkende itemscores hebben minder invloed op totaalscore
• Samenstelling groep: De mate van variatie (heterogeniteit) van testscores binnen een groep (steekproef) beïnvloedt de betrouwbaarheidschatting. Hoe meer spreiding, hoe hoger de betrouwbaarheid. Je wilt een heterogene groep hebben.
• Tijdslimiet: Stel je hebt een speedtest met een groot aantal items. Bij tijdgebrek worden niet alle items beantwoord. (Bij een powertest heb je alle tijd om de vragen in te vullen) - Cronbach's alfa is dan niet geschikt - test-hertestmethode is dan wel geschikt Intervalschatting ware score
• De betrouwbaarheidsinterval: Bereken een 95%-betrouwbaarheidsinterval voor de ware score van integriteit voor een persoon. Je hebt een ondergrens en een bovengrens. 

• Inhoudsvaliditeit (content validity). 
• Indruksvaliditeit (face validity -> we vragen of een deskundige/gebruikers wat denk je meten)
• Begripsvaliditeit (construct validity)
• relaties binnen test (interne structuur) 
• relaties met andere variabelen (externe structuur)
• Criteriumvaliditeit (criterion validity)
• voorspelling (predictie) van een criterium (predictieve validiteit)

• Hoe goed voorspelt een testscore een concreet criterium (= gedrag of prestatie dat niet met test wordt gemeten)? Om in de toekomst/heden te voorspellen. - Criteriumvaliditeit is van belang voor tests die tot doel hebben om iets (criterium) te voorspellen.
• Onderscheid naar concurrente validiteit en predictieve validiteit
• Beoordeling
• Op basis van onderzoek naar de voorspellende waarde van testscores. —> (multipele) regressie analyse