Hoorcollege 10: Item-responstheorie (testtheorie) - Grondslagen van psychologische diagnostiek en testtheorie (GPDTT) aan de Universiteit Utrecht

De klassieke testtheorie heeft een aantal onvolkomenheden , waaronder:

• Er is weinig informatie over de afzonderlijke items.
• De schatting van de betrouwbaarheid is afhankelijk van de populatie.
• De meetfout is onafhankelijk van het niveau van de respondent
• Het is niet statistisch te toetsen
• Bij het vergelijken van respondenten is de middengroep vooral betrouwbaar
• Alle respondenten moeten de hele test maken

De item responstheorie komt de onvolkomenheden van de klassieke testtheorie tegemoet:

Deze theorie gaat over de itemscores in plaats van de testscores. Hierbij is de schatting van de psychometrische kwaliteit van de items onafhankelijk van de populatie. De betrouwbaarheid kan binnen de IRT variëren tussen respondenten. De aannames over dit model zijn statistisch toetsbaar. Als laatste is de schatting van de vaardigheid onafhankelijk van de verzameling items, waardoor adaptief testen mogelijk is.

In het meetmodel van de IRT wordt de itemscore bepaald door T (latente trek of latente klasse).

Item-responsfunctie: geeft weer hoe de kans (P) op een goed gegeven antwoord afhangt van de latente trek.

Er zijn dominantiegegevens (cognitieve vaardigheden, zijn op goedheid te beoordelen) en preferentiegegevens (gedragingen, moeilijker te beoordelen of het goed is).

Soorten antwoord categorieën:

• Continu of discreet
• Geordend of niet geordend
• Polytoom of dichotoom (dichotoom is 1=goed, 0=fout)

In een deterministische model wordt het respons beïnvloed door één latente trek en zijn de items ééndimensionaal. De antwoordopties zijn dichotoom.

In het probabilistisch model wordt het respons ook beïnvloed door één latente trek en zijn de items ééndimensionaal, maar de functie is (in tegenstelling tot het deterministische model) monotoon niet dalend en de snelheid varieert (in de staarten is de functie minder steil). Deze functie begint niet bij 0 omdat er rekening wordt gehouden met de gokkans.

Gokkans: kans op goed antwoord op item g bij zeer lage waarde van latente trek. Is afhankelijk van het aantal alternatieve bij meerkeuze vragen. Is bij openvragen 0.

Moeilijkheid: de waarde op de latente trek waarvoor geldt dat de succeskans midden tussen de giskans en P(X=1) ligt. Het geeft de locatie van de item-respons functie.

Discriminatie: het onderscheidend vermogen rond de moeilijkheid. De discriminatiewaarde ligt op het steilste punt van de functie (bereken je door (1+gokkans)/2.). Bij maximale discriminatie loopt dit punt verticaal, bij minimale discriminatie loopt dit punt horizontaal.

Gemeenschappelijke aannames IRT: itemresponsen binnen een test zijn ééndimensioneel (bepaald door één latente trek). De items zijn globaal afhankelijk (de proportie goede antwoorden is afhankelijk van gemiddelde vaardigheid in groep). Dit kan je controleren door na te gaan of alle rho’s groter dan 0 zijn. Ook zijn de items lokaal onafhankelijk (de kans dat je item a goed hebt is onafhankelijk van of je item b goed hebt). Hierbij liggen de kansen op antwoordpatronen vast. Te controleren door te kijken of de rho gelijk is aan 0.

Afhankelijk van het model dat je gebruikt zijn er extra aannames over de parameters van de item-responsfuncties. Deze modellen kunnen zijn:

Guttmanmodel: bij het gegeven dat op een bepaald theta niveau een item goed of fout is, mag het niet zo zijn dat het moeilijke item fout (=0) is en het makkelijke item goed is (=1). Dit model is deterministisch. Als dit wel het geval is, is er sprake van een foutenpatroon. Als een foutenpatroon aanwezig is wordt het Guttmanmodel verworpen.

Mokkenmodel: dit model is probabilistisch. Bij het mokkenmodel met monotone homogeniteit zijn de aannames ééndimensionaliteit (globale afhankelijkheid en lokale onafhankelijkheid) en de succeskans (p) is een monotoon niet-dalende functie. Bij dubbele monotonie mogen de item-responsfuncties elkaar ook niet snijden.

• Lokale onafhankelijkheid beoordelen: nagaan of de geobserveerde antwoordpatronen overeenkomen met de verwachte antwoordpatronen. Hoe groter het verschil, hoe minder ondersteuning voor lokale onafhankelijkheid.
•  Monotone homogeniteit beoordelen: bepaal voor alle personen de restscore (=testscore – score op item g). Bepaal vervolgens voor de subgroepen (dezelfde restscore) de kans dat item g goed is. Teken dan de item-responsfunctie (ICC) voor item g en toets de schending van monotonie naar theta (schending zien in de grafiek: de succeskans daalt).
• Monotonie naar moeilijkheid beoordelen (dubbele monotonie): hetzelfde als monotone homogeniteit, maar nu teken je itemrespons-functies voor 2 items. Als de lijnen elkaar snijden is er een schending van de monotonie naar de moeilijkheid.

De ordening van de items is afhankelijk van theta.

De informatiefunctie geeft weer hoe informatief een item is voor de latente trek.

De somfunctie/somscore geeft de informatiewaarde voor de test met een x aantal items weer.

Als je deze aantekeningen handig vond, volg dan gelijk mijn WorldSupport account! Dit kan door rechts naast deze samenvatting op '+ Follow' te klikken. Wordt erg gewaardeerd :)