Aantekeningen college Item-responstheorie - Universiteit Utrecht 22/23

Hoorcollege 12

Vorige colleges waren de klassieke testtheorie.

Onvolkomenheden KTT:

• Theorie over testscores
  • Weinig informatief over afzonderlijke items
• Schatting betrouwbaarheid testscore
  • Afhankelijk van populatie(variatie)
• Aanname over toevallige meetouft
  • Meetfout is onafhankelijk van niveau respondent
• Aanname over meetniveau testscore
  • Niet statistisch te toetsen
• Beperkingen in vergelijken respondenten
  • Betrouwbaar voor middengroepen
• Inefficiëntie
  • Alle respondenten moet hele test maken
• Betrouwbaarheid is steeds afhankelijk van de steekproef.
• Mensen die goed zijn of vaardig zijn, worden niet meegenomen in de Klassieke TestTheorie.
• Test vooral in het midden van het bereik is hij goed. Aan de buitenkanten minder betrouwbaarheid.
• Weinig mogelijk vragen zo veel mogelijk antwoorden. Dat is inefficiënt bij de KTT.

Item-responstheorie (IRT)

• IRT komt tegemoet aan de onvolkomenheden KTT
• Het is een theorie over itemscores in plaats van testscores
• Schatting van psychometrische kenmerken van items en testscore is onafhankelijk van de populatie
• Nauwkeurigheid van schatting (=betrouwbaarheid) kan binnen IRT variëren tussen respondenten
• Aannames over modellen statistisch toetsbaar
• Op IRT gebaseerde tests maken beoordeling ontwikkeling beter mogelijk
• Schatting vaardigheid onafhankelijk van verzameling items: Dit maakt testafname op maat (adaptief testen) mogelijk

Je komt met een beperkter aantal vragen ook op een nauwkeurige schatting van iemand zijn vaardigheid. Dat is adaptief testen.

• IRT gaat om het model voor itemscores en niet voor testscores. Voor elk afzonderlijk item kan weer een meetfout zijn.
• T staat voor theta, de vaardigheid waarin we geïnteresseerd zijn.
• Continu of categorisch kenmerk. Daar hebben die verschillende termen mee te maken.
• Discreet is twee antwoorden, mee eens of niet mee eens. Dichotome items.
• Ordinale items zijn Likert schalen.
• Theta is de vaardigheid waarin we geïnteresseerd zijn.
• En de kans op een correct antwoord.

Hogere vaardigheid? Dan is de kans dat je het goed maakt of dat je het ermee eens bent, neemt toe. De kans op respons 1. De kans dat je het ermee eens bent of dat je de opdracht goed hebt afgerond. Theta is kenmerk dat je gaat meten aan de hand van de verzameling items.

• De kans op antwoord 1, gegeven een bepaalde theta (kwaliteit).
• Meer latente trek, meer vaardigheid is een grotere kans op waarde 1. Dat loopt zoals bovenstaand model.
• 1 is de succeskans.
• Relatie tussen de latente trek en de succeskans. Dat is de item-responsfunctie.
• Elk item heeft eigen item-responsfunctie.
• Theta wordt vaak uitgedrukt in z-scores. 0 is, is gelijk aan gemiddelde van de groep. Dus dezelfde vaardigheid als het gemiddelde van de groep.
• Dit zie je als SD’s tov het gemiddelde. Binnen 2 à 4 SD’s heb je al de hele populatie te pakken.
• Buiten de 2 SD komen weinig mensen voor en dan wordt ook de kans op een goed of fout antwoord steeds minder.
• Succeskans hangt af van de kwaliteit. De hoogte of sterkte van de latente trek.
• De relatie tussen de latente trek theta en de succeskans. De kans op een correct of mee eens antwoord, als het TWEE antwoorden betreft. Het gaat om dichotome antwoordopties.

1 voor een goed antwoord van persoon i op item g

0 voor een fout antwoord van persoon i op item g

• Cognitieve vaardigheden kan je beschouwen als vaardigheden die resulteren in dominantie gegevens.
• Tegenover preferentiegegevens.
• Binnen de IFT heb je het over dominantiegegevens.
• Ook bij afwezigheid van kennis, kan je nog steeds een kwart succeskans hebben. Dat is de gokkans.
• Item respons functie begint dus niet bij nul, maar iets hoger.

De kans op 0 ligt bij hele strikte mening bij eten van aardbeien en soepele mening. Want of je vindt: oh ik vind dat je aardbeien altijd kan eten.

Of nee, ik vind dat je de aardbeien alleen maar voor 2 maanden kan eten.

Item respons functies zijn dus verschillend voor preferentiegegevens en dominantiegegevens.

Er is altijd hier ook een gokkans. Of bij de eenvoudigste sommetjes kan je bij hoge vaardigheid ook nog steeds een fout maken. Hij zal dus nooit de 1 helemaal raken. Dit is een probabilistisch model. Het geeft de kans op een correct antwoord, gegeven je vaardigheid.

Deterministisch (Guttman) model is strikter.

• Een respons wordt beïnvloed door één latente trek → de items zijn ééndimensionaal.
• Vaardigheid kleiner dan theta accent, dan is de succeskans gelijk aan 0.
• Als iemand zijn vaardigheid groter is dan theta accent, dan is hij in een keer 1.
• Vaardigheid hoger dan dat, dan kan je het sowieso. Dit is een stap- of sprongfunctie. Je hebt wel of niet vaardigheid om iets goed te doen. Het gaat niet om toenemende kans, maar om 0 of 1.
• Bij probabilistische modellen zijn er verschillende kansen, hij neemt toe bij toenemende vaardigheid.
• Monotoon niet dalende functie. De kans neemt uitsluitend toe. Of hij blijft misschien heel even gelijk bij een toenemende vaardigheid (toenemende latente trek).

Kenmerken ICC:

• Vorm: monotoon niet dalende curve
• Helling: steilheid varieert, in staarten is functie minder dan in het middendeel
• Het gaat om waar hij start, de steilheid en de moeilijkheid (dat is de locatie).
• Moeilijkheid is het omslagpunt van de functie
• Hoe steiler de functie, hoe beter het item discrimineert.
• Als de kans omslaat van 0 tot 1, discrimineert de functie (het item) dus heel erg goed.
• Giskans is de start van de ICC.
• Deterministische model heeft maximale discriminatie.
• Minimaal discriminerend vermogen is je kan niks aflezen. Er is geen verband tussen de latente trek en de kans om het goed te hebben.
• Om de discriminatie te berekenen moet je een raaklijn tekenen om de steilheid te berekenen.
• Alfa g is de steilheid.
• Bij maximaal discriminerend is het 90 graden.
• De Giskans is 0. Want bij 0 vaardigheid is de kans ook 0. Moeilijkheid is ook hetzelfde. De steilheid is wel anders, dus de discriminatie is anders.

Deze parameters kun je dus in de formule doen.

• Met de item respons theorie, kunnen we modelaannames toetsen, bij de KTT is dat bijna niet aan de orde: de toetsbaarheid.
• Voor alle modellen gelden de gemeenschappelijke aannames van de IRT.
• Items hebben onderling positieve samenhang. Als je het beter begrijpt, heb je meer vragen goed. Dat is vgm globaal afhankelijk. Alle correlaties zijn dan groter dan 0. Dan zie je dat er sprake is van eendimensionaliteit, omdat alle correlaties hoger zijn dan 0.
• Lokaal onafhankelijk is in homogene subpopulaties. Binnen de populaties kun je groepjes aanwijzen die hetzelfde zijn qua niveau. Dat zijn subpopulaties die dezelfde mate van vaardigheid beschikken. Voor die groepen is de correlatie tussen de items gelijk aan 0.
• Binnen de hele populatie is er sprake van samenhang tussen items, maar binnen de groep mensen waar de vaardigheid hetzelfde is, is er afwezigheid van samenhang.
• Globale afhankelijkheid en lokale onafhankelijkheid zijn twee afgeleiden van de eendimensionaliteit aanname van de item responsmodellen.
• Afhankelijk van welk model je kiest, gelden er ook nog extra aannames. Maar dit is een gemeenschappelijke aanname. Deze geldt voor alle modellen.

Deze twee termen kan je toetsen. Ondersteuning vinden van die beide aannames.

• Heterogene populatie is verschil in vaardigheid.
• Positieve samenhang voor de afzonderlijke items.
• Je controleert de globale afhankelijkheid door na te gaan of alle correlaties groter zijn dan 0.

Lokale onafhankelijkheid

• Dit betreft subpopulaties die homogeen zijn wat betreft de vaardigheid.
• Mensen die hetzelfde scoren op een test, want die hebben dezelfde vaardigheid.
• De kans op item g goed is onafhankelijk van dat je item h goed hebt.
• Er is geen verschil in vaardigheid, ze hebben allemaal dezelfde vaardigheid. Er is geen afhankelijkheid van de vaardigheid.
• Antwoordpatronen, de ene persoon goed de ander fout. De ander goed en de ander goed. De ander fout en de ander fout. De ene fout en de ander goed.
• De kansen liggen vast. 
• Nagaan of het patroon in de groep de verwachting na gaat. Afwijking daarvan is een schending van die aanname en dan ook een schending van het model.
• 2 items, dan zijn er 4 antwoordpatronen mogelijk.
• Als het moeilijk item goed wordt gemaakt en het makkelijk item fout, dan mag dat niet. Dat is een schending van het Guttman model?!

Deterministisch model wordt vaak verworpen, het past gewoon niet. Het is realistischer dat het een waarschijnlijkheids curve is.

Mokkenmodel met monotone homogeniteit:

1. Eéndimensionaliteit
   1. Globale afhankelijkheid items
   2. Lokale onafhankelijkheid items
2. Succeskans p is monotoon niet dalende functie
   1. monotoon naar theta

Geen stapfunctie, maar een monotone niet-dalende functie. Succeskans neemt dus toe of minstens gelijk blijft bij een toenemende vaardigheid. Dat noemen we monotoon naar theta.

Mokkenmodel met dubbele monotonie:

• Item-responsfuncties mogen elkar ook niet snijden. --> monotoon naar theta en delta

Dit is een extra aanname. Die is alleen voor het Mokkenmodel. Als die item responsfuncties elkaar snijden? Dan wisselen de antwoorden. 1 moet makkelijk zijn en 1 moet moeilijk zijn. Dus dat is ook een aanname, ze mogen  niet snijden.

Zo kan je lokale onafhankelijkheid toetsen.

Bij 2 items heb je verschillende antwoordpatronen.

• + is hier 1 en - is hier 0.
• Binnen homogene subpopulaties zit er geen afhankelijkheid tussen de twee itemmoeilijkheden.
• Vermenigvuldigen van de twee item moeilijkheden, dan krijg je de kans op een bepaald antwoordpatroon. 
• Er staat gegeven theta. Dus bij dezelfde vaardigheid geldt dit.

Stel je ziet grote verschillen, hoe minder steun voor de lokale onafhankelijkheid en minder steun voor de eendimensionaliteit van mijn verzameling van items.

Dan minder steun voor de modellen die we hanteren. Als ze allemaal monotoon stijgen, dan wordt deze aanname dus opgevolgd. De restscore is de score op alle items die niet gebruikt worden voor het beoordelen van het item waarin je geïnteresseerd bent. Je gebruikt steeds de 9 andere items van de 10 om iemand zijn restscore te berekenen.

• Voor elke restscore hebben we nu een succeskans. Je ziet een kleine daling naarmate de vaardigheid toeneemt. Dat is een schending van de monotonie. Je moet dus een ander model gebruiken. 
• Dus voor de restgroepen benadering gebruik je de restscores om vaardigheidsgroepen te maken.
• Voor de homogene vaardigheidsgroepen bepaal je de item moeilijkheid. 
• Dat is wat we hier vinden in de ICC. De item moeilijkheid voor de verschillende vaardigheidsgroepen.
• Als de ICC’s (item karakteristieke functies) uiteindelijk niet monotoon dalend zijn dan wil je ook een ordening doen in de moeilijkheid van de afzonderlijke items.
• We willen dat die moeilijkheidsverschillen hetzelfde blijven over de x-as heen. Ze moeten dus niet snijden.

Als ze snijden dan:

• Dan niet meer monotonie naar delta (naar moeilijkheid)
• Wel nog steeds monotonie naar theta, (naar moeilijkheid). Omdat het niet dalende functies zijn.
• Niet dalende functies. Dan kunnen we personen ordenen op basis van de items.
• We kunnen ze ordenen op totaalscore van de test. Hoe meer items goed, hoe beter iemand is.
• We kunnen dan helaas niet de items ordenen op moeilijkheid. Want dan mogen ze niet snijden

Als wel monotonie naar delta, kunnen we niet alleen personen ordenen, ook items ordenen.

• We kunnen dan adaptief testen.
• Dan kunnen we het makkelijkste item voor iedereen het makkelijkste item is

Die ordening is onafhankelijk van de theta.

Hoe informatief is een item voor de latente trek?

Hoe kan je op basis van de ICC’s zeggen hoe informatief een functie is:

• Onderscheidingsvermogen van de items: de discriminatie parameters.
• Het keerpunt van de ICC’s. Waar hij toeneemt tot waar hij weer afneemt. Daar is hij het meest informatief.
• Hij neemt qua informativiteit af als de vaardigheid toeneemt.
• En hij neemt af als de vaardigheid afneemt.
• Hoogste informativiteit is bij het buigpunt.
• Hij neemt af naar boven toe en af naar beneden toe. Dat kan je zo illustreren:
• Als we meerdere items combineren hebben we meerdere informatiefuncties en ook krijgen we een totale informatiefunctie.
• Afzonderlijke ICC’s zeggen over waar bij de latente trek ze het meest informatief zijn.
• Als je ze samen hebt, kan je zien voor welke latente trek waardes de test het meest informatief is. En dus het meest informatief en precies is in zijn schatting.
• Som van de afzonderlijke items is totaal van de test.