Hoorcollege 12
Onvolkomenheden KTT (klassieke test theorie beperkingen)
Theorie over testscores: weinig informatief over afzonderlijke items (hoe de items werken bv)
Schatting betrouwbaarheid testscore: afhankelijk van populatie(variatie). Dus de steekproef
Aanname over toevallige meetfout: meetfout is onafhankelijk van niveau respondent
Aanname over meetniveau testscore: niet statistisch te toetsen (‘meten bij fiat’)
Beperkingen in vergelijken respondenten: betrouwbaar voor middengroepen is goed, maarde buitenkant minder. En ontwikkeling (Xt2 – Xt1) lastig vast te stellen.
Inefficiëntie: alle respondenten moeten hele test maken. Dus geen selectie.
Item-responstheorie (IRT). Komt tegemoet aan de onvolkomenheden KTT.
Het is een theorie over itemscores in plaats van testscores
Schatting van psychometrische kenmerken van items en testscore is onafhankelijk van de populatie (sample free of sample independent)
Nauwkeurigheid van schatting (= betrouwbaarheid) kan binnen IRT variëren tussen respondenten (er is differentiatie in niveau mogelijk)
Aannames over model(len) statistisch toetsbaar (‘meten bij implicatie’)
Op IRT gebaseerde tests maken beoordeling ontwikkeling beter mogelijk
Schatting vaardigheid onafhankelijk van verzameling items: dit maakt testafname op maat (adaptief testen) mogelijk. (Met een beperkt aantal items komen op een vaardigheid)
Item-responsmodel (het is een meetmodel voor itemscores)
Waargenomen itemscore X1 wordt bepaald door latente variabele T (latente trek
(continu)of latente klasse (categorisch)). De t staat voor teta (vaardigheid)
Het is een factormodel voor discrete (2 antwoordmogelijkheid, dus ja of nee) en ordinale (likert schade, dus van mee eens tot niet mee eens) itemresponsen.
Item-responsfunctie (functie zegt iets over de relatie tussen teta en P) engelse afkorting: ICC
Kans op item goed (P (Xg = 1)) afgezet tegen latente trek 0.
De item-responsfunctie laat met figuur of formule zien hoe P(Xg= 1) afhangt van latente trek 0. (Van je kwaliteit)
Het gaat om dichotome antwoorden, dus goed/fout. Ja of nee.
Soort gegevens
dominantiegegevens (als je antwoord goed hebt, beschik je over de vaardigheid, zoals cognitie) en preferentiegegevensAantal en soort antwoordcategorieën
continu of discreet
geordend of niet geordend
polytoom of dichotoom
Dichotome dominantiegegevens (hier beperken we ons tot)
Xig = 1, voor een goed antwoord van persoon i op item g.
Xig = 0, voor een fout antwoord van persoon i op item g.
Deterministisch model (Guttman)
- als 0 < 0’, dan P (Xg = 1) = 0 (dus als je niet vaardig ben)
- als 0 ≥ 0’, dan P (Xg = 1) = 1 (dus als je vaardig ben)
Probabilistisch model (Mokken, Rasch, Birnbaum) (de kans dat je een vraag
goed beantwoord, gegeven een vaardigheid)
Een respons wordt beïnvloed door één latente trek (0): ééndimensionaal
Functie: monotoon niet dalend
0 < P (Xg = 1 | 0) < 1 (waarden tussen de 0 en de 1)
Kenmerkende eigenschappen ICC: Probabilistisch model
vorm: monotoon niet dalende curve
helling: steilheid varieert; in staarten (a, c) is functie minder steil dan in het middendeel (b)
Giskans: Definitie giskansparameter (Yg )
Kans op goed antwoord op item g bij zeer lage waarde van latente trek. (Geen vaardigheid)
Giskans (= gokkans = raadkans) is afhankelijk van aantal alternatieven bij meerkeuzevragen.
Het is de start van de ICC (symbool is g= gamma)
Moeilijkheid : moeilijkheidparameter (Sg)
Itemmoeilijkheid (Sg ) is waarde op latente trek (0) waarvoor geldt dat de succeskans midden tussen giskans Yg en P(Xg = 1) ligt (omslagpunt).
Sg geeft de locatie van de item-responsfunctie op 0-schaal.
Maximale discriminatie: onderscheidend vermogen van een item (bepaald door stijlheid)
Als respondent i item X1 goed beantwoord (X1 = 1), dan 0i ≥ 0’.
Als respondent i item X1 niet goed beantwoord (X1 = 0), dan 0i < 0’. —> X1 is maximaal
onderscheidend rond 0’.
Minimale discriminatie: Onderscheidend vermogen (kan niks afleiden van een antwoord)
Discriminatie: Definitie discriminatieparameter (Ag)
Discriminatieparameter (Ag ) is steilheid van functie in punt (Sg, (Yg+1)/2)).
Hoe groter Ag, hoe beter het item discrimineert (= onderscheidend vermogen) voor personen rond 0 = Sg.
Aannames item-responsmodellen (is om de aannames over model statistisch te toetsen)
Gemeenschappelijke aanname IRT: Itemresponsen binnen een test worden bepaald door één latente trek (ééndimensionaliteit). Waaruit volgt dat items:
Globaal afhankelijk: in populatie geldt dat Pgh > 0 (hebben onderling positieve samenhang)
Lokaal onafhankelijk: in homogene subpopulaties (groepen binnen de populatie met dezelfde vaardigheid) geldt dat (Pgh | teta) = 0 (afwezigheid samenhang bij gelijkwaardige vaardigheden)
Modelspecifieke aannamen: Afhankelijk van model (Guttman, Mokken-, Rasch- en, Birnbaummodellen) zijn er extra aannamen over de parameters van de item-responsfuncties.. Controle aannames (dus toetsen)
Globale afhankelijkheid: Bij afname van test bij steekproef uit heterogene (verschilt) populatie:
De proportie goede antwoorden is afhankelijk van gemiddelde vaardigheid in groep.
Binnen hele groep positieve samenhang tussen item g en item h.
Controle (toetsing) door na te gaan of alle rgh > 0. (Dus positieve correlaties)
Lokale onafhankelijkheid: Bij afname test bij steekproef uit homogene subpopulatie: De kans op item g goed is onafhankelijk van item h goed.
Beoordeling Guttmanmodel
Gegeven een bepaalde θ (teta) maak je een item goed of fout.
Gegeven een bepaalde θ mag het niet zo zijn dat moeilijke item g goed (=1) en makkelijke item h fout (=0). Hier mag geen schending in zitten.
Beoordeling
Stel Item g en item h.
Item g is moeilijker dan item h.
Mogelijke antwoordpatronen: (0, 0), (1, 1), (1, 0), (0, 1), waarbij eerstgenoemde het antwoord op
moeilijkste item.
Antwoordpatroon (1, 0) noemen we foutenpatroon. Omdat het makkelijke fout is.
Tel foutenpatronen voor alle paren van items.
Als foutenpatronen voorkomen, dan wordt Guttmanmodel verworpen.
Mogelijk past een Mokkenmodel.
Mokkenmodellen met monotone homogeniteit. Aannamen:
1. Eéndimensionaliteit: globale afhankelijkheid items en lokale onafhankelijkheid items
2. Succeskans p is monotoon niet-dalende functie: monotoon naar theta (θ)
Mokkenmodel met dubbele monotonie. Met nog een extra aanname:
3. Item-responsfuncties mogen elkaar ook niet snijden: monotoon naar theta (θ) èn delta (δ)
Controle monotone homogeniteit
1. Bepaal voor alle personen restscore (= testscore – score item g).
2. Bepaal voor subgroepen (dezelfde restscore) kans op item g goed.
3. Teken item-responsfunctie (ICC) voor item g.
4. Toets schending van monotonie naar 0. Je ziet in het figuur dat de verwachting is
geschonden, want hoe meer vaardig je bent, maak je de test niet beter. Kijk naar de 5e X.
Als ICC’s monotoon niet dalend, dan: Ordenen personen en items: personen: ordenen op
totaalscore test. En items: ordening items afhankelijk van 0.
Mokkenmodel dubbele monotonie. De volgende aannames over de functie:
Controle monotonie naar S
1. Bepaal voor alle personen restscore
2. Bepaal voor subgroepen (dezelfde restscore) kans op item g goed
en item h goed
3. Teken itemrespons-functies voor item g en item h
4. Vergelijk ordening items voor elke groep met ordening in hele
steekproef
5. Toets schending van aannamen monotonie naar S. Hier een
schending, omdat ze elkaar snijden, kijk naar de 3e X.
Als ICC’s monotoon niet dalend en ICC’s snijden niet, dan: Ordenen personen en items
- personen: ordenen op totaalscore test (= aantal goed).
En items: ordening items onafhankelijk van 0.
Add new contribution