Hoorcollege 12
Vorige colleges waren de klassieke testtheorie.
Onvolkomenheden KTT:
- Theorie over testscores
- Weinig informatief over afzonderlijke items
- Schatting betrouwbaarheid testscore
- Afhankelijk van populatie(variatie)
- Aanname over toevallige meetouft
- Meetfout is onafhankelijk van niveau respondent
- Aanname over meetniveau testscore
- Niet statistisch te toetsen
- Beperkingen in vergelijken respondenten
- Betrouwbaar voor middengroepen
- Inefficiëntie
- Alle respondenten moet hele test maken
- Betrouwbaarheid is steeds afhankelijk van de steekproef.
- Mensen die goed zijn of vaardig zijn, worden niet meegenomen in de Klassieke TestTheorie.
- Test vooral in het midden van het bereik is hij goed. Aan de buitenkanten minder betrouwbaarheid.
- Weinig mogelijk vragen zo veel mogelijk antwoorden. Dat is inefficiënt bij de KTT.
Item-responstheorie (IRT)
- IRT komt tegemoet aan de onvolkomenheden KTT
- Het is een theorie over itemscores in plaats van testscores
- Schatting van psychometrische kenmerken van items en testscore is onafhankelijk van de populatie
- Nauwkeurigheid van schatting (=betrouwbaarheid) kan binnen IRT variëren tussen respondenten
- Aannames over modellen statistisch toetsbaar
- Op IRT gebaseerde tests maken beoordeling ontwikkeling beter mogelijk
- Schatting vaardigheid onafhankelijk van verzameling items: Dit maakt testafname op maat (adaptief testen) mogelijk
Je komt met een beperkter aantal vragen ook op een nauwkeurige schatting van iemand zijn vaardigheid. Dat is adaptief testen.
- IRT gaat om het model voor itemscores en niet voor testscores. Voor elk afzonderlijk item kan weer een meetfout zijn.
- T staat voor theta, de vaardigheid waarin we geïnteresseerd zijn.
- Continu of categorisch kenmerk. Daar hebben die verschillende termen mee te maken.
- Discreet is twee antwoorden, mee eens of niet mee eens. Dichotome items.
- Ordinale items zijn Likert schalen.
- Theta is de vaardigheid waarin we geïnteresseerd zijn.
- En de kans op een correct antwoord.
Hogere vaardigheid? Dan is de kans dat je het goed maakt of dat je het ermee eens bent, neemt toe. De kans op respons 1. De kans dat je het ermee eens bent of dat je de opdracht goed hebt afgerond. Theta is kenmerk dat je gaat meten aan de hand van de verzameling items.
- De kans op antwoord 1, gegeven een bepaalde theta (kwaliteit).
- Meer latente trek, meer vaardigheid is een grotere kans op waarde 1. Dat loopt zoals bovenstaand model.
- 1 is de succeskans.
- Relatie tussen de latente trek en de succeskans. Dat is de item-responsfunctie.
- Elk item heeft eigen item-responsfunctie.
- Theta wordt vaak uitgedrukt in z-scores. 0 is, is gelijk aan gemiddelde van de groep. Dus dezelfde vaardigheid als het gemiddelde van de groep.
- Dit zie je als SD’s tov het gemiddelde. Binnen 2 à 4 SD’s heb je al de hele populatie te pakken.
- Buiten de 2 SD komen weinig mensen voor en dan wordt ook de kans op een goed of fout antwoord steeds minder.
- Succeskans hangt af van de kwaliteit. De hoogte of sterkte van de latente trek.
- De relatie tussen de latente trek theta en de succeskans. De kans op een correct of mee eens antwoord, als het TWEE antwoorden betreft. Het gaat om dichotome antwoordopties.
1 voor een goed antwoord van persoon i op item g
0 voor een fout antwoord van persoon i op item g
- Cognitieve vaardigheden kan je beschouwen als vaardigheden die resulteren in dominantie gegevens.
- Tegenover preferentiegegevens.
- Binnen de IFT heb je het over dominantiegegevens.
- Ook bij afwezigheid van kennis, kan je nog steeds een kwart succeskans hebben. Dat is de gokkans.
- Item respons functie begint dus niet bij nul, maar iets hoger.
De kans op 0 ligt bij hele strikte mening bij eten van aardbeien en soepele mening. Want of je vindt: oh ik vind dat je aardbeien altijd kan eten.
Of nee, ik vind dat je de aardbeien alleen maar voor 2 maanden kan eten.
Item respons functies zijn dus verschillend voor preferentiegegevens en dominantiegegevens.
Er is altijd hier ook een gokkans. Of bij de eenvoudigste sommetjes kan je bij hoge vaardigheid ook nog steeds een fout maken. Hij zal dus nooit de 1 helemaal raken. Dit is een probabilistisch model. Het geeft de kans op een correct antwoord, gegeven je vaardigheid.
Deterministisch (Guttman) model is strikter.
- Een respons wordt beïnvloed door één latente trek → de items zijn ééndimensionaal.
- Vaardigheid kleiner dan theta accent, dan is de succeskans gelijk aan 0.
- Als iemand zijn vaardigheid groter is dan theta accent, dan is hij in een keer 1.
- Vaardigheid hoger dan dat, dan kan je het sowieso. Dit is een stap- of sprongfunctie. Je hebt wel of niet vaardigheid om iets goed te doen. Het gaat niet om toenemende kans, maar om 0 of 1.
- Bij probabilistische modellen zijn er verschillende kansen, hij neemt toe bij toenemende vaardigheid.
- Monotoon niet dalende functie. De kans neemt uitsluitend toe. Of hij blijft misschien heel even gelijk bij een toenemende vaardigheid (toenemende latente trek).
Kenmerken ICC:
- Vorm: monotoon niet dalende curve
- Helling: steilheid varieert, in staarten is functie minder dan in het middendeel
- Het gaat om waar hij start, de steilheid en de moeilijkheid (dat is de locatie).
- Moeilijkheid is het omslagpunt van de functie
- Hoe steiler de functie, hoe beter het item discrimineert.
- Als de kans omslaat van 0 tot 1, discrimineert de functie (het item) dus heel erg goed.
- Giskans is de start van de ICC.
- Deterministische model heeft maximale discriminatie.
- Minimaal discriminerend vermogen is je kan niks aflezen. Er is geen verband tussen de latente trek en de kans om het goed te hebben.
- Om de discriminatie te berekenen moet je een raaklijn tekenen om de steilheid te berekenen.
- Alfa g is de steilheid.
- Bij maximaal discriminerend is het 90 graden.
- De Giskans is 0. Want bij 0 vaardigheid is de kans ook 0. Moeilijkheid is ook hetzelfde. De steilheid is wel anders, dus de discriminatie is anders.
Deze parameters kun je dus in de formule doen.
- Met de item respons theorie, kunnen we modelaannames toetsen, bij de KTT is dat bijna niet aan de orde: de toetsbaarheid.
- Voor alle modellen gelden de gemeenschappelijke aannames van de IRT.
- Items hebben onderling positieve samenhang. Als je het beter begrijpt, heb je meer vragen goed. Dat is vgm globaal afhankelijk. Alle correlaties zijn dan groter dan 0. Dan zie je dat er sprake is van eendimensionaliteit, omdat alle correlaties hoger zijn dan 0.
- Lokaal onafhankelijk is in homogene subpopulaties. Binnen de populaties kun je groepjes aanwijzen die hetzelfde zijn qua niveau. Dat zijn subpopulaties die dezelfde mate van vaardigheid beschikken. Voor die groepen is de correlatie tussen de items gelijk aan 0.
- Binnen de hele populatie is er sprake van samenhang tussen items, maar binnen de groep mensen waar de vaardigheid hetzelfde is, is er afwezigheid van samenhang.
- Globale afhankelijkheid en lokale onafhankelijkheid zijn twee afgeleiden van de eendimensionaliteit aanname van de item responsmodellen.
- Afhankelijk van welk model je kiest, gelden er ook nog extra aannames. Maar dit is een gemeenschappelijke aanname. Deze geldt voor alle modellen.
Deze twee termen kan je toetsen. Ondersteuning vinden van die beide aannames.
- Heterogene populatie is verschil in vaardigheid.
- Positieve samenhang voor de afzonderlijke items.
- Je controleert de globale afhankelijkheid door na te gaan of alle correlaties groter zijn dan 0.
Lokale onafhankelijkheid
- Dit betreft subpopulaties die homogeen zijn wat betreft de vaardigheid.
- Mensen die hetzelfde scoren op een test, want die hebben dezelfde vaardigheid.
- De kans op item g goed is onafhankelijk van dat je item h goed hebt.
- Er is geen verschil in vaardigheid, ze hebben allemaal dezelfde vaardigheid. Er is geen afhankelijkheid van de vaardigheid.
- Antwoordpatronen, de ene persoon goed de ander fout. De ander goed en de ander goed. De ander fout en de ander fout. De ene fout en de ander goed.
- De kansen liggen vast.
- Nagaan of het patroon in de groep de verwachting na gaat. Afwijking daarvan is een schending van die aanname en dan ook een schending van het model.
- 2 items, dan zijn er 4 antwoordpatronen mogelijk.
- Als het moeilijk item goed wordt gemaakt en het makkelijk item fout, dan mag dat niet. Dat is een schending van het Guttman model?!
Deterministisch model wordt vaak verworpen, het past gewoon niet. Het is realistischer dat het een waarschijnlijkheids curve is.
Mokkenmodel met monotone homogeniteit:
- Eéndimensionaliteit
- Globale afhankelijkheid items
- Lokale onafhankelijkheid items
- Succeskans p is monotoon niet dalende functie
- monotoon naar theta
Geen stapfunctie, maar een monotone niet-dalende functie. Succeskans neemt dus toe of minstens gelijk blijft bij een toenemende vaardigheid. Dat noemen we monotoon naar theta.
Mokkenmodel met dubbele monotonie:
- Item-responsfuncties mogen elkar ook niet snijden. --> monotoon naar theta en delta
Dit is een extra aanname. Die is alleen voor het Mokkenmodel. Als die item responsfuncties elkaar snijden? Dan wisselen de antwoorden. 1 moet makkelijk zijn en 1 moet moeilijk zijn. Dus dat is ook een aanname, ze mogen niet snijden.
Zo kan je lokale onafhankelijkheid toetsen.
Bij 2 items heb je verschillende antwoordpatronen.
- + is hier 1 en - is hier 0.
- Binnen homogene subpopulaties zit er geen afhankelijkheid tussen de twee itemmoeilijkheden.
- Vermenigvuldigen van de twee item moeilijkheden, dan krijg je de kans op een bepaald antwoordpatroon.
- Er staat gegeven theta. Dus bij dezelfde vaardigheid geldt dit.
Stel je ziet grote verschillen, hoe minder steun voor de lokale onafhankelijkheid en minder steun voor de eendimensionaliteit van mijn verzameling van items.
Dan minder steun voor de modellen die we hanteren. Als ze allemaal monotoon stijgen, dan wordt deze aanname dus opgevolgd. De restscore is de score op alle items die niet gebruikt worden voor het beoordelen van het item waarin je geïnteresseerd bent. Je gebruikt steeds de 9 andere items van de 10 om iemand zijn restscore te berekenen.
- Voor elke restscore hebben we nu een succeskans. Je ziet een kleine daling naarmate de vaardigheid toeneemt. Dat is een schending van de monotonie. Je moet dus een ander model gebruiken.
- Dus voor de restgroepen benadering gebruik je de restscores om vaardigheidsgroepen te maken.
- Voor de homogene vaardigheidsgroepen bepaal je de item moeilijkheid.
- Dat is wat we hier vinden in de ICC. De item moeilijkheid voor de verschillende vaardigheidsgroepen.
- Als de ICC’s (item karakteristieke functies) uiteindelijk niet monotoon dalend zijn dan wil je ook een ordening doen in de moeilijkheid van de afzonderlijke items.
- We willen dat die moeilijkheidsverschillen hetzelfde blijven over de x-as heen. Ze moeten dus niet snijden.
Als ze snijden dan:
- Dan niet meer monotonie naar delta (naar moeilijkheid)
- Wel nog steeds monotonie naar theta, (naar moeilijkheid). Omdat het niet dalende functies zijn.
- Niet dalende functies. Dan kunnen we personen ordenen op basis van de items.
- We kunnen ze ordenen op totaalscore van de test. Hoe meer items goed, hoe beter iemand is.
- We kunnen dan helaas niet de items ordenen op moeilijkheid. Want dan mogen ze niet snijden
Als wel monotonie naar delta, kunnen we niet alleen personen ordenen, ook items ordenen.
- We kunnen dan adaptief testen.
- Dan kunnen we het makkelijkste item voor iedereen het makkelijkste item is
Die ordening is onafhankelijk van de theta.
Hoe informatief is een item voor de latente trek?
Hoe kan je op basis van de ICC’s zeggen hoe informatief een functie is:
- Onderscheidingsvermogen van de items: de discriminatie parameters.
- Het keerpunt van de ICC’s. Waar hij toeneemt tot waar hij weer afneemt. Daar is hij het meest informatief.
- Hij neemt qua informativiteit af als de vaardigheid toeneemt.
- En hij neemt af als de vaardigheid afneemt.
- Hoogste informativiteit is bij het buigpunt.
- Hij neemt af naar boven toe en af naar beneden toe. Dat kan je zo illustreren:
- Als we meerdere items combineren hebben we meerdere informatiefuncties en ook krijgen we een totale informatiefunctie.
- Afzonderlijke ICC’s zeggen over waar bij de latente trek ze het meest informatief zijn.
- Als je ze samen hebt, kan je zien voor welke latente trek waardes de test het meest informatief is. En dus het meest informatief en precies is in zijn schatting.
- Som van de afzonderlijke items is totaal van de test.
Join with a free account for more service, or become a member for full access to exclusives and extra support of WorldSupporter >>
Studiehulp Psychologie als Wetenschap - UU (2022-2023) - Psychologie
- Aantekeningen college Introductie Psychologie als Wetenschap - Universiteit Utrecht (2022-2023)
- Aantekeningen college Wetenschapsfilosofie - Universiteit Utrecht (2022-2023)
- Aantekeningen college Psychologische stromingen - Universiteit Utrecht (2022-2023)
- Aantekeningen College Bias - Universiteit Utrecht (2022-2023)
- Aantekeningen college Testgebruik - Universiteit Utrecht (2022-2023)
- Aantekeningen college WetenschapMaatschappij - Universiteit Utrecht (2022-2023)
- Aantekeningen college Uitdagingen - Universiteit Utrecht (2022-2023)
- Aantekeningen college Betrouwbaarheid en Validiteit - Universiteit Utrecht (2022-2023)
- Aantekeningen college Factoranalyse - Universiteit Utrecht (2022-2023)
- Aantekeningen college Itemanalyse en Transformaties - Universiteit Utrecht 22/23
- Aantekeningen college Signaal Detectie Theorie - Universiteit Utrecht 22/23
- Aantekeningen college Item-responstheorie - Universiteit Utrecht 22/23
- Psychologie jaar 1 - UU (2022-2023)
Contributions: posts
Spotlight: topics
Studiehulp Psychologie als Wetenschap - UU (2022-2023) - Psychologie
In deze bundel vind je de aantekeningen van alle werkgroepen en hoorcolleges van het vak Psychologie als Wetenschap, Psychologie, Universiteit Utrecht.
Online access to all summaries, study notes en practice exams
- Check out: Register with JoHo WorldSupporter: starting page (EN)
- Check out: Aanmelden bij JoHo WorldSupporter - startpagina (NL)
How and why use WorldSupporter.org for your summaries and study assistance?
- For free use of many of the summaries and study aids provided or collected by your fellow students.
- For free use of many of the lecture and study group notes, exam questions and practice questions.
- For use of all exclusive summaries and study assistance for those who are member with JoHo WorldSupporter with online access
- For compiling your own materials and contributions with relevant study help
- For sharing and finding relevant and interesting summaries, documents, notes, blogs, tips, videos, discussions, activities, recipes, side jobs and more.
Using and finding summaries, notes and practice exams on JoHo WorldSupporter
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
- Use the summaries home pages for your study or field of study
- Use the check and search pages for summaries and study aids by field of study, subject or faculty
- Use and follow your (study) organization
- by using your own student organization as a starting point, and continuing to follow it, easily discover which study materials are relevant to you
- this option is only available through partner organizations
- Check or follow authors or other WorldSupporters
- Use the menu above each page to go to the main theme pages for summaries
- Theme pages can be found for international studies as well as Dutch studies
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
- Check out: Why and how to add a WorldSupporter contributions
- JoHo members: JoHo WorldSupporter members can share content directly and have access to all content: Join JoHo and become a JoHo member
- Non-members: When you are not a member you do not have full access, but if you want to share your own content with others you can fill out the contact form
Quicklinks to fields of study for summaries and study assistance
Main summaries home pages:
- Business organization and economics - Communication and marketing -International relations and international organizations - IT, logistics and technology - Law and administration - Leisure, sports and tourism - Medicine and healthcare - Pedagogy and educational science - Psychology and behavioral sciences - Society, culture and arts - Statistics and research
- Summaries: the best textbooks summarized per field of study
- Summaries: the best scientific articles summarized per field of study
- Summaries: the best definitions, descriptions and lists of terms per field of study
- Exams: home page for exams, exam tips and study tips
Main study fields:
Business organization and economics, Communication & Marketing, Education & Pedagogic Sciences, International Relations and Politics, IT and Technology, Law & Administration, Medicine & Health Care, Nature & Environmental Sciences, Psychology and behavioral sciences, Science and academic Research, Society & Culture, Tourisme & Sports
Main study fields NL:
- Studies: Bedrijfskunde en economie, communicatie en marketing, geneeskunde en gezondheidszorg, internationale studies en betrekkingen, IT, Logistiek en technologie, maatschappij, cultuur en sociale studies, pedagogiek en onderwijskunde, rechten en bestuurskunde, statistiek, onderzoeksmethoden en SPSS
- Studie instellingen: Maatschappij: ISW in Utrecht - Pedagogiek: Groningen, Leiden , Utrecht - Psychologie: Amsterdam, Leiden, Nijmegen, Twente, Utrecht - Recht: Arresten en jurisprudentie, Groningen, Leiden
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
1434 |
Add new contribution