Hoorcollege 12
Onvolkomenheden KTT (klassieke test theorie beperkingen)
- Theorie over testscores: weinig informatief over afzonderlijke items (hoe de items werken bv)
- Schatting betrouwbaarheid testscore: afhankelijk van populatie(variatie). Dus de steekproef
- Aanname over toevallige meetfout: meetfout is onafhankelijk van niveau respondent
- Aanname over meetniveau testscore: niet statistisch te toetsen (‘meten bij fiat’)
- Beperkingen in vergelijken respondenten: betrouwbaar voor middengroepen is goed, maarde buitenkant minder. En ontwikkeling (Xt2 – Xt1) lastig vast te stellen.
- Inefficiëntie: alle respondenten moeten hele test maken. Dus geen selectie.
Item-responstheorie (IRT). Komt tegemoet aan de onvolkomenheden KTT.
- Het is een theorie over itemscores in plaats van testscores
- Schatting van psychometrische kenmerken van items en testscore is onafhankelijk van de populatie (sample free of sample independent)
- Nauwkeurigheid van schatting (= betrouwbaarheid) kan binnen IRT variëren tussen respondenten (er is differentiatie in niveau mogelijk)
- Aannames over model(len) statistisch toetsbaar (‘meten bij implicatie’)
- Op IRT gebaseerde tests maken beoordeling ontwikkeling beter mogelijk
- Schatting vaardigheid onafhankelijk van verzameling items: dit maakt testafname op maat (adaptief testen) mogelijk. (Met een beperkt aantal items komen op een vaardigheid)
Item-responsmodel (het is een meetmodel voor itemscores)
- Waargenomen itemscore X1 wordt bepaald door latente variabele T (latente trek
- (continu)of latente klasse (categorisch)). De t staat voor teta (vaardigheid)
- Het is een factormodel voor discrete (2 antwoordmogelijkheid, dus ja of nee) en ordinale (likert schade, dus van mee eens tot niet mee eens) itemresponsen.
Item-responsfunctie (functie zegt iets over de relatie tussen teta en P) engelse afkorting: ICC
- Kans op item goed (P (Xg = 1)) afgezet tegen latente trek 0.
- De item-responsfunctie laat met figuur of formule zien hoe P(Xg= 1) afhangt van latente trek 0. (Van je kwaliteit)
- Het gaat om dichotome antwoorden, dus goed/fout. Ja of nee.
Soort gegevens
- dominantiegegevens (als je antwoord goed hebt, beschik je over de vaardigheid, zoals cognitie) en preferentiegegevensAantal en soort antwoordcategorieën
- continu of discreet
- geordend of niet geordend
- polytoom of dichotoom
Dichotome dominantiegegevens (hier beperken we ons tot)
- Xig = 1, voor een goed antwoord van persoon i op item g.
- Xig = 0, voor een fout antwoord van persoon i op item g.
Deterministisch model (Guttman)
- Een respons wordt beïnvloed door 1 latente trek (0): De items zijn ééndimensionaal. Je hebt het dus wel of niet.
- Functie (= stap- of sprongfunctie)
- als 0 < 0’, dan P (Xg = 1) = 0 (dus als je niet vaardig ben)
- als 0 ≥ 0’, dan P (Xg = 1) = 1 (dus als je vaardig ben)
Probabilistisch model (Mokken, Rasch, Birnbaum) (de kans dat je een vraag
goed beantwoord, gegeven een vaardigheid)
- Een respons wordt beïnvloed door één latente trek (0): ééndimensionaal
- Functie: monotoon niet dalend
- 0 < P (Xg = 1 | 0) < 1 (waarden tussen de 0 en de 1)
Kenmerkende eigenschappen ICC: Probabilistisch model
- vorm: monotoon niet dalende curve
- helling: steilheid varieert; in staarten (a, c) is functie minder steil dan in het middendeel (b)
Giskans: Definitie giskansparameter (Yg )
- Kans op goed antwoord op item g bij zeer lage waarde van latente trek. (Geen vaardigheid)
- Giskans (= gokkans = raadkans) is afhankelijk van aantal alternatieven bij meerkeuzevragen.
- Het is de start van de ICC (symbool is g= gamma)
Moeilijkheid : moeilijkheidparameter (Sg)
- Itemmoeilijkheid (Sg ) is waarde op latente trek (0) waarvoor geldt dat de succeskans midden tussen giskans Yg en P(Xg = 1) ligt (omslagpunt).
- Sg geeft de locatie van de item-responsfunctie op 0-schaal.
Maximale discriminatie: onderscheidend vermogen van een item (bepaald door stijlheid)
- Als respondent i item X1 goed beantwoord (X1 = 1), dan 0i ≥ 0’.
- Als respondent i item X1 niet goed beantwoord (X1 = 0), dan 0i < 0’. —> X1 is maximaal
- onderscheidend rond 0’.
Minimale discriminatie: Onderscheidend vermogen (kan niks afleiden van een antwoord)
- Voor alle respondenten geldt P (X2 = 1) = 0.5.
- Geen onderscheid tussen respondenten mogelijk op basis van de itemrespons. —> X2 is een minimaal (= niet) onderscheidend item.
Discriminatie: Definitie discriminatieparameter (Ag)
- Discriminatieparameter (Ag ) is steilheid van functie in punt (Sg, (Yg+1)/2)).
- Hoe groter Ag, hoe beter het item discrimineert (= onderscheidend vermogen) voor personen rond 0 = Sg.
Aannames item-responsmodellen (is om de aannames over model statistisch te toetsen)
Gemeenschappelijke aanname IRT: Itemresponsen binnen een test worden bepaald door één latente trek (ééndimensionaliteit). Waaruit volgt dat items:
- Globaal afhankelijk: in populatie geldt dat Pgh > 0 (hebben onderling positieve samenhang)
- Lokaal onafhankelijk: in homogene subpopulaties (groepen binnen de populatie met dezelfde vaardigheid) geldt dat (Pgh | teta) = 0 (afwezigheid samenhang bij gelijkwaardige vaardigheden)
Modelspecifieke aannamen: Afhankelijk van model (Guttman, Mokken-, Rasch- en, Birnbaummodellen) zijn er extra aannamen over de parameters van de item-responsfuncties.. Controle aannames (dus toetsen)
Globale afhankelijkheid: Bij afname van test bij steekproef uit heterogene (verschilt) populatie:
- De proportie goede antwoorden is afhankelijk van gemiddelde vaardigheid in groep.
- Binnen hele groep positieve samenhang tussen item g en item h.
- Controle (toetsing) door na te gaan of alle rgh > 0. (Dus positieve correlaties)
Lokale onafhankelijkheid: Bij afname test bij steekproef uit homogene subpopulatie: De kans op item g goed is onafhankelijk van item h goed.
- De kansen op antwoordpatronen liggen vast. (Allebei goed/fout of 1 goed en 1 fout)
- Controle (toetsing) mogelijk door vergelijken van verwachte proporties en geobserveerde
- proporties.
Beoordeling Guttmanmodel
- Gegeven een bepaalde θ (teta) maak je een item goed of fout.
- Gegeven een bepaalde θ mag het niet zo zijn dat moeilijke item g goed (=1) en makkelijke item h fout (=0). Hier mag geen schending in zitten.
Beoordeling
- Stel Item g en item h.
- Item g is moeilijker dan item h.
- Mogelijke antwoordpatronen: (0, 0), (1, 1), (1, 0), (0, 1), waarbij eerstgenoemde het antwoord op
moeilijkste item.
- Antwoordpatroon (1, 0) noemen we foutenpatroon. Omdat het makkelijke fout is.
- Tel foutenpatronen voor alle paren van items.
- Als foutenpatronen voorkomen, dan wordt Guttmanmodel verworpen.
- Mogelijk past een Mokkenmodel.
Mokkenmodellen met monotone homogeniteit. Aannamen:
1. Eéndimensionaliteit: globale afhankelijkheid items en lokale onafhankelijkheid items
2. Succeskans p is monotoon niet-dalende functie: monotoon naar theta (θ)
Mokkenmodel met dubbele monotonie. Met nog een extra aanname:
3. Item-responsfuncties mogen elkaar ook niet snijden: monotoon naar theta (θ) èn delta (δ)
Controle monotone homogeniteit
1. Bepaal voor alle personen restscore (= testscore – score item g).
2. Bepaal voor subgroepen (dezelfde restscore) kans op item g goed.
3. Teken item-responsfunctie (ICC) voor item g.
4. Toets schending van monotonie naar 0. Je ziet in het figuur dat de verwachting is
geschonden, want hoe meer vaardig je bent, maak je de test niet beter. Kijk naar de 5e X.
Als ICC’s monotoon niet dalend, dan: Ordenen personen en items: personen: ordenen op
totaalscore test. En items: ordening items afhankelijk van 0.
Mokkenmodel dubbele monotonie. De volgende aannames over de functie:
- monotonie naar 0 èn
- monotonie naar S
- item-responsfuncties snijden elkaar niet
- voor elke 0-waarde is volgorde van items naar moeilijkheid gelijk
Controle monotonie naar S
1. Bepaal voor alle personen restscore
2. Bepaal voor subgroepen (dezelfde restscore) kans op item g goed
en item h goed
3. Teken itemrespons-functies voor item g en item h
4. Vergelijk ordening items voor elke groep met ordening in hele
steekproef
5. Toets schending van aannamen monotonie naar S. Hier een
schending, omdat ze elkaar snijden, kijk naar de 3e X.
Als ICC’s monotoon niet dalend en ICC’s snijden niet, dan: Ordenen personen en items
- personen: ordenen op totaalscore test (= aantal goed).
En items: ordening items onafhankelijk van 0.
Access:
Public
Check more of topic:
This content is used in:
aantekeningen hoorcolleges Psychologie als Wetenschap 2023 UU
- Hoorcollege 4 Psychologie als Wetenschap 23 UU
- Hoorcollege 5 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 6 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 7 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 8 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 9 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 10 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 11 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 12 Psychologie als Wetenschap 2023 Universiteit Utrecht
Going abroad?
Study with summaries
Search a summary
Contributions: posts
Help other WorldSupporters with additions, improvements and tips
Spotlight: topics
Check the related and most recent topics and summaries:
Institutions, jobs and organizations:
Activity abroad, study field of working area:
This content is also used in .....
Check how to use summaries on WorldSupporter.org
Online access to all summaries, study notes en practice exams
- Check out: Register with JoHo WorldSupporter: starting page (EN)
- Check out: Aanmelden bij JoHo WorldSupporter - startpagina (NL)
How and why use WorldSupporter.org for your summaries and study assistance?
- For free use of many of the summaries and study aids provided or collected by your fellow students.
- For free use of many of the lecture and study group notes, exam questions and practice questions.
- For use of all exclusive summaries and study assistance for those who are member with JoHo WorldSupporter with online access
- For compiling your own materials and contributions with relevant study help
- For sharing and finding relevant and interesting summaries, documents, notes, blogs, tips, videos, discussions, activities, recipes, side jobs and more.
Using and finding summaries, notes and practice exams on JoHo WorldSupporter
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
- Use the summaries home pages for your study or field of study
- Use the check and search pages for summaries and study aids by field of study, subject or faculty
- Use and follow your (study) organization
- by using your own student organization as a starting point, and continuing to follow it, easily discover which study materials are relevant to you
- this option is only available through partner organizations
- Check or follow authors or other WorldSupporters
- Use the menu above each page to go to the main theme pages for summaries
- Theme pages can be found for international studies as well as Dutch studies
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
- Check out: Why and how to add a WorldSupporter contributions
- JoHo members: JoHo WorldSupporter members can share content directly and have access to all content: Join JoHo and become a JoHo member
- Non-members: When you are not a member you do not have full access, but if you want to share your own content with others you can fill out the contact form
Quicklinks to fields of study for summaries and study assistance
Main summaries home pages:
- Business organization and economics - Communication and marketing -International relations and international organizations - IT, logistics and technology - Law and administration - Leisure, sports and tourism - Medicine and healthcare - Pedagogy and educational science - Psychology and behavioral sciences - Society, culture and arts - Statistics and research
- Summaries: the best textbooks summarized per field of study
- Summaries: the best scientific articles summarized per field of study
- Summaries: the best definitions, descriptions and lists of terms per field of study
- Exams: home page for exams, exam tips and study tips
Main study fields:
Business organization and economics, Communication & Marketing, Education & Pedagogic Sciences, International Relations and Politics, IT and Technology, Law & Administration, Medicine & Health Care, Nature & Environmental Sciences, Psychology and behavioral sciences, Science and academic Research, Society & Culture, Tourisme & Sports
Main study fields NL:
- Studies: Bedrijfskunde en economie, communicatie en marketing, geneeskunde en gezondheidszorg, internationale studies en betrekkingen, IT, Logistiek en technologie, maatschappij, cultuur en sociale studies, pedagogiek en onderwijskunde, rechten en bestuurskunde, statistiek, onderzoeksmethoden en SPSS
- Studie instellingen: Maatschappij: ISW in Utrecht - Pedagogiek: Groningen, Leiden , Utrecht - Psychologie: Amsterdam, Leiden, Nijmegen, Twente, Utrecht - Recht: Arresten en jurisprudentie, Groningen, Leiden
Follow the author: Yara Claassen
Work for WorldSupporter
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
Statistics
| 1421 |
Add new contribution