Hoorcollege 12 Psychologie als Wetenschap 2023 Universiteit Utrecht
Hoorcollege 12
Onvolkomenheden KTT (klassieke test theorie beperkingen)
- Theorie over testscores: weinig informatief over afzonderlijke items (hoe de items werken bv)
- Schatting betrouwbaarheid testscore: afhankelijk van populatie(variatie). Dus de steekproef
- Aanname over toevallige meetfout: meetfout is onafhankelijk van niveau respondent
- Aanname over meetniveau testscore: niet statistisch te toetsen (‘meten bij fiat’)
- Beperkingen in vergelijken respondenten: betrouwbaar voor middengroepen is goed, maarde buitenkant minder. En ontwikkeling (Xt2 – Xt1) lastig vast te stellen.
- Inefficiëntie: alle respondenten moeten hele test maken. Dus geen selectie.
Item-responstheorie (IRT). Komt tegemoet aan de onvolkomenheden KTT.
- Het is een theorie over itemscores in plaats van testscores
- Schatting van psychometrische kenmerken van items en testscore is onafhankelijk van de populatie (sample free of sample independent)
- Nauwkeurigheid van schatting (= betrouwbaarheid) kan binnen IRT variëren tussen respondenten (er is differentiatie in niveau mogelijk)
- Aannames over model(len) statistisch toetsbaar (‘meten bij implicatie’)
- Op IRT gebaseerde tests maken beoordeling ontwikkeling beter mogelijk
- Schatting vaardigheid onafhankelijk van verzameling items: dit maakt testafname op maat (adaptief testen) mogelijk. (Met een beperkt aantal items komen op een vaardigheid)
Item-responsmodel (het is een meetmodel voor itemscores)
- Waargenomen itemscore X1 wordt bepaald door latente variabele T (latente trek
- (continu)of latente klasse (categorisch)). De t staat voor teta (vaardigheid)
- Het is een factormodel voor discrete (2 antwoordmogelijkheid, dus ja of nee) en ordinale (likert schade, dus van mee eens tot niet mee eens) itemresponsen.
Item-responsfunctie (functie zegt iets over de relatie tussen teta en P) engelse afkorting: ICC
- Kans op item goed (P (Xg = 1)) afgezet tegen latente trek 0.
- De item-responsfunctie laat met figuur of formule zien hoe P(Xg= 1) afhangt van latente trek 0. (Van je kwaliteit)
- Het gaat om dichotome antwoorden, dus goed/fout. Ja of nee.
Soort gegevens
- dominantiegegevens (als je antwoord goed hebt, beschik je over de vaardigheid, zoals cognitie) en preferentiegegevensAantal en soort antwoordcategorieën
- continu of discreet
- geordend of niet geordend
- polytoom of dichotoom
Dichotome dominantiegegevens (hier beperken we ons tot)
- Xig = 1, voor een goed antwoord van persoon i op item g.
- Xig = 0, voor een fout antwoord van persoon i op item g.
Deterministisch model (Guttman)
- Een respons wordt beïnvloed door 1 latente trek (0): De items zijn ééndimensionaal. Je hebt het dus wel of niet.
- Functie (= stap- of sprongfunctie)
- als 0 < 0’, dan P (Xg = 1) = 0 (dus als je niet vaardig ben)
- als 0 ≥ 0’, dan P (Xg = 1) = 1 (dus als je vaardig ben)
Probabilistisch model (Mokken, Rasch, Birnbaum) (de kans dat je een vraag
goed beantwoord, gegeven een vaardigheid)
- Een respons wordt beïnvloed door één latente trek (0): ééndimensionaal
- Functie: monotoon niet dalend
- 0 < P (Xg = 1 | 0) < 1 (waarden tussen de 0 en de 1)
Kenmerkende eigenschappen ICC: Probabilistisch model
- vorm: monotoon niet dalende curve
- helling: steilheid varieert; in staarten (a, c) is functie minder steil dan in het middendeel (b)
Giskans: Definitie giskansparameter (Yg )
- Kans op goed antwoord op item g bij zeer lage waarde van latente trek. (Geen vaardigheid)
- Giskans (= gokkans = raadkans) is afhankelijk van aantal alternatieven bij meerkeuzevragen.
- Het is de start van de ICC (symbool is g= gamma)
Moeilijkheid : moeilijkheidparameter (Sg)
- Itemmoeilijkheid (Sg ) is waarde op latente trek (0) waarvoor geldt dat de succeskans midden tussen giskans Yg en P(Xg = 1) ligt (omslagpunt).
- Sg geeft de locatie van de item-responsfunctie op 0-schaal.
Maximale discriminatie: onderscheidend vermogen van een item (bepaald door stijlheid)
- Als respondent i item X1 goed beantwoord (X1 = 1), dan 0i ≥ 0’.
- Als respondent i item X1 niet goed beantwoord (X1 = 0), dan 0i < 0’. —> X1 is maximaal
- onderscheidend rond 0’.
Minimale discriminatie: Onderscheidend vermogen (kan niks afleiden van een antwoord)
- Voor alle respondenten geldt P (X2 = 1) = 0.5.
- Geen onderscheid tussen respondenten mogelijk op basis van de itemrespons. —> X2 is een minimaal (= niet) onderscheidend item.
Discriminatie: Definitie discriminatieparameter (Ag)
- Discriminatieparameter (Ag ) is steilheid van functie in punt (Sg, (Yg+1)/2)).
- Hoe groter Ag, hoe beter het item discrimineert (= onderscheidend vermogen) voor personen rond 0 = Sg.
Aannames item-responsmodellen (is om de aannames over model statistisch te toetsen)
Gemeenschappelijke aanname IRT: Itemresponsen binnen een test worden bepaald door één latente trek (ééndimensionaliteit). Waaruit volgt dat items:
- Globaal afhankelijk: in populatie geldt dat Pgh > 0 (hebben onderling positieve samenhang)
- Lokaal onafhankelijk: in homogene subpopulaties (groepen binnen de populatie met dezelfde vaardigheid) geldt dat (Pgh | teta) = 0 (afwezigheid samenhang bij gelijkwaardige vaardigheden)
Modelspecifieke aannamen: Afhankelijk van model (Guttman, Mokken-, Rasch- en, Birnbaummodellen) zijn er extra aannamen over de parameters van de item-responsfuncties.. Controle aannames (dus toetsen)
Globale afhankelijkheid: Bij afname van test bij steekproef uit heterogene (verschilt) populatie:
- De proportie goede antwoorden is afhankelijk van gemiddelde vaardigheid in groep.
- Binnen hele groep positieve samenhang tussen item g en item h.
- Controle (toetsing) door na te gaan of alle rgh > 0. (Dus positieve correlaties)
Lokale onafhankelijkheid: Bij afname test bij steekproef uit homogene subpopulatie: De kans op item g goed is onafhankelijk van item h goed.
- De kansen op antwoordpatronen liggen vast. (Allebei goed/fout of 1 goed en 1 fout)
- Controle (toetsing) mogelijk door vergelijken van verwachte proporties en geobserveerde
- proporties.
Beoordeling Guttmanmodel
- Gegeven een bepaalde θ (teta) maak je een item goed of fout.
- Gegeven een bepaalde θ mag het niet zo zijn dat moeilijke item g goed (=1) en makkelijke item h fout (=0). Hier mag geen schending in zitten.
Beoordeling
- Stel Item g en item h.
- Item g is moeilijker dan item h.
- Mogelijke antwoordpatronen: (0, 0), (1, 1), (1, 0), (0, 1), waarbij eerstgenoemde het antwoord op
moeilijkste item.
- Antwoordpatroon (1, 0) noemen we foutenpatroon. Omdat het makkelijke fout is.
- Tel foutenpatronen voor alle paren van items.
- Als foutenpatronen voorkomen, dan wordt Guttmanmodel verworpen.
- Mogelijk past een Mokkenmodel.
Mokkenmodellen met monotone homogeniteit. Aannamen:
1. Eéndimensionaliteit: globale afhankelijkheid items en lokale onafhankelijkheid items
2. Succeskans p is monotoon niet-dalende functie: monotoon naar theta (θ)
Mokkenmodel met dubbele monotonie. Met nog een extra aanname:
3. Item-responsfuncties mogen elkaar ook niet snijden: monotoon naar theta (θ) èn delta (δ)
Controle monotone homogeniteit
1. Bepaal voor alle personen restscore (= testscore – score item g).
2. Bepaal voor subgroepen (dezelfde restscore) kans op item g goed.
3. Teken item-responsfunctie (ICC) voor item g.
4. Toets schending van monotonie naar 0. Je ziet in het figuur dat de verwachting is
geschonden, want hoe meer vaardig je bent, maak je de test niet beter. Kijk naar de 5e X.
Als ICC’s monotoon niet dalend, dan: Ordenen personen en items: personen: ordenen op
totaalscore test. En items: ordening items afhankelijk van 0.
Mokkenmodel dubbele monotonie. De volgende aannames over de functie:
- monotonie naar 0 èn
- monotonie naar S
- item-responsfuncties snijden elkaar niet
- voor elke 0-waarde is volgorde van items naar moeilijkheid gelijk
Controle monotonie naar S
1. Bepaal voor alle personen restscore
2. Bepaal voor subgroepen (dezelfde restscore) kans op item g goed
en item h goed
3. Teken itemrespons-functies voor item g en item h
4. Vergelijk ordening items voor elke groep met ordening in hele
steekproef
5. Toets schending van aannamen monotonie naar S. Hier een
schending, omdat ze elkaar snijden, kijk naar de 3e X.
Als ICC’s monotoon niet dalend en ICC’s snijden niet, dan: Ordenen personen en items
- personen: ordenen op totaalscore test (= aantal goed).
En items: ordening items onafhankelijk van 0.
Access:
Public
Check more of this topic?
Search other summaries?
This content is used in:
aantekeningen hoorcolleges Psychologie als Wetenschap 2023 UU
- Hoorcollege 4 Psychologie als Wetenschap 23 UU
- Hoorcollege 5 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 6 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 7 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 8 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 9 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 10 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 11 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 12 Psychologie als Wetenschap 2023 Universiteit Utrecht
Work for WorldSupporter
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
Check how to use summaries on WorldSupporter.org
Online access to all summaries, study notes en practice exams
- Check out: Register with JoHo WorldSupporter: starting page (EN)
- Check out: Aanmelden bij JoHo WorldSupporter - startpagina (NL)
How and why would you use WorldSupporter.org for your summaries and study assistance?
- For free use of many of the summaries and study aids provided or collected by your fellow students.
- For free use of many of the lecture and study group notes, exam questions and practice questions.
- For use of all exclusive summaries and study assistance for those who are member with JoHo WorldSupporter with online access
- For compiling your own materials and contributions with relevant study help
- For sharing and finding relevant and interesting summaries, documents, notes, blogs, tips, videos, discussions, activities, recipes, side jobs and more.
Using and finding summaries, study notes en practice exams on JoHo WorldSupporter
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
- Use the menu above every page to go to one of the main starting pages
- Starting pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
- Use the topics and taxonomy terms
- The topics and taxonomy of the study and working fields gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up
- Check or follow your (study) organizations:
- by checking or using your study organizations you are likely to discover all relevant study materials.
- this option is only available trough partner organizations
- Check or follow authors or other WorldSupporters
- by following individual users, authors you are likely to discover more relevant study materials.
- Use the Search tools
- 'Quick & Easy'- not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject.
- The search tool is also available at the bottom of most pages
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
- Check out: Why and how to add a WorldSupporter contributions
- JoHo members: JoHo WorldSupporter members can share content directly and have access to all content: Join JoHo and become a JoHo member
- Non-members: When you are not a member you do not have full access, but if you want to share your own content with others you can fill out the contact form
Quicklinks to fields of study for summaries and study assistance
Field of study
- All studies for summaries, study assistance and working fields
- Communication & Media sciences
- Corporate & Organizational Sciences
- Cultural Studies & Humanities
- Economy & Economical sciences
- Education & Pedagogic Sciences
- Health & Medical Sciences
- IT & Exact sciences
- Law & Justice
- Nature & Environmental Sciences
- Psychology & Behavioral Sciences
- Public Administration & Social Sciences
- Science & Research
- Technical Sciences
Check the related and most recent topics and summaries:
Activity abroad, study field of working area:
Institutions, jobs and organizations:
Add new contribution