Testen

• Meten van eigenschappen van mensen
• Tests, proeven, vragenlijsten
• Verschillende vormen en afnames
• Wetenschappelijke benadering

Nut van testen

College 3

CAT = computer adaptieve test

Als je vorige vraag goed hebt krijg je andere vraag dan als je het fout hebt.

Wat is (test) validiteit?

• • Mate waarin de test meet wat het wilt meten, in de populatie waarvoor je test gebruikt wordt.
  • Mate waarin de test aan zijn doel beantwoordt.
  • Mate waarin interpretaties van de score (theoretisch en emperisch) onderbouwd zijn die voortvloeien uit het testdoel.
  • Samenvatting van zowel het bewijs voor en de werkelijke – en potentiele – consequenties van score interpreatie en gebruik

Vier vragen

1. 1. Welke onderdelen van het testproces kunnen we valide noemen?
   2. Welke aspecten van validiteit kunnen we onderscheiden?
   3. Hoe leveren we bewijs voor validiteit?
   4. Wat is een Mokkenschaal analyse? (intrument voor validiteit)

Vraag 1:

Testcontext (populatie, afnameprocedure)

Begrip / vaardigheid à test score à gebruik / doel à interpretatie à (on)bedoelde consequenties

Betrouwbaarheid is een voorwaarde voor validiteit, maar niet een garantie.

Foutieve onderzoeksvraag: ‘hoe is het gesteld met aarderijkskundige kennis van nederlanders tussen de 18-67 jaar’

Het moet bij een individueel persoon.

Test ontwikkel je met het doel dat je uitspraak wilt doen bij een individueel persoon.

Wat gaan we voor uitspraak doen (type uitspraak: aanbeveling/behandeling/beschrijvend) na aanleiding van de score op de test?

Twee soorten doelen voor een test:

• • Beschrijven
    1. Persoonlijkheidstrek
    2. Klinische diagnose
    3. voortgangstoets
  • Voorspellen
    1. Toelating tot cursus
    2. Selectie voor een baan
    3. Beroepsadvisering

Is interpretatie van een test de verantwoordelijkheid van de gebruiker of van de testontwikkelaar?

Verantwoordelijkheid van de gebruiker; maar testontwikkelaar kan ondersteunen in het goed intepreteren van de testscores (bijvoorbeeld door middel van illustratie)

Voorbeeld onbedoelde consequentie: voortgangstoets wordt elk jaar gebruikt, leerkrachten gaan hun onderwijs dan aanpassen om deze punten te behandelen in de les zodat de leerlingen hoger scoren op de test. De verantwoordelijkheid van de (on)bedoelde consequenties ligt ook bij de gebruiker, maar moet wel overna gedacht worden door de testontwikkelaar. De testontwikkelaar kan niet alle mogelijke onbedoelde consequenties overzien.

Validiteit kan betrekking hebben op verscheidene aspecten van het testproces

• • Meetpretentie icm doelpopulatie
  • Meetdooel/intepretatie
  • Consequentie van test
  • Zeg niet: ‘de test is valide’ want ‘de validiteit’ bestaat niet. Het is een interactie tussen test en andere aspecten (zoals poputie), dus in de test zit niet een aspect dat valide is.

Verschil doel en intepreatie

Vraag 2:

Aspecten van validiteit

• • Inhoudsvaliditeit (content validity)
    • Kan je niet op basis van statistiek testen. Als je een begrip wilt meten: welke deelonderwerpen horen erbij en welke vragen ga ik hier over vragen (het liefst theorie gestuurd). Dit proces voorleggen aan een panel van experts (professionals of doelgroep) is een volgende stap: missen zij iets, is het goede volgorde.
  • Begripsvaliditeit (construct validity)
  • Criterium validiteit (criterion validity)
    
    • Wat meet een test? Welke samenhang verwacht ik te vinden?

Nomologisch netwerk

Zegt iets over hoe de test ingebed is in de bredere theorie en wat we weten van eerder onderzoek. Hoe hangt begrijpend lezen samen met andere aspecten?

Begripsvaliditeit (construct validity)

• • Meet de test de eigenschappen die wordt verondersteld?
    • Meten testitemens hetzelfde construct?
    • Vormen testitems samen een (sub)schaal?
    • Zijn items binnen een schaal sterker gerelateerd dan items tussen schalen?

• • Samenhang itemscore binnen (sub)schaal (correlatie)
  • Samenhang itemscore tussen subschalen
  • Samenhang itemscore met totaalscore

Correlatie is een stukje bewijs, maar geen uitstuitend bewijs.

Hoge correlatie tusen items in dezelfde schaal: deze meten zelfde kennis

Bij itemtotaalcorrelatie is hoger dan itemrestscorecorrelatie, omdat een item altijd met zichzelf correleert.

Richtlijnen over item correlatie (daarbij ga je ervan uit dat je item in goede schaal zit)

Bij deze allemaal hoger dan .30 dus goede correlatie. Het is ideaal om te zien dat de correlatie met eigen schaal hoger is dan correlatie met andere schaal.

Opzich is het niet heel erg dat de correlatie negatief is (al is een sterke – correlatie niet ideaal), maar wat opvallend is, is dat de correlatie bij een paar vragen de correlate nabij 0 is.

Uitgaand van de itemtotaalcorrelatie gingen we ervan uit dat het goed was, maar dit zegt dus niks over de (sub)schalen. Hier is duidelijk een onderscheid te zien tussen de vragen 1-3 en 4-6.

Dat de schalen onderling correleren wil je wel (omdat je hetzelfde construct meet), maar niet te hoog omdat je anders de subschalen overbodig hebt. Een correlatie tussen de schalen van .6/.7 is prima, maar liever niet .9. Maar hier zijn geen hele specifieke richtlijnen voor.

Concurrente validiteit

• • Convergente validiteit
    • Correleert de test hoog met soortgelijke test, die hetzelfde meten?
  • Discriminante / divergente validiteit
    
    • Correleert de test laat met ongerelateerde gerelateerde test (is het te onderscheidne)
  • ! Betrouwbaar instrument is een voorwaarde voor validiteitsonderzoek !

Relatie tussen begrijpend lezen verwachten we dat deze hoge samenhang heeft met het begrijpendlezen op de CiTo toets. Een predictieve factor van deze test is schoolsucces. Je kan ook denken aan andersoort samenhang: bijvoorbeeld leeftijd (non-group-validity)

Vraag 3:

We kijken naar verwachte samenhang

• • Tussen items onderling
  • Tussen items en totaalscore
  • Score met andere toetsen
  • Score met toekomstig creterium

Vraag 4:

Contructvaliditeit, Mokken

• • Samenhang items binnen schaal
  • Meer geavanceerde methoden
    1. Factoranalyse
    2. mokkemschaalanalyse
  • Wat is een schaal?

Guttman schaal (niet Guttman’s Lambda)

• • Er is een onderliggende vaardigheid
  • Items zijn te ordenen van makkelijk naar moeilijk
  • Alleen een goed antwoord als vaardigheid > moeilijkheid item
  • Relatie tussen score en socrepatroon: met een somscore van 5 heeft de persoon de eerste 5 vragen goed, en daarna alles fout
  • Bij Guttman kan het niet dat een persoon een score patroon van ‘01000’ heeft. Er is dan 1 Guttman-fout aanwezig: er is één nul aanwezig voor de 1.

Mokken Schaal Analyse (MSA)

• • Guttman: deterministisch (als dit dan dat; als het op moeilijkheid is geordend heb je altijd eerste goed en na je fout niks meer goed)
  • Mokken: probabilistisch (je gaat er niet van uit dat er 0 Guttmanfouten zijn)

H-coefficient voor itempaar (Hij)

Naar mate je dichterbij de 1 bent, lijkt het meer op een Guttman model. Naar mate je dichtbij 0 bent is er geen samenhang tussen de vragen. Boven 0.5 is het een goede schaal.

F = waargenomen guttmans fouten                      E = verwacht op basis van toeval

Item H-coeffient (Hi)

Stel we herhalen dit voor alle item paren

 som van alle geobserveerde Guttman fouten met item i

Som van alle verwachte Guttman fouten met item i

Hij kan gezien worden als gecorrigeerde correlatie.

Dimensionaliteit

MSA kan op beide manieren worden uitgevoerd

• • Confirmatief (theorie gestuurd)
    • De schaalinderling bepaal je zelf obv theorie
    • Check (per schaal) of de H en Hi waarden boven de 0.3 uitkomen
  • Exploratief (data gestuurd)
    
    • Automatic Item Selection Procedure (AISP)
    • Doen als er veel tegenstrijdigheid is in de bevindingen in de literatuur
    • Hoe werkt dat? Het algeritme begint met 2 vragen die allersterkt met elkaar samenhangen en daar gaat die steeds vragen aan toevoegingen die ook sterk mee samenhangen. Als er dan nog items over zijn (die niet goed samenhangen met de huidige vragen), wordt er een nieuwe subschaal gevormd en worden daar steeds nieuwe sterk samenhangende vragen aan toegevoegd. Zo duur tot alle vragen ingedeeld zijn in een subschaal.

WAT IS... EEN TEST?

Definitie (Drenth & Sijtsma):

Een systematisch onderzoek van gedrag met behulp van speciaal geselecteerde vragen of opgaven, met de bedoeling inzicht te krijgen in een psychologisch kenmerk van de onderzochte (meestal in vergelijking met anderen).

à Vervolgens wil je een uitspraak doen over een individu: een voorspelling, classificatie of beschrijving

…maar dat ‘psychologische kenmerk’ is niet direct waarneembaar of observeerbaar. We noemen dit kenmerk dus een ‘latente’ trek (θ).

Testtheorie geeft een KADER…

…waarbinnen je kunt onderzoeken hoe goed je erin slaagt om de ‘latente trek’ te ‘vangen’ op basis van je test.

Dit kun je onderzoeken met behulp van:

1. Klassieke testtheorie à X = T + E
2. Item respons theorie à item characteristic curve

Belangrijke vragen: meet de test wat ‘ie beoogt te meten? Doet de test dat op een consistente manier (weinig ruis)?

X = geobserveerde test score

T = betrouwbare test score

E = foutenmarge

Welke theorie je ook gebruikt, je wilt een aantal vragen beantwoorden. Wat de psychometricshe eigenschappen van een test zijn.

5. Tot nu toe in statistiek vakken focus vaak op vergelijking van groepen (gemiddelden), op hypothesetoetsing. Bijvoorbeeld: hebben jongens vaker aandachtsproblemen dan meisjes?
5. Nu leggen we juist de focus op uitspraken doen over individuen.
5. Die uitspraken moeten goed gefundeerd zijn, er hangt vaak veel vanaf!
5. Testconstructie omvat dan ook meer dan “schaalconstructie”.
5. Schaaltje kan je bijvoorbeeld gebruiken in hypothesetoetsing.
5. Focus op hypothese toetsen.
5. In dit vak uitspraken doen over individuen.
5. Voor individu hangt er veel af van de uitslag van de score, daarom moet het ook goed onderbouwd worden. Daarom omvat een testconstructie meer dan alleen een schaalconstructie.

Een goede test is:

1. Efficiënt
2. Gestandaardiseerd
3. Genormeerd
4. Objectief
5. Betrouwbaar
6. Valide

Deze punten onderscheiden een test van een ‘voorwetenschappelijk’ oordeel

BELANGRIJKE KENMERKEN VAN EEN TEST

Een goede test is:

• Genormeerd

Heeft ook te maken met vergelijkbaarheid.

Om te bepalen of iemand een hoge of lage score heeft, heb je een maatstaf (norm) nodig.

Vaak wordt de score van een individu vergeleken met de scores van een of meerder normgroepen.

• Objectief

De score, het oordeel, de classificatie moet vrij zijn van invloeden die aan de testleider gebonden zijn.

De overeenstemming tussen twee beoordelaars zou dus hoog moeten zijn! Voorbeeld: mondeling examen. Cijfer zou niet afhankelijk moeten zijn van welke leraar dit afneemt.

à Interbeoordelaarsbetrouwbaarheid!

5. Correlatie (of kappa) voor dezelfde variabele maar twee of meerdere observatoren
5. Wanneer is deze vorm van betrouwbaarheid relevant?
5. Als je observaties hebt door meerdere observatoren, of bijvoorbeeld clinici een semi-gestructureerd interview afnemen bij een cliënt

à Als respondenten zelf antwoorden invullen, neem dan een andere maat voor betrouwbaarheid

• Betrouwbaar

Betrouwbaarheid heeft te maken met consistentie.

• Paralleltestbetrouwbaarheid/test-hertest betrouwbaarheid
• Schatting ondergrens betrouwbaarheid op basis van 1 meting (Cronbachs alfa, Guttmans lambda-2)
• Cronbachs en Guttmans zijn beide ondergrenzen, die van Guttmans wel dichterbij de werkelijke betrouwbaarheid.
• Valide

“Oude” definitie: de test meet ook echt wat hij zou moeten meten.

“Moderne” definitie: je kunt de test gebruiken voor een bepaald doeleinde (levert “valide” uitspraken op)

KLASSIEKE TESTTHEORIE (p. 254)

5. Aanname klassieke testtheorie: totaalscore op een test is een schatter voor de ‘betrouwbare score’(true score), standaardmeetfout is gelijk voor alle personen
5. Sommige aannames KTT moeilijk te controleren
5. KTT: populatie-afhankelijk meten: de score van een persoon kan je niet los zien van de kenmerken van een test. Als je een moeilijke test hebt, met een lage score. Weet je niet of het kwam door een lage vaardigheid of door een moeilijke test.

ITEM RESPONS THEORIE (vs. KTT)

5. Het antwoord op een item geeft informatie over de positie op de latente trek. Hoe meer ‘goede’ items je afneemt, hoe preciezer je die score kan schatten. Standaardfout is dus niet gelijk over alle personen.
5. Assumpties goed te controleren (allemaal!)
5. Populatie-onafhankelijk meten (voordeel)
5. Niet alleen data-reductie, maar meting van latente eigenschap/vormen van een bruikbaar schaaltje (psychometrische eigenschappen van de test)
5. Uit gaan van een logistisch verband tussen antwoord op de vraag en testscore (parametrische IRT)
5. We houden rekening met meetfouten
5. Meestal confirmatief toegepast: van te voren bepaal je welke items horen bij welk (deel)construct, je laat niet de analyse beslissen welke item bij welk construct hoort. (mokkenschaal analyse kan ook exploratief worden toegepast)
5. Link leggen tussen antwoord op items en testscore

IRT: DE BASIS

• Inleiding IRT
  • Guttman Scalogram
  • Item ‘moeilijkheid’, item discriminatie, pseudokansniveau
• Basisprincipes IRT
  • Item Characteristic Curve (ICC)
  • Assumpties
  • Testinformatie (vs. betrouwbaarheid)
  • Verschillende IRT modellen (link Mokken)

GUTTMAN MODEL: OPFRISSEN

De hypothese die ten grondslag ligt aan het Guttman model is heel eenvoudig te testen!

• Als er een Guttman fout opreedt, wordt het model verworpen

Wat is een Guttman fout?

Wat kunnen we zien aan dit scorepatroon?

• 000001

• 5 Guttman fouten (5 keer een 0 links van een 1)
• De vragen worden gestelt op volgorde van moeilijkheid

• Guttman model is simpele versie van IRT model
• Essentieel verschil: IRT model is probabilistisch (Guttman model is determanistisch; als iets gebeurt, dan dat)

• Dus bij een makkelijk item en een slimme persoon is de kans groot (maar niet 1!) dat de persoon het item goed maakt

• De waarschijnlijkheid dat een persoon ‘1’ scoort hangt af van diens positie op de latente trek. Hoe hoger de score op de latente trek, hoe hoger de kans dat de persoon ‘1’ scoort.
• Deze relatie wordt grafisch weergegeven in een Item Characteristic Curve (ICC) ookwel Item Respons Functie (IRF) genoemd.

IRT – type data

• IRT is uitermate geschikt voor het analyseren van dichotome/polytome data
• IRT kan ook gezien worden als combinatie van wiskunde modellen. Niet alleen een referentiekader.
• Dygothoom: ja/nee antwoorden
• Polytoom: schalen antwoorden
• Dit soort data veel voorkomend bij vragenlijst onderzoek en vaardigheidstests (goed/fout)

ITEM CHARACTERISTIC CURVE (ICC)

4. 5. Er zijn verschillende IRT modellen, maar bij al deze modellen staat de ICC centraal!
   5. Makkelijkst te illustreren voor dichotome (ja/nee, goed/fout) data. (Kan ook voor polytome data)
   5. ‘latente trek’ wordt aangeduid met ‘theta’/θ – dit kan bijvoorbeeld wiskundevaardigheid zijn, IQ, of depressie (hangt af van de test)
   5. Je gaat ervan uit dat θ normaal is verdeeld met gemiddelde 0 (en standaard deviatie 1 (standaard normale verdeling))
5. Logistische vorm (S-vorm)
5. Voorbeeld:
5. Theta= aandachtproblematiek
5. Probability = de kans dat ik wiebel op mijn stoel
5. De definitie van itemmoeilijkheid bekijk je door te kijken welke theta hoort bij een kans van 0,5. De item is hier van gemiddelde moeilijkheid. Specifiek voor parametische IRT: de moeilijkheid kan je op dezelfde schaal uitdrukken als de vaardigheid van een persoon (kan niet bij KTT of Mokkenschaal).

2 items (rood en zwart)

Het linker item: probeer onder bezigheden uit te komen

Rechter item: mijn aandacht slecht bij blijven.

De zwarte item (0,2) is moeilijker dan de rode (0,5).

Dus... Item sg26 (zwart) is moeilijker.

MOEILIJKHEID / LOCATIE

5. In IRT wordt de moeilijkheid of locatie parameter aangeduid met de Griekse letter delta: δ
5. δ is op de zelfde schaal gemeten als θ (latente trek)!
5. Nog even terug naar de 2 ICC’s...
5. Er wordt ook wel eens Beta gebruikt voor de IRT moeilijkheid. Maar bij dit vak houden we het bij Thenta

DISCRIMINATIE PARAMETER

5. Naast de δ-parameter is er nog een 2e belangrijke item-parameter in IRT: de discriminatie-parameter alfa (α)
5. α zegt iets over hoe goed lage en hoge scoorders van elkaar te onderscheiden zijn
5. Hoe hoger α, hoe meer de items op een Guttman scalogram gaan lijken (hoe stijler de ICC!)
5. Alle IRT modellen hebben een moeilijkheids-parameter, sommige hebben ook  nog andere item-parameters. BV. Discriminatie-parameter.
5. Wordt aangeduid met alpha. Hoe hoger de alpha is, hoe stijler de IR-fuctie.

Belangrijk bij formule: Xg is 0 of 1, a groter dan 0, gebruik van logistische formule zorgt ervoor dat P tussen 0 en 1 ligt. Exp => e. Zie dit filmpje voor uitleg over e: https://www.youtube.com/watch?v=AuA2EAgAegE

Bij Guttman is de kans of 0 of 1, no inbetween.

PSEUDOKANSNIVEAU

5. De 3e item-parameter in IRT:

   pseudokansniveau (γ)

5. γ heeft te maken met de giskans
5. P(X_g|θ) nadert niet meer tot 0 voor zeer lage θ-waarden, maar tot γ
5. Exacte giskans hangt niet alleen af van het aantal alternatieven, maar ook van inhoudelijke kenmerken van het item en de antwoordopties
5. Gevolg voor IRT is dat de kans niet meer 0 kan zijn. In dit voorbeeld is de laagste kans die het kan aannemen 0,2. Voor hoge score nadert de kans nog wel naar 1.

IRT MODELLEN (1)

• De IRF’s die jullie hebben gezien worden parametrische functies genoemd, omdat ze de relatie tussen θ en P(X_g|θ) vastleggen door middel van een logistische functie met parameters α en δ(Delta) (en γ (gamma))
• Er zijn ook IRT modellen die geen specifieke vorm opleggen aan de IRF: non-parametrische modellen (bv. Mokkenschaal)
• Kan handig zijn als de assumpties voor parametrische IRT niet opgaan. Maar: parametrische IRT heeft de voorkeur als dit wel zo is! Item-moeilijkheid en latente trek kunnen dan op dezelfde schaal gemeten worden

PARAMETRISCHE IRT MODELLEN – ASSUMPTIES

Assumpties die ten grondslag liggen aan de meest gebruikte (logistische) IRT modellen:

5. ‘Unidimensionality’ – je meet 1 latente trek (bij dimensionality heb je dus meerdere (deel)constructen
5. ‘Monotonicity’ – de ICC daalt nooit! Hij mag wel gelijk zijn. Meer latente trek leidt dus nooit tot een lagere kans op een score van 1.
5. ICC heeft logistische vorm (S-vorm)
5. ‘Local Independence’ – de antwoorden tussen 2 items zijn onafhankelijk als je controleert voor de positie op de latente trek (een toets met verschillende tekstvragmenten en vragen is fout: de antwoorden bij tekstfragment 1 zullen sterker met elkaar samenhangen dan de antwoorden bij tekstfragment 1 en 2. Er is sprake van een clustering van de items.)
5. (Er bestaan wel ‘multidimensionele’ IRT modellen, maar

      hier wordt in deze cursus geen aandacht aan besteed)

Populatieafhankelijkheid wordt vaak verkeerd geimplementeerd. Het wil niet zeggen dat het niet uitmaakt bij welke populatie je de test uitvoort waarvoor je de IRT wilt schatten, dat is wel degelijk het geval. Maar het gaat om: de itemkenmerken kunnen los getrokken worden van de latent trek score van de person. Moeilijkheid van de test is niet afhankelijk van de persoon. Je kan de scores direct met elkaar vergelijken.

IRT MODELLEN (2)

5. Simpelste IRT model is het 1-parameter logistisch (1PL) model, ook wel Rasch model genoemd. Hier wordt α op 1 gezet (discriminatieparameter), en alleen δ wordt geschat (één parameter; moeilijkheidsparameter)!
   • Voordeel: simpel model, minder data nodig dan voor ingewikkelder model
   • Nadeel: kan vaak de data niet goed beschrijven
5. Als het 1PL model de data niet goed kan beschrijven, kun je het 2PL (Birnbaum) proberen. Fit vaak beter.
   • Minstens 500 respondenten nodig!

IRT MODELLEN (3)

• Tot nu toe ICC’s laten zien voor dichotome items
• De besproken IRT modellen zijn ook uit te breiden voor polytome items!
• Je hebt dan in plaats van 1 locatie parameter (δ), een aantal ‘treshold’ parameters: de plek waar de kans op antwoord in categorie m+1 groter wordt dan voor antwoord in categorie m

à Option response curve

BETROUWBAARHEID

Binnen KTT is er een getal wat ‘de’ betrouwbaarheid van de test aangeeft (1 betrouwbaarheid), in een specifieke populatie.

Interpretatie:

5. Proportie verklaarde variantie die wordt ‘verklaard’ door de betrouwbare score op de test
5. Stabiliteit van je testscore (denk test-hertest)
5. Nadeel:
5. - Er wordt een aaname gemaakt die vaak niet wordt getoetst: de test meet op elk scoreniveau even nauwkeurig. Meestal onjuist!
5. Stel je dat het je DOEL is om onderscheid maken tussen depressieve en niet-depressieve mensen op basis van test X.

Nu komen we bij een van de grootste voordelen van IRT...

5. Je kunt onderzoeken in welke range van waarden op de latente trek je het meest nauwkeurig/betrouwbaar meet!
5. Waar wil je het meest nauwkeurig meten in dit geval?
5. Link testinformatie, item discriminatie, item moeilijkheid
5. De grenswaarde is 2. Dus je wilt dat die het meest nauwkeurig is rond deze waarde.
5. Bij 2PL en 3PL (en polytome varianten) geldt Informatie van 10 = betrouwbaarheid van .90
5. Waar wil je het meest nauwkeurig meten in dit geval?
   
   5. Voor dit doeleinde wil je de meeste Informatie bij theta = 2
   5. Informatie is om te rekenen in lokale betrouwbaarheid
   5. Bij 2/3PL of polytome variant: gemiddelde van theta = 0, SD = 1
      
      5. Dan geldt: Informatie 10 = betrouwbaarheid .90, Informatie 5 =
         betrouwbaarheid .80 (want r = 1-1/I)
5. Stel dat je het als screeningsinstrument had willen gebruiken bij de normale bevolking, op milde depressie, dan was het beter geschikt geweest.
5. Bij RASH model gaat de betrouwbaarheidsomrekening niet op

DISCLAIMER

5. Voor IRT modellen heb je veel data nodig!
5. Voor Rasch model minstens 100 maar liever rond 500 waarnemingen
5. Voor Mokkenschaal analyse (non-parametisch) minstens 50 maar vaak een stuk meer
5. Voor 2PL + ingewikkelder: minstens 500
5. Maar ook voor PCA heb je het liefst meer dan 100 waarnemingen

Wanneer KTT, IRT, MSA?

KTT als

• • je niet genoeg data hebt voor IRT
  • eerste stap om gevoel te krijgen voor de data

IRT als…

• • je (genoeg) dichotome/polytome data hebt
  • je geïnteresseerd bent in meetfout voor specifieke θ range
  • je o.b.v. theorie of eerder onderzoek al een idee hebt over het aantal sub-schalen in je test
  • je vraagonzuiverheid wilt onderzoeken
  • je een computer adaptieve test wil ontwikkelen
  • …etc!

MSA als…

• • je (genoeg) dichotome/polytome data hebt
  • je de parametrische IRT modellen te streng vindt
  • je accepteert dat je de latente trek en item moeilijkheid niet op dezelfde interval schaal kan plaatsen
  • je een exploratieve analyse uit wil voeren

SCORES VERGELIJKEN
TUSSEN TWEE TOETSEN
MET (DEELS) ANDERE ITEMS

Bij KTT is de score op 1 test (bijv. IQ) niet direct te vergelijken met de score op een andere test.

Volgende voordeel van IRT!

Als je in ieder geval een aantal items/personen laat overlappen, zijn scores op dezelfde theta-schaal te herleiden!

Als je in ieder geval een aantal items/personen laat overlappen, zijn scores op dezelfde theta-schaal te herleiden!

Waarom zou je dit willen?

Voorbeeld:

Je wilt op basis van een score op je test bepalen of iemand geschikt is voor de opleiding geneeskunde.

Als je elk jaar dezelfde test zou afnemen heb je een probleem met ‘exposure’: items zouden kunnen uitlekken en bijvoorbeeld via internet kunnen worden gedeeld. Gevolg: veel hogere scores in jaar 2.

Hoe zou je dit probleem kunnen oplossen?

• Een aantal verschillende versies van je test maken, en zorgen voor overlap («linked design», anker)
• Ontwikkel een ITEM BANK = grote verzamelbak met vragen (veel groter dan de test zelf)
• Een aantal verschillende versies van je test maken, en zorgen voor overlap («linked design», anker)

Verschil itembank in 1 keer calibreren vs elk jaar een paar items afnemen en zorgen voor overlap.

Blauwe items zijn bijvoorbeeld items van 1e jaar; grijze bolletjes van items 2e jaar

Hoe zou je dit probleem kunnen oplossen?

• Een aantal verschillende versies van je test maken, en zorgen voor overlap («linked design», anker)
• Ontwikkel een ITEM BANK = grote verzamelbak met vragen (veel groter dan de test zelf)

Er is een alternatief voor de standaar ‘paper and pencil test’: de computer adaptieve test (CAT)

• Eerst met name populair voor onderwijskundig meten (bijv. Examens)
• Nu ook populair aan het worden in andere gebieden, waaronder klinische psychologie en geneeskunde (bijv. kwaliteit van leven)
• Meeste CAT om zelfinvullijsten, maar kan ook voor interviews.

CAT

5. Basisingrediënt: item bank die met IRT is ‘gecalibreerd’.
5. Dat wil zeggen: je kent van elk item in de item bank δ en indien relevant ook α en γ
5. Kernidee: De respondent krijgt items aangeboden die op zijn/haar antwoordgedrag worden afgestemd!
5. Je maakt hier dus gebruik van populatie-onafhankelijkheid. Voor elke item ken je de locatie (dus ook de moeilijkheids- en discriminatieparameter). Je krijgt bij CAT soms andere vragen dan de ander, de items worden geselecteerd obv je vorige antwoorden.

Meestal begin je met een item van gemiddelde moeilijkheid (delta van 0). Je kan bijvoorbeeld zeggen: ik wil stoppen na 50  items. Maar je kan ook zeggen dat je pas wilt stoppen als je een bepaalde betrouwbaarheid hebt behaald. Dan kan je ervoor zorgen dat je voor alle respondenten een betrouwbare score hebt bereikt

CAT zoekt items die net op jouw grens van goed/fout ligt. Het zoekt de grens waar de kans 0,5 is. Bij het invullen van een CAT vragenlijst heb je dus ongeacht jouw vaardigheid op de latente trek, vaak ongeveer de helft van de vragen fout; dit kan heel frustrerend werken (vooral als je goed bent in een vaardigheid en gewend bent om veel goed te hebben)

VAN RUWE SCORE TOT UITSPRAAK

Hoe kom je van een ruwe score tot een uitspraak? Ø Stel je gaat naar de dokter om te laten checken of je vitamine D tekort hebt. Ø Er komt een waarde uit van 63. Wat wil dat zeggen? Ø Kun je pas een interpretatie aan geven als je de normen kent. Ø In dit geval is de onderwaarde 50 en de bovenwaarde 160.

VAN RUWE SCORE TOT UITSPRAAK

Inmiddels weten jullie hoe jullie... - Test items kunnen genereren - Kunnen analyseren of de test items van goede kwaliteit zijn - De betrouwbaarheid van een test kunnen bepalen - Verschillende aspecten van validiteit kunnen onderzoeken Dus nu hebben we een kwalitatief goede test die een score oplevert. Wat moeten we nu met deze score?

1 e ingrediënt: de ruwe score Hoe bereken je die? Voorbeelden: • Aantal goede antwoorden op een tentamen • Reactiesneldheid bij een leesvaardigheidstest • Som van de likert scores op alle items in een depressie-vragenlijst à Let goed op of je item scores allemaal dezelfde betekenis hebben! Zo niet (een geeft veel depressie aan, ander weinig), omschalen voordat je de item scores optelt tot een ruwe score

De ruwe score heeft op zichzelf geen betekenis! Voorbeeld: ruwe score van 22 op tentamen. Pas betekenis als je weet 1. Uit hoeveel vragen het tentamen bestond 2. Of voor elke vraag evenveel punten zijn gegeven 3. Wat de omzettingstabel is van ruwe scores naar schoolcijfers

Aantal belangrijke manieren om van ruwe score tot een uitspraak te komen: Via: 1.Absolute normen (‘criterion-referenced measurement’) bv. tentamencijfers 2.Verhoudingsnormen – bv IQ 3.Relatieve normen (‘ norm-referenced measurement’) 4.Cut-off scores gebaseerd op verschil tussen populatieverdelingen

Leerquotiënt • DLE/DL • Kleiner dan 1 kan wijzen op leerachterstand • DL: # maanden onderwijs dat de leerling vanaf groep 3 heeft gevolgd (10 mnd/jaar) • Om DLE te bepalen: – Mediane/gemiddelde score berekenen voor een toets voor verschillende DL groepen -> tabel – Dan voor een individueel kind de ruwe score met deze tabel vergelijken

VOORBEELD: CITO LEERLING VOLGSYSTEEM ØOnderdeel “toetsen taal”. Deze toetsen brengen de algemene taalvaardigheid van jonge kinderen in beeld. ØDoelgroep: De toetsen Taal voor kleuters zijn bestemd voor en genormeerd bij leerlingen in groep 1 en 2 in het Nederlandse basisonderwijs. ØDoel: niveaubepaling en progressiebepaling

RELATIEVE NORMEN Hoe doet Peter het ten op zichte van zijn leeftijdgenoten? Benodigde info: - Populatieverdeling op basis van representatieve steekproef - Score van Peter Let op! Normeringssteekproef versus persoon/groep waar je uitspraak over wil doen

Stappenplan normtabellen: 1.Trek steekproef die je doelpopulatie weerspiegelt, liefst aselect 2.Neem test af onder zelfde condities als waarin je de test wil gaan gebruiken 3.Maak verdeling(en) van de testscores 4.Eventueel omzetten van ruwe scores in bewerkte scores (stanines, percentielen, etc.) 5.Pas tabellen regelmatig aan! Zijn niet eeuwig ‘houdbaar’

PERCENTIELEN IN R

• In R kun je de functie quantile gebruiken • Als je weer percentielen 20, 40 en 60 wil opvragen typ je: quantile(ruwescore, c(.20, .40, .60)) Waar ruwescore staat, typ je de naam van je variabele

RELATIEVE NORMEN

§ We hebben het tot nu toe gehad over normen gebaseerd op rangordes (percentielen) § Ander voorbeeld van relatieve normen zijn gestandaardiseerde normscores § Voorbeelden: T-scores, IQ-scores

PSYCHISCHE KLACHTEN: CUT-OFF SCORES

Essentieel verschil met voorgaande: à Doel van veel klinische vragenlijsten (bijv. depressie) is het bepalen uit welke populatie de respondent afkomstig is!! = Extra stap! Score – welke populatie – (relatieve positie in die populatie)

THE KNOWN GROUPS METHOD

Stel we willen bepalen of Maria depressief is. Op onze depressie[1]vragenlijst heeft ze een score van 67. Wat hebben we nodig? 1. Verdeling van scores op deze lijst voor niet-depressieve mensen 2. Verdeling van scores voor depressieve mensen 3. Cut-off: wanneer zeggen we dat de kans dat Maria tot de depressieve populatie behoort groter is dan tot de niet[1]depressieve populatie

VERDELINGEN – CUT-OFF – SENS & SPEC

Even samenvatten:

– Je maakt eerst 2 verdelingen van testscores, 1 voor populatie 1 en een voor populatie 2 – Dan bepaal je de cut-off: dit is een score waarboven je iemand indeelt in categorie 2 – Je gaat dus van een continue score naar een categorie – Hoe bepaal je de validiteit van die categorisering? Vb depressie. Je wilt weten hoe goed je erin slaagt op basis van je test het oordeel van de clinicus te ‘voorspellen

Sensitiviteit: het aantal mensen dat een positieve testuitslag heeft gekregen gedeeld door het aantal mensen dat de diagnose echt heeft Specificiteit: het aantal mensen dat een negatieve testuitslag heeft gekregen gedeeld door het aantal dat de diagnose niet heeft

!! Let op !! Ø De sens & spec veranderen als je de cut-off verandert! Dus geen vaststaande eigenschap van een instrument! Ø Er onstaat een trade-off tussen sensitiviteit en specificiteit. Afhankelijk van je toepassing probeer je een van twee (liefst beiden) te optimaliseren. Wat is erger? Een false positive of een false negative?

VAN RUWE SCORE TOT UITSPRAAK - OPFRISSER

Belangrijke manieren om van ruwe score tot een uitspraak te komen: Via: 1.Absolute normen (‘criterion-referenced measurement’) 2.Verhoudingsnormen 3.Relatieve normen (‘ norm-referenced measurement’) 4.Cut-off scores gebaseerd op verschil tussen populatieverdelingen

DOEL VAN DE TEST

Als je doel is om vast te stellen of iemand een bepaalde stoornis heeft (en behandeling te starten als dit het geval is), wil je weten hoe goed jouw score de diagnose van een clinicus voorspelt. à Normering: cut-off score à Validiteit: dimensionaliteit, sens & spec Als je doel is om vast te stellen of een kind achterloop met rekenvaardigheid, wil je weten hoe goed dat kind het doet in vergelijking met leeftijdgenoten à Normering: relatieve normen à Validiteit: dimensionaliteit, correlatie met bestaande test, extern criterium (schoolcijfers)