Aantekeningen college Itemanalyse en Transformaties - Universiteit Utrecht 22/23

Hoorcollege 10

We zetten ruwe scores om in gestandaardiseerde waarden.

• Theoretisch concept: lichaamslengte
• Operationalisatie 1: Geregisseerde meting van lengte in cm.
• ‘’Ik stoot mijn hoofd nogal vaak.’’ ‘’Mijn zadel staat vaak erg laag.’’
• Dit is het hele idee van praktische concepten. Dat is lastiger te meten, dus moet je dat met vragenlijsten doen bijvoorbeeld.

Itemanalyse: Verkrijgen van een optiamel test of schaal, met zo weinig als mogelijkj items een zo hoog als mogelijke betrouwbaarheid realiseren voor de testscore. Dit zondere verlies van inhoudsvaliditeit

Procedure:

• Factoranalyse ter beoordeling van eendimensionaliteit
• Selecteer items voor schaal
• Codeer items in zelfde richting
• Betrouwbaarheidsanalyse met Cronbach's alfa voor schatting betrouwbaarheid

Scores die je toekent moeten geordend kunnen worden.

Optimale test:

• Zo weinig mogelijk vragen, met een zo betrouwbaar mogelijk resultaat.
• Weglaten van items kan zorgen voor beperken van inhoudsvaliditeit.

Factoranalyse

• Selectie van items die een factor representeren.
• Factoranalyse levert een of meer factorscores op, dat is de score die we gebruiken voor de factor die een bepaalde interpretatie heeft gekregen.
• 1 factor: Lichaamslengte.
• Schaalscore maakt gebruik van die verzameling van items die hoog laden op de factor.
• Factorscore gebruikt alle items
• Schaalscore gebruikt een beperkt aantal items.
• Factorscore gebruikt een gewogen som van de items
• Schaalscore weegt elk item evenveel mee, het gaat om het gemiddelde van een selectie van items die horen bij een construct.

Items geselecteerd voor een schaalscore.

• Alle items moeten in dezelfde richting zijn gecodeerd, je moet dus ompolen.
• Hoge score is altijd veel van het kenmerk.
• Eerst doe je een betrouwbaarheidsanalyse. Niet alleen hoe betrouwbaar die selectie van items is, maar ook de afzonderlijke bijdrage van de items.
• Dat noem je de itemanalyse voor selecteren items voor schaalscore.
• We willen alleen die items gebruiken die bijdragen aan de betrouwbaarheid en aan de mogelijkheid de mensen te onderscheiden.
• Itemanalyse zit in de betrouwbaarheidsanalyse.

Factoranalyse gaf al een selectie, betrouwbaarheidsanalyse geeft nog meer een indruk over welke items we gaan gebruiken voor de definitieve schaal die we gebruiken voor het meten van het concept waarin we geïnteresseerd zijn.

Doel prestatieniveautest:

• We willen personen betrouwbaar onderscheiden.
• Schaalscore maar 2 categorieën? Dan kan je mensen maar in twee groepen opdelen. Je wil dus wel een bepaalde precisie.
• We geven cijfers in 1 tot 10 met decimalen. Dat is al best precies. Je wil een differentiatie.
• Scores moeten differentiëren.
• Onderscheiden: scores moeten differentiëren en stellen in staat om te ordenen.
• Betrouwbaarheid: hoe precies is de schatting.

Hoe doe je dat:
 

Realiseer een test met de grootste spreiding testscores.

• Kies voor items die ‘goed’ differentiëren en
• Kies voor items die onderling ‘sterk’ samenhangen.

Op een item wordt gevarieerd gescoord. Hoe meer spreiding per item, hoe meer spreiding per testscore, hoe beter mijn test of schaalscore in staat is om te differentiëren. Dat is de eerste.

Samenhang is correlatie, samenhang tussen items, dan kijken we naar de inter-item correlatie. Elk item heeft een correlatie met een ander item. Hoe hoger de inter itemcorrelatie hoe meer betrouwbaar. Hoe groter de item varianties hoe meer differentiaties. Als de item varianties groter worden, zijn de item correlaties ook groter.

Testvariantie = spreiding van scores op een test.

Som van individuele itemvarianties en de som van de covariantie (dit is een maat voor samenhang). Zie de powerpoint van dit college voor alle bijbehorende formules!

• Test van 10 items. Samenhang van 1 item met de rest van de 9. Dat is de item-rest correlatie.
• Item-totaal correlatie is 1 item met de 10 items.
• Item rest correlatie is een iets eerlijker beeld.
• Item rest correlatie om vast te stellen welke items sterk samenhangen met de overigen. De minst goede items komen als eerste in aanmerking om verwijderd te worden.

Dit zijn de grenswaarden hiervoor. Voor item rest en voor item totaal.

Betrouwbaarheidsanalyse:

• Je ziet wat voor gevolgen dat heeft als het item verwijderd wordt.
• Zo klein aantal items mogelijk met een zo hoog mogelijke betrouwbaarheid.
• Steeds na het verwijderen voer je de test weer uit, dit mag niet in 1x
• Hele grote en kleine mensen, dan is de betrouwbaarheid wat minder (extreme waarden)
• In het midden meet hij het nauwkeurigst.
• Niet meest valide, omdat je toch wat items weghaalt die iets representeren.

Cronbach's alfa

• Populaire methode betrouwbaarheidsschatting testscore
• Voor items met meer dan twee geordende categorieën
• Voor homogene set van items (eendimensionaal)
• Cronbach alpha is een procedure voor het schatten van de betrouwbaarheid voor Likert items van 1 tot 5 of 1 t/m 7.
• Itemmoeilijkheid is het proporite mensen dat 1 heeft gescoord op een bepaald item. Dit is het aantal mensen van het totaal dat een 1 heeft gescoord.
• Hoe hoger de itemmoeilijkheid, hoe meer mensen iets goed hebben geantwoord of er mee eens zijn. Als de score 1 is toegekend, hoe makkelijker het item, hoe populairder het item.
• Dat wordt uitgedrukt in de p-waarde en dat is de itemmoeilijkheid.
• Hoe hoger de itemmoeilijkheid, hoe makkelijker het item.

Validiteit beoordelen moet je de lengte van de UBV vergelijken met de echte lengte. Dat is de begripsvaliditeit.

• Meten van lengte dmv 22 vragen is een redelijke indicatie van lengte.
• Dit betreft de externe structuur. Relaties van testscores met andere testen.
• Binnen het instrument hebben we gekeken hoe het zit met de dimensionaliteit dmv de factoranalyse uit te voeren. Hier verwachten we 1 dimensie is nagegaan met de factoranalyse.
• Normgericht interpreteren van testscores. We vergelijken testscores met zoals dat in de groep is gerealiseerd. Groep heeft testscores, die testscores kan je vergelijken met de andere testscores. Jouw score wordt gerelateerd aan de anderre en daarmee wordt jouw positie bepaald.

Criteriumgericht is ik laat je een test afnemen en vergelijk die met vooraf opgesteld criterium. Dat is anders, dan moet er een deskundige zijn die zegt wat de criteria zijn.

Transformeren: Het omzetten van ruwe testscores naar gestandaardiseerde scores met als doel: beschrijven, vergelijken en beoordelen.

• Ruwe score zonder context zegt niks. ‘’Ik heb 14 gescoord’’ Je moet weten wat de standaard is
• We gebruiken testscores om iemand te beoordelen.
• Prestatieniveautest probeer je de maximaal mogelijke prestatie vast te stellen.
• Dat levert een score op die aangeeft hoe goed je bent.
• Het gaat bij wetenschappelijk onderzoek vaak om groepskenmerken.
• 25 punten op de taaltest is dus een ruwe score, want je kan ze niet vergelijken.
• Je moet weten hoe de test het doet in de populatie waar je geïnteresseerd in bent.

1. intra-individuele beoordeling: hoe doet zij het in zichzelf
2. inter-individuele beoordeling: hoe doet ze het tussen mensen.

Voor kijken of je capabel bent voor een baan: dan criterion referenced beoordelen.

3 transformaties bespreken we.

• Z-score transformatie levert z-scores op. Z-score heeft een gemiddelde van 0 en een standaardafwijking van SD = 1. Dit is een lineaire transformatie.
• Standaard score transformatie is een transformatie naar een standaardscore. Score met een gewenst gemiddelde en een gewenste standaardafwijking. IQ-tests zijn gestandaardiseerde scores naar een gemiddelde van 100 en een SD van 15.
• T-score transformatie is veelgebruikt ook en krijgt een gemiddelde van 50 en een SD van 10. Ander gewenst gemiddelde en SD.
• Percentielscore transformatie is niet lineair. Ook de scores die worden toegekend na een percentielscore transformatie hebben geen interval meetniveau meer.
• Z-transformatie:
• Kenmerk is in de populatie normaal verdeeld. Stoornis heeft scheve verdeling, weinig hoge scores op de hoge angstschaal. Scheefverdeelde scores in de populatie. Als de eigenschap normaalverdeeld is en de steekproef ook, dan is transformeren naar z-scores een goede manier.
• Z-score 1 is 1 SD boven gemiddelde en -1 is 1 SD onder het gemiddelde.
• Z-waarde van 0.5 is de overschrijdingskans p=.31. 30% van de mensen heeft dezelfde of een hogere score in de populatie.

Voor de transformatie naar z-scores:

• Ruwe testscores minimaal interval meetniveau. Interval of ratio
  • Ratio is een vast nulpunt: dit is afwezigheid van het kenmerk
• Ruwe testscores bij benadering normaal verdeeld.
• Na de transformatie is het gemiddelde gelijk aan 0 en de SD gelijk aan 1.
• Dan de standaardscore transformatie.
• Transformatie naar een gewenste M en gewenste SD.

Standaardscore transformatie

• Als een eigenschap in populatie theoretisch normaalverdeeld en de geobserveerde testscores zijn ook normaal verdeeld: z-scores transformeren naar Standaardscores met een gewenste M en gewenste SD
• Verdeling hetzelfde, dus het is een lineaire verschuiving.
• IQ-score en de T-score. Daar kan je die formule toepassen.
• Gewenste gemiddelde bij IQ is 100.
• De intervallen blijven gelijk te interpreteren. Dus het is een lineaire transformatie. Ook bij de eerste transformatie.
• Geen negatieve waarde gewenst bij IQ, daarom standaardscore transformatie. Bij IQ is het best pijnlijk om negatief te hebben, dus dat is dan onder het gewenste gemiddelde.
• Typical response test, zie powerpoint, dit voegt hij later toe. Zijn verschillende soorten tests. Net als de prestatieniveautest.

Percentielscore transformatie doet geen beroep op normaalverdeling.

• Berekenen van percentielscore is een van de vaardigheden die we moeten kunnen.
• 55% van de mensen heeft een 7 of lager. Dat is % tot klassenmidden. Percentage met die waarde of lager.
• Bij een ruwe score hoort een waarde die aangeeft hoeveel mensen die waarde of lager hebben. Dat wordt bepaald op basis van het klassenmidden.
• Mediaan, Q1 of Q3 zijn percentielen.
• Verschil tussen percentielscore en het percentiel moet je kennen.
• Percentielscore transformatie kan je gebruiken bij geen normaalverdeling. Ook geen interval meetniveau maar lager, kan niet voor nominaal, minimaal ordinaal.
• Je hebt niet genoeg aan alleen populatiegemiddelde alleen.
• Het is een toepassing die bijna altijd kan.

z-score en standaardscore kan alleen bij normaalverdeling en meetniveau interval.

Nadeel: percentielscores kun je niet gebruiken om gemiddelden te berekenen.

• Dit is een niet lineaire transformatie.
• Je kunt over percentielscores geen M of SD berekenen.