Sheetnotes 15/16

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit hoorcollege worden de onderwerpen transformaties, interpretaties, normering en itemanalyse besproken. Dit is te koppelen aan de literatuur van H1, 2 en 3 van Mastery Modern Psychological Testing.

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur?
Alle onderwerpen komen aan bod in de literatuur.

Welke recente ontwikkelingen in het vakgebied worden besproken?
Er worden geen recente ontwikkelingen besproken.

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
Er worden geen opmerkingen gemaakt over het tentamen.

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 
Er worden geen tentamenvragen behandeld.

Hoorcollege aantekeningen 15/16

Soorten tests

1. Tests voor prestatieniveau (maximum performance tests) Dichotoom = twee keuzemogelijkheden (0 of 1).

• Cognitieve capaciteiten
• Intelligentie
• Kennis en inzicht
• Vaardigheden

Bijv. gokverslaving: score op 12 vragen, met 2 antwoordcategorieën (0 en 1), max. score = 12.

2. Tests voor gedragswijzen (typical response tests)
Objectieve test: helemaal mee eens – helemaal niet mee eens.
Projectieve test: inktvlek, zeggen wat je er in ziet.

• Gedrag
• Houding
• Persoonlijkheid

Bijv. rekentest van 100 opgaven, taaltest van 25 opgaven (0 = fout, 1 = goed).
Ruwe testscores (X). Om de scores te kunnen gebruiken moet je een normgroephebben om te kunnen vergelijken (norm referenced / criterum referenced).

3. Snelheidstest (speed test)
In beperkte tijd zo veel als mogelijk opgaven van zelfde moeilijkheid beantwoorden.

4. Niveau test (power test)
Opgaven in oplopende moeilijkheid zonder tijdsdruk.

Interpretatie testscores

Normgericht (norm referenced)

• Vergelijking testscore binnen de groep of populatie
• Relatief meten

Criteriumgericht (criterion referenced)

• Vergelijking testscore met vooraf gestelde maatstaf of standaard
• Absoluut meten

Normering

• Bepalen van verdeling van testscores in populatie.
• Bepalen van standaard voor beoordeling.

Transformeren

Het omzetten van ruwe testscores naar gestandaardiseerde scores met als doel: vergelijken en beoordelen.

Standaard z-transformatie: z-score
Als eigenschap in populatie theoretisch normaal verdeeld en testscores ook empirisch normaal verdeeld is. Transformeren ruwe scores op een test naar z-scores:

Z_j = standaard z-score voor persoon j
X_i = testscore van persoon j = gemiddelde X

SD_X = standaardafwijking X
X= ruwe score
X_ = gemiddelde ruwe score
SD_x = standaardafwijking ruwe score

SD_ss = gewenste standaardafwijking
X_ss = gewenst gemiddelde

Kenmerken z-scores

• gemiddelde = 0, standaardafwijking = 1
• z-score = 0, betekent dat iemand dezelfde testscore heeft als het gemiddelde van de groep
• z-score = 1, betekent dat iemand zijn testscore één standaardafwijking boven gemiddelde van de groep ligt
• Intervalschaal blijft na transformatie intervalschaal
• Vorm van verdeling blijft ongewijzigd
• Naar z-getransformeerde ruwe scores inter- en intra-individueel vergelijkbaar
• Assumptie: De testscores zijn (bij benadering) normaalverdeeld.

Lineaire transformative: IQ-score / T-score
Als eigenschap in populatie theoretisch normaalverdeeld en testscores ook normaalverdeeld. z-scores lineair transformeren.

Percentielscore transformatie: Percentielscore / Percentiel
Percentiel is de waarde van een testscore waarvoor geldt dat een bepaalde proportie (.25, .50, .90) in de groep (of populatie) dezelfde of lagere testscore heeft.

Voor berekenen percentielscore heb je alle scores van de groep (populatie) nodig. Percentielscore transformatie is voor variabelen van ordinaal, interval en ratio meetniveau. Percentielscore transformatie is een niet-lineaire transformatie en is mogelijk voor alle soorten verdelingen (normaal, bi-modaal, homogeen). De vorm van de verdeling wijzigt bij percentielscore transformatie: ruwe scoreverdeling wordt afgeplat tot homogene verdeling. Betekenis van de intervallen tussen opeenvolgende percentielscores is niet gelijk → ordinaal meetniveau. Bereken geen gemiddelde of standaardafwijking van percentielscores. Percentielscore is niet gelijk aan percentiel.

Stanines (dit hoef je niet te kunnen)
Lineaire transformatie van standaard normaal verdeelde
testscores in negen even grote groepen, min of meer intervalschaal

• Zijn niet precies (score vertegenwoordigt een klasse).
• De intervalschaal voor stanines is discutabel. Liever niet gebruiken

Normaliserende transformatie: Normale z-score (deze hoef je ook niet te kunnen)
Als eigenschap in populatie theoretisch normaal verdeeld, maar testscores niet normaal verdeeld → normaliserende transformatie

• Kenmerken die niet normaal verdeeld zijn: gezichtsvermogen, concentratie, criminaliteit, reactiesnelheid.
• Een niet lineaire transformatie verandert de vorm van de verdeling.
• Het resultaat is een verdeling van normale z-scores.
  Liever niet gebruiken.

Stappen voor normaliserende transformatie

1. Bepaal ruwe score persoon i
2. Bepaal percentielscore van i (niet afronden)
3. Zoek in tabel bijbehorende z-score
4. Ken die z-score aan persoon i toe (normale z-score)
   cf2 = cumulatieve frequentie bij klassemidden
   cp2 = cumulatieve proportie bij klassemidden

Itemanalyse

Personen betrouwbaar onderscheiden (onderscheid voldoende / onvoldoende wel of niet verdiend)

• Beoordelen kwaliteit hele test.
  - Betrouwbaarheid (betrouwbaarheidsanalyse)
  - Validiteit (validiteit onderzoek)

• Beoordelen karakteristieken van afzonderlijke items.
  - Item moeilijkheid (item difficulty)
  - Item discriminatie (item discrimination)

• Beoordelen relatie afzonderlijke items en hele test.
  - Item-total correlatie (item totalcorrelation)
  - Analyse afleiders (disctracter analysis)

pi = p-waarde = itemmoeilijkheid = de proportie van de respondenten dat het item goed heeft beantwoord. pi = aantal goed / gedeeld door fout.

Hoge p-waarden: dragen niet bij aan differentiatie.
Lage p-waarden: mogelijk te moeilijk of een vraag buiten leerstof. 

Discriminerend vermogen

• Hoe goed discrimineert of differentieert een item?
• Hoe goed kunnen we met een item respondenten onderscheiden?

Item-totaalcorrelatie (Item-total correlation): Lineaire samenhang (r_g,x) tussen afzonderlijk item (g) en testscore (X).
Item-restcorrelatie (Item-rest correlation): Lineaire samenhang (rg_,(X-g)) tussen afzonderlijke item (g) en score op test minus het item (X - g).
Afleiders analyse (Distracter analysis): Voldoen alle antwoordalternatieven?