Sheetnotes 15/16

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit hoorcollege wordt het onderwerp betrouwbaarheid besproken. De bijbehorende literatuur is H4 uit Mastery Modern Psychological Testing.

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur?
De onderwerpen uit dit hoorcollege komen overeen met de literatuur. 

Welke recente ontwikkelingen in het vakgebied worden besproken?
Er worden geen recente ontwikkelingen besproken.

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
Er worden geen opmerkingen over het tentamen gemaakt.

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 
Er worden geen tentamenvragen behandeld.

Hoorcollege aantekeningen 15/16

COTAN

De COTAN is het beoordelingssysteem voor de kwaliteit van tests. De COTAN beoordeelt de volgende punten:

1. Uitgangspunten van de testconstructie
2. Kwaliteit van het testmateriaal
3. Kwaliteit van de handleiding
4. Normen
5. Betrouwbaarheid
6. Begripsvaliditeit
7. Criteriumvaliditeit

De categorieën worden beoordeeld met een onvoldoende (1), voldoende (2) of een goed (3).

Operationalisering = de specificatie van operaties die nodig zijn om de bedoelde eigenschap te meten.

Meetmodel voor testscore

Testscore X wordt bepaald door:

• Latente of ware score T (true score) en
• Toevallige meetfout E (error)

X_ij =T_i +E_ij
X_ij = geobserveerde score van persoon i bij afname j
T_i = ware score van persoon i
E_ij = toevallige meetfout van persoon i bij afname j (X_ij - T_i)

Testscore wordt beïnvloed door systematische invloeden (wat de test beoogt te meten en systematische meetfouten) en toevallige invloeden (toevallige meetfouten). 

Meetfout

Een meetfout kan toevallig of systematisch zijn.
Betrouwbaarheid is de mate van precies meten, de mate van herhaalbaarheid. Er is geen toevallige meetfout aanwezig.
Validiteit is de mate waarin je meet wat je wilt meten. De toevallige meetfout en de systematische meetfout moeten afwezig zijn.

Model Klassieke testtheorie

Eigenschappen meetfout E:

1. Bij replicaties is verwachtingswaarde E = 0
   Voor individu is gemiddelde meetfout gelijk aan nul.
   In populatie is gemiddelde meetfout gelijk aan nul.
2. Meetfout correleert in populatie niet met ware score T: ρ_ET = 0
   Meetfout komt uitsluitend door toevallige invloeden tot stand.
3. Meetfout van verschillende tests correleren niet: ρ_EE’ = 0

Correlatie wordt weergegeven met het symbool ρ.

Testvariantie

Testvariantie (S²_x) is som van ware scorevariantie (S²_T) plus errorvariantie (S²_E) plus twee keer covariantie (2^S_TE)
S_²: variantie boek: σ²
S²_x = S²_T + S²_E

Betrouwbaarheid

Betrouwbaarheid is verhouding tussen ware scorevariantie en testvariantie. = aandeel van de ware score

S²_T is onbekend, dus betrouwbaarheid moet geschat worden : ῤ_XX’

Bronnen van toevallige fouten:

• Inhoud (content sampling error): verschil tussen steekproef van items en domein van items.
• Tijd (time sampling error): het tijdstip van testafname is van invloed op het testresultaat.

Schatting van betrouwbaarheid

1. Test-hertest betrouwbaarheid (test-retest)
   Correlatie tussen testafnames X1 en X2 als schatting voor betrouwbaarheid.
   
   Problemen: leereffect, korte tijd tussen afnames zorgt voor herinnering, lange tijd voor wijziging van de ware score.

2. Paralleltest betrouwbaarheid (alternate form)
   Correlatie tussen parallelle tests X en X ’ als schatting voor betrouwbaarheid.
   
   Problemen: moeilijk te realiseren.

3. Split-halfbetrouwbaarheid
   (gecorrigeerde) correlatie tussen parallelle testhelften als schatting voor betrouwbaarheid.
   
   = Schatting betrouwbaarheid gehele test
   R_H1H2 = Correlatie tussen testhelft H1 en H2

4. Kuder Richardson formula 20 (KR-20)

• voor dichotome items (goed = 1,fout = 0)
• voor homogene set van items (eendimensionaal)

k = aantal items
p_i = proportie mensen die goed geantwoord heeft
q_i = proportie mensen die het antwoord fout hebben SD²_X = variantie testscores

 5. Cronbachs alfa (coëfficiënt alpha)

• Populaire methode betrouwbaarheidschatting testscore.
• Voor items met meer dan twee geordende categorieën.
• Voor ‘inwisselbare’ items.
  
  k = aantal items
  = som afzonderlijke itemvarianties SD2X = variantie testscores

Interpretatie Cronbachs alfa:

• Gemiddelde van alle split-half betrouwbaarheden
• Ondergrens voor schatting betrouwbaarheid r_xx ≥ alfa
• Alfa = 0.80 betekent dat minimaal 80% van variantie in testscores wordt veroorzaakt door variantie in ware scores

Testverlenging

Bij testverlenging of testverkorting met parallelle (gelijkwaardige) items → schatting betrouwbaarheid verlengde test V met:
Spearman-Brown formule

v = verlengingsfactor
r_OO’ = schatting betrouwbaarheid oorspronkelijke test
r_VV‘= schatting van betrouwbaarheid na testverlenging/verkorting

Stel je hebt een test met tien items:
- verlengen met 2: v = 12/10=1.2 (v > 1 bij testverlenging)
- verkorten met 4: v = 6/10=0.6 (v < 1 bij testverkorting) 

Criteria beoordeling betrouwbaarheid (COTAN)

• Belangrijke beslissingen over indidivueel niveau (selectie):
  Voldoende: .80 ≤ r_xx ≤ .90 goed: r_xx ≥ .90
• Minder belangrijke individueel niveau (voortgang e.d.)
  Voldoende: .70 ≤ r_xx ≤ .90 goed: r_xx ≥ .80
• Testgebruik voor onderzoek op groepsniveau
  Voldoende: .60 ≤ r_xx ≤ .70 goed: r_xx ≥ .70

Invloeden op de betrouwbaarheid

1. Lengte van de test:
   Een langere test is betrouwbaarder. 
   Spearman brown formule
2. Samenstelling van de groep:
   Heterogene groep geeft een hogere betrouwbaarheid dan homogene groep.
   
3. Tijdslimiet
   Stel je hebt een groot aantal goed-fout items, dan is er bij tijdgebrek meer overeenkomst in antwoorden van niet gemaakte items. Dit leidt tot een overschatting van de betrouwbaarheid. Er zijn twee verschillende soorten:
   • Speedtest (zo snel mogelijk)
   • Powertest (zo goed mogelijk)

Standaardmeetfout ( σ_E )

• Spreiding toevallige meetfout bij oneindig aantal replicaties
• Indicatie voor hoe precies je meet; hoe kleiner standaardmeetfout hoe preciezer de meting
• Met σ_E betrouwbaarheidsinterval afleiden voor ware score
  

Te schatten met:

Intervalsschatting:

S_E = standaardmeetfout
1/2α = halve betrouwbaarheid