Sheetnotes 19/20

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit college staat betrouwbaarheid centraal. Er worden verschillende soorten betrouwbaarheid benoemd en andere concepten gerelateerd aan betrouwbaarheid. De bijbehorende literatuur is H4 van Mastering Modern Psychological Testing; Theory & Methods. 

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur? 
De onderwerpen komen overeen met het hoofdstuk uit het boek.

Welke recente ontwikkelingen in het vakgebied worden besproken?
Er worden geen recente ontwikkelen besproken.

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
Er worden geen opmerkingen over het tentamen gemaakt. 

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 
Er worden geen tentamenvragen behandeld. 

Hoorcollegeaantekeningen 19/20

Schatting van de betrouwbaarheid van een test = hoe nauwkeurig meet de test. We gaan van een puntschatting (score op een test) naar een intervalschatting. Hoe onbetrouwbaarder een instrument, hoe breder de intervalschatting. 

NIP/COTAN evalueert een test op betrouwbaarheid. Er zijn drie niveaus waarop beslissingen genomen worden gebaseerd op een test, deze niveaus hebben verschillende betrouwbaarheidscriteria. 

1. Belangrijke beslissingen op individueel niveau;
2. Minder belangrijke beslissingen op individueel niveau;
3. Testgebruik voor onderzoek op groepsniveau. 

Tests zijn operationalisaties van theoretische constructen (= abstract kenmerk, eigenschap, variabele). Operationalisering = specificatie van operaties die nodig zijn om de bedoelde eigenschap te meten. 

Meetfouten

Betrouwbaarheidsschatting is gebaseerd op klassieke meetmodel. De testscore wordt bepaald door de true score (T) (werkelijke kennis, gedrag) en door een toevallige meetfout (E). De test zelf, de persoon en de omstandigheden kunnen invloed hebben op de testscore. In een vergelijking wordt dit weergegeven als: 

X_ij= T_i+ E_ij

Meetfouten kun je onderscheiden in systematische invloeden (wat test beoogt te meten of systematische meetfout) en door toevallige invloeden. In een test voor rekenen is er soms ook lezen nodig, je moet dus kunnen onderscheiden wat de prestatie is op alleen het rekenen en niet het lezen. Betrouwbare meting = wanneer toevallige meetfouten afwezig zijn. Validiteit gaat om afwezigheid van systematische meetfouten (en van toevallige meetfouten). 

Stel iemand (i) doet oneindig vaak dezelfde test (= replicaties), dan krijg je heel veel testscores die in een normaalverdeling zichtbaar worden. In de piek ligt de ware score van die individu. Maar we nemen maar één test af, waardoor je maar één meting hebt die ver verwijderd kan liggen van zijn ware score. De spreiding van meetfouten = de gemiddelde fout die je maakt bij het afnemen van een test bij een individu = standaardafwijking = standaard meetfout S_E. De toevallige meetfout is het verschil tussen de gekregen score (x_ij) en de ware score (t_i). 

Standaard meetfout geeft spreiding van de toevallige meetfout bij oneindig aantal replicaties. Het geeft een indicatie van de nauwkeurigheid van de test in een populatie. De standaard meetfout is identiek voor alle individuen waarbij je het instrument afneemt. Met de standaardmeetfout kunnen we het betrouwbaarheidsinterval afleiden van de ware score. 

Assumpties model klassieke testtheorie

1. Bij oneindig veel replicaties is het gemiddelde van de meetfout 0. 
2. Meetfout correleert niet met de ware score. Meetfout komt uitsluitend toevallig tot stand. 
3. Meetfout van verschillende tests correleren niet. 

Testvariantie

Testvariantie is spreiding van scores. S_x²= S_T²+ S_E². Spreiding in testscores is opgebouwd van spreiding van individuele verschillen plus spreiding van toevallige invloeden. Spreiding = varianties. 

Betrouwbaarheid is verhouding tussen ware scorevariantie en testvariantie: r_xx= S_T²/ S_E². Betrouwbaarheid wordt weergegeven met een getal tussen 0 en 1. Het probleem is dat de variantie van ware scores onbekend is. Betrouwbaarheid moeten we dus schatten, bij een schatting maken we gebruik van het symbool ^. Een betrouwbare schatting is een testscore die vrij is van toevallige meetfouten. 

Bronnen van meetfouten

Er zijn twee hoofdbronnen van meetfouten:

1. Inhoud (content sampling error) = verschil tussen steekproef van items en domein van items. 
2. Tijd (time sampling error) = tijdstip (met de omstandigheden) van testafname is van invloed op testresultaat. 

Deze twee bronnen zijn aanleiding voor een aantal methoden om te komen tot schatting van betrouwbaarheid.

Methoden schatten van betrouwbaarheid

Test-hertest betrouwbaarheid = r_x1x2
Correlatie tussen testafnames X₁en X₂ als schatting voor betrouwbaarheid. Als de omstandigheden heel erg van invloed zijn om de scores, is de correlatie lager en is de betrouwbaarheid minder hoog. Problemen zijn het leereffect, de korte tijd tussen afnames (herinnering van de test) en aan de andere kant de lange tijd tussen afnames (persoonlijke veranderingen). 

Paralleltest betrouwbaarheid = r_XX’ 
Correlatie tussen parallelle test X en X’ als schatting voor betrouwbaarheid. Een individu maakt nu twee verschillende testen die vergelijkbaar zijn. Probleem is dat parallelle tests moeilijk te realiseren zijn. 

Split-half betrouwbaarheid = 2 * r_H1H2 / 1 + r_H1H2
Correlatie tussen parallelle testhelften als schatting voor betrouwbaarheid. Omdat we dan maar schatten voor de halve test, maar we willen voor de hele test, is de formule complexer. Bij testverlenging of testverkorting met parallelle items kun je een betrouwbaarheidsschatting, deze bereken je met de Spearman-Brown formule. Die berekent hoe je betrouwbaarheid verandert als je de test verlengt of verkort. Bij een langere test wordt de betrouwbaarheid hoger. Bij een kortere test wordt betrouwbaarheid lager. 

Probleem is hoe je de test in twee delen splitst? Je kan van elk mogelijke verdeling de correlatie berekenen en daaruit het gemiddelde nemen, dit is de cronbachs alfa. 

Kuder-Richardson formula 20 (KR20)
Items kunnen verschillende aantal antwoordmogelijkheden hebben. KR20 is voor dichotome items (twee antwoorden mogelijk) en voor homogene set van items (eendimensionaal). 

Coëfficiënt alfa 
Deze methode wordt gebruikt voor items met meer dan twee geordende categorieën (zoals Likert schaal) en voor homogene set van items. De interpretatie van Cronbachs alfa is het gemiddelde van alle split-half betrouwbaarheden en is daarom te zien als ondergrens voor de schatting van betrouwbaarheid. De werkelijke betrouwbaarheid is waarschijnlijk hoger. Een alfa van .80 betekent dat minimaal 80% van variantie in testscores wordt veroorzaakt door variantie in ware scores. 

Invloeden op betrouwbaarheid

1. Lengte test: Spearman-Brown formule. Hoe langer de test, hoe betrouwbaarder de score.
2. Samenstelling groep: mate van variatie (heterogeniteit/homogeniteit) van testscores binnen een groep (steekproef). Hoe meer spreiding aan scores binnen de groep, hoe hoger de betrouwbaarheid.
3. Tijdslimiet: stel je hebt een speedtest met een groot aantal items, zal bij tijdgebrek niet alle items worden beantwoord. Test-hertest of paralleltest is hierbij geschikt.

Betrouwbaarheidsinterval

Voor het berekenen van het betrouwbaarheidsinterval heb je de puntschatting nodig, dit is de score op een test van een individu. Daarnaast is de standaard meetfout van belang om te betrouwbaarheid te schatten. Deze kun je berekenen met de formule S_E.

Een puntschatting is waardeloos, aangezien er heel veel invloeden deze score beïnvloeden. Een betrouwbaarheidsinterval geeft een betere indicatie van de ware score.