Image

Join with a free account for more service, or become a member for full access to exclusives and extra support of WorldSupporter >>

Hoorcollege Betrouwbaarheid

Sheetnotes 19/20

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit college staat betrouwbaarheid centraal. Er worden verschillende soorten betrouwbaarheid benoemd en andere concepten gerelateerd aan betrouwbaarheid. De bijbehorende literatuur is H4 van Mastering Modern Psychological Testing; Theory & Methods. 

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur? 
De onderwerpen komen overeen met het hoofdstuk uit het boek.

Welke recente ontwikkelingen in het vakgebied worden besproken?
Er worden geen recente ontwikkelen besproken.

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
Er worden geen opmerkingen over het tentamen gemaakt. 

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 
Er worden geen tentamenvragen behandeld. 

Hoorcollegeaantekeningen 19/20

Betrouwbaarheid

Schatting van de betrouwbaarheid van een test = hoe nauwkeurig meet de test. We gaan van een puntschatting (score op een test) naar een intervalschatting. Hoe onbetrouwbaarder een instrument, hoe breder de intervalschatting. 

NIP/COTAN evalueert een test op betrouwbaarheid. Er zijn drie niveaus waarop beslissingen genomen worden gebaseerd op een test, deze niveaus hebben verschillende betrouwbaarheidscriteria. 

  1. Belangrijke beslissingen op individueel niveau;
  2. Minder belangrijke beslissingen op individueel niveau;
  3. Testgebruik voor onderzoek op groepsniveau. 

Tests zijn operationalisaties van theoretische constructen (= abstract kenmerk, eigenschap, variabele). Operationalisering = specificatie van operaties die nodig zijn om de bedoelde eigenschap te meten. 

Meetfouten

Betrouwbaarheidsschatting is gebaseerd op klassieke meetmodel. De testscore wordt bepaald door de true score (T) (werkelijke kennis, gedrag) en door een toevallige meetfout (E). De test zelf, de persoon en de omstandigheden kunnen invloed hebben op de testscore. In een vergelijking wordt dit weergegeven als: 

Xij= Ti+ Eij

Meetfouten kun je onderscheiden in systematische invloeden (wat test beoogt te meten of systematische meetfout) en door toevallige invloeden. In een test voor rekenen is er soms ook lezen nodig, je moet dus kunnen onderscheiden wat de prestatie is op alleen het rekenen en niet het lezen. Betrouwbare meting = wanneer toevallige meetfouten afwezig zijn. Validiteit gaat om afwezigheid van systematische meetfouten (en van toevallige meetfouten). 

Stel iemand (i) doet oneindig vaak dezelfde test (= replicaties), dan krijg je heel veel testscores die in een normaalverdeling zichtbaar worden. In de piek ligt de ware score van die individu. Maar we nemen maar één test af, waardoor je maar één meting hebt die ver verwijderd kan liggen van zijn ware score. De spreiding van meetfouten = de gemiddelde fout die je maakt bij het afnemen van een test bij een individu = standaardafwijking = standaard meetfout SE. De toevallige meetfout is het verschil tussen de gekregen score (xij) en de ware score (ti). 

Standaard meetfout geeft spreiding van de toevallige meetfout bij oneindig aantal replicaties. Het geeft een indicatie van de nauwkeurigheid van de test in een populatie. De standaard meetfout is identiek voor alle individuen waarbij je het instrument afneemt. Met de standaardmeetfout kunnen we het betrouwbaarheidsinterval afleiden van de ware score. 

Assumpties model klassieke testtheorie

  1. Bij oneindig veel replicaties is het gemiddelde van de meetfout 0. 
  2. Meetfout correleert niet met de ware score. Meetfout komt uitsluitend toevallig tot stand. 
  3. Meetfout van verschillende tests correleren niet. 

Testvariantie

Testvariantie is spreiding van scores. Sx2= ST2+ SE2. Spreiding in testscores is opgebouwd van spreiding van individuele verschillen plus spreiding van toevallige invloeden. Spreiding = varianties. 

Betrouwbaarheid is verhouding tussen ware scorevariantie en testvariantie: rxx= ST2/ SE2. Betrouwbaarheid wordt weergegeven met een getal tussen 0 en 1. Het probleem is dat de variantie van ware scores onbekend is. Betrouwbaarheid moeten we dus schatten, bij een schatting maken we gebruik van het symbool ^. Een betrouwbare schatting is een testscore die vrij is van toevallige meetfouten. 

Bronnen van meetfouten

Er zijn twee hoofdbronnen van meetfouten:

  1. Inhoud (content sampling error) = verschil tussen steekproef van items en domein van items. 
  2. Tijd (time sampling error) = tijdstip (met de omstandigheden) van testafname is van invloed op testresultaat. 

Deze twee bronnen zijn aanleiding voor een aantal methoden om te komen tot schatting van betrouwbaarheid.

Methoden schatten van betrouwbaarheid

Test-hertest betrouwbaarheid = rx1x2
Correlatie tussen testafnames X1en Xals schatting voor betrouwbaarheid. Als de omstandigheden heel erg van invloed zijn om de scores, is de correlatie lager en is de betrouwbaarheid minder hoog. Problemen zijn het leereffect, de korte tijd tussen afnames (herinnering van de test) en aan de andere kant de lange tijd tussen afnames (persoonlijke veranderingen). 

Paralleltest betrouwbaarheid = rXX’ 
Correlatie tussen parallelle test X en X’ als schatting voor betrouwbaarheid. Een individu maakt nu twee verschillende testen die vergelijkbaar zijn. Probleem is dat parallelle tests moeilijk te realiseren zijn. 

Split-half betrouwbaarheid = 2 * rH1H2 / 1 + rH1H2
Correlatie tussen parallelle testhelften als schatting voor betrouwbaarheid. Omdat we dan maar schatten voor de halve test, maar we willen voor de hele test, is de formule complexer. Bij testverlenging of testverkorting met parallelle items kun je een betrouwbaarheidsschatting, deze bereken je met de Spearman-Brown formule. Die berekent hoe je betrouwbaarheid verandert als je de test verlengt of verkort. Bij een langere test wordt de betrouwbaarheid hoger. Bij een kortere test wordt betrouwbaarheid lager. 

Probleem is hoe je de test in twee delen splitst? Je kan van elk mogelijke verdeling de correlatie berekenen en daaruit het gemiddelde nemen, dit is de cronbachs alfa

Kuder-Richardson formula 20 (KR20)
Items kunnen verschillende aantal antwoordmogelijkheden hebben. KR20 is voor dichotome items (twee antwoorden mogelijk) en voor homogene set van items (eendimensionaal). 

Coëfficiënt alfa 
Deze methode wordt gebruikt voor items met meer dan twee geordende categorieën (zoals Likert schaal) en voor homogene set van items. De interpretatie van Cronbachs alfa is het gemiddelde van alle split-half betrouwbaarheden en is daarom te zien als ondergrens voor de schatting van betrouwbaarheid. De werkelijke betrouwbaarheid is waarschijnlijk hoger. Een alfa van .80 betekent dat minimaal 80% van variantie in testscores wordt veroorzaakt door variantie in ware scores. 

Invloeden op betrouwbaarheid

  1. Lengte test: Spearman-Brown formule. Hoe langer de test, hoe betrouwbaarder de score.
  2. Samenstelling groep: mate van variatie (heterogeniteit/homogeniteit) van testscores binnen een groep (steekproef). Hoe meer spreiding aan scores binnen de groep, hoe hoger de betrouwbaarheid.
  3. Tijdslimiet: stel je hebt een speedtest met een groot aantal items, zal bij tijdgebrek niet alle items worden beantwoord. Test-hertest of paralleltest is hierbij geschikt.

Betrouwbaarheidsinterval

Voor het berekenen van het betrouwbaarheidsinterval heb je de puntschatting nodig, dit is de score op een test van een individu. Daarnaast is de standaard meetfout van belang om te betrouwbaarheid te schatten. Deze kun je berekenen met de formule SE.

Een puntschatting is waardeloos, aangezien er heel veel invloeden deze score beïnvloeden. Een betrouwbaarheidsinterval geeft een betere indicatie van de ware score. 

Image  Image  Image  Image

Access: 
Public

Image

Work for WorldSupporter

Image

JoHo can really use your help!  Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world

Working for JoHo as a student in Leyden

Parttime werken voor JoHo

Comments, Compliments & Kudos:

Add new contribution

CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Image CAPTCHA
Enter the characters shown in the image.

Image

Check how to use summaries on WorldSupporter.org

Online access to all summaries, study notes en practice exams

How and why would you use WorldSupporter.org for your summaries and study assistance?

  • For free use of many of the summaries and study aids provided or collected by your fellow students.
  • For free use of many of the lecture and study group notes, exam questions and practice questions.
  • For use of all exclusive summaries and study assistance for those who are member with JoHo WorldSupporter with online access
  • For compiling your own materials and contributions with relevant study help
  • For sharing and finding relevant and interesting summaries, documents, notes, blogs, tips, videos, discussions, activities, recipes, side jobs and more.

Using and finding summaries, study notes and practice exams on JoHo WorldSupporter

There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.

  1. Use the menu above every page to go to one of the main starting pages
    • Starting pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
  2. Use the topics and taxonomy terms
    • The topics and taxonomy of the study and working fields gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up
  3. Check or follow your (study) organizations:
    • by checking or using your study organizations you are likely to discover all relevant study materials.
    • this option is only available trough partner organizations
  4. Check or follow authors or other WorldSupporters
    • by following individual users, authors  you are likely to discover more relevant study materials.
  5. Use the Search tools
    • 'Quick & Easy'- not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject.
    • The search tool is also available at the bottom of most pages

Do you want to share your summaries with JoHo WorldSupporter and its visitors?

Quicklinks to fields of study for summaries and study assistance

Field of study

Check the related and most recent topics and summaries:
Activity abroad, study field of working area:
Institutions, jobs and organizations:
Statistics
3113