Hoorcollege 8 Psychologie als Wetenschap 2023 Universiteit Utrecht
Hoorcollege 8: testtheorie: betrouwbaarheid en validiteit
NIP beroepscode:
- integer,
- respectvol,
- verantwoordelijk
- deskundig.
Hierbij moeten psychologen: theoretische concepten opstellen, operationaliseren, meetinstrument kiezen, gestandaardiseerde afname en uiteindelijk komen met een testscores (puntschatting) en een Intervalschatting (grenzen waarbinnen zijn echte positie zich bevind).
Een theoretisch concept is een abstract kenmerk, eigenschap, variabele, construct, begrip, trait or state.
- Gender (vragen naar man / vrouw / X)
- Lengte (geregisseerde meting in cm)
- Rekenvaardigheid (aantal goed op rekentest)
- Prestatie-motivatie (score op onderdeel van PMTK, motivatie en prestatie scores)
- Integriteit (score op integriteitstest).
Operationarisatie is de beschrijving van operaties die nodig zijn om de bedoelde eigenschap te meten.
Model klassieke testtheorie: De testscore X wordt bepaalde door 2 invloeden:
- Latente of ware score T (true score). De echte mate van integriteit. Is ook de belangrijkste score. Ben jij niet integer dan scoor je laag.
- Toevallige meetfout E (error). Er zijn allemaal invloeden: persoon, omgeving, test of de testleider. Het kan dus overal aanliggen. Hoe groter deze fout, hoe minder zeker je bent van de daadwerkelijke score van een persoon.
1. Systematische invloeden wat test beoogt te meten systematische meetfout (niet bedoeld, maar die wel meespelen. Denk aan sociaal wenselijke antwoorden willen geven). maat voor spreiding van toevallige meetfout. Zegt iets over de precisie. Deze hebben we nodig om intervalschatting te komen op basis van de testscore
2. Toevallige invloeden (die zitten in de error) Een meetfout. verschil tussen xi (observatie) en ti (de ware score)
betrouwbaarheid (reliability) Mate van nauwkeurigheid, mate van herhaalbaarheid. Betrouwbare meting —> afwezigheid toevallige meetfout (de mate van aanwezigheid van de meetfout)
toevallige meetfout
1. Bij replicaties is gemiddelde van E (de meetfouten) gelijk aan 0: 1. Voor individu is gemiddelde meetfout gelijk aan nul. 2. In populatie is gemiddelde meetfout gelijk aan nul. T Gedownload door: yaraclaassen | yara.claassen@gmail.com Dit document is auteursrechtelijk beschermd, het verspreiden van dit document is strafbaar. € 912 per jaar extra verdienen? Stuvia - Koop en Verkoop de Beste Samenvattingen
2. Meetfout E correleert niet met ware score T: PET = 0 1. Meetfout komt uitsluitend door toevallige invloeden tot stand.
3. Meetfout E van verschillende tests correleren niet: PEE’ = 0 1. Meetfout komt uitsluitend door toevallige invloeden tot stand.
Standaardmeetfout (SE)
Standard error of measurement (SE, SEM)
- Spreiding van de toevallige meetfout bij oneindig aantal replicaties.
- Geeft een indicatie van de nauwkeurigheid van de meting in een populatie.
- De standaardmeetfout is identiek voor alle individuen waarbij je het instrument afneemt (= aanname). Het is voor iedereen hetzelfde. Met de standaardmeetfout kunnen we het betrouwbaarheidsinterval afleiden voor de ware score.
- formule: Betrouwbaarheid: Testscore is ware score plus toevallig fout: Testvariantie is ware scorevariantie plus errorvariantie: Betrouwbaarheid is verhouding tussen ware scorevariantie en testvariantie: Hoe dichter bij 1 hoe betrouwbaarder de test, hoe dichter bij 0, hoe onbetrouwbaarder. Toch is er een probleem. Want de variantie van ware scores S2/t is bekend, we moeten dus de betrouwbaarheid testscore moeten we daarom schatten.
Procedures schatting van betrouwbaarheid)
- Test-hertest betrouwbaarheid (test-retest): Maakt gebruik van het idee dat testscores over de tijd hetzelfde zijn. - Correlatie rx1 en x2 tussen testafnames X1 en X2 als schatting voor de betrouwbaarheid van schaalscores. Waarde tussen de 0 en 1 is de schatting van de betrouwbaarheid) Problemen - Leereffect (carryover effects). Zorgt voor onder of overschatting van betrouwbaarheid. - Kort tijd tussen afnames is er sprake van herinnering, ervaring. - Lange tijd tussen afnames is er sprake van wijziging van de ware scores.
- Paralleltest betrouwbaarheid (alternate form): betrouwbaarheid (vaak bij cognitieve test, denk aan taal of rekenen) - Maakt gebruik van het idee dat twee gelijkwaardige versies van dezelfde test dezelfde scores moet opleveren. Het is een andere test, maar wel een gelijkwaardige test. - Correlatie rx en x1, tussen parallelle tests X en X’ als schatting voor de betrouwbaarheid. Probleem: zorgt voor onderschatting van betrouwbaarheid. - Strikte parallelle tests zijn moeilijk te realiseren. (Inhoud, Moeilijkheid en Vorm)
- Split-half betrouwbaarheid: Maakt gebruik van het idee dat twee helften van een test dezelfde scores op moet leveren. - (Gecorrigeerde) correlatie rh1 en h2 tussen parallelle testhelften als schatting voor betrouwbaarheid. Probleem (elke andere tweedeling levert een andere schattin van de betrouwbaarheid) - Hoe is de test in 2 delen te splitsen? (Even - oneven of Onderste helft - bovenste helft)
- Cronbach’s alfa (coëfficiënt alpha): Populaire methode betrouwbaarheidsschatting testscore. Maakt gebruik van het idee dat elk item van een schaal een indicatie is voor het te meten theoretisch concept. - Voor items met meer dan twee geordende categorieën. Dus een likert schaal. Met meer dan 3 categorieën. - Voor homogene set van items (een-dimensionaal). De interpretatie van Cronbach’s alfa - Ondergrens voor schatting betrouwbaarheid (rXX’ ≥ alfa - alfa = 0.80 betekent dat minimaal 80% van variantie in testscores wordt veroorzaakt door variantie in ware scores. - Waardering afhankelijk doel van de meting.
Invloeden op betrouwbaarheid van de COTAN:
- Lange test: Hoe langer test, hoe betrouwbaarder testscore. —> afwijkende itemscores hebben minder invloed op totaalscore
- Samenstelling groep: De mate van variatie (heterogeniteit) van testscores binnen een groep (steekproef) beïnvloedt de betrouwbaarheidschatting. Hoe meer spreiding, hoe hoger de betrouwbaarheid. Je wilt een heterogene groep hebben.
- Tijdslimiet: Stel je hebt een speedtest met een groot aantal items. Bij tijdgebrek worden niet alle items beantwoord. (Bij een powertest heb je alle tijd om de vragen in te vullen) - Cronbach's alfa is dan niet geschikt - test-hertestmethode is dan wel geschikt Intervalschatting ware score
- De betrouwbaarheidsinterval: Bereken een 95%-betrouwbaarheidsinterval voor de ware score van integriteit voor een persoon. Je hebt een ondergrens en een bovengrens.
Criteria testbeoordeling COTAN
1. Uitgangspunten van de testconstructie = inhoudsvaliditeit
2. Kwaliteit van het testmateriaal
3. Kwaliteit van de handleiding
4. Normen
5. Betrouwbaarheid
6. Begripsvaliditeit
7. Criteriumvaliditeit
Soorten validiteit (sbeoordeling)
- Inhoudsvaliditeit (content validity).
- Indruksvaliditeit (face validity -> we vragen of een deskundige/gebruikers wat denk je meten)
- Begripsvaliditeit (construct validity)
- relaties binnen test (interne structuur)
- relaties met andere variabelen (externe structuur)
- Criteriumvaliditeit (criterion validity)
- voorspelling (predictie) van een criterium (predictieve validiteit)
Analyses voor begripsvaliditeit
a) Nagaan van de samenhang met testscores voor verwante concepten (convergente validiteit) —> beoordelen van correlatie
b) Nagaan van de samenhang met testscores voor NIET verwante concepten (divergente validiteit) —> beoordelen van correlatie
c) Vergelijken van testscores tussen relevante groepen —> beoordelen van verschil in gemiddelden met t-toets, ANOVA
Criteriumvaliditeit
- Hoe goed voorspelt een testscore een concreet criterium (= gedrag of prestatie dat niet met test wordt gemeten)? Om in de toekomst/heden te voorspellen. - Criteriumvaliditeit is van belang voor tests die tot doel hebben om iets (criterium) te voorspellen.
- Onderscheid naar concurrente validiteit en predictieve validiteit
- Beoordeling
- Op basis van onderzoek naar de voorspellende waarde van testscores. —> (multipele) regressie analyse
Access:
Public
Check more of this topic?
Search other summaries?
This content is used in:
aantekeningen hoorcolleges Psychologie als Wetenschap 2023 UU
- Hoorcollege 4 Psychologie als Wetenschap 23 UU
- Hoorcollege 5 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 6 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 7 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 8 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 9 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 10 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 11 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Hoorcollege 12 Psychologie als Wetenschap 2023 Universiteit Utrecht
This content is also used in .....
Follow the author: Yara Claassen
More contributions of WorldSupporter author: Yara Claassen:
- 1 of 33
- next ›
Work for WorldSupporter
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
Check how to use summaries on WorldSupporter.org
Online access to all summaries, study notes en practice exams
- Check out: Register with JoHo WorldSupporter: starting page (EN)
- Check out: Aanmelden bij JoHo WorldSupporter - startpagina (NL)
How and why would you use WorldSupporter.org for your summaries and study assistance?
- For free use of many of the summaries and study aids provided or collected by your fellow students.
- For free use of many of the lecture and study group notes, exam questions and practice questions.
- For use of all exclusive summaries and study assistance for those who are member with JoHo WorldSupporter with online access
- For compiling your own materials and contributions with relevant study help
- For sharing and finding relevant and interesting summaries, documents, notes, blogs, tips, videos, discussions, activities, recipes, side jobs and more.
Using and finding summaries, study notes en practice exams on JoHo WorldSupporter
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
- Use the menu above every page to go to one of the main starting pages
- Starting pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
- Use the topics and taxonomy terms
- The topics and taxonomy of the study and working fields gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up
- Check or follow your (study) organizations:
- by checking or using your study organizations you are likely to discover all relevant study materials.
- this option is only available trough partner organizations
- Check or follow authors or other WorldSupporters
- by following individual users, authors you are likely to discover more relevant study materials.
- Use the Search tools
- 'Quick & Easy'- not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject.
- The search tool is also available at the bottom of most pages
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
- Check out: Why and how to add a WorldSupporter contributions
- JoHo members: JoHo WorldSupporter members can share content directly and have access to all content: Join JoHo and become a JoHo member
- Non-members: When you are not a member you do not have full access, but if you want to share your own content with others you can fill out the contact form
Quicklinks to fields of study for summaries and study assistance
Field of study
- All studies for summaries, study assistance and working fields
- Communication & Media sciences
- Corporate & Organizational Sciences
- Cultural Studies & Humanities
- Economy & Economical sciences
- Education & Pedagogic Sciences
- Health & Medical Sciences
- IT & Exact sciences
- Law & Justice
- Nature & Environmental Sciences
- Psychology & Behavioral Sciences
- Public Administration & Social Sciences
- Science & Research
- Technical Sciences
Check the related and most recent topics and summaries:
Activity abroad, study field of working area:
Institutions, jobs and organizations:
Add new contribution