Join with a free account for more service, or become a member for full access to exclusives and extra support of WorldSupporter >>

Hoorcollege Validiteit

Sheetnotes 19/20

Welke onderwerpen worden behandeld in het hoorcollege? 
In dit hoorcollege komt de validiteit van een test aan bod. De verschillende vormen validiteit en hoe je validiteit kunt beoordelen. De bijbehorende literatuur is H5 van Mastering Modern Psychological Testing; Theory & Methods.

Welke onderwerpen worden besproken die niet worden behandeld in de literatuur? 
Cohens Kappa wordt niet besproken in dit hoofdstuk. Dit is een maat die de overeenkomst van de beoordeling van verschillende beoordelaars aangeeft, dit is van toepassing bij interbeoordelaars betrouwbaarheid. 

Welke recente ontwikkelingen in het vakgebied worden besproken?
Er worden geen recente ontwikkelingen besproken.

Welke opmerkingen worden er tijdens het college gedaan door de docent met betrekking tot het tentamen?
Er worden geen opmerkingen gemaakt over het tentamen.

Welke vragen worden behandeld die gesteld kunnen worden op het tentamen? 
Er worden geen tentamenvragen behandeld. 

Hoorcollegeaantekeningen 19/20

Validiteit

Systematische meetfout

Validiteit gaat om afwezig van systematisch meetfout (bovenop toevallige meetfouten). Betrouwbaarheid is dus een noodzakelijke voorwaarde voor de validiteit van een testscore. Een testscore bestaat uit de ware score, systematische fouten en toevallige fouten. Bij een betrouwbare meting is de hoeveelheid van toevallige fouten klein. Bij een valide meting zijn zowel de toevallige als systematische fouten erg klein.

Als een respondent sociaal wenselijke antwoorden geeft, zal de testscore hoger uitvallen dan de ware score. De testscore is wel betrouwbaar, maar niet valide. 

Soorten validiteit

  1. Inhoudsvaliditeitis hoe goed de test inhoudelijk het construct representeert.
  2. Begripsvaliditeitis hoe goed de test het construct meet (interne of externe structuur). 
  3. Criteriumvaliditeitis of de test in staat is om te voorspellen (verleden, heden, toekomst).

Doelen testscores

Afhankelijk van het gebruik van de test, moet je op zoek gaan naar ondersteuning voor dat testgebruik. De testscores kunnen gebruikt worden voor verschillende doelen: beschrijven, indiceren, evalueren, verklaren of voorspellen. Voor elk doel is een verschillende test.  

Soorten validiteitsbewijs (om validiteit te beoordelen)

  1. Testinhoud: test laten bekijken door deskundigen die de test gaan beoordelen of naar de gebruikers die de indruk van de test bekijken = indrukvaliditeit.
  2. Relaties met andere variabelen: onze testscores moeten samenhangen met andere scores die eraan gerelateerd zijn. Dit kan door te kijken naar test-criterium, convergente/divergente relaties, multitrait-multimethod analyse of onderzoek bij groepen. 
  3. Interne structuur: kijken naar de samenhang van items, door factoranalyse of itemanalyse. Het beoordelen van structuren binnen de test. 

1. Inhoudsvaliditeit

In hoeverre representeert de inhoud van test het gehele inhoudsdomein? Alle domeinen van een construct moeten in de test opgenomen worden. De beoordeling gebeurt door vast te stellen in hoeverre de testitems het gehele domein dekken. Dit kan gedaan worden door oordeel van deskundigen of oordeel van gebruikers (indruksvaliditeit) gevraagd wordt. Er hoeft nog geen afname van de test gedaan te worden. 

Cohens kappa

Interbeoordelaars betrouwbaarheidgebruiken we wanneer er subjectieve beoordeling mogelijk is. Hoe goed we in staat zijn om onafhankelijk te oordelen. Als de test inhoudsvalide is, moeten de beoordelaars hetzelfde oordelen. Hoe meer items niet overeenkomen in de beoordelen, hoe lager de interbeoordelaars betrouwbaarheid. De kappaberekent de overeenstemming van de beoordelaars en houdt rekening met toevallige overeenkomsten. 

2. Begripsvaliditeit

Dit is een algemene vorm van validiteit die nagaat of de test beoogt wat het moet meten. Hoe goed representeren items van de test het psychologisch construct dat niet direct geobserveerd kan worden? de beoordeling hiervan kan op twee manieren: interne structuur van test of externe structuur. De interne structuur van test gaat over de homogeniteit tussen de items en de verwachte dimensies. De externe structuur van een test gaat over convergentie validiteit, divergente validiteit en nomologisch netwerk. 

Externe structuur

We spreken verwachtingen uit over de relaties van de testscores met andere kenmerken (voorbeeld 1: wanneer we verwachten dan mannen beter scoren dan vrouwen op een integriteitstest, moet de test wel onderscheid maken tussen mannen en vrouwen; voorbeeld 2: wanneer integriteit samenhangt met deskundigheid, moet op de test de relatie tussen deze twee ook naar voren komen). Elke keer wanneer de verwachting wordt ondersteunt, verhoogt dit de begripsvaliditeit.

  • Convergentie validiteit = samenhang tussen kenmerken. 
  • Divergente validiteit = afwezigheid van samenhang. 
  • De derde vorm van onderzoeken van begripsvaliditeit is opstellen van nomologisch netwerk. Uit de relaties in dit netwerk kan ik de betekenis van mijn test afleiden. De betekenis wordt niet afgeleid uit de naam van de test, maar uit de vele verbanden met andere variabelen, andere tests en andere meetinstrumenten. 

Mogelijke analyses bij begripsvaliditeit

Om na te gaan of er een relatie is, zijn er statistische analyses nodig. De verschillende mogelijkheden zijn:

  1. Factoranalyse, itemanalyse.
  2. Vergelijken van groepen (t-test, ANOVA).
  3. Berekenen van samenhang met tests voor (niet) verwante constructen: r, rho, tau, eta, phi, 
    Cramer’s V.
  4. Multitrek-multimethode analyse (MTMM).
  5. Multiple regressieanalyse.

Multitrek-multimethode analyse

Deze analyse houdt in dat je meerdere constructen (trekken) tegelijkertijd meet op verschillende manieren (methoden). Wanneer je metingen van verschillende trekken op verschillende methoden meet, krijg je een matrix. Hierbij bereken je de betrouwbaarheden van de test en de correlaties tussen de tests. 

Je veronderstelt dat er tussen bepaalde trekken en methoden samenhang is en bij sommige juist afwezigheid van samenhang. Als deze structuur overeenkomt met de verwachting, is er een sterke begripsvaliditeit. Voor het beoordelen van de begripsvaliditeit, bestudeer je alle betrouwbaarheden en correlaties. 

3. Criterium validiteit

De mate waarin een test in staat is om in de toekomst te voorspellen. Hoe hoog correleren testscores met concreet criterium (= gedrag of prestatie dat niet mer test wordt gemeten). Dit heeft betrekking op:

  • Verleden, zoals test voor stoornis en mate van traumatische beleving in verleden.
  • Heden (concurrent validity), test voor kennis op bepaald gebied (vliegsimulator) en vaardigheid zelfde gebied (echt vliegen).
  • Toekomst (predictieve validiteit), zoals geschiktheid voor baan en succes baan.  

Multipele regressie

Een multipele regressie gaat na hoe je met een combinatie van predictoren iets kan voorspellen in de toekomst. 

Doelen van regressieanalyse:

  1. Beoordeling criteriumvaliditeit. Dit doet een uitspraak hoe goed een test het criterium kan voorspellen. Hoe goed kun je met intelligentie en motivatie studiesucces voorspellen? Multipelecorrelatiecoëfficiënt (R) is een gegeven uit SPSS en dat zegt iets over de gerealiseerde en voorspelde score van studiesucces. Daarnaast is de R2 de proportie verklaarde variantie = multipeledeterminatie coëfficiënt = de hoeveelheid variantie die verklaard wordt door de predictoren (intelligentie en motivatie). 
  2. Selectie van test(s) voor voorspelling. Hierdoor kom je erachter welke tests een optimale voorspelling geven. Kun je beter intelligentie of motivatie gebruiken om studiesucces te voorspellen? In de uitvoer van een regressie vind je in SPSS de informatie van de afzonderlijke predictoren. B-coëfficiën tzegt iets over de verandering in voorspelde studiesucces per eenheid van een predictor. Dit gaat per eenheid van de meting, dus schaal afhankelijk, daarom kijken we naar de gestandaardiseerde B-coëfficiënt (Beta). Hoe groter de waarde, hoe betere voorspeller. Deze informatie gebruiken we bij het opstellen van een regressievergelijking, waarmee je het studiesucces kan voorspellen als je de intelligentie en motivatie weet. 
  3. Voorspellen. Geeft intervalschatting met bepaalde waarschijnlijkheid. Kun je een schatting (betrouwbaarheidsinterval) voor studiesucces geven? We kiezen voor 95%, omdat je een bepaalde kans op een fout moet toestaan om de juiste informatie te krijgen. Een 5% fout is aanvaardbaar. Bij het schatten gebruik je nu de standaardschattingsfout (deze wordt gegeven bij de uitvoer van SPSS). De standaardschattingsfout is een soort gemiddelde fout bij het schatten met behulp van de regressielijn. Maar niet alle observaties liggen op de regressielijn, dus de spreiding (standaardafwijking) van schattingsfouten, ook wel residuen genoemd, is de schattingsfout. Let op: bij betrouwbaarheid wordt gebruik gemaakt van de standaard meetfout. 

Image

Access: 
Public

Image

Image

 

 

Contributions: posts

Help other WorldSupporters with additions, improvements and tips

Add new contribution

CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Image CAPTCHA
Enter the characters shown in the image.

Image

Spotlight: topics

Check the related and most recent topics and summaries:
Activity abroad, study field of working area:
Institutions, jobs and organizations:

Image

Check how to use summaries on WorldSupporter.org

Online access to all summaries, study notes en practice exams

How and why would you use WorldSupporter.org for your summaries and study assistance?

  • For free use of many of the summaries and study aids provided or collected by your fellow students.
  • For free use of many of the lecture and study group notes, exam questions and practice questions.
  • For use of all exclusive summaries and study assistance for those who are member with JoHo WorldSupporter with online access
  • For compiling your own materials and contributions with relevant study help
  • For sharing and finding relevant and interesting summaries, documents, notes, blogs, tips, videos, discussions, activities, recipes, side jobs and more.

Using and finding summaries, study notes and practice exams on JoHo WorldSupporter

There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.

  1. Use the menu above every page to go to one of the main starting pages
    • Starting pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
  2. Use the topics and taxonomy terms
    • The topics and taxonomy of the study and working fields gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up
  3. Check or follow your (study) organizations:
    • by checking or using your study organizations you are likely to discover all relevant study materials.
    • this option is only available trough partner organizations
  4. Check or follow authors or other WorldSupporters
    • by following individual users, authors  you are likely to discover more relevant study materials.
  5. Use the Search tools
    • 'Quick & Easy'- not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject.
    • The search tool is also available at the bottom of most pages

Do you want to share your summaries with JoHo WorldSupporter and its visitors?

Quicklinks to fields of study for summaries and study assistance

Field of study

Follow the author: Britt van Dongen
Work for WorldSupporter

Image

JoHo can really use your help!  Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world

Working for JoHo as a student in Leyden

Parttime werken voor JoHo

Statistics
1668