Testconstructie hoorcolleges

Deze samenvatting is geschreven in collegejaar 2012-2013.

Hoorcollege 1

In dit college worden hoofdstuk 1, 2 en 3 behandeld. De doelen van de cursus Testconstructie zijn:

1. De soorten tests kennen
2. De soorten testgebruik kennen
3. De methoden van testconstructie kennen
4. Onderzoek naar betrouwbaarheid, validiteit en normen doen
5. Evaluatie van tests maken
6. Het historisch perspectief en de actualiteit kennen

De belangrijkste termen van deze cursus zijn betrouwbaarheid, validiteit, facet-methode, IRT, Cotan, Z-score, Rorschach, MMPI, WAIS, TAT, Raven, utiliteit en CAT.

Een test

Tests kunnen op verschillende manieren worden beschreven. Een test wordt afgenomen om bijvoorbeeld te kijken of iemand geschikt is voor een bepaalde baan. Bij de landmacht doen ze dit door middel van een persoonlijkheidsvragenlijst, een capaciteitentest en een interview. Dit gaat over stabiliteit, sociaal functioneren, (zelf)discipline, communicatieve vaardigheden, inzetbaarheid, prestatiegerichtheid, motivatie en leiding geven. Irene Start (2012) onderzocht de tests van bedrijven en kwam tot de conclusie dat bedrijven steeds kortere psychologische tests afnemen bij sollicitanten. Hierdoor wordt de test onbetrouwbaarder.

Door een test kunnen belangrijke beslissingen worden genomen, zoals bijvoorbeeld het wel of niet toelaten tot een opleiding of het wel of niet plegen van euthanasie. Een test kan dienen als prestatietest of bijvoorbeeld om typische gedragingen te onderzoeken. Een intelligentietest is een maximale prestatietest. Een intelligentietest kan eenvoudig of veelvoudig zijn.

Specifiek gedrag wordt vaak onderzocht door middel van observatietests, somato-fysiologische metingen (onder andere bloeddruk en hartslag), zelfrapportage vragenlijst (onder andere persoonlijkheid en gericht op het probleem) en kwalitatieve prestatietests (bijvoorbeeld wanneer een persoon echt moet presteren). Deze onderzoeken kunnen in verschillende vormen worden aangeboden, zoals mondeling, via de computer of op papier. Het wordt toegepast voor de wetenschap of voor in de praktijk. De doelgroep ontstaat door een verschil in geslacht, leeftijd, opleiding, afkomst en/of ziekte/handicap. Enkele testkenmerken zijn de constructiemethode, de mate van standaardisatie, individuele- of groepsafname, de scoring en het toepassingsgebied.

Er zijn vele mensen betrokken bij een test, zoals de testontwikkelaar (The Standards), de testgebruiker (COTAN), de testnemer en de maatschappij. Bij het ontwikkelen van een test moet er rekening worden gehouden met de ethiek.

Dyslexie

De kenmerken tijdens het basisonderwijs en de symptomen van Dyslexie zijn bekend. Om erachter te komen of iemand Dyslexie heeft wordt er gebruik gemaakt van een signaleringstest of screeningstest. In groep zeven en acht van de basisschool komt de Dyslexie opsporingstest van pas bij het zoeken naar Dyslexie bij het kind. De uitgangspunten van de diagnostiek zijn het bepalen van het niveau van lezen en spellen, het in- en uitsluiten van factoren die te maken kunnen hebben met het probleem, Dyslexie onderscheiden van andere problematiek waarbij gelijksoortige kenmerken kunnen optreden en het vinden van aanknopingspunten voor de aanpak. De aanknopingspunten van aanpak zijn de grootte van de lees-/spellingsachterstand, de ernst van de fonologische problemen, het intelligentieniveau, de specifieke taalproblematiek, de aanwezigheid van geheugenproblemen, het functioneren van de waarneming, de aanwezigheid van problemen met het organiseren en de aanwezigheid van concentratie- en gedragsproblemen

In de test worden de volgende constructen gemeten:

1. De intelligentie
2. De fonologische verwerking
3. De andere taalvaardigheden
4. Het verbaal geheugen
5. De visuele verwerking
6. De auditieve discriminatie
7. De organisatie, de planning, de rijping

Voor een psycholoog is het belangrijk dat de juiste test wordt gekozen, dat de afname van de test op een goede manier plaatsvindt, dat de test juist wordt geïnterpreteerd en dat de gevolgen van de interpretaties bekend zijn.

Items en antwoordmogelijkheden

Bij het formuleren van de items moet er aan enkele voorwaarden worden voldaan. Zo moeten de items eenvoudig en te begrijpen zijn, dubbele vragen en directe ontkenningen (als niet en geen) moeten worden vermeden, ook feitelijke uitspraken en vage bewoordingen moeten worden vermeden en de belangrijkste notie moet aan het eind van het item komen.

Bij het maken van de antwoordmogelijkheden is het belangrijk dat deze categorieën diepgaand zijn (het antwoord van de respondent moet erbij zitten), dat de categorieën genoeg verschillen van elkaar (niet twee antwoorden zijn juist voor de respondent), dat de categorieën in een logische volgorde staan en dat bij verschillende items zoveel mogelijk dezelfde antwoordcategorieën staan.

Hoorcollege 2

In dit college worden de Klassieke Testtheorie en Item Response Theorie behandeld door gastdocent Dylan Molenaar van de Universiteit van Amsterdam.

Ruimtelijk inzicht meten is in de psychologie moeilijker dan in de exacte wetenschap. Dit komt doordat er bij de psychologie altijd sprake is van een omgeving en er kan veel sneller een fout worden gemaakt door de proefpersoon. Bij de exacte wetenschap is er veel minder ruis, doordat een lengte bijvoorbeeld gewoon met een liniaal wordt gemeten. Er komt vrijwel steeds dezelfde waarde uit. Daarom moet er bij de psychologie gebruik worden gemaakt van meerdere items (metingen).

Psychometrie

Psychometrie (onderzoek naar het meten van psychologische verschijnselen) is op twee verschillende manieren mogelijk, namelijk:

1. De Klassieke Testtheorie
2. De Item Response Theorie

De Klassieke Testtheorie maakt één constructscore van meerdere itemscores door de somscore te nemen. De somscore is de ware score en de ruis (meetfout) bij elkaar opgeteld. De voordelen van de Klassieke Testtheorie zijn dat het heel efficiënt en instinctief is. Het zit namelijk verwerkt in SPSS en er zijn maar weinig proefpersonen of items voor nodig. De nadelen van de Klassieke Testtheorie zijn dat de focus op de test ligt en niet op de items. Ook is het populatie- en testafhankelijk.

De Item Response Theorie focust echt op de items zelf. De items worden aan een overkoepelend construct gekoppeld (de latente trek). Deze theorie wordt daarom ook wel de Latente Trektheorie genoemd. Het construct is niet direct waarneembaar, waardoor er naar de items moet worden gekeken. De Item Response Theorie kent item karakteristieke items en een schaal informatie functie. Laatstgenoemde is een test voor het meten en voor cut-off beslissingen (wel of niet aannemen). De Item Response Theorie kent drie aannames, namelijk:

1. Unidimensionaliteit (de items meten één en hetzelfde construct)
2. Lokale onafhankelijkheid (de items zijn onafhankelijk van elkaar, het construct legt de samenhang uit)
3. Monotonicity (verandering in het construct is eenzelfde verandering in de items)

Met de Item Response Theorie kan men de eerlijkheid van de item en Computerized Adaptive Testing onderzoeken. Computerized Adaptive Testing (CAT) houdt in dat de populatie in twee delen wordt gesplitst en ieder deel een eigen test krijgt. Hierbij wordt een item voorgelegd en wanneer het antwoord goed is dan zal een moeilijker item volgen. Wanneer het antwoord fout is dan zal een makkelijker item volgen. Dit gaat door totdat de waarde niet meer veranderd. De voordelen van de Item Response Theorie zijn dat het populatie- en testonafhankelijk is en er een focus ligt op de items. De nadelen van de Item Response Theorie zijn dat het statistisch moeilijker is en dat er veel proefpersonen nodig zijn.

Hoorcollege 3

In dit college worden hoofdstuk 5 en 6 behandeld.

Meetfout

Meetfouten moeten worden meegenomen in een onderzoek. Zo bestaat de Klassieke Testtheorie uit een formule waar de ware score wordt opgeteld bij de meetfout. Een meetfout is dat gedeelte van de geobserveerde score dat geen rol speelt bij de ware score van de proefpersoon. Meetfouten kunnen worden onderverdeeld in twee categorieën, namelijk random meetfouten en systematische meetfouten. Random meetfouten zijn toevallige meetfouten die bijvoorbeeld ontstaan door een bepaalde omstandigheid als het maken van geluid. Deze random meetfouten kun je eruit halen door de proef te herhalen. Systematische meetfouten zijn vrij voorspelbaar en niet te wijten aan toevalligheden. Deze meetfouten kun je uit het onderzoek halen door de meetfout te herhalen. De systematische meetfouten bevinden zich vaak in hetzelfde gebied, terwijl de random meetfouten vaak verspreid zijn over de proefpersonen en de proef.

Een standaard meetfout wordt gebruikt voor het schatten van een interval van de ware score. De standaard meetfout is kleiner wanneer de betrouwbaarheid groter is.

Betrouwbaarheid

Ook de betrouwbaarheid is erg belangrijk in een onderzoek. Er zijn verschillende maten van betrouwbaarheid, namelijk de test-hertest, parallelle vormen, interne consistentie en interbeoordelaarsbetrouwbaarheid.

De test-hertestbetrouwbaarheid controleert of er bij de proefpersoon ongeveer dezelfde scores uit de proef komt op tijdstip één en tijdstip twee. De test-hertestbetrouwbaarheid is het laagst bij onderzoeken als:

1. Evaluatie vragenlijsten
2. Intelligentietests (bijvoorbeeld voor kleuters)
3. Neuroticisme vragenlijsten
4. Werkgeheugentests (bijvoorbeeld de Digit Span test)

Een resultaat van deze onderzoeken verschilt op tijdstip één vaak te veel met het resultaat op tijdstip twee.

De parallel-testbetrouwbaarheid maakt gebruik van twee verschillende versies van het onderzoek. Hier wordt de betrouwbaarheid gehaald uit de gelijkenis in beide versies. Hoe meer gelijkenis er is, hoe betrouwbaarder het onderzoek is. Bij de split-half reliability wordt de proef in twee delen gesplitst en worden de resultaten van het ene deel met de resultaten van het andere deel vergeleken. Dit wordt vaak gedaan wanneer er te weinig geld is om twee tests te maken of vanwege de beperkte tijd.

De betrouwbaarheid kan worden bepaald door de correlaties tussen de delen van de proef te schatten. Dit wordt gedaan met behulp van de Spearman Brown formule. In deze formule is het aantal tests van belang en de betrouwbaarheid van de huidige test. De formule wordt ook gebruikt om te beslissen over een testverlenging en een testverkorting. Een nadeel van het gebruik van de Spearman Brown formule is dat je niet weet of de delen van de proef wel parallel zijn.

Cronbach’s alpha (coëfficiënt alpha) wordt het meest gebruikt. Het is de maat voor de samenhang van de test (interne consistentie). In deze formule is de variantie van belang. Met behulp van de Cronbach’s alpha kun je slechte items opsporen. De KR-20 wordt gebruikt bij dichotome opgaven. Dichotoom houdt in dat het item maar twee waarden kan aannemen.

De interbeoordelaarsbetrouwbaarheid houdt in dat meerdere beoordelaars de metingen uitvoeren. Wanneer er een grote overeenkomst is tussen de resultaten van de metingen, dan is de betrouwbaarheid groot.

Validiteit

De validiteit van een onderzoek gaat over het feit of een test wel meet wat de test hoort te meten, of de beslissingen te verdedigen zijn en of de kwaliteiten voor het doel waarvoor de test gebruikt wordt zijn.

Allereerst is er de inhoudsvaliditeit (content validity). Hier gaat het om de overkoepelende test die alle onderdelen hoort te meten. Inhoudsvaliditeit is belangrijk wanneer je iets samen wilt vatten (bijvoorbeeld tentamens). Hier is het van belang dat er van te voren goed wordt nagedacht over de bepaalde onderdelen en dat er naar een beoordeling van experts wordt gevraagd. Nadelen kunnen zijn dat de test onvolledig is of niet relevante inhoud bevat.

Vervolgens is er de criteriumvaliditeit (criterion-related validity). Dit gaat over de juistheid van de test in het voorspellen van de prestatie van de proefpersoon op een criteriummaat. De samenhang tussen een predictor en criterium moet hoog zijn. De predictieve validiteit kijkt naar de prestaties van de persoon in de toekomst. Wanneer we kijken naar de studie Psychologie dan kunnen we de resultaten van de motivatietest en de eerste paar tentamens bekijken. Er is sprake van positives en negatives. TP (true positive) houdt in dat iemand is aangenomen en geschikt is, TN (true negative) houdt in dat iemand niet is aangenomen en niet geschikt is, FP (false positive) houdt in dat iemand is aangenomen en niet geschikt is en FN (false negative) houdt in dat iemand niet is aangenomen, maar wel geschikt is. Hit rate is een juiste beslissing en miss rate is een foute beslissing. De criteriumvaliditeit kent ook een concurrent validiteit. Hier worden prestaties op een criterium tegelijk gemeten.

Bij de constructvaliditeit verwachten we:

1. Structuur (homogeniteit,factoranalyse)
2. Verschillen in de groep
3. Ontwikkeling
4. Samenhang met andere constructen

Het gaat bij de constructvaliditeit over de juistheid van het meten van het construct. De multitrait-multimethode matrix (MTMM) is een manier om de constructen te meten.

Er zijn twee visies op de validiteit, namelijk:

1. Een interpretatie van een test is valide als er genoeg empirische steun is voor de interpretatie (Messick,1989)
2. Een test is valide als er een causale relatie is tussen de eigenschap en de testscore (Borsboom,2003)

Enkele belangrijke vragen bij een testbeoordeling zijn:

1. Is de test betrouwbaar en valide?
2. Is het juiste onderzoek uitgevoerd om de betrouwbaarheid en validiteit vast te stellen?
3. Heeft het onderzoek plaatsgevonden bij de juiste doelgroep?

Hoorcollege 4

In dit college worden normen en de COTAN behandeld door gastdocent Paul Oosterveld (TNS-NIPO).

Normgroepen zijn groepen waarmee het antwoord van een proefpersoon wordt vergeleken. Deze groepen horen representatief te zijn. Dit is afhankelijk van de doelgroep en meetpretentie. Er kan sprake zijn van een splitsing, bijvoorbeeld van geslacht of leeftijd. Ook moeten normgroepen voldoende groot zijn. Een groep tussen de 200 en 400 proefpersonen is het best.

De soorten normen worden bepaald op basis van cumulatieve frequenties, zoals bijvoorbeeld percentiel, stanines en decielen. Staninescores gaan over een interval. Ook op basis van verdelingskenmerken, zoals bijvoorbeeld z-score, IQ-schaal en T-score, worden de soorten normen bepaald. De testscores moeten bij benadering normaal verdeeld zijn.

De Wechsler Intelligence Scale for Children (WISC) kent verschillende normen, namelijk normen op het gebied van:

1. Informatie
2. Overeenkomsten
3. Cijferreeksen
4. Rekenen
5. Begrijpen
6. Woordkennis
7. IQ

Bij discontinue normen zijn de scores onderbroken en niet doorlopend. De discrete schaal meet de discrete variabele. Bij continue normen zijn de scores niet onderbroken en doorlopend. De continue schaal wordt gebruikt voor het meten van de continue variabele.

COTAN

De COTAN is de Commissie Testaangelegenheden Nederland. Het doel van deze commissie is het gebruik en de kwaliteit van tests in Nederland te verbeteren. De COTAN beoordeelt de tests, vragenlijsten enzovoort met behulp van verschillende criteria, zoals bijvoorbeeld normen, betrouwbaarheid, kwaliteit van het materiaal en de handleiding en validiteit. De informatie wordt gedeeld met de gebruikers van de tests.

Leden van het Nederlands Instituut van Psychologen en mensen buiten dit instituut om beoordelen de tests, zodat er een zo goed mogelijk resultaat uitkomt. De tests moeten up to date blijven om de kwaliteit van de tests het best te kunnen waarborgen.

Hoorcollege 5

In dit college worden hoofdstuk 7 en 8 behandeld, dit zijn hoofdstuk 2 en 3 van de Syllabus.

Om een test te construeren, doorloopt het een bepaald proces. Allereerst is er de test conceptualisatie. Hier wordt een theoretisch kader vastgesteld en wordt begripsanalyse uitgevoerd (pilot work). Vervolgens wordt de test geconstrueerd door het specificeren van kenmerken van de items en test. Dit gebeurd door de type items te bekijken, door scaling en door scoring. Daarna worden de items geproduceerd en vindt de test try-out plaats. Als dit is afgerond dan is er een analyse waar de items worden beoordeeld en de schalen worden geconstrueerd door revisie, normering en valideren van de metingen.

Methoden

Er bestaat een rationele-, een prototypische-, een interne-, een externe-, een construct- en een facetmethode. Bij de rationele methode is het oordeel van de constructeur het belangrijkst. Er wordt aangenomen dat er een één op één relatie is tussen verbale rapportage en mentale gesteldheid. De constructie van items worden hier opgebouwd door typerende gedragingen. De schaalconstructie wordt beoordeeld door de experts. Het doel van de rationele methode is het optimaliseren van de indruksvaliditeit (oftewel de face validity).

Bij de prototypische methode moeten de items prototypische kenmerken voorstellen. Hier moeten minder kenmerkende elementen worden vermeden. De typerende handeling wordt beschreven van een persoon die de eigenschap in sterke mate bezit. Zo zal iemand met smetvrees bijvoorbeeld heel vaak zijn of haar handen wassen en aanraking met de omgeving het liefst uit de weg proberen te gaan. De schaalconstructie bestaat uit een prototypicaliteitsbeoordeling. Dit houdt in dat de items met de hoogste beoordeling worden opgenomen in de test.

Bij de interne methode worden de begrippen afgeleid op basis van de analyse van de testresultaten. De itemconstructie bestaat uit het verzamelen van bestaande items en bij de schaalconstructie wordt gebruik gemaakt van factoranalyse en homogeniteitsanalyses (Cronbach’s Alpha). De theorie over wat de test meet wordt achteraf geformuleerd (validiatieonderzoek). De Nederlandse Persoonlijkheids Vragenlijst (Lutein, Starren & van Dijk, 2000) is hier een voorbeeld van.

Bij de externe methode wordt de criteriumvaliditeit geoptimaliseerd. De itemconstructie bestaat uit de heterogene itemset (veel aspecten van het criterium in items gerepresenteerd) en vaak bestaande itemsets. Bij de schaalconstructie wordt er gekeken naar items die sterk samenhangen met het criterium en weinig inhoudelijke eisen hebben. Er is bij deze methode geen sprake van een theoretische verklaring, maar de samenhang telt. De Minnesota Multiphasic Personality Inventory (MMPI) is hier een voorbeeld van.

Bij de constructmethode is de begripsvaliditeit (construct validity) het belangrijkst. Er wordt gekeken naar de begripsanalyse en de relaties met andere constructen (nomologisch netwerk). De verantwoording van de inhoud van de items is essentieel, wanneer we verder gaan met de itemconstructie. Ook de begripsverzadigend en het steeds afvragen of items niet een ander begrip meten is van belang. De schaalconstructie wordt beoordeeld door experts en respondenten. Het gaat hier om psychometrische itemeigenschappen en convergente/divergente itemvaliditeit.

Bij de facetmethode staat het optimaliseren van de inhoudsvaliditeit centraal. Er vindt een uitgebreide begripsanalyse plaats door definitie van het begrip en identificatie van facetten. Ook het bepalen van elementen van elk facet en het facetontwerp (waarin onderlinge relaties worden vastgesteld, structuples) zijn hier belangrijk. Wanneer we kijken naar de itemconstructie gaat het om één of meer items per structuple. Het facetontwerp wordt getoetst.

Hoorcollege 6

In dit college worden hoofdstuk 12, 13 en 16 behandeld door gastdocent Frank van Luik (LTP).

Assessment

Bij het begin van een assessment is het belangrijk om te kijken naar de functieanalyse (CIT) en de contextanalyse (DOC). Met functieanalyse wordt er gezocht naar bepaalde informatie over het assessment. Met de contextanalyse wordt het gehele assessment bekeken onder bepaalde omstandigheden. Grafologie en projectieve technieken worden niet als instrumenten gebruikt. De volgende middelen worden wel gebruikt:

1. Simulaties (rollen, analyse- en groepsopdrachten, fact-finding, in-baskets)
2. Persoonlijkheidsvragenlijsten
3. Behoeftes
4. Interview (STAR)
5. Intelligentietests
6. Motivatie

Natuurlijk zitten er wel eisen aan deze middelen verbonden. Zo moet het valide en betrouwbaar zijn, heeft het een bepaalde norm en is er sprake van acceptatie.

Beslissing

Om tot een beslissing te komen, wordt er gekeken naar het assessment oordeel en het praktijk oordeel. Een positief praktijkoordeel en een negatief assessment oordeel zorgt voor een false negative. Een positief assessment oordeel en een negatief praktijkoordeel zorgt voor een false positive.

Evaluatie

Ook de evaluatie van een assessment is van belang, is er bijvoorbeeld sprake van voldoende diversiteit in sekse en cultuur? Het Nederlands Instituut van Psychologen (NIP) heeft toegang tot het assessment om te oordelen of het assessment ethisch verantwoord is. Het NIP kan het assessment blokkeren, indien zij het niet eens zijn met de methode van testen.

Hoorcollege 7

In dit college worden hoofdstuk 9 en 10 behandeld door gastdocente Brenda Jansen van de Universiteit van Amsterdam (ontwikkelingspsychologie).

Er zijn verschillende definities van intelligentie. Zo zegt men dat intelligentie is wat een intelligentietest meet, de vaardigheid is om ingewikkelde problemen onder veranderende omstandigheden op te lossen of dat intelligentie de verwerkingssnelheid (g) inhoudt. Ook is intelligentie het kunnen beschikken over de technieken die nodig zijn om de uitdagingen en eisen waarmee de mens dagelijks wordt geconfronteerd tegenstand te bieden.

Volgens de psychometrische benadering heeft intelligentie als doel om kinderen te kunnen onderscheiden en om kwantitatieve verschillen op te merken. De Stanford-Binet test is een methode om intelligentie te meten. Schoolprestaties kunnen worden voorspeld, maar dit is wel cultuurafhankelijk. Cultuurvrije tests worden gebruikt wanneer een individu niet dezelfde mogelijkheid heeft gehad om kennis te verwerven.

Methoden om intelligentie bij volwassenen te meten zijn onder andere:

1. Wechsler Adult Intelligence Scale (16-85 jaar)
2. Groninger Intelligentie Test (16-76 jaar)

Theorieën over intelligentie

Er zijn verschillende theorieën over intelligentie. Positive manifold (g) is hier één van. Deze theorie zegt dat bij intelligentie alle correlaties positief zijn. Zo is er bijvoorbeeld een positieve correlatie tussen de factoren taal, ruimtelijk inzicht, geheugen en rekenen. Factoranalyse levert niet altijd een factor op. “g” heeft ook een theoretische basis en oplossingen zonder “g”

zijn suboptimaal. De verschillende methoden van factoranalyse leiden tot verschillende oplossingen, ook kan positive manifold ontstaan door overlap van de subtests.

Een andere theorie is mutualisme (een alternatieve verklaring voor positive manifold). Deze theorie zegt dat de correlaties een resultaat zijn van de ontwikkeling van cognitie. Deze ontwikkeling is dynamisch. Mutualisme is dus een alternatieve verklaring voor de positieve samenhang tussen subtests van een IQ-test.

Intelligentie bij kinderen

Bij babies wordt er gekeken naar het richten van aandacht. Belangrijke factoren zijn executief functioneren (het doelgericht uitvoeren van taken en wat hiervoor nodig is) perseveren, het werkgeheugen en habituatie.

De relatie tussen habituatie en intelligentie heeft een lage betrouwbaarheid en stabiliteit. Hoge correlaties kunnen worden veroorzaakt doordat de steekproef een aantal zeer laag scorende kinderen omvat. Negatieve resultaten worden niet gepubliceerd.

Methoden om intelligentie bij kinderen te meten zijn:

1. WPPSI 
2. Snijders-Oomen Nonverbale Intelligentietest (6-40 jaar)
3. Bayley’s Scales of Infant Development II (1-42 maanden)
4. Revisie Amsterdamse Intelligentietest
5. Wechsler Intelligence Scale for Children (6-16 jaar)

De stabiliteit van intelligentie is moeilijk te bepalen. Het vereist namelijk longitudinaal onderzoek, er zal discontinuïteit zijn in definitie van het concept intelligentie en er is sprake van meetequivalentie. De correlatie tussen IQ-scores is hoog vanaf zes jaar. Er is een definitiebreuk van intelligentie voor en na vier jaar.

Kwantificeren van intelligentie

Veelgebruikte scores voor intelligentie zijn de normaalverdeling, het gemiddelde IQ is 100 en de standaarddeviatie is 15, de onbetrouwbaarheid is groter bij extreme scores en de gemiddelde normscore van Wechsler scales is 10 en de standaarddeviatie is 3. Hernormeren en het Flynn-effect (het stijgen van het IQ gemiddelde in de loop van de jaren) worden ook meegenomen bij het kwantificeren van intelligentie.

Een recente hernormering is SON-R 6-40. De algemene intelligentie onderzoeken zijn onafhankelijk van taal: Instructies non-verbaal. Het is een adaptieve procedure voor kinderen en volwassenen (6-40 jaar) bestaande uit verschillende niet-verbale taken. Plaatjes uit de SON-R 5½-17 waren soms verouderd, in verschillende stijlen getekend, onduidelijk of cultuurgevoelig. Hernormeren is ook belangrijk in verband met het Flynn-effect.

Verklaringen van het Flynn-effect zijn:

1. Verbetering van scholing
2. Omgeving complexer geworden
3. Meer opdrachten/tests/speelgoed in omgeving
4. Verbetering van gezondheidszorg en opvoeding
5. Betere voeding
6. Toegenomen zelfverzekerdheid bij testafname
7. Individual & social multiplier

Genetische verschillen kunnen verschillen in intelligentie verklaren, maar ook omgeving speelt rol. Schoolprestaties zijn slechts voor een deel afhankelijk van intelligentie.

Hoorcollege 8

In dit college wordt hoofdstuk 11 behandeld door gastdocente Marleen van der Lubbe, beleidsadviseur onderwijskwaliteit (PO-raad).

Het doel van evaluatie is het verzamelen van informatie voor beslissingen in het onderwijs. Deze informatie geldt voor drie niveaus:

1. Op leerling- en groepsniveau (de vordering en het vervolg in het onderwijsleerproces, de rapportage over de ontwikkeling)
2. Op schoolniveau (school zelfevaluatie, externe verantwoording)
3. Op stelselniveau ((inter)nationaal over onderwijs)

Er kan onderscheid worden gemaakt tussen een formatief en summatief assessment. Deze twee genoemde assessments staan tegenover elkaar. Formatief assessment (for learning) vindt plaats tijdens het leerproces en is voor de bijsturing van dit leerproces. Bij summatief assessment (of learning) wordt de mate waarin gestelde leerdoelen zijn behaald vastgesteld (diplomering, selectie, niveaubepaling).

Ook wordt er onderscheid gemaakt tussen de informele en formele evaluatie. Informele evaluatie houdt in dat er door middel van het stellen van vragen, schriftelijke overhoringen, methodegebonden toetsen en observatie van de oplossingsaanpak een dagelijkse evaluatie plaatsvindt. De formele evaluatie houdt in dat er door middel van observatie-instrumenten  (op vaste momenten en aan de hand van objectieve standaarden) en methode onafhankelijke toetsen een meer systematische evaluatie plaatsvindt.

Toetsvormen

Er zijn verschillende soorten toetsvormen. Zo kunnen mensen getest worden door schriftelijke toetsen, mondelinge toetsen, digitale toetsen en observatiesystemen. Om een toets te kiezen wordt er gekeken naar wat de onderzoeker wilt meten, wat het doel is en wat de kenmerken van de toets zijn. Een voorbeeld van een schriftelijke toets is een eindtoets van het basisonderwijs (de Cito-toets). De taalvaardigheden voor kleuters uit groep 1 kan met behulp van een digitale toets worden gemeten. De Drie Minuten Toets (DMT) wordt mondeling getoetst en VISEON is een voorbeeld van een observatiesysteem.

Toetsen hebben verschillende doelen. Een toets kan worden gebruikt voor het beoordelen van leerlingen door te selecteren, classificeren, plaatsen of certificeren. Ook kunnen de groepen leerlingen en scholen, het onderwijsleerproces en de kwaliteit van het onderwijs worden beoordeeld. Selecteren vindt bijvoorbeeld plaats door middel van numerus fixus op verschillende universiteiten. Niet alle leerlingen kunnen dan worden toegelaten. Als leerlingen verschillende programma’s volgen die tot verschillende diploma’s leiden, dan kan er worden overgegaan tot classificatie. Bijvoorbeeld door de keuze voor leerweg VMBO, HAVO of VWO. Plaatsing wordt toegepast als leerlingen op basis van resultaten op een toets verschillende onderwijsprogramma’s volgen die wel tot zelfde diploma leiden. Bijvoorbeeld bij differentiatie in leerstofaanbod PO. Certificering is van belang als beslist wordt of leerlingen een onderwijsprogramma wel of niet met succes afgesloten hebben. Een voorbeeld hiervan is het centraal examen op het voortgezet onderwijs.

De functie van een eindtoets van het basisonderwijs is het geven van een onafhankelijk advies (primair) en school zelfevaluatie (secundair). Een leervorderingentoets meet wat de leerlingen in de jaren op het basis onderwijs hebben geleerd. Dit is een indirecte meting.

Door informatie over het verloop van het onderwijsleerproces kan onderwijs indien nodig aangepast worden. Een voorbeeld hiervan is het Cito volgsysteem. Dit is een hulpmiddel om op systematische wijze de kwaliteit van het onderwijs te bewaken en de voortgang van leerlingen en het indien nodig aan te passen. Scholen kunnen hiermee bepalen of er sprake is van vooruitgang bij de leerlingen en of deze vooruitgang voldoende is. Ook kan worden vastgesteld of bepaalde leerlingen extra hulp nodig hebben en wat de aard van het probleem is. Daarnaast kan de leerstof op de leerlingen worden afgestemd en kan er worden bepaald of het onderwijs moet veranderen. Dit vindt plaats in drie stappen, namelijk:

1. Door signaleren (toets afnemen, registreren en interpreteren)
2. Door analyseren (aanvullende informatie verzamelen, overleggen en een plan maken)
3. Door handelen (plan uitvoeren en evalueren)

Een onderliggende meettechniek is IRT. Hierbij kunnen toetsen die verschillen qua inhoud,

moeilijkheidsgraad en aantal opgaven worden vergeleken. Vergelijkingen kunnen worden gemaakt met de persoon zelf, maar ook met andere personen.

Door verticale verantwoording (onder andere inspectie van het onderwijs), horizontale verantwoording (onder andere ouders en basisscholen) en school zelfevaluatie ontstaat er door de resultaten van de leerlingen meer informatie over groepen en scholen. Een dwarsdoorsnede van de school zelfevaluatie is bijvoorbeeld de vraag hoe de school het op een of meerdere vakgebieden op een bepaald moment doet. Bij trendanalyse (jaargroepen) wordt er gekeken naar de prestaties van de leerlingen van een bepaalde groep in

vergelijking tot dezelfde groep in voorgaande jaren. Bij trendanalyse (van leerlingen) wordt er bijvoorbeeld gekeken hoe de leerlingen van een bepaalde groep het in voorgaande jaren op een bepaald leergebied doen. De inspectie beoordeelt de kwaliteit van het

onderwijs op vijf domeinen, namelijk opbrengsten, zorg en begeleiding, kwaliteitszorg, onderwijsleerproces en wet- en regelgeving.

De functies van een cohortonderzoek (Onderwijs-loopbaan) zijn betrouwbare en vergelijkende informatie (voor scholen, besturen en gemeenten), een informatiebron voor ontwikkeling in het onderwijs (voor beleidsmakers) en een uniek databestand voor analyses (voor de wetenschap) verkrijgen.

De kwaliteit van het onderwijs wordt bijvoorbeeld beoordeeld door PPON (halverwege en eind Basis Onderwijs en SBO), PIRLS en TIMMS (leesvaardigheid en vaardigheid in rekenen en natuuronderwijs van leerlingen groep 6) en PISA (leesvaardigheid, wiskunde en

natuurwetenschappen voor leerlingen van 15 jaar). PPON is een reeks toetsten, waar elke leerling een subset van opgaven van maakt. De resultaten komen in het onderzoeksrapport en in een folder voor scholen. De standaarden worden bepaald door deskundigen en vergeleken met feitelijke prestatie.

Hoorcollege 9

In dit college wordt hoofdstuk 15 behandeld door onder andere gastdocent Ben Schmand van de Universiteit van Amsterdam (Brein en Cognitie, AMC Neurologie).

Patiënten worden voor neuropsychologisch onderzoek (NPO) doorverwezen. Het dossier wordt bestudeerd, er vindt anamnese en heteroanamnese plaats, er is een testafname, de tests worden uitgewerkt, de conclusies worden getrokken en er vindt rapportage en vervolgens multidisciplinair overleg plaats. Neuropsychologisch onderzoek vindt plaats bij het vermoeden van een stoornis in de hersenfuncties of hersenziekte, voor wetenschappelijk onderzoek, bij evaluatie van de behandeling, het kwantificeren van het ziektebeloop of herstel, het kiezen van de behandeling of bij ziekte of schade. Neuropsychologische tests kijken naar cognitieve functies of ander soorten gedragskenmerken. Ze zijn gevoelig voor hersenschade of –ziekten en nuttig bij het beschrijven/kwantificeren van het gedrag na eventuele hersenschade of –ziekten.

Neuropsychologische tests richten zich op cognitie. Aandacht waarneming (visueel, tactiel, auditief), motoriek, geheugen, intelligentie, sociale cogniete, taal, abstraheren en redeneren en executieve functies vallen onder de cognitie. De tests zijn (zelf)beoordelingsschalen. Zo worden cognitieve klachten, de stemming, zorgbehoefte, kwaliteit van leven, persoonlijkheid en gezondheidsklachten gemeten. Het testen van de intelligentie wordt vaak gedaan door de WAIS-III.

Het is van belang dat de test betrouwbaar, valide (vooral predictief valide) en ecologische valide is. Normen zijn ook belangrijk en het corrigeren (voor leeftijd, geslacht of opleidingsniveau) is soms ook nodig.

Tentamen

Voor het tentamen van Testconstructie zijn de volgende tips gegeven:

1. Lees het boek (dikgedrukte termen, ken belangrijke namen en tests, gebruik overzichtstabellen)
2. Bekijk de collegesheets
3. Gebruik schema om kennis te toetsen (syllabus)
4. Leg de link tussen de hoorcolleges, de syllabus en het boek
5. Ken de verschillende meetniveaus (nominaal, ordinaal, interval, ratio)

Hoorcollege 10

In dit college wordt hoofdstuk 14 behandeld door onder andere gastdocente Marieke van de Vijver van de Universiteit van Amsterdam en Psychologiepraktijk van de Vijver.

Het stellen van een diagnose is een belangrijk deel van assessment.

Bij diagnostisch onderzoek zijn enkele factoren van belang. Zo kan er bij een leerling worden gekeken naar de omgevingsfactoren en het intelligentieniveau en –profiel. De omgevingsfactoren worden bestudeerd door middel van een ontwikkelingsanamnese, een gezinsonderzoek of door contact met de leerkracht.

Ook individueel onderzoek kan worden toegepast. De TOM test is hier een voorbeeld van. Daarnaast kan ook onderzoek plaatsvinden via informanten, bijvoorbeeld door middel van VISK of SRS. VISK meet probleemgedrag van kinderen met een ontwikkelingsstoornis. Vervolgens wordt er bepaald welke behandeling nuttig zal zijn. Zo kan er bijvoorbeeld gekozen worden voor exposure.

Interviews komen ook vrijwel altijd aan bod bij een diagnostisch onderzoek. In een interview wordt een zo compleet mogelijk beeld gevormd van de cliënt.

Tentamen

In deel twee van de powerpoint van hoorcollege 10 staat per hoofdstuk aangegeven wat er belangrijk en onbelangrijk is om te weten voor het tentamen.