Item Response Theory (from: 9th edition of Psychological testing and assessment) - Cohen - Article

1. Item Response Theory (Cohen)

Item Response Theory (IRT), also known as latent-trait theory, is a family of theories and methods that provides a way to model the probability that a person with X ability (e.g., a particular personality trait) is able to perform (e.g., on a personality test) at a level of Y.

IRT is not a single method or theory. Instead, IRT is a family of theories and methods, comprising well over a hundred different models. Each model as its own assumptions and data characteristics to handle data. There are, for instance, IRT models designed specifically for tests with dichotomous test items (yes/no, true/false). Other models are specifically designed to for tests polytomous items (test items with three or more answer categories). Another important group of IRT models is developed by the Danish mathematician George Rash. He developed the so-called Rasch model in which each item on the test is assumed to have an equivalent relationship with the ability, or whatever construct is being measured by the test.

Two very important characteristics in IRT are: (1) the difficulty level of an item; (2) the discrimination of an item's level. Difficulty refers to the attribute of not being easily accomplished, solved, or comprehended. Discrimination refers to the degree to which an item differentiaties among people with higher of lower levels of the trait, ability, or whatever construct is being measured. 

IRT differs in important ways from classical test theory (CTT). First of all, in CTT, no assumptions are made about the frequency distribution of test scores. In contrast, such assumptions are inherent in IRT. More specifically, for most applications in educational and psychological testing, there are three assumptions made regarding the data to be analyzed within an IRT framework. Those three assumptions are: (1) unidimensionality; (2) local independence; (3) monotonicity.

  1. The unidimensionality assumption states that the set of items measures a single latent construct, often denoted by the Greek symbol theta (Θ).
  2. The local independence assumption states that (a) there is a systematic relationship between all of the test items, and; (b) that relationship has to do with the ability level of the test taker.
  3. The monotonicity assumption states that the probability of endorsing or selecting an item response indicative of higher levels of the ability (Θ) should increase as the underlying level of Θ increases.

In practice, IRT models tend to be robust, which implies that they can handle minor violations of these three assumptions. Still, the better the data meets the assumptions, the better the IRT model will fit the data and provide insight into the construct of interest.

Finally, two more definitions are discussed. First, the probabilistic relationship between a test taker's response to an item of the test and the testtaker's level of the latent construct being measures can be expressed in a graphic form by an Item Characteristics Curve (ICC). For each response category a unique curve will be plotted. Next, in such a plot, the vertical axis indicates the probability bounded between 0 and 1 that a person will select one of the item response categories. The horizontal axis indicates the ability level (Θ). Second, another useful curve is the information curve (IC) which provides insight into what items work best with test takers at a particular Θ level as compared to other items in the test.

Check page access:
Public
Check more or recent content:

Literatuursamenvattingen bij Psychodiagnostiek - UL

Samenvatting bij Psychological Testing and Assessment van Cohen et al. - 9e druk

Samenvatting bij Psychological Testing and Assessment van Cohen et al. - 9e druk


Wat zijn de belangrijkste mijlpalen in de geschiedenis van psychologisch testen? - Appendix A

 

2200 B.C.

2200 B.C.

Chinezen beginnen met onderzoeken voor civiele dienst.

1800-1899

1838

Jean Esquirol maakt onderscheid tussen mentale ziekte en mentale retardatie.

1862

Wilhelm Wundt gebruikt een gekalibreerde slinger om de “snelheid van denken” te meten.

1866

O. Eduard Seguin schrijft het eerste belangrijke boek over de beoordeling en behandeling van mentale retardatie.

1869

Wundt richt het eerste experimentele laboratorium voor de psychologie op in Leipzig, Duitsland.

1884

Francis Galton voert de eerste “test battery” uit op duizenden burgers bij de International Health Exhibit.

1890

James McKeen Cattell gebruikt de term “mental test” tijdens de aankondiging van de agenda voor zijn Galtonian test battery.

1896

Emil Kraepelin zorgt voor de eerste uitgebreide classificatie van psychische aandoeningen.

1900-1909

1901

Clark Wissler ontdekt dat de Cattelliaanse “brass instruments” testen geen correlatie hebben met universiteitscijfers.

1904

Charles Spearman stelt voor dat intelligentie uit een enkele algemene factor g en talrijke specifieke factoren s1, s2, s3 etc. bestaan.

1904

Karl Pearson formuleert de theorie van correlatie.

1905

Alfred Binet en Theodore Simone stellen de eerste moderne intelligentie test samen.

1908

Henry H. Goddard zorgt voor een Engelse vertaling van de Binet-Simon schalen.

1910-1919

1912

Stern introduceert de Intelligentie Quotient: IQ = de mentale leeftijd/werkelijke leeftijd.

1916

Lewis Terman corrigeert de Binet-Simon schalen naar de Stanford-Binet: volgende herziene versies verschenen in 1937, 1960, 1986 en 2003.

1917

Robert Yerkes leidt de ontwikkeling van de Army Alpha en Beta onderzoeken die gebruikt werden voor het testen van WOI rekruten.

1917

Robert Woordworth ontwikkelt de eerste persoonlijkheidstest: de Personal Data Sheet.

Jaren 20

1920

Publicatie van de Rorschach inkblot test.

1921

Cattell, Thorndike en Woodworth richten de Psychologische Corporatie, de eerste grote testuitgever, op.

1926

Florence Goodenough publiceert de Draw-A-Man Test.

1926

De College Entrance Examination Board (CEEB) publiceert de eerste Scholastic Aptitude Test (SAT).

1927

Publicatie van de eerste editie van de Strong Vocational Interest Blank.

Jaren 30

1935

Morgan en Murray brengen de Thematische Apperceptie Test (TAT) uit aan Harvard University.

1936

Publicatie van de voorloper van de Iowa Tests of Basic Skills door Lindquist en anderen.

1936

Edgar Doll publiceert de Vineland Social Maturity Scale voor de beoordeling van adaptief gedrag bij mensen met mentale retardatie.

1938

L.L. Thurstone stelt voor dat intelligentie uit zeven groepfactors bestaat: de primaire mentale vaardigheden.

1938

Raven publiceert de Raven’s Progressive Matrices: een non-verbale test van redeneren om de Spearman’s g factor te meten.

1938

Lauretta Bender publiceert de Bender Visual Motor Gestalt Test: een “design-copying test” van visueel-motorische

.....read more
Access: 
Public
Boeksamenvatting bij Psychological Testing and Assessment van Cohen et. al. - 8e druk

Boeksamenvatting bij Psychological Testing and Assessment van Cohen et. al. - 8e druk


Wat houdt psychologisch assessment in? - Chapter 1

Onderscheid tussen meten en testen

De eerste psychologische test werd gepubliceerd door Alfred Binet in 1905 en was bedoeld om te meten in welke klas Franse schoolkinderen het beste geplaatst konden worden. Voor rekrutering in de Tweede Wereldoorlog werden psychologische testen voor het eerst op grote schaal ingezet. Na de oorlog verschenen er steeds meer testen die de meest uiteenlopende psychologische onderwerpen konden meten. Er ontstond een heel bedrijf rondom psychologisch testen. Het begrip testen (‘testing’) werd gebruikt om de afname van een test of om de interpretatie van een testscore te beschrijven. Het begrip meting (‘assessment’) beschrijft de complete set van instrumenten waarmee iemand geëvalueerd kan worden en die gebruikt worden door professionele, getrainde testafnemers. Psychologische testen vallen hieronder. Dit begrip is eveneens ontstaan in de Tweede Wereldoorlog, waar de U.S. Office of Strategic Services mensen evalueerde om te zien of ze geschikt waren voor een bepaalde functie. Het onderscheid tussen meten en testen is van belang: een meting doen vraagt meer vaardigheid en training dan het afnemen van een test. Een psychologische meting (assessment) beschrijft het proces van het verzamelen en integreren van psychologische gegevens om iemand psychologisch te evalueren. Dit gebeurt aan de hand van verschillende instrumenten, zoals testen en observaties. Psychologisch testen beschrijft het meten van een psychologische variabele (vaak een numerieke score) aan de hand van een bepaalde procedure of met behulp van een apparaat. Het neemt een steekproef van een bepaald gedrag.

Proces van assessment

Degene over wie

.....read more
Access: 
Public
Samenvatting Psychological testing and assessment

Samenvatting Psychological testing and assessment

Deze samenvatting is geschreven in collegejaar 2012-2013.


Samenvatting Psychological testing and assessment
Auteur: Cohen & Swerdlik
Gebaseerd op druk 2010

Gebruik de zoekfunctie om meer recent toegevoegde samenvattingen bij dit boek te vinden

 

1. Psychologisch assessment

Onderscheid tussen meten en testen

De eerste psychologische test werd gepubliceerd Alfred Binet in 1905 en was bedoeld om te meten in welke klas Franse schoolkinderen het beste geplaatst konden worden. Voor rekrutering in de tweede wereldoorlog werden psychologische testen voor het eerst op grote schaal ingezet. Na de oorlog verschenen er steeds meer testen die de meest uiteenlopende psychologische onderwerpen konden meten. Er ontstond een heel bedrijf rondom psychologisch testen. Het begrip testen (‘testing’) werd gebruikt om de afname van een test of om de interpretatie van een testscore te beschrijven. Het begrip meting (‘assessment’) beschrijft de complete set van instrumenten waaraan iemand afgemeten kan worden, die gebruikt worden door professionele, getrainde testafnemers. Psychologische testen vallen hieronder. Dit begrip is eveneens ontstaan in de tweede wereldoorlog, waar de U.S. Office of Strategic Services mensen evalueerde om te zien of ze geschikt waren voor een bepaalde functie. Het onderscheid tussen meten en testen is van belang: een meting doen vraagt meer vaardigheid en training dan het afnemen van een test. Een psychologische meting (assessment) beschrijft het proces van het verzamelen en integreren van psychologische gegevens om iemand psychologisch te evalueren. Dit gebeurt aan de hand van verschillende instrumenten, zoals testen en observaties. Psychologisch testen beschrijft het meten van een psychologische variabele (vaak een numerieke score) aan de hand van een bepaalde procedure of een apparaat. Het neemt een steekproef van een bepaald gedrag.

 

Proces van assessment

Degene over wie een bepaalde vraag of een probleem is ontstaan, wordt doorverwezen naar een onderzoeker (‘assessor’). Een dergelijke vraag is bijvoorbeeld of een kind goed genoeg functioneert om in het normale onderwijs te blijven. De docent kan in dit geval de verwijzer zijn. De onderzoeker selecteert instrumenten aan de hand waarvan hij de vraag kan beantwoorden. Dit kan hij doen vanuit zijn ervaring of zijn opleiding. Soms schrijven instituten richtlijnen over welke instrumenten het beste gebruikt kunnen worden. In ieder geval informeert de tester zich over het instrument door wetenschappelijke artikelen te lezen over het gebruik ervan. Vervolgens worden de geselecteerde instrumenten toegepast om gegevens over de persoon in kwestie te verzamelen. Hierover schrijft de onderzoeker een rapport dat antwoord geeft op de vraag van de verwijzer. Dit bespreekt hij dan weer met de persoon in kwestie of met eventuele derde partijen, zoals ouders.

 

Soorten assessment

Verschillende onderzoekers doen hun assessment op verschillende manieren. Bij collaboratieve psychologische assessment werken de persoon en kwestie en de onderzoeker samen het hele proces van het eerste contact tot de laatste feedback door. Als hierbij therapeutisch zelfinzicht en.....read more

Access: 
Public
Psychological Testing and Assessment - Van der Molen - Custom Edition, Leiden University

Psychological Testing and Assessment - Van der Molen - Custom Edition, Leiden University

This summary is based on the customized edition of Psychological Testing and Assessment - Van der Molen - Leiden University. This book, and hence this summary, is composed of chapters from different books. By clicking on the provided links, you can access the different parts of the summary. The summary is based on the obligatory literature, needed to prepare for the exam of the course "Psychodiagnostics (Psychology, Leiden University)".

Access: 
Public
Artikelsamenvattingen bij Psychodiagnostiek aan de Universiteit Leiden - 2013/2014

Artikelsamenvattingen bij Psychodiagnostiek aan de Universiteit Leiden - 2013/2014


Artikel 1: Niet goed presteren

Een patient kan gedragingen vertonen die ervoor zorgen dat er geen valide conclusies getrokken kunnen worden. Men kan klachten aandikken (aggraveren) of simuleren. Daardoor valt de testscore lager uit dan dat men eigenlijk kan (malingeren, inefficiënt effort).

Bij malingeren wordt er opzettelijk een aantal symptomen overdreven of gesimuleerd. Dit kan door motieven als strafvermijding, maar ook door het willen hebben van een ziekte (nagebootste stoornis). Ook kan het zijn dat men lichamelijke klachten heeft zonder medische verklaring maar met vaak een emotionele verklaring (somatoforme stoornis). Dit is niet gesimuleerd, maar gebeurt onbewust. Deze komt het meest voor en uit zich bijvoorbeeld in hoofdpijn en moeheid. Deze drie verschillende vormen zijn niet goed uit elkaar te houden.

Heel vroeger beschreef Ganser al een syndroom bij gevangenen, waarbij ze op een absurde manier antwoord gaven op vragen die wel een kern van waarheid bevatten (vorbereiden).

Vroeger dacht men dat het simuleren weinig voorkwam. Maar dat heeft ook te maken met het feit dat ui studies blijk dat mensen niet goed zijn in onderscheid maken tussen gesimuleerde en echte symptomen.

Schattingen van de prevalentie lopen uiteen. Vooral bij concentratie en geheugenproblemen wordt het malingeren nog wel eens toegepast. Uit studies blijkt dat het bij meer dan de helft van de lichte aandoeningen zo is. Met zware aandoeningen is dat minder. In Nederland komt het veel voor met betrekking tot chronische vermoeidheid en zaken waar financiële belangen spelen.

Onderzoeken

Malingeren is lastig te onderzoeken, daarom loopt het via allerlei omwegen.  Men kijken naar detectoren van malingeren. Zo wordt er aan gezonde mensen gevraagd symptomen te simuleren (vooraf daarin gecoacht of niet), die vervolgens met zieke en gezonde mensen worden vergeleken (analogieonderzoek). Een detector is dan een score in de test van simulanten die veel lager is dan die van de patiënten. Daarbij wordt de specificiteit (kans op negatief als positief is) en de sensitiviteit (kans op positief als positief is) bekeken. Niet gecoachte simulanten zijn makkelijker te detecteren. Een andere manier is om groepen die er meer of minder belang bij hebben te bekijken. Ook persoonlijkheidstesten kunnen gevoeligheden voor malingeren aanwijzen. Veel onderzoek daarover is in NL echter niet toepasbaar,en door de manier van statistiekgebruik kunnen toevalligheden in een studie veel effect hebben op het resultaat. Ook kan men nog aan mensen vragen welke strategie ze hebben gebruikt (zoals niet begrijpen van vragen en amnesie).

Methoden om het op te sporen

Een methode is symptom validity testing, waarbij ze mensen feedback geven dat ze iets goed doen, waardoor deze mensen het express nog fouter gaan doen. Door ze onder kansniveau te laten presteren kun je simuleren detecteren. Nadeel is echter dat het kansniveau vaak duidelijk is.....read more

Access: 
Public
Item Response Theory (from: 9th edition of Psychological testing and assessment) - Cohen - Article

Item Response Theory (from: 9th edition of Psychological testing and assessment) - Cohen - Article

1. Item Response Theory (Cohen)

Item Response Theory (IRT), also known as latent-trait theory, is a family of theories and methods that provides a way to model the probability that a person with X ability (e.g., a particular personality trait) is able to perform (e.g., on a personality test) at a level of Y.

IRT is not a single method or theory. Instead, IRT is a family of theories and methods, comprising well over a hundred different models. Each model as its own assumptions and data characteristics to handle data. There are, for instance, IRT models designed specifically for tests with dichotomous test items (yes/no, true/false). Other models are specifically designed to for tests polytomous items (test items with three or more answer categories). Another important group of IRT models is developed by the Danish mathematician George Rash. He developed the so-called Rasch model in which each item on the test is assumed to have an equivalent relationship with the ability, or whatever construct is being measured by the test.

Two very important characteristics in IRT are: (1) the difficulty level of an item; (2) the discrimination of an item's level. Difficulty refers to the attribute of not being easily accomplished, solved, or comprehended. Discrimination refers to the degree to which an item differentiaties among people with higher of lower levels of the trait, ability, or whatever construct is being measured. 

IRT differs in important ways from classical test theory (CTT). First of all, in CTT, no assumptions are made about the frequency distribution of test scores. In contrast, such assumptions are inherent in IRT. More specifically, for most applications in educational and psychological testing, there are three assumptions made regarding the data to be analyzed within an IRT framework. Those three assumptions are: (1) unidimensionality; (2) local independence; (3) monotonicity.

  1. The unidimensionality assumption states that the set of items measures a single latent construct, often denoted by the Greek symbol theta (Θ).
  2. The local independence assumption states that (a) there is a systematic relationship between all of the test items, and; (b) that relationship has to do with the ability level of the test taker.
  3. The monotonicity assumption states that the probability of endorsing or selecting an item response indicative of higher levels of the ability (Θ) should increase as the underlying level of Θ increases.

In practice, IRT models tend to be robust, which implies that they can handle minor violations of these three assumptions. Still, the better the data meets the assumptions, the better the IRT model will fit the data and provide insight into the construct of interest.

Finally, two more definitions are discussed. First, the probabilistic relationship between a test taker's response to an item of the test and the testtaker's level of the latent construct being measures can be expressed in a graphic form by an Item Characteristics Curve (ICC). For each response category a unique curve will be plotted. Next, in such a plot, the vertical axis indicates the probability

.....read more
Access: 
Public
Psychodiagnostiek: Samenvattingen, uittreksels, aantekeningen en oefenvragen - UL

Psychodiagnostics: Summaries, Study Notes and Practice Exams - UL

Psychological Testing and Assessment - Van der Molen - Custom Edition, Leiden University

Psychological Testing and Assessment - Van der Molen - Custom Edition, Leiden University

This summary is based on the customized edition of Psychological Testing and Assessment - Van der Molen - Leiden University. This book, and hence this summary, is composed of chapters from different books. By clicking on the provided links, you can access the different parts of the summary. The summary is based on the obligatory literature, needed to prepare for the exam of the course "Psychodiagnostics (Psychology, Leiden University)".

Access: 
Public
Item Response Theory (from: 9th edition of Psychological testing and assessment) - Cohen - Article

Item Response Theory (from: 9th edition of Psychological testing and assessment) - Cohen - Article

1. Item Response Theory (Cohen)

Item Response Theory (IRT), also known as latent-trait theory, is a family of theories and methods that provides a way to model the probability that a person with X ability (e.g., a particular personality trait) is able to perform (e.g., on a personality test) at a level of Y.

IRT is not a single method or theory. Instead, IRT is a family of theories and methods, comprising well over a hundred different models. Each model as its own assumptions and data characteristics to handle data. There are, for instance, IRT models designed specifically for tests with dichotomous test items (yes/no, true/false). Other models are specifically designed to for tests polytomous items (test items with three or more answer categories). Another important group of IRT models is developed by the Danish mathematician George Rash. He developed the so-called Rasch model in which each item on the test is assumed to have an equivalent relationship with the ability, or whatever construct is being measured by the test.

Two very important characteristics in IRT are: (1) the difficulty level of an item; (2) the discrimination of an item's level. Difficulty refers to the attribute of not being easily accomplished, solved, or comprehended. Discrimination refers to the degree to which an item differentiaties among people with higher of lower levels of the trait, ability, or whatever construct is being measured. 

IRT differs in important ways from classical test theory (CTT). First of all, in CTT, no assumptions are made about the frequency distribution of test scores. In contrast, such assumptions are inherent in IRT. More specifically, for most applications in educational and psychological testing, there are three assumptions made regarding the data to be analyzed within an IRT framework. Those three assumptions are: (1) unidimensionality; (2) local independence; (3) monotonicity.

  1. The unidimensionality assumption states that the set of items measures a single latent construct, often denoted by the Greek symbol theta (Θ).
  2. The local independence assumption states that (a) there is a systematic relationship between all of the test items, and; (b) that relationship has to do with the ability level of the test taker.
  3. The monotonicity assumption states that the probability of endorsing or selecting an item response indicative of higher levels of the ability (Θ) should increase as the underlying level of Θ increases.

In practice, IRT models tend to be robust, which implies that they can handle minor violations of these three assumptions. Still, the better the data meets the assumptions, the better the IRT model will fit the data and provide insight into the construct of interest.

Finally, two more definitions are discussed. First, the probabilistic relationship between a test taker's response to an item of the test and the testtaker's level of the latent construct being measures can be expressed in a graphic form by an Item Characteristics Curve (ICC). For each response category a unique curve will be plotted. Next, in such a plot, the vertical axis indicates the probability

.....read more
Access: 
Public
Practice questions - Psychological Testing and Assessment - Van der Molen

Practice questions - Psychological Testing and Assessment - Van der Molen

Practice questions

Chapter 1

1. What is the aim of criterion-referenced tests?

  1. The test person's score is compared with a relevant standardized sample.

  2. The score of the test subject is compared to clearly defined criteria

  3. The score of the test subject is compared with an earlier score of the same test subject on a comparable test.

  4. None of the above

 

2. Standards are intended to...:

  1. Be able to predict deviations.

  2. Determine the validity of a test.

  3. Compare the scores of participants.

  4. Determine the reliability of a test.

 

3. What is meant by informed consent?

  1. The method or test that is most common at the time of collection.

  2. A report that is written directly and concretely.

  3. The subjects are informed about the reasons for the test.

  4. The researcher has sufficient knowledge to lead the test taking.

 

4. What is true about criterion-referenced tests?

  1. Scores are compared with pre-set limits

  2. Scores are compared with the performance levels of others

  3. The tests are passed by everyone

  4. None of the above answers is true

 

5. What is the purpose of standards?

  1. providing an average performance indicator

  2. the prevalence of high and low scores

  3. help determine deviations from the expectation

  4. all the above-mentioned options

 

6. It is important that the test leader takes care of 'report', what is this?

  1. that the test leader keeps a comprehensive report and later evaluates with the client

  2. that the test leader ensures that the client is well informed about the test

  3. that the test leader creates a good rapport with participants.

  4. none of the above answers

 

Chapter 2

 

7. Which test is a well-known personality test?

  1. WISC-III

  2. MMPI

  3. FrSBe

  4. CPT

 

8. This concept dates back to the 4th century BC. Assumes that one's character can be judged on the basis of

.....read more
Access: 
Public
Summaries and study services for Psychology Bachelor 2/3 at Leiden University - Specialisation courses & Electives - Year 2022/2023

Summaries and study services for Psychology Bachelor 2/3 at Leiden University - Specialisation courses & Electives - Year 2022/2023

FSW building

This bundle contains relevent study materials with the second and third year of the Psychology Bachelor programme, in Dutch and English for Leiden University. Do you have your own lecture notes or summaries to share? Make your fellow students happy and upload them to your own WorldSupporter profile.

Work for WorldSupporter

Image

JoHo can really use your help!  Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world

Working for JoHo as a student in Leyden

Parttime werken voor JoHo

How to use more summaries?


Online access to all summaries, study notes en practice exams

Using and finding summaries, study notes en practice exams on JoHo WorldSupporter

There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.

  1. Starting Pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
  2. Use the menu above every page to go to one of the main starting pages
  3. Tags & Taxonomy: gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up
  4. Follow authors or (study) organizations: by following individual users, authors and your study organizations you are likely to discover more relevant study materials.
  5. Search tool : 'quick & dirty'- not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject. The search tool is also available at the bottom of most pages

Do you want to share your summaries with JoHo WorldSupporter and its visitors?

Quicklinks to fields of study (main tags and taxonomy terms)

Field of study

Access level of this page
  • Public
  • WorldSupporters only
  • JoHo members
  • Private
Statistics
918 1
Comments, Compliments & Kudos:

Add new contribution

CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Image CAPTCHA
Enter the characters shown in the image.