Werkgroep 1: Schaling en Normering

Opdracht 1

1. What is psychometrics (as defined in F&B)?
   Psychometrie is de studie naar procedures die gebruikt worden om psychologische fenomenen te meten. Deze psychologische fenomenen zijn vaak niet direct meetbaar.
   Door middel van een psychologische test wordt bepaald gedrag van mensen gerelateerd aan deze niet direct meetbare fenomenen. Psychometrie evalueert de kenmerken van psychologische tests, waarbij drie kenmerken belangrijk zijn:
   1) Het type informatie dat wordt gebruikt bij psychologische tests (dit gaat vaak om scores),
   2) De betrouwbaarheid van de gegevens die gebruikt worden voor psychologische tests,
   3) De validiteit van de gegevens afkomstig van de psychologische tests.

2. Give a few examples of psychological measurement. Which of these are related to directly observable behaviour, and which are related to psychological features that cannot be directly observed?
   Een voorbeeld van een psychologische meting is het meten van de reactietijd. Dit is direct observeerbaar. Kennis, intelligentie, geheugen, depressie of extraversie zijn voorbeelden die niet direct observeerbaar zijn (Furr & Bacharach, 2008). Hiervoor worden dan ook psychologische tests gebruikt, zoals bijvoorbeeld een IQ test, een cognitieve test of het meten van de persoonlijkheid.

    

3. What is (the definition of) a psychological test? Give two very different examples of psychological tests. Classify your examples according to the dimensions mentioned in F&B (p. 7-8).
   Een psychologische test is een systematische procedure waarbij het doel is om het gedrag van twee of meer mensen met elkaar te vergelijken op individueel niveau. Er moeten vergelijkingen kunnen worden gemaakt tussen verschillende personen. Dit worden ook wel interindividuele verschillen genoemd. Tevens moeten er vergelijkingen kunnen worden gemaakt tussen condities en tijdstippen binnen personen. Dit worden ook wel intraindividuele verschillen genoemd.

   Een voorbeeld van een psychologische test is het ‘Beck Depression Inventory’. Dit is een test waarmee depressie wordt gemeten door middel van een multipile-choice test die bestaat uit 21 items (Furr & Bacharach, 2008). ‘The House-Tree-Person Test’ is een test waarbij kinderen wordt gevraagd om een huis, een boom en een persoon te tekenen. Deze tekeningen worden vervolgens geëvalueerd. Kinderen kunnen vervolgens in verschillende groepen worden geplaatst die staan voor verschillende karaktereigenschappen.

   Deze twee psychologische tests kunnen worden toegepast op de verschillende dimensies die van belang zijn bij psychologische tests (Furr & Bacharach, 2008):

1) Inhoud
2) Soort respons (open of gesloten vragen): Bij de ‘Beck Depression Inventory’ wordt gebruikgemaakt van open vragen en bij ‘The House-Tree-Person Test’ wordt gebruik gemaakt van tekeningen, en dan ook niet van open en gesloten vragen.
3) Methode van afname (individueel/groep): De ‘Beck Depression Inventory’ wordt individueel afgenomen. Bij de ‘The House-Tree-Person Test’ wordt er individueel een tekening gemaakt door de kinderen, en vervolgens worden er aan de hand van de evaluatie groepen gevormd.
4) Gebruikersdoel (‘criterium referenced’ of ‘norm referenced’): Bij ‘Beck Depression Inventory’ kan er gesproken worden over ‘criterium referenced’. Bij een bepaalde score kan er namelijk gesproken worden van een depressie, of juist geen depressie. Tegelijkertijd zou er ook gesproken kunnen worden van ‘norm referenced’, aangezien de test gebaseerd is depressiviteit van de mens, en dus iets zegt over de populatie (echter, kom je uiteindelijk altijd bij norm referenced uit, omdat alles gebaseerd is op de populatie). Bij ‘The House-Tree-Person Test’ is lastiger in te delen. Aangezien dit een veel minder systematische test is. Er kan niet gesteld worden dat een bepaalde “score” representatief is voor de populatie (‘norm referenced’). Tevens kan er niet gezegd worden dat er bij een bepaalde “score” sprake is van een criterium.
4) Tijdslimiet (‘speeded tests’ of ‘powertests’): Zowel de ‘Beck Depression Inventory’ en de ‘The House-Tree-Person Test’ zijn voorbeelden van ‘power tests’. Er is namelijk geen tijdslimiet, en er wordt verwacht dat alle vragen beantwoord zijn bij de ‘Beck Depression Inventory’ en bij ‘The House-Tree-Person Test’ de tekening af is.

4. What is the difference between differential psychology and experimental psychology?
   Differentiële psychologie staat bekend als de studie van de individuele verschillen, zoals bijvoorbeeld persoonlijkheidsverschillen. Terwijl de experimentele psychologie zich richt op de gemiddelde persoon (Furr & Bacharach, 2008). Voor minder error is een grotere n nodig.

5. Provide a general definition of measurement and scaling
   Meten is het toewijzen van een cijfer aan objecten of aan kenmerken van individueel gedrag volgens een bepaalde schaal. Schalen is een manier van toewijzen van getallen aan psychologische eigenschappen. Het betreft de eigenschappen van getallen en de meetniveaus van de testscores.
   Hierbij heeft de afstand tussen de getallen een bepaalde betekenis:

• Nominaal: Identiteit van de categorie, welke wederzijds uitsluitend en exclusief moeten zijn (bv. sekse).

• Ordinaal: Nominaal + rangorde (bv. opleidingsniveau).

• Interval: Ordinaal + kwantiteit van de rangorde (elke stap is even groot). Dus 3-2 = 8-7 (bv. Temperatuur, waarbij de 0 een betekenis heeft).

• Ratio: Interval + vast nulpunt. Dus 6*2 = 12 (bv. lengte).

6. Why do we need norms in psychological measurement? What is the difference between relative and absolute norms?
   Er zijn normen nodig voor psychologische metingen, omdat men op deze manier een interpretatie kan geven aan de testscore (‘wat betekent het?’). Het verschil tussen een absolute norm en relatieve norm is dat men bij een relatieve norm wil weten hoe de testscore vergeleken kan worden met andere mensen, en bij een absolute norm wil men de testscore vergelijken met een vast standaard.

7. What is the meaning of and formula for:
   Betekenissen:

• Mean: “een waarde die de typische score in een distributie van scores vertegenwoordigt” (Furr & Bacharach, 2008).

• Sum of squares: Som van de kwadraten van de verschillen van de waarnemingen met hun gemiddelde, ook wel: “de teller van de variantie”.

• Variance: Het verschil tussen scores. Echter, in deze cursus geen N-1, omdat we niet meer hoeven te corrigeren.

• Standard deviation: De spreiding rondom het gemiddelde.

• Cross product (and sum): Kruislings vermenigvuldigen waarbij de kruisproducten in een tabel aan elkaar gelijk staan.

• Covariance: Een set scores wordt met elkaar vergeleken. Er wordt gekeken of er een relatie tussen bestaat.

• Product-moment correlation: De samenhang tussen twee variabelen op interval/ratio niveau wordt hiermee berekend.

  Voor formules zie onderstaande tabel vraag h).

   

8. What is the formula for mean, sum of squares, variance and standard deviation in the case of binary scores?
   Bij binaire scores heeft men bij het beantwoorden van een vraag de keuze uit twee antwoorden, bijvoorbeeld: ja of nee. Zie bovenstaande tabel voor formules.

9.  

   	Interval	Binaire scores	Gestandaardiseerde scores
   Univariaat:
   Gemiddelde	Xgem = (∑X)/N	Xgem = (∑X)/N = p	Zgem = 0
   Sum of squares	∑(X-Xgem)2	N*p*(p-1)	∑Z2 = N
   Variantie	S2 = (∑(X-Xgem)2)/N	S2 = p*(p-1)	S2 =1
   Standaarddeviatie	S= √(variantie)	S =√(variantie)	S = 1
   Bivariaat:
   Crossproduct	Cp = ∑(X-Xgem)(Y-Ygem)
   Covariantie	Covxy = (∑(X-Xgem)(Y-Ygem))/N
   Correlatie	Covxy/(SxSy)

   What is the formula for mean, sum of squares, variance and standard deviation in the case of standardized scores?
   Zie onderstaande tabel voor formules.

Opdracht 2

1. Check whether the codes for these 10 classes of necrophilia meet the requirements of a nominal scale.
   De codes van de tien vormen van necrofilie uit het artikel van Aggrawal (2009), voldoen niet geheel aan een nominale schaal. Niet alle categorieën zijn namelijk wederzijds uitsluitend; dat betekent dat een persoon in meerdere categorieën zou ingedeeld kunnen worden. Ook is er geen sprake van wederzijde uitputting. We weten nooit of we alle schalen hebben die er bestaan. Dit is niet te checken.

2. To what extent does this involve an ordinal scale?
   Er kan gesteld worden dat er niet helemaal sprake is van een ordinale school, aangezien het niet geheel een nominale schaal is en dit een voorwaarde is voor een ordinale schaal. Er is wel ordening in de codes, echter betreft de ordening veel verschillende soorten.

3. To what extent does this involve an interval scale?
   Als er een nul zou bestaan zou dat een absolute nul zijn: afwezigheid van necrofilie. Deze vraag is alleen relevant wanneer we te maken hebben met een ratio-schaal. De afstand tussen de schalen is niet hetzelfde.

Opdracht 4

a) What is the range of possible values of this mathematics scale? What measurement level do you think the scale has?

De schaalscore staat voor het aantal correcte items. De tabel weergeeft dat er 1 tot en met 8 correcte items De schaalscore is hier dan ook 8. Echter, wanneer er rekening gehouden wordt met 0 correcte items, kan er gesproken worden over een schaalscore van 9. Het meetniveau is ordinaal.

b) Create a norm table for this test based on this reference sample, consisting of the following columns:
1) all possible raw scores, in ascending order
2) z-scores (standard scores)
3) T-scores (converted standard scores with a mean of 50 and a standard deviation of 10)
4) percentile ranks

c) Are these relative or absolute norm scores?
De scores zijn relatieve normen, aangezien er wordt vergeleken met het gemiddelde van de groep.

A mathematics teacher uses this test as an exam and computes grades (1-10) from the raw scale scores X. All items solved correctly yields the grade 10.0, and each incorrect answer costs 1.5 grade points, with a minimum grade of 1.0. The grade needs to be 5.5 or higher to pass the exam.

d) What kind of norm score is this grade, relative or absolute?
Absoluut, want het gaat om een vast aantal dat los van de groep staat. 5.5 betekent dat het tentamen gehaald is.

e) Add a column to the norm table with the norm score GRADE. 

Zie tabel.

f) Lionel solved 5 items correctly. How would you interpret this score using the different norm scores?

Lionel heeft een 5.5 behaald op de absolute norm. Relatief gezien heeft 43% hetzelfde of een slechter cijfer volgens de definitie van Moore & McCabe (1999). De z-score betekent hier dat de persoon -.268 onder het gemiddelde heeft gescoord.

Werkgroep 2: Betrouwbaarheid van testscores

Zie bijlage: Psychometrie werkgroep 2

Werkgroep 3: Validiteit van testscores

Opdracht 1

1. What general definition of validity is emphasised in Furr & Bacharach (F&B)?

   Validiteit is de mate waarin bewijs en theorie de interpretatie van testscores ondersteunen die het voorgenomen gebruik van de test met zich meebrengt. Validiteit is dus een toepassing. Een nieuwe titel zou kunnen zijn: Validiteit van interpretatie en toepassingen van testscores. Het gaat namelijk om de interpretatie van de testscores, niet om de testscores zelf. Ook kan er gesteld worden dat validiteit multidimensioneel is, omdat het verschillende doelen heeft. En tegelijkertijd gradueel is, aangezien het de mate van validiteit betreft. Het gaat dan ook niet om een wel-niet situatie. Empirisch onderzoek en theorie is nodig om validiteit te onderbouwen.

2. What is construct validity? Which five theoretical and empirical aspects do F&B distinguish in this context?

Construct validiteit is de mate waarin testscores geïnterpreteerd kunnen worden als weergave van een psychologisch construct. De vijf theoretische aspecten daarbij zijn:

1. Inhoud:
   De centrale vraag is hier: Is het representatief voor domein? De items van de test dienen overeen te komen met de belangrijkste sub constructen van het construct dat de test meet.

2. Response:
   In welke mate is er overeenstemming tussen de psychologische processen die respondenten zouden moeten gebruiken bij een test, en psychologische processen die respondenten écht gebruiken bij het maken van de test.

3. Interne structuur:
   De relaties tussen items van de test. Bv. Of de items van een test een geheel vormen. Wanneer de items een geheel vormen wordt dit homogeniteit genoemd. Wanneer de items geen geheel vormen wordt dit heterogeniteit genoemd.

4. De samenhang met andere variabelen:
   - Convergent
   - Discriminant

5. Gevolgen:
   Deze kunnen gunstig of ongunstig zijn voor proefpersoon. Er moet rekening worden gehouden met verschillende waarden.

3. What is content validity? What can endanger content validity?
   Bij inhoudsvaliditeit reflecteert de inhoud van een meting het volle domein van het construct.
   Bv. Als een test bedoeld is om een bepaald construct te meten, dan dienen de items van de test overeen te komen met de belangrijkste sub constructen van dat construct.
   Bedreigingen hierbij zijn:

• Construct irrelevante inhoud:
  Items die (gedeeltelijk) irrelevant zijn voor een construct.

• Construct-ondervertegenwoordiging: Geen of te weinig items voor sommige deelconstructen.

4. What is meant by the internal structure of a test? Which family of techniques can be used to study the internal structure of a test?

De interne structuur is de mate waarin de idicatoren (items, substests) voor één construct een samenhangend geheel vormen. Dit kan onderzocht worden met PCA, FA of IRT.

5. What do response processes have to do with validity?
   Als de psychologische processen die personen ‘verondersteld worden’ te gebruiken niet gelijk zijn aan de psychologische processen die ze daadwerkelijk gebruiken bij het doen van een test, is dit een bedreiging voor de validiteit van de test.

6. What is meant by convergent and discriminant validity evidence? What does the acronym MTMMM stand for?

Convergente en divergentie evidentie gaan over de relaties tussen testen op basis van correlaties.

Convergentie: hoge correlaties tussen hetzelfde kenmerk.

Discriminant: lage correlatie tussen verschillende kenmerken.

MTMMM staat voor multitrait-multimethodmatrix.

7. What is meant by consequential validity?
   Bij consequential validity is er geen sprake van test bias. De wetenschap kan nooit gescheiden zijn van persoonlijke en sociale waardes (Furr & Bacharach, 2014). De vragen die onderzocht worden worden gevormd door sociale waardes en de eigen persoonlijke waardes.

8. What is meant by test bias?

Van test bias is sprake wanneer een test twee verschillende dingen voorspelt/meet. Bv. Dat vrouwen hoger scoren dan mannen, omdat de test wel een goede meting is voor vrouwen, maar niet voor mannen (Furr & Bacharach, 2014).

9. In what way can measurement error and reliability affect a validity coefficient? And how does a skewed distribution or restricted range affect a validity coefficient?

- Measurement error

- Reliability: Er kan gecorrigeerd worden voor betrouwbaarheid. Dat maakt Rxy kleiner.

- Skewed distribution: Bij een scheef verdeelde variabele zullen geobserveerde correlaties de
werkelijke correlatie onderschatten.

- Restricted range: bij beperkt bereik van scores zullen geobserveerde correlaties een
onderschatting van de werkelijke correlatie zijn.

Opdracht 2

The data provided on Blackboard (abstract, table) come from a study on the validity of the ‘burnout’ construct (Meier, 1984). Use this table to draw conclusions about the following:

1. The reliability of the measurements of the intended constructs.
   De betrouwbaarheid van ‘multi-point’ is hoog (0.88), die van ‘true-false’ redelijk (0.76) en die van ‘simple self ratings’ is ook redelijk (0.73).

2. The convergent validity of ‘burnout’ as compared to ‘depression’.
   De convergente validiteit van Burnout is hoger dan die van Depressie.

3. The discriminant validity of ‘burnout’ as compared to ‘order’.
   De discriminante validiteit is goed, want Burnout heeft een lage correlatie met Order.

Opdracht 3

The MTMM table from Blackboard displays the correlation between the observed scores for ‘burnout’ and ‘depression’ for each measurement instrument (TF, MP, and SR).

1. Correct these three correlations for measurement errors. See Furr & Bacharach, p. 177

(formula 7.6) and p. 240 (formula 9.1).
Gecorrigeerde correlaties zijn: MP: 0.65, TF: 0.88 en SR: 0.93

Hierbij is de volgende formule gebruikt: r_xt = r_xoyo / √(R_xxR_yy)

2. What is this kind of correction called?
   Deze correctie heet attenuatie correctie; wat zoiets betekent als vermindering.

3. Taking measurement errors into account, what are the highest possible correlations between these observed scores?

De hoogst mogelijke correlaties zijn: MP: 0.88, TF: 0.78 en SR: 0.65

Hierbij is de volgende formule gebruikt: R_xoyo = r_xtyt√(R_xxR_yy)

Opdracht 4

For a long time now there has been some form of pre-selection for University programmes in Medicine. The important psychometric question in this context is: What would be the effect of a weighted lottery based on high-school examination results (current situation) versus an additional selection instrument such as an interview or essay (which some universities have been experimenting with the past few years)? In order to answer this question you will need to use a Taylor-Russell table. A Taylor-Russell table with a Base Rate of 0.60 can be found on Blackboard

1. What does a Base Rate of 0.60 mean in this case?
   De base rate is de succeskans zonder selectie test, dus 0.60.

2. Assuming a selection ratio of 40%: how much improvement in study results can we expect to result if we introduce an additional selection instrument with a predictive validity of 0.25?

Er is een verbetering van 0.09 na de selectietest, dus 9 procentpunt.

3. If we use the above-mentioned additional selection instrument, how stringently will we have to select in order to ensure an improvement in study results of at least 15 percentage points?

De selectieratio moet 0.10 zijn om de beoogde resultaten te krijgen

4. Once again assuming a selection ratio of 40%: how high does the predictive validity of an additional selection instrument have to be in order to guarantee an improvement in study success of 15 percentage points?

De predictieve validiteit moet 0.40 zijn met een validiteit van 0.75.

Werkgroep 4: PCA en Factoranalyse:

Opdracht 1

1. Theoretisch gezien is een component onderliggende dimensie in een test (psychologisch construct).

Algebraïsch is het een lineaire combinatie (= gewogen som) van variabelen (zodanig dat zo veel mogelijk variantie wordt verklaard en orthogonaal t.o.v. alle andere componenten).

Geometrisch is een component een vector (richting in de variabele ruimte).

2. Een communaliteit is de som van de gekwadrateerde componentladingen voor een variabele. Als de communaliteit laag is, wordt de variabele niet goed verklaard door alle componenten en is deze uniek/anders dan de rest. Maar dit hangt af van de context.

3. De eigenwaarde is de som van gekwadrateerde componentladingen per component j. Het geeft de hoeveelheid variantie van alle variabelen tezamen die wordt verklaard door component. Als deze laag is dan voorspelt de component weinig variantie, die variantie wordt dan verklaard door een component met een hogere eigenwaarde. De eigenwaarde kan groter zijn dan1, want de totale variantie bij p gestandaardiseerde variabele is: p x 1 = p.

4. Een factor lading is de correlatie van een variabele met component (factor).

Bij een negatieve lading: item correleert negatief met factor, er is een negatief verband (vooral bij contrastfactoren). Als de factorlading nul is dan wordt er geen variantie verklaard.

Opdracht 2:

1. Op basis van de eigenwaarde moet je kiezen voor 14 componenten, dit is de bovengrens.

2. Op basis van de knik kies je 7 (6 of 8) componenten. Kies dus de 6-factor of nog 1 of 2 meer. Een oplossing met minder componenten is makkelijker te interpreteren dus vaak wordt hierbij voor 6 gekozen.

3. Alle geroteerde oplossingen tussen 1-factor en 14-factor-oplossing zo goed mogelijk interpreteren. Dit is erg veel werk bij 14 componenten, misschien 8.

Opdracht 3

Niet-geroteerd

Geroteerd:

1. De communaliteiten zijn: 0.760; 0.685; 0.621; 0.435; 0.707.

(tel de gekwadreerde factorladingen op per rij, deze zijn gelijk voor de niet-geroteerde en de geroteerde tabel)

2. De eigenwaarden zijn:

Component 1: 2.272;

Component 2: 0.936.

Rotatie 1: 1.763

Rotatie 2: 2: 1.444

(tel de gekwadrateerde factorladingen op per kolom)

3. Proportie verklaarde variantie:

Component 1: 0.4544

Component 2: 0.187

Rotatie 1: 0.352

Rotatie 2: 2:0.289

Totaal voor beiden: 0.642

(eigenwaarde delen door het aantal variabelen, in dit geval p = 5)

4. Plaatje: Omhoog vector 2 en 4. Naar rechts en onder de Y-as, vector 6, 7, 8.

5. Item 2 en 4 gaan meer over aansporing, je ‘moet’. Dit is afwezig bij item 6,7en 8 die meer theorieën over anderen zijn.

Opdracht 4

1. Uit de vier-factor oplossing, 1 soort motivatie op elke component. Dus alle items van één motivatie moeten hoog op dezelfde component laden en laag op alle andere componenten.

2. Eigenwaarde: 5.

Knik: 4 (3 of 5).

3. Factor 1: positieve ladingen van alle faalangst items en alle angst-voor-afwijzing items.

4. Factor 1: negatieve motivatie
   Factor 2: positieve affiliatie-motivatie

5. Factor 1: negatieve motivatie
   Factor 2: positieve affiliatie-motivatie
   Factor 3: positieve prestatiemotivatie

6. Factor 1: negatieve motivatie
   Factor 2: positieve affiliatie-motivatie
   Factor 3: onduidelijk
   Factor 4: onduidelijk

7. Het 4-factor model is minder goed interpreteerbaar dan het 3-factor model, dus 3 factoren heeft dus de voorkeur.

4. Het grootste probleem: faalangst en angst voor afwijzing worden niet goed van elkaar onderscheiden

Ander probleem: sommige items laden niet op de ‘juiste’ factor.

Oplossing:

• Misschien zijn de begrippen echt niet te (onder) scheiden constructen, hier kun je niets aan doen

• Alternatief: op zoek naar nieuwe items die faalangst en angst voor afwijzing maximaal onderscheiden.

Werkgroep 5: Confirmatieve Factor analyse 

• Niet beschikbaar

Werkgroep 6: Item Response Theorie

• Niet beschikbaar

Werkgroep 7: Classificatie en discriminatie analyse

• Niet beschikbaar