![Image](https://www.worldsupporter.org/sites/default/files/styles/medium/public/tips_suggestions/wereldbol_summaries_joho_single_boek_1_150x190px.png?itok=rEljlfYL)
Hoorcollege 12
Vorige colleges waren de klassieke testtheorie.
Onvolkomenheden KTT:
- Theorie over testscores
- Weinig informatief over afzonderlijke items
- Schatting betrouwbaarheid testscore
- Afhankelijk van populatie(variatie)
- Aanname over toevallige meetouft
- Meetfout is onafhankelijk van niveau respondent
- Aanname over meetniveau testscore
- Niet statistisch te toetsen
- Beperkingen in vergelijken respondenten
- Betrouwbaar voor middengroepen
- Inefficiëntie
- Alle respondenten moet hele test maken
- Betrouwbaarheid is steeds afhankelijk van de steekproef.
- Mensen die goed zijn of vaardig zijn, worden niet meegenomen in de Klassieke TestTheorie.
- Test vooral in het midden van het bereik is hij goed. Aan de buitenkanten minder betrouwbaarheid.
- Weinig mogelijk vragen zo veel mogelijk antwoorden. Dat is inefficiënt bij de KTT.
Item-responstheorie (IRT)
- IRT komt tegemoet aan de onvolkomenheden KTT
- Het is een theorie over itemscores in plaats van testscores
- Schatting van psychometrische kenmerken van items en testscore is onafhankelijk van de populatie
- Nauwkeurigheid van schatting (=betrouwbaarheid) kan binnen IRT variëren tussen respondenten
- Aannames over modellen statistisch toetsbaar
- Op IRT gebaseerde tests maken beoordeling ontwikkeling beter mogelijk
- Schatting vaardigheid onafhankelijk van verzameling items: Dit maakt testafname op maat (adaptief testen) mogelijk
Je komt met een beperkter aantal vragen ook op een nauwkeurige schatting van iemand zijn vaardigheid. Dat is adaptief testen.
- IRT gaat om het model voor itemscores en niet voor testscores. Voor elk afzonderlijk item kan weer een meetfout zijn.
- T staat voor theta, de vaardigheid waarin we geïnteresseerd zijn.
- Continu of categorisch kenmerk. Daar hebben die verschillende termen mee te maken.
- Discreet is twee antwoorden, mee eens of niet mee eens. Dichotome items.
- Ordinale items zijn Likert schalen.
- Theta is de vaardigheid waarin we geïnteresseerd zijn.
- En de kans op een correct antwoord.
Hogere vaardigheid? Dan is de kans dat je het goed maakt of dat je het ermee eens bent, neemt toe. De kans op respons 1. De kans dat je het ermee eens bent of dat je de opdracht goed hebt afgerond. Theta is kenmerk dat je gaat meten aan de hand van de verzameling items.
- De kans op antwoord 1, gegeven een bepaalde theta (kwaliteit).
- Meer latente trek, meer vaardigheid is een grotere kans op waarde 1. Dat loopt zoals bovenstaand model.
- 1 is de succeskans.
- Relatie tussen de latente trek en de succeskans. Dat is de item-responsfunctie.
- Elk item heeft eigen item-responsfunctie.
- Theta wordt vaak uitgedrukt in z-scores. 0 is, is gelijk aan gemiddelde van de groep. Dus dezelfde vaardigheid als het gemiddelde van de groep.
- Dit zie je als SD’s tov het gemiddelde. Binnen 2 à 4 SD’s heb je al de hele populatie te pakken.
- Buiten de 2 SD komen weinig mensen voor en dan wordt ook de kans op een goed of fout antwoord steeds minder.
- Succeskans hangt af van de kwaliteit. De hoogte of sterkte van de latente trek.
- De relatie tussen de latente trek theta en de succeskans. De kans op een correct of mee eens antwoord, als het TWEE antwoorden betreft. Het gaat om dichotome antwoordopties.
1 voor een goed antwoord van persoon i op item g
0 voor een fout antwoord van persoon i op item g
- Cognitieve vaardigheden kan je beschouwen als vaardigheden die resulteren in dominantie gegevens.
- Tegenover preferentiegegevens.
- Binnen de IFT heb je het over dominantiegegevens.
- Ook bij afwezigheid van kennis, kan je nog steeds een kwart succeskans hebben. Dat is de gokkans.
- Item respons functie begint dus niet bij nul, maar iets hoger.
De kans op 0 ligt bij hele strikte mening bij eten van aardbeien en soepele mening. Want of je vindt: oh ik vind dat je aardbeien altijd kan eten.
Of nee, ik vind dat je de aardbeien alleen maar voor 2 maanden kan eten.
Item respons functies zijn dus verschillend voor preferentiegegevens en dominantiegegevens.
Er is altijd hier ook een gokkans. Of bij de eenvoudigste sommetjes kan je bij hoge vaardigheid ook nog steeds een fout maken. Hij zal dus nooit de 1 helemaal raken. Dit is een probabilistisch model. Het geeft de kans op een correct antwoord, gegeven je vaardigheid.
Deterministisch (Guttman) model is strikter.
- Een respons wordt beïnvloed door één latente trek → de items zijn ééndimensionaal.
- Vaardigheid kleiner dan theta accent, dan is de succeskans gelijk aan 0.
- Als iemand zijn vaardigheid groter is dan theta accent, dan is hij in een keer 1.
- Vaardigheid hoger dan dat, dan kan je het sowieso. Dit is een stap- of sprongfunctie. Je hebt wel of niet vaardigheid om iets goed te doen. Het gaat niet om toenemende kans, maar om 0 of 1.
- Bij probabilistische modellen zijn er verschillende kansen, hij neemt toe bij toenemende vaardigheid.
- Monotoon niet dalende functie. De kans neemt uitsluitend toe. Of hij blijft misschien heel even gelijk bij een toenemende vaardigheid (toenemende latente trek).
Kenmerken ICC:
- Vorm: monotoon niet dalende curve
- Helling: steilheid varieert, in staarten is functie minder dan in het middendeel
- Het gaat om waar hij start, de steilheid en de moeilijkheid (dat is de locatie).
- Moeilijkheid is het omslagpunt van de functie
- Hoe steiler de functie, hoe beter het item discrimineert.
- Als de kans omslaat van 0 tot 1, discrimineert de functie (het item) dus heel erg goed.
- Giskans is de start van de ICC.
- Deterministische model heeft maximale discriminatie.
- Minimaal discriminerend vermogen is je kan niks aflezen. Er is geen verband tussen de latente trek en de kans om het goed te hebben.
- Om de discriminatie te berekenen moet je een raaklijn tekenen om de steilheid te berekenen.
- Alfa g is de steilheid.
- Bij maximaal discriminerend is het 90 graden.
- De Giskans is 0. Want bij 0 vaardigheid is de kans ook 0. Moeilijkheid is ook hetzelfde. De steilheid is wel anders, dus de discriminatie is anders.
Deze parameters kun je dus in de formule doen.
- Met de item respons theorie, kunnen we modelaannames toetsen, bij de KTT is dat bijna niet aan de orde: de toetsbaarheid.
- Voor alle modellen gelden de gemeenschappelijke aannames van de IRT.
- Items hebben onderling positieve samenhang. Als je het beter begrijpt, heb je meer vragen goed. Dat is vgm globaal afhankelijk. Alle correlaties zijn dan groter dan 0. Dan zie je dat er sprake is van eendimensionaliteit, omdat alle correlaties hoger zijn dan 0.
- Lokaal onafhankelijk is in homogene subpopulaties. Binnen de populaties kun je groepjes aanwijzen die hetzelfde zijn qua niveau. Dat zijn subpopulaties die dezelfde mate van vaardigheid beschikken. Voor die groepen is de correlatie tussen de items gelijk aan 0.
- Binnen de hele populatie is er sprake van samenhang tussen items, maar binnen de groep mensen waar de vaardigheid hetzelfde is, is er afwezigheid van samenhang.
- Globale afhankelijkheid en lokale onafhankelijkheid zijn twee afgeleiden van de eendimensionaliteit aanname van de item responsmodellen.
- Afhankelijk van welk model je kiest, gelden er ook nog extra aannames. Maar dit is een gemeenschappelijke aanname. Deze geldt voor alle modellen.
Deze twee termen kan je toetsen. Ondersteuning vinden van die beide aannames.
- Heterogene populatie is verschil in vaardigheid.
- Positieve samenhang voor de afzonderlijke items.
- Je controleert de globale afhankelijkheid door na te gaan of alle correlaties groter zijn dan 0.
Lokale onafhankelijkheid
- Dit betreft subpopulaties die homogeen zijn wat betreft de vaardigheid.
- Mensen die hetzelfde scoren op een test, want die hebben dezelfde vaardigheid.
- De kans op item g goed is onafhankelijk van dat je item h goed hebt.
- Er is geen verschil in vaardigheid, ze hebben allemaal dezelfde vaardigheid. Er is geen afhankelijkheid van de vaardigheid.
- Antwoordpatronen, de ene persoon goed de ander fout. De ander goed en de ander goed. De ander fout en de ander fout. De ene fout en de ander goed.
- De kansen liggen vast.
- Nagaan of het patroon in de groep de verwachting na gaat. Afwijking daarvan is een schending van die aanname en dan ook een schending van het model.
- 2 items, dan zijn er 4 antwoordpatronen mogelijk.
- Als het moeilijk item goed wordt gemaakt en het makkelijk item fout, dan mag dat niet. Dat is een schending van het Guttman model?!
Deterministisch model wordt vaak verworpen, het past gewoon niet. Het is realistischer dat het een waarschijnlijkheids curve is.
Mokkenmodel met monotone homogeniteit:
- Eéndimensionaliteit
- Globale afhankelijkheid items
- Lokale onafhankelijkheid items
- Succeskans p is monotoon niet dalende functie
- monotoon naar theta
Geen stapfunctie, maar een monotone niet-dalende functie. Succeskans neemt dus toe of minstens gelijk blijft bij een toenemende vaardigheid. Dat noemen we monotoon naar theta.
Mokkenmodel met dubbele monotonie:
- Item-responsfuncties mogen elkar ook niet snijden. --> monotoon naar theta en delta
Dit is een extra aanname. Die is alleen voor het Mokkenmodel. Als die item responsfuncties elkaar snijden? Dan wisselen de antwoorden. 1 moet makkelijk zijn en 1 moet moeilijk zijn. Dus dat is ook een aanname, ze mogen niet snijden.
Zo kan je lokale onafhankelijkheid toetsen.
Bij 2 items heb je verschillende antwoordpatronen.
- + is hier 1 en - is hier 0.
- Binnen homogene subpopulaties zit er geen afhankelijkheid tussen de twee itemmoeilijkheden.
- Vermenigvuldigen van de twee item moeilijkheden, dan krijg je de kans op een bepaald antwoordpatroon.
- Er staat gegeven theta. Dus bij dezelfde vaardigheid geldt dit.
Stel je ziet grote verschillen, hoe minder steun voor de lokale onafhankelijkheid en minder steun voor de eendimensionaliteit van mijn verzameling van items.
Dan minder steun voor de modellen die we hanteren. Als ze allemaal monotoon stijgen, dan wordt deze aanname dus opgevolgd. De restscore is de score op alle items die niet gebruikt worden voor het beoordelen van het item waarin je geïnteresseerd bent. Je gebruikt steeds de 9 andere items van de 10 om iemand zijn restscore te berekenen.
- Voor elke restscore hebben we nu een succeskans. Je ziet een kleine daling naarmate de vaardigheid toeneemt. Dat is een schending van de monotonie. Je moet dus een ander model gebruiken.
- Dus voor de restgroepen benadering gebruik je de restscores om vaardigheidsgroepen te maken.
- Voor de homogene vaardigheidsgroepen bepaal je de item moeilijkheid.
- Dat is wat we hier vinden in de ICC. De item moeilijkheid voor de verschillende vaardigheidsgroepen.
- Als de ICC’s (item karakteristieke functies) uiteindelijk niet monotoon dalend zijn dan wil je ook een ordening doen in de moeilijkheid van de afzonderlijke items.
- We willen dat die moeilijkheidsverschillen hetzelfde blijven over de x-as heen. Ze moeten dus niet snijden.
Als ze snijden dan:
- Dan niet meer monotonie naar delta (naar moeilijkheid)
- Wel nog steeds monotonie naar theta, (naar moeilijkheid). Omdat het niet dalende functies zijn.
- Niet dalende functies. Dan kunnen we personen ordenen op basis van de items.
- We kunnen ze ordenen op totaalscore van de test. Hoe meer items goed, hoe beter iemand is.
- We kunnen dan helaas niet de items ordenen op moeilijkheid. Want dan mogen ze niet snijden
Als wel monotonie naar delta, kunnen we niet alleen personen ordenen, ook items ordenen.
- We kunnen dan adaptief testen.
- Dan kunnen we het makkelijkste item voor iedereen het makkelijkste item is
Die ordening is onafhankelijk van de theta.
Hoe informatief is een item voor de latente trek?
Hoe kan je op basis van de ICC’s zeggen hoe informatief een functie is:
- Onderscheidingsvermogen van de items: de discriminatie parameters.
- Het keerpunt van de ICC’s. Waar hij toeneemt tot waar hij weer afneemt. Daar is hij het meest informatief.
- Hij neemt qua informativiteit af als de vaardigheid toeneemt.
- En hij neemt af als de vaardigheid afneemt.
- Hoogste informativiteit is bij het buigpunt.
- Hij neemt af naar boven toe en af naar beneden toe. Dat kan je zo illustreren:
- Als we meerdere items combineren hebben we meerdere informatiefuncties en ook krijgen we een totale informatiefunctie.
- Afzonderlijke ICC’s zeggen over waar bij de latente trek ze het meest informatief zijn.
- Als je ze samen hebt, kan je zien voor welke latente trek waardes de test het meest informatief is. En dus het meest informatief en precies is in zijn schatting.
- Som van de afzonderlijke items is totaal van de test.
Studiehulp Psychologie als Wetenschap - UU (2022-2023) - Psychologie
Aantekeningen college Introductie Psychologie als Wetenschap - Universiteit Utrecht (2022-2023)
Hoorcollege 1
We moeten ons bewust worden van bias in jezelf en in anderen. Recht doen aan onzekerheden.
Kritisch en constructief denken.
- Niet alleen denken wat is slecht, maar ook: hoe kan ik het beter maken.
- Bias uitbannen: we willen procedures transparant hebben.
- Teams moeten beloond worden en niet individuen die goede wetenschap produceren.
Belangrijke begrippen
- Transparent: het onderzoeksproces is stap voor stap helder en volledig beschreven
- Reproduceerbaar: het onderozek (of een deel ervan) kan nog een keer uitgevoerd worden zoals dit eerder ook gebeurd is
- Replicatie: Een studie vindt hetzelfde resultaat als een eerdere studie
- Replicatie is hetzelfde resultaat vinden met nieuwe data.
- Reproduceerbaar is met de data van de ander. Replicatie is dezelfde onderzoeksvraag, maar andere data.
Descriptief onderzoek:
- observaties documenteren zonder relaties tussen variabelen te analyseren.
- Deze kever is zo groot, dit is deze kleur.
Exploratief:
- relaties tussen variabelen analyseren, maar niet hypotheses toetsen.
- Je kijkt wel naar de relaties. Hangt grootte kever samen met hoeveelheid regen. Niet met een hypothese in gedachte.
Confirmatief:
- hypotheses toetsen.
- Als er meer regen valt, zullen kevers groter zijn. Dat is een hypothese die je kan toetsen.
In het ene deel formuleer je hypothesen en voorspellingen en in het andere deel toets je deze op data. Je toetst niet een hele theorie maar een aantal hypothesen van een theorie.
Theoretische precisie:
- Veel theorieën zijn onduidelijk.
- Wat is de definitie van tegenslag? Of van impulsiviteit.
- Duidelijk zeggen wat het wel of niet voorspelt.
- Dan krijg je bias: dan gaan mensen de theorie zo interpreteren dat het klopt met de voorspelling. Je moet dus helder zijn.
- Ambiguïteit is onwenselijk. Dit kan heel erg leiden tot bias: hoe moet je het nou interpreteren.
- Waarom is er weinig formele theorie? Die specifiek geformuleerd zijn. Woorden hebben ambiguïteit. In de psychologie bestaan theorieën veel uit woorden.
Er is wel formalisering in de psychologie, maar dan in de toetsing. Maar niet om theorieën precies uit te drukken: hoe hangen de variabelen met elkaar samen in het theoretische model dat we hebben. Transparantie maakt kwetsbaar. Hoe vager ik de theorie maak, hoe minder kritiek ik krijg. Dat is scheef.
- Theory stretching: strekken van een theorie. De theorie is ambigu. ‘’My theory can be stretched to cover that data.’’
- Post hoc precision: kleiner maken van een theorie, zodat deze beter bij de data past.
- Initial claim is vaag, ambigu. Je kan de claim dan op veel manieren invullen.
Wetenschappers zijn mensen, hebben biases. De wetenschapper omarmt procedures om de biases in toom te houden. Vooral onthouden: theory stretching en post hoc precision. Twijfel is kracht, geen zwakte. Leiders moeten hun overtuigingen publiekelijk kunnen aanpassen op basis van nieuw bewijs. Om beleid te verbeteren. Het is goed dat mensen hun mening aanpassen op basis van nieuwe data.
- Diversiteit: het erkennen, respecteren en waarderen van verschillen tussen mensen
- Inclusie: een gemeenschap waar iedereen zich gewaardeerd en thuis voelt
Exploratief onderzoek is dan beschrijf je
.....read more
Aantekeningen college Wetenschapsfilosofie - Universiteit Utrecht (2022-2023)
Hoorcollege 2
Pseudo-wetenschappelijk:
- Iemand vindt dat hij een wetenschappelijke uitspraak doet, maar hij houdt zich niet aan de spelregels van de wetenschap.
- Als iemand beweert ‘’dit is hoe het is.’’ Dan komt hij op het gebied van de wetenschap. Dat is geloof vs wetenschap.
Mertoniaanse normen:
- Communisme
- Unversalisme
- Belangeloosheid
- Georganiseerde skepsis
Merton: wetenschap dient in de eerste plaats een sociale activiteit te zijn. Je moet je resultaten delen. De normen beschrijven wat een goede manier zou zijn om wetenschap te bedrijven in een sociale omgeving.
- Communisme: Het is goed om als wetenschapper je data en ideeën openbaart voor iedereen. Niets voor jezelf houden.
- Universalisme: Het zou niet uit moeten maken wie de uitspraak doet. Arm, rijk, man of vrouw.
- Belangeloosheid: je wil dat onderzoekers geen belang hebben bij het onderzoek dat ze doen.
- Georganiseerde skepsis: De gemeenschap moet een skeptische houding hebben ten opzichte van resultaten. Altijd kritisch zijn.
Dit is het doel van wetenschap.
Deductie:
- je gebruikt logica. Je hebt een premisse.
- Maar is het waar? Dan moet het overeenkomen met data.
- Validiteit en waarheid zijn belangrijk
- Soms is de inhoud van premissen niet waar. Dan is het instant niet waar. Maar het kan wel logisch en dus valide zijn.
- Als de premisse niet deugt, deugt de conclusie ook niet.
- Conclusie kan alleen waar zijn, als de premissen waar zijn. Hoe komen we daarachter? Dan moet je naar buiten gaan en zwanen observeren.
Inductie:
- Observaties en waarnemingen. Hoe vaker je dezelfde observatie doet, hoe groter de waarheid van je uitspraak is. Dit is precies wat inductie is.
- Meerdere keren testen onder verschillende omstandigheden. Dan krijg je meer bewijs voor de conclusie.
- Dit noem je positivisme, de wetenschap draait om observaties.
Metafysisch realisme: Er bestaat een externe, van onze geest en waarneming onafhankelijke wereld.
Epistemologisch realisme: Wij kunnen objectieve kennis krijgen van de externe werkelijkheid. We kunnen de wereld beschrijven zoals die echt is.
Dier is uitgestorven: ik zie hem niet meer: Dat is inductie. Probleem inductie: je kunt nooit alle observaties doen die nodig zijn om te bewijzen dat een uitspraak waar is. Inductie geeft geen garantie voor de toekomst. Meeste onderzoek in de psychologie gebruikt inductie. Aantal observaties gedaan, op basis daarvan doe je een uitspraak. Op basis van een steekproef ga je uitspraken doen over de hele wereld ‘dat is zo.’ Dat is inductie. Meer observaties is beter.
Hoe herhaalbaar is psychologisch onderzoek.
- 25% van de resultaten kan gerepliceerd worden.
Verschillende filosofen en hun opinies:
- Het realisme, daar geloofde Kant niet in. Er is geen objectief omschrijfbare wereld.
- Popper: Kant heeft gelijk wat betreft inductie, maar zijn conclusie klopt niet. Daar schieten we niks mee op.
- Derde manier van wetenschap. Inductie, deductie, maar nu ook Falsificatie.
- Demarcatie. Een waarneming die in tegenspraak is met de theorie falsificeert de theorie. Alleen een theorie die falsifieerbaar is, is wetenschappelijk. Je hebt maar 1 waarneming nodig om iets te ontkrachten.
- Adler: Menselijke actie worden gedreven door hun
Aantekeningen college Psychologische stromingen - Universiteit Utrecht (2022-2023)
Hoorcollege 3
Slechte richtlijnen en we meten iets complex: probleem is dan dat veel studies niet goed gerepliceerd kunnen worden. Replicatiecrisis niet beperkt tot de psychologie. Het is een breed probleem. Meer dan 50% kon niet gerepliceerd worden in de psychologie. Cognitieve experimenten beter dan sociale experimenten. Vooral de sociale experimenten waarin gedrag of reacties werden gemeten, werden slecht gerepliceerd.
Studies die de aanname hebben, we hebben bewustzijn, maar er wordt veel onbewust verwerkt. Introspectief weten we niet dat er heel veel informatie binnenkomt. IJsbergplaatje. Deze studies zijn slecht repliceerbaar.
Cognitie
- Heel veel is juist bewust.
- Er gebeurt onbewust niet zo heel veel, je bent onbewust niet zo heel erg beïnvloedbaar. Dus de ijsberg moet andersom.
- We zijn hele bewuste dieren.
Oorzaken replicatiecrisis
- Wetenschapscultuur
- Complexiteit van de psyche en gedrag. De psychologie staat in de kinderschoenen.
Demarcatie is het onderscheiden van pseudoscience en normale science. Als het niet ontkracht kan worden, is het niet wetenschap. Kuhn: er moet eerst een crisis zijn. Bij 1 bewijs tegen zwaartekracht publiceer je niet meteen een paper met ‘’gravitatie is nep’’. Dat paradigma wordt niet gelijk verworpen.
Als er veel bewijs is, krijg je een crisis en dan een paradigma shift.
Binnen de psychologie heb je:
- Observaties vs introspectie
- Fysicalisme vs mentalisme
- Dualisme: gedrag komt voort uit een immateriële geest. Echt een geest → religie.
- Fysicalisme: gedachte/gedrag komen voort uit fysieke brein. Iets fysiologisch.
- Idealisme: de omgeving is een interpretatie van zintuigen
- Fysicalisme: meet wat je ziet, want wat je denkt is een onbetrouwbare interpretatie.
- Mentalisme: meet wat je denkt want wat je ziet is een onbetrouwbare sensorische meting
Fysicalisme
- Empiricisme
- Materialisme (determinisme)
- Evolutieleer
- Gedragsobservaties
Mentalisme
- Rationalisme
- Associationisme
- Structuralisme
- Gestaltisme
Hedendaagse spanningen
Over introspectie:
- Klinisch en sociaal, vragenlijsten zijn populair
- Experimentele psychologie alleen indien nodig vragenlijsten. Stress meet je met hartslag.
- Klinisch: depressie moet je wel een vragenlijst invullen. We kunnen thuis geen observaties doen. Hoe lang iemand in bed ligt.
Wisselwerking tussen stromingen en hun voorkeur voor:
- Fysicalisme: observatie methoden
- Mentalisme: introspectie methoden
Evolutieleer & functionalisme
- Eerst was de mening: de God heeft de aarde en de dieren geschapen.
- Wallace en Darwin hadden de evolutietheorie.
- Er werd bij evolutie vooral gekeken naar anatomie. Bewijs door fossielen en DNA vergelijken. Vorm van de schedel werd bekeken.
Comparatieve psychologie / vergelijkende psychologie.
- Darwin vergeleek als eerste gedrag (emoties) tussen dieren. Daarna emoties vergelijken tussen Oosten en Westen.
- Extreme nadruk op nature: genen. Meer dan op omgeving/ervaringen. Ook binnen de psychologie. Observatie onderzoek was het.
- Start van het nature vs nurture debat.
Functionalisme
- Wetenschappelijke stroming. Geïnspireerd door Darwin.
- Ook emotieonderzoek.
- Gedrag en cognitie hebben een evolutionaire functie. Wat is nou de functie van een bepaalde vaardigheid of een bepaald mentaal proces?
- Waarom hebben we bewustzijn? Waarom kunnen we onze aandacht verplaatsen?
- Er kwam wat meer ruimte voor introspectie, want mentale processen werden onderzocht.
Bij structuralisme was de vraag ‘’wat?’’
- Wat zijn de elementen
Aantekeningen College Bias - Universiteit Utrecht (2022-2023)
Hoorcollege 4
Bias
- systematische vertekening die een objectieve interpretatie van de realiteit in de weg staat.
- Vooroordeel of vooringenomenheid die de perceptie kleurt.
- Systematisch = gaat altijd een bepaalde kant op. Dezelfde kant. We kunnen inschatten waar hij heen neigt.
Soorten biases. Drie gebieden waar bias ons in de weg staat.
- Mens: persoonlijke biases.
- Methode: bias in test en methode
- Systeem: systemische baises. In het wetenschapssysteem waarin we onderzoeken en publiceren.
Persoonlijke biases.
- We willen mensen kunnen indelen, risico’s inschatten, gedrag verklaren.
- Wij zijn subjectieve wezens.
- Halo/Horn effect: Als iemand binnenloopt en je vindt hem leuk. Dan schat je hem beter in dan anderen, dat hij het heel goed doet. Horn is andersom.
- Overconfidence: Je hebt een aantal keer iets heel goeds gedaan. Is geen realistische inschatting meer.
- Representativiteitsbias: Mensen die bepaalde eigenschappen hebben waar je iets mee associeert. Man met bivakmuts is gevaarlijk.
- Attributiebias: Geen succes leg je af bij de ander en bij jezelf aan de situatie.
- Availability bias: Als je ergens heel veel voorbeelden van hebt gehoord. Dan denk je ook dat dat aan de hand is.
Bias 1: Confirmation bias.
- Evidence tegen zijn theorie wordt verworpen.
- Wordt ook evidence gezien dat er niet is.
Bias 2: Hindsight bias.
- Hoe kijk je in terugwerkende kracht naar hoe je eerst over een situatie dacht. Ik weet niet zeker of die hond gaat winnen. De hond wint. Ja zie je ik vermoedde het al. Voor de situatie was je best onzeker.
- Bias Blind Spot: als mensen denken dat ze minder last hebben van bias. Heeft dat negatief effect op hoe ze dingen beoordelen.
Voordeel biases:
- We maken een werkelijkheid die klopt.
- Dat is minder belastend voor onze hersenen.
- Biases werken ook voor snellere beslissingen.
Als onderzoekers proberen we zo systematisch mogelijk te werk te gaan.
- Empirische cyclus
- Heersende onderzoeksparadigma’s
- Mertoniaanse normen
Maar toch in het proces van wetenschap kunnen de uitkomsten vertekend raken.
Bij methode heb je selectiebias
Bij psychologie moet je veel operationaliseren. Je moet een psychologisch concept omzetten naar een overeengekomen definitie. Operationalisaties van deze constructen om deze ook echt te testen. In de vorm van een test of meetinstrument.
Verschillende type tests of meetmethoden die in onderzoek gebruikt kunnen worden.
- Performance tests
- Performance is wat kun je en wat heb je al geleerd.
- Mogelijkheden is aptitude: intelligentie
- Achievement test: heb je voldoende geleerd om hier een voldoende voor te halen. Wat heb je bereikt binnen de leerkaders.
- Typical response tests: Dingen die typisch bij jou horen. Zelfbeeld, depressie, eetvoorkeuren.
- Systematische observaties
- Kwalitatieve interviews
- Fysiologische maten: Je hartslag wordt gemeten.
Tests zijn gestandaardiseerd of niet-gestandaardiseerd. De meest valide zijn gestandaardiseerd. Er is een vast format over hoe je het moet afnemen.
- Objectief of subjectief. IQ is objectief. Jouw eetvoorkeuren is subjectief.
- Norm-referenced: plaatst jouw score in relatie met andere scores.
- Criterion-referenced: je neemt tentamen af. Voldoen jullie aan een bepaald criterium.
Hoe meet je persoonlijkheid?
- Rorschach
Aantekeningen college Testgebruik - Universiteit Utrecht (2022-2023)
Hoorcollege 5
Jij bent iemand die iets meet. Op basis van een resultaat kan je niks weten, het helpt jou om tot conclusies te komen.
Uitgangspunten bij testgebruik
- Psychologische constructen bestaan en kunnen gemeten worden
- Metingen van psychologische constructen zijn niet perfect
- Er zijn verschillende manieren om een construct te meten
- Alle meetmethoden hebben krachten en beperkingen
- Prestaties op tests kunnen gegeneraliseerd worden naar niet-testgebonden gedrag
- (Een combinatie van) Tests kunnen informatie verstrekken die psychologen helpt om betere professionele beslissingen te meten
- Testgebruik kan bevordelijk zijn voor individu en maatschappij
Tests:
- Vragenlijsten
- Interviews
- Observaties
- Cognitieve taken
Er zijn drie niveaus van testgebruik.
- Beslissingen op groepsniveau
- Minder belangrijke beslissingen op individueel niveau: Dyslexie
- Belangrijke beslissingen op individueel niveau → taken die negatief kan uitpakken voor hun levensloop
Bij testkeuze en gebruik is het belangrijk dat:
- Je een goede onderzoeksvraag stelt
- Je een kwalitatief goede test kiest
- Je de resultaten op de juiste wijze interpreteert
- Daarbij recht doet aan de mogelijke impact van de uitkomst
De score die uit een IQ-test komt, heeft heel erg veel invloed op zijn leven. En op hoe anderen naar hem kijken.
Een IQ:
- Ligt binnen een betrouwbaarheidsinterval
- Is niet vrij van systematische bias en onsystematische meetfouten
- Is aan verandering onderhevig gedurende de levensloop
- Voorspelt schoolprestaties wel, maar er spelen ook andere factoren mee
Sollicitatiegesprekken zijn best ongestructureerde interviews en die zijn vaak zeer bepalend.
- Zijn subjectief en gevoelig voor biases
- Andere metingen zijn een waardevolle aanvulling
Forensische praktijk:
- Je moet voorspellen of de cliënt een risico vormt
- Verschillende belangen van cliënt, psycholoog en juridisch systeem
- Dit staat objectiviteit in de weg (dissimulation)
- Uitkomstmaten onderzoek zijn niet altijd gerelateerd aan het risico
- Impact op de maatschappij
Richtlijnen voor ethisch testgebruik
- Gebruik geen tests die een slechte kwaliteit data opleveren
- Gebruik geen tests die je niet kunt scoren afnemen of interpreteren
- Baseer geen belangrijke beslissingen op de resultaten van 1 test
- Laat je persoonlijke voorkeuren en biases thuis
- Breek geen vertrouwelijkheidsafspraken m.b.t. het verstrekken van testgegevens aan derden
- Gebruik geen technisch jargon bij het uitleggen van de tests
- Negeer de speciale behoeften van de getesten niet
- Maak geen wijzigingen aan het testmateriaal, zonder weer te geven hoe deze wijzigingen de prestatie kunnen beïnvloeden
- Verbreek de vertrouwelijkheid niet
- Neem nooit zomaar aan dat als een expert een test heeft gemaakt, dit ook een goede test is. Verzamel altijd informatie over kwaliteit en toepassing
NIP beroepscode:
- Psycholoog i.o. is je bent al psycholoog, maar je bent in opleiding tot GGZ-psycholoog.
COTAN is het instituut over psychologische tests in Nederland.
- De COTAN beoordeelt een breed scala aan (psychologische) tests, toetsen en vragenlijsten op diverse criteria die te maken hebben met materialen, afname en testkwaliteit
- De COTAN-documentatie is ontwikkeld voor professionals die zich bezighouden met psychodiagnostiek of assessment. Veel instrumenten worden ook in onderzoek gebruikt.
COTAN beoordeelt op 7 criteria
- Uitganspunten testconstructie
- Kwaliteit testmateriaal
- Kwaliteit handleiding
- Normen
- Betrouwbaarheid
- Begripsvaliditeit
- Criteriumvaliditeit
Aantekeningen college WetenschapMaatschappij - Universiteit Utrecht (2022-2023)
Hoorcollege 6
Je hebt een verantwoordelijkheid om je vergaarde kennis terug te koppelen aan de samenleving.
Wat hebben de outsiders en insiders aan te merken op de Psychologie?
Outsiders:
- Soft terrein
- Beetje suffe en zachte thema's: grappige weetjes en feitjes
- Weten we allemaal al
- Is best wel logisch
Insiders:
- Overdrijven bevindingen
- Replicatieproblemen
- Zachte benadering
- Te veel p's en te weinig ES's en BI's
- Wat is nou precies evidence-based?
Zachte benadering: veel vragenlijsten en praten. Geen harde data. Minder effect grootte en BI’s wat zegt hoe groot en relevant is het bewijs nou eigenlijk?
Nadelen van verkeerd imago
- Minder erkend door als STEM discipline, Science Technology Engineering Mathematics
- Maakt minder kans op onderzoeksfunding
- De noodzaak van psychologische kennis bij maatschappelijke vraagstukken wordt te weinig erkend
- Kan in de weg staan van het krijgen van een goede behandeling of interventies
Waarom we public-scepticism tegenover psychologie moeten begrijpen.
Wat doen we zelf niet goed en wat kunnen we beter doen?
- Spokespersons van psychologische thema's zijn niet altijd psychologen
- Biases, zoals de confirmation bias, sturen soms ook onze verhalen
- De neiging om zaken te simplificeren
- Niet iedereen begrijpt het verschil tussen psychologen en psychotherapeuten
- Zelfs academisch opgeleide psychologen geven wetenschap niet de hoogste prioriteit
Psychiaters praten vaker over psychologische thema’s. Evidence-based practice. In elke beslissing die je neemt, moet je alle kennis meenemen en de meest ondersteunde bevinding gebruiken.
Lastig veld, de psychologie:
- Therapeut heeft een uniek mens tegenover zich. Dat kan lastig zijn.
- Wetenschappelijke evidentie is niet altijd beschikbaar
- Effectiviteit wordt niet altijd bevestigd
- Behandelingen werken niet voor iedereen
- Maar... behandeling met (sterke) wetenschappelijke onderbouwing (EBT), is wel het beste wat we kunnen bieden (want het meest waarschijnlijk effectief)
Er ligt een rol voor psychologen als het gaat om communicatie en handelen.
Fabels:
- Kinderen worden niet drukker van suiker
- Vrouwen gaan niet op hetzelfde moment menstrueren als ze bij elkaar wonen
- Ons handschrift vertelt veel over onze persoonlijkheidskenmerken → bullshit
- Afgelopen jaren is er een enorme toename in autisme onder kinderen → bullshit. We zijn beter gaan begrijpen wat de classificatie van autisme is.
- Bijna alle mensen die een misdaad bekennen zijn schuldig → bullshit. Veel geven onder druk een bekentenis.
Het communiceren van wetenschappelijke bevindingen: 4 dilemma’s.
Dilemma 1
- Als je een bevinding net wat spannender schrijft
- Genereert het meer aandacht
- Dat is goed voor de impact van jouw bevindingen
- Jij krijgt meer aandacht
- Dat is goed voor jouw CV en mogelijke toekomstige subsidies
Dilemma 2
- Wetenschapper vindt iets of vindt iets uit
- Doet een (bescheiden of relativerende) media-uiting
- Wordt opgepikt door de media en uit proportie getrokken
- Het weetje gaat een eigen leven leiden
- Aan de wetenschapper worden vooral spannende uitspraken ontlokt
Dilemma 3
- Wetenschapper vindt iets uit met mogelijke consequenties
- Doet bescheiden uitspraken
- Wordt van alle kanten op hetzelfde terrein ingehaald door niet-wetenschappers die onbescheiden uitspraken doen (BN'ers)
- Wetenschapper voelt zich genoodzaakt om de evidentie sterker aan te zetten dan hij of
Aantekeningen college Uitdagingen - Universiteit Utrecht (2022-2023)
Hoorcollege 7
Academica die maken het probleem: zij maken de biases en de fouten. De wetenschap doet dat niet. Dat is dus anders. Papers analyseren. In de psychologie en psychiatrie wordt 90% steun gevonden voor de hypothese. Dat is een verdacht hoog percentage. Er liggen veel problemen aan dat statement ten grondslag.
Publicatie bias
- Gedrag tijdens het publicatieproces dat papers met positieve resultaten bevoordeelt over papers met negatieve resulaten
Reviewer bias
- Editors en reviewers bevoordelen papers met positieve resultaten
File-drawering
- Onderzoekers proberen negatieve resultaten niet te publiceren
Dan krijg je een oververtegenwoordiging van positieve resultaten ten opzichte van hoeveel er is uitgevoerd.
Beloningsstructuur gericht op o.a. het aantal publicaties. Dit leidt tot:
Vertekenende onderzoekspraktijken
- Gedrag tijdens het onderzoek dat leidt tot overschatting van bewijs voor hypothese
- Niet hetzelfde als fraude, veel subtieler
- Wijdverbreid, niet alleen in de psychologie
- Onderzoekers zijn/waren zich niet bewust van hoezeer deze praktijken vertekenen
Het kan ervoor zorgen dat er QRP’s gedaan worden. Want je wil positieve resultaten krijgen. Outliers weglaten en dan wel steun vinden. Deze keuze maak je niet van tevoren. Dan is het een QRP. Je fabriceert de data niet, het is geen fraude. QRP’s kunnen ook onbewust zijn. Psychologie loopt voorop in de kennis dat dit een probleem is.
Mertoniaanse normen
Universalisme
- Kennis moet persoonsonafhankelijk zijn
Communalisme
- Kennis moet openbaar zijn (transparantie)
Belangeloosheid
- Streven naar waarheid, niet naar eigenbelang
Georganiseerde skepsis
- Systeem voor beoordeling van uitspraken
Als je QRP’s doet, je wil positieve verbanden hebben. Dat is tegen belangeloosheid in. Niet open access? Dan is het een schending van communalisme.
p-hacking
- Het exploiteren van flexibiliteit in data-analyse om statistisch significante resultaten te verkrijgen
- Onewust of bewust (bijvoorbeeld hindsight bias)
- De data 'vormen naar' een theorie of hypothese (zonder hierover transparant te zijn)
- P-hacking leidt snel tot vertekenende resultaten
Wetenschapper die op zoek is naar een resultaat, doet ook de analyse. Ook verwerkt hij ruwe data naar verwerkte data. Dan stopt hij ze in de analyse. Outlier te snel weghalen. Als je de data zo aan het manipuleren bent naar de hypothese, zonder daarover transparant te zijn. Dat is p-hacking. Alles transparant? Dan heeft de lezer alle informatie om te oordelen over de evidentie. Transparantie is de essentie van de open science beweging.
Tuin van splitsende paden:
- Je probeert erg veel manieren om tot een significant resultaat te komen
- Uiteindelijk vind je een significant resultaat
- Dan zeg je 'zie je wel, ik wist het wel'. Dat is hindsight bias.
- Als je die beslissing niet van tevoren maakt, dan is het bias en slecht. Als je maar alle paden probeert en dan uiteindelijk goed uitkomt.
HARKing
- Hypothesizing after results are known
- Hypothesen bepalen op basis van onderzoeksuitkomsten
- Het presenteren van theoretisch onverwachte data alsof deze wél door theorie voorspeld waren
- Een theorie of hypothese 'vormen naar' de data (zonder hierover transparant te zijn)
- Je keert de volgorde om.
- Je gaat maar random
Aantekeningen college Betrouwbaarheid en Validiteit - Universiteit Utrecht (2022-2023)
Hoorcollege 8
Tentamentickets:
- Morling H5 is aanvullende literatuur.
- Voor elk college is er een theoretische opgave waar je kan oefenen.
- Alle formules die langskomen zijn op een formuleblad te vinden op BB onder assignments.
- Formuleblad krijg je op het tentamen.
- Betekenis van de symbolen moet je je zelf eigen maken.
- Veel komt aan bod in responsiecolleges.
- 2 onderwerpen worden besproken bij responsiecolleges.
- Na practicum maak je de eindopdracht. Dit staat in de practicumopdracht beschreven. De antwoorden van de eindopdracht moet je invoeren in remindo.
Beroepscode van het NIP:
- Integer
- Respectvol
- Verantwoordelijk
- Deskundig
Hier moet je aan voldoen als psycholoog. Persoonskenmerken waarover je moet gaan beschikken. Deze kenmerken kan je meten, maar het zijn abstracte concepten.
Die schatting beschouw je als een puntschatting. Deze metingen zijn feilbaar, niet perfect. Je moet een grens interval geven waartussen het sowieso ligt. Dit is een intervalschatting. Puntschatting is een te ambitieuze uiting van waar je denkt dat het zit. Intervalschatting is een interval. Je moet iets weten van de betrouwbaarheid (precisie) voor je een intervalschatting kan maken.
Operationalisatie
- Theoretisch concept
- De beschrijving van handelingen (operaties) die nodig zijn om de bedoelde eigenschap te meten
- Operationaliseren is lastig.
Valide: dat het integriteit betreft.
Betrouwbaarheid: dat het iets meet dat het ook bij de mensen aanwezig is.
Een puntschatting is een beslissing in onzekerheid. Het is waarschijnlijk geen perfecte meting. Dus je moet weten hoe precies die score 11 is en of dit een goede weergave is. Je moet de onzekerheid dus quantificeren.
Model klassieke testtheorie
Testscore X (testscore) wordt bepaald door:
- Latente of ware score T
- Toevallige meetfout E (error)
Twee invloeden op de testscore.
- De T is de ware score, de echte mate van integriteit die Vera heeft.
- E is de toevallige meetfout (error).
Invloeden:
- De toevallige meetfout. Persoon, Omgeving, Test en Testleider kunnen dit beïnvloeden.
- Je krijgt dus geen indicatie van de precieze ware score.
- Gestandaardiseerde test maken: dan blijft de toevallige meetfout E zo klein mogelijk.
De E kan een + of een - zijn.
Testscores (meetwaarden X)
- Systematische invloeden
- Wat test beoogt te meten
- Systematische meetfout
- Toevallige invloeden
Ware score T, draagt systematisch bij aan de uitslag van de score. Als je heel integer bent, heb je een hogere score en als je corrupt bent, heb je een lagere score. Maar je hebt ook toevallige invloeden of een systematische meetfout. Over een week ben ik niet minder integer. Dus dan verandert alleen de toevallige meetfout. Dat is dus de betrouwbaarheid. Vaak heb je maar 1 afname.
Validiteit gaat over of de score wel een representatie is van wat je wil meten.
- Valide meting is altijd betrouwbaar, maar daar komt ook bij dat er geen systematische meetfout bij zit.
- Onbetrouwbare meting kan nooit valide zijn.
- Valide meting is per definitie betrouwbaar.
- Gemiddelde (t) is de ware score.
- Maar er is een mate van spreiding. Standaardafwijking zegt iets over
Aantekeningen college Factoranalyse - Universiteit Utrecht (2022-2023)
Hoorcollege 9
Voor een schaalscore wil je eendimensionaliteit.
Factoranalyse gaat alleen over relaties binnen een test.
- Meerdimensionaliteit: clusters van items die samenhangen.
- Eendimensionaliteit: alle items hangen samen.
Factoranalyse helpt ons iets daarover te zeggen. Een of meer achterliggende verklaring voor de verzameling van items. Dan kan je uiteindelijk 1 schaalscore gebruiken voor een onderwerp.
Doelen factoranalyse:
- Beoordelen dimensionaliteit van test
- Realiseren van datareductie
Aantal variabelen is hier items. Kan ook testscores zijn. Die tests bevatten weer meerdere items.
- Boven is een verwachting proberen te bevestigen: het klopt.
- Onder is zonder verwachtingen en kijken hoe het zit.
- Test is tweede factoranalyse
- Items is eerste factoranalyse.
De tien opgaven kunnen vervangen worden door twee scores. --> datareductie. De eerste 5 voor F1 (factorscore) en de laatste 5 voor F2. Dit is dus van 10 naar 2 variabelen, dus dat is datareductie.
Stappen in factoranalyse:
Stap 0 is: zijn mijn data überhaupt wel geschikt om een factoranalyse uit te voeren.
Stap 1: Keuze factormodel
- We doen een confirmerende factoranalyse.
- We onderzoeken of die tweedimensionaliteit van intelligentie klopt. Of we inderdaad twee factoren hebben.
- Zijn deze twee achterliggende factoren te vinden in deze verzameling van variabelen?
- Keuze factormodel nu. We veronderstellen twee clusters van testscores.
- Je werkt met z-scores, want het is gestandaardiseerd, waardoor je ze kan vergelijken.
- We veronderstellen twee achterliggende factoren.
F1 en F2 hebben op alle items een invloed. De sterkte van de invloed wordt aangegeven met een a. Dat wordt een resultaat van de analyse.
Testscores zijn de variabele X
z-score heeft een standaardafwijking van 1.
Dit is een transformatie.
- Factorlading = samenhang tussen de factor en de afzonderlijke observatie.
- Hoe goed zo’n factor van invloed is op zo’n afzonderlijk item.
- Factor is niet observeerbaar. Wat we wel kunnen zien zijn die antwoorden van de respondent (de items).
Voor ieder individu krijg je een andere F omdat er voor ieder individu een andere combinatie van z-scores is gerealiseerd. Niet iedereen heeft dezelfde scores op de test en dus ook niet dezelfde z-scores, en dus ook niet dezelfde Factorscore. De a’tjes zijn wel allemaal hetzelfde. Factorscores hebben een verdeling, een gemiddelde en en een standaardafwijking.
- Gemiddelde is 0 en de standaardafwijking is 1, omdat we hier te maken hebben met z-scores.
- Factorscore van 0, dan heeft hij een score op de 10 items gelijk aan het gemiddelde van de groep.
- + en - betekent boven of onder het gemiddelde. En het wordt uitgedrukt in standaardafwijkingen.
- We hebben van tevoren een idee over het aantal achterliggende factoren.
Stap 2: Bepalen aantal factoren
- Eigenwaarde criterium
- Knikcriterium
- Hoe goed is de factor in staat spreiding in items te verklaren en te representeren.
- Als je geen idee hebt, dan ga je kijken hoeveel het er zijn.
- Conformerend is wat je verwacht of dat ook wordt gevonden.
- Dit is interne structuur van de begripsvaliditeit.
- Voor elke test een lading op factor 1 en factor 2.
- Hoe groter
Aantekeningen college Itemanalyse en Transformaties - Universiteit Utrecht 22/23
Hoorcollege 10
We zetten ruwe scores om in gestandaardiseerde waarden.
- Theoretisch concept: lichaamslengte
- Operationalisatie 1: Geregisseerde meting van lengte in cm.
- ‘’Ik stoot mijn hoofd nogal vaak.’’ ‘’Mijn zadel staat vaak erg laag.’’
- Dit is het hele idee van praktische concepten. Dat is lastiger te meten, dus moet je dat met vragenlijsten doen bijvoorbeeld.
Itemanalyse: Verkrijgen van een optiamel test of schaal, met zo weinig als mogelijkj items een zo hoog als mogelijke betrouwbaarheid realiseren voor de testscore. Dit zondere verlies van inhoudsvaliditeit
Procedure:
- Factoranalyse ter beoordeling van eendimensionaliteit
- Selecteer items voor schaal
- Codeer items in zelfde richting
- Betrouwbaarheidsanalyse met Cronbach's alfa voor schatting betrouwbaarheid
Scores die je toekent moeten geordend kunnen worden.
Optimale test:
- Zo weinig mogelijk vragen, met een zo betrouwbaar mogelijk resultaat.
- Weglaten van items kan zorgen voor beperken van inhoudsvaliditeit.
Factoranalyse
- Selectie van items die een factor representeren.
- Factoranalyse levert een of meer factorscores op, dat is de score die we gebruiken voor de factor die een bepaalde interpretatie heeft gekregen.
- 1 factor: Lichaamslengte.
- Schaalscore maakt gebruik van die verzameling van items die hoog laden op de factor.
- Factorscore gebruikt alle items
- Schaalscore gebruikt een beperkt aantal items.
- Factorscore gebruikt een gewogen som van de items
- Schaalscore weegt elk item evenveel mee, het gaat om het gemiddelde van een selectie van items die horen bij een construct.
Items geselecteerd voor een schaalscore.
- Alle items moeten in dezelfde richting zijn gecodeerd, je moet dus ompolen.
- Hoge score is altijd veel van het kenmerk.
- Eerst doe je een betrouwbaarheidsanalyse. Niet alleen hoe betrouwbaar die selectie van items is, maar ook de afzonderlijke bijdrage van de items.
- Dat noem je de itemanalyse voor selecteren items voor schaalscore.
- We willen alleen die items gebruiken die bijdragen aan de betrouwbaarheid en aan de mogelijkheid de mensen te onderscheiden.
- Itemanalyse zit in de betrouwbaarheidsanalyse.
Factoranalyse gaf al een selectie, betrouwbaarheidsanalyse geeft nog meer een indruk over welke items we gaan gebruiken voor de definitieve schaal die we gebruiken voor het meten van het concept waarin we geïnteresseerd zijn.
Doel prestatieniveautest:
- We willen personen betrouwbaar onderscheiden.
- Schaalscore maar 2 categorieën? Dan kan je mensen maar in twee groepen opdelen. Je wil dus wel een bepaalde precisie.
- We geven cijfers in 1 tot 10 met decimalen. Dat is al best precies. Je wil een differentiatie.
- Scores moeten differentiëren.
- Onderscheiden: scores moeten differentiëren en stellen in staat om te ordenen.
- Betrouwbaarheid: hoe precies is de schatting.
Hoe doe je dat:
Realiseer een test met de grootste spreiding testscores.
- Kies voor items die ‘goed’ differentiëren en
- Kies voor items die onderling ‘sterk’ samenhangen.
Op een item wordt gevarieerd gescoord. Hoe meer spreiding per item, hoe meer spreiding per testscore, hoe beter mijn test of schaalscore in staat is om te differentiëren. Dat is de eerste.
Samenhang is correlatie, samenhang tussen items, dan kijken we naar de inter-item correlatie. Elk item heeft een correlatie met een ander item. Hoe hoger
.....read more
Aantekeningen college Signaal Detectie Theorie - Universiteit Utrecht 22/23
Hoorcollege 11
Redeneerfout: Base rate fallacy of base rate neglect.
- Positieve testuitslag moet altijd in het licht gezet worden van hoe groot is de kans dat iemand met zo’n positieve testuitslag niet positief is.
- Leidt tot verkeerde conclusies: bij positieve uitslag ga je ervan uit dat er ook echt een stoornis is.
- Naarmate de diagnose meer ingrijpend is, hoe belangrijker is dat je zeker bent van een positieve diagnose.
- Wel of geen behandeling. Voor toetsvragen hetzelfde: we kunnen denken je beschikt niet over genoeg kennis, maar dat heb je eigenlijk wel.
- Alle beslissingen zijn beslissingen in onzekerheid.
Signaal detectie theorie
- Denkkader en verzameling analysemethoden rondom het nemen van beslissingen
- Theorie over kans op goede en foute beslissingen, met aannamen over verdelingen van testuitkomsten onder verschillende omstandigheden.
We onderscheiden ware en valse beslissingen bij een testscore.
- Die scores overlappen deels.
- Op basis van de grenswaarde beslis ik of de stoornis wel of niet aanwezig is.
Dit is de basis van de signaal detectie theorie.
- De gouden standaard is de absolute kennis. Die klopt sowieso. Die is noodzakelijk als we een indeling willen maken. Dat is de C in bovenstaande tabel.
- False negatives zijn misses. Die mis je om een diagnose te stellen.
- Ware negatieven zijn ook wel correct rejections.
Sensitiviteit = hoe groot is de kans op een positieve diagnose gegeven dat iemand de stoornis heeft.
- P is de kans.
- Kans op D+, gegeven C+.
- Kans op diagnose gegeven het feit dat hij volgens de gouden standaard ook die stoornis heeft.
- Je wil een hoge waarde, je wil dat iedereen die waarvan bekend dat hij een positieve diagnose heeft, ook een positieve diagnose krijgt.
- Dit is een voorwaardelijke of conditionele kans. Dus de kans op D+ op voorwaarde dat je in die C+ zit. Daarom is het een voorwaardelijke kans.
- Je moet dus een steekproef hebben van mensen waarvan bekend is dat ze de stoornis hebben. Dus je hebt alleen de C+ nodig om de sensitiviteit te berekenen.
Specificiteit = de kans op een negatieve diagnose, gegeven dat iemand de stoornis niet heeft.
- Weer een conditionele of voorwaardelijke kans.
- Nu kijk je naar de C- groep.
- Je wil weer zo hoog mogelijke waarde.
- Kans om negatief geval negatief te testen.
- Sensitiviteit is positief geval ook daadwerkelijk positief testen.
Predictieve accuratesse is nodig om een correcte positieve diagnose te stellen.
- Niet alleen de sensitiviteit nodig, maar ook hoe zit het met de verkeerde testuitslagen.
De predictieve waarde gaan we het nu over hebben. Positieve predictieve waarde (PPV) = proportie/kans op ware positieven gegeven een positieve diagnose.
Wat is C+, gegeven diagnose.
- PPV zal niet helemaal kloppen, want de stoornis komt niet veel voor in de populatie. Je moet dus een correctie uitvoeren.
- We hebben informatie nodig over de prevalentie. Of de base rate. De proportie voor de mensen waarvoor geldt dat hij voorkomt bij de mensen. Ook wel de prevalentie.
- 0,16
Aantekeningen college Item-responstheorie - Universiteit Utrecht 22/23
Hoorcollege 12
Vorige colleges waren de klassieke testtheorie.
Onvolkomenheden KTT:
- Theorie over testscores
- Weinig informatief over afzonderlijke items
- Schatting betrouwbaarheid testscore
- Afhankelijk van populatie(variatie)
- Aanname over toevallige meetouft
- Meetfout is onafhankelijk van niveau respondent
- Aanname over meetniveau testscore
- Niet statistisch te toetsen
- Beperkingen in vergelijken respondenten
- Betrouwbaar voor middengroepen
- Inefficiëntie
- Alle respondenten moet hele test maken
- Betrouwbaarheid is steeds afhankelijk van de steekproef.
- Mensen die goed zijn of vaardig zijn, worden niet meegenomen in de Klassieke TestTheorie.
- Test vooral in het midden van het bereik is hij goed. Aan de buitenkanten minder betrouwbaarheid.
- Weinig mogelijk vragen zo veel mogelijk antwoorden. Dat is inefficiënt bij de KTT.
Item-responstheorie (IRT)
- IRT komt tegemoet aan de onvolkomenheden KTT
- Het is een theorie over itemscores in plaats van testscores
- Schatting van psychometrische kenmerken van items en testscore is onafhankelijk van de populatie
- Nauwkeurigheid van schatting (=betrouwbaarheid) kan binnen IRT variëren tussen respondenten
- Aannames over modellen statistisch toetsbaar
- Op IRT gebaseerde tests maken beoordeling ontwikkeling beter mogelijk
- Schatting vaardigheid onafhankelijk van verzameling items: Dit maakt testafname op maat (adaptief testen) mogelijk
Je komt met een beperkter aantal vragen ook op een nauwkeurige schatting van iemand zijn vaardigheid. Dat is adaptief testen.
- IRT gaat om het model voor itemscores en niet voor testscores. Voor elk afzonderlijk item kan weer een meetfout zijn.
- T staat voor theta, de vaardigheid waarin we geïnteresseerd zijn.
- Continu of categorisch kenmerk. Daar hebben die verschillende termen mee te maken.
- Discreet is twee antwoorden, mee eens of niet mee eens. Dichotome items.
- Ordinale items zijn Likert schalen.
- Theta is de vaardigheid waarin we geïnteresseerd zijn.
- En de kans op een correct antwoord.
Hogere vaardigheid? Dan is de kans dat je het goed maakt of dat je het ermee eens bent, neemt toe. De kans op respons 1. De kans dat je het ermee eens bent of dat je de opdracht goed hebt afgerond. Theta is kenmerk dat je gaat meten aan de hand van de verzameling items.
- De kans op antwoord 1, gegeven een bepaalde theta (kwaliteit).
- Meer latente trek, meer vaardigheid is een grotere kans op waarde 1. Dat loopt zoals bovenstaand model.
- 1 is de succeskans.
- Relatie tussen de latente trek en de succeskans. Dat is de item-responsfunctie.
- Elk item heeft eigen item-responsfunctie.
- Theta wordt vaak uitgedrukt in z-scores. 0 is, is gelijk aan gemiddelde van de groep. Dus dezelfde vaardigheid als het gemiddelde van de groep.
- Dit zie je als SD’s tov het gemiddelde. Binnen 2 à 4 SD’s heb je al de hele populatie te pakken.
- Buiten de 2 SD komen weinig mensen voor en dan wordt ook de kans op een goed of fout antwoord steeds minder.
- Succeskans hangt af van de kwaliteit. De hoogte of sterkte van de latente trek.
- De relatie tussen de latente trek theta en de succeskans. De kans op een correct of mee eens antwoord, als
Psychologie jaar 1 - UU (2022-2023)
In deze bundel vind je alle nuttige studiehulp om je het eerste jaar Psychologie door te helpen. Deze bundel bevat onder andere: hoorcollege-aantekeningen, werkgroepen, begrippenlijsten en tentamenvragen.
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
Online access to all summaries, study notes en practice exams
- Check out: Register with JoHo WorldSupporter: starting page (EN)
- Check out: Aanmelden bij JoHo WorldSupporter - startpagina (NL)
How and why would you use WorldSupporter.org for your summaries and study assistance?
- For free use of many of the summaries and study aids provided or collected by your fellow students.
- For free use of many of the lecture and study group notes, exam questions and practice questions.
- For use of all exclusive summaries and study assistance for those who are member with JoHo WorldSupporter with online access
- For compiling your own materials and contributions with relevant study help
- For sharing and finding relevant and interesting summaries, documents, notes, blogs, tips, videos, discussions, activities, recipes, side jobs and more.
Using and finding summaries, study notes en practice exams on JoHo WorldSupporter
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
- Use the menu above every page to go to one of the main starting pages
- Starting pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
- Use the topics and taxonomy terms
- The topics and taxonomy of the study and working fields gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up
- Check or follow your (study) organizations:
- by checking or using your study organizations you are likely to discover all relevant study materials.
- this option is only available trough partner organizations
- Check or follow authors or other WorldSupporters
- by following individual users, authors you are likely to discover more relevant study materials.
- Use the Search tools
- 'Quick & Easy'- not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject.
- The search tool is also available at the bottom of most pages
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
- Check out: Why and how to add a WorldSupporter contributions
- JoHo members: JoHo WorldSupporter members can share content directly and have access to all content: Join JoHo and become a JoHo member
- Non-members: When you are not a member you do not have full access, but if you want to share your own content with others you can fill out the contact form
Quicklinks to fields of study for summaries and study assistance
Field of study
- All studies for summaries, study assistance and working fields
- Communication & Media sciences
- Corporate & Organizational Sciences
- Cultural Studies & Humanities
- Economy & Economical sciences
- Education & Pedagogic Sciences
- Health & Medical Sciences
- IT & Exact sciences
- Law & Justice
- Nature & Environmental Sciences
- Psychology & Behavioral Sciences
- Public Administration & Social Sciences
- Science & Research
- Technical Sciences
Add new contribution