aantekeningen hoorcolleges Psychologie als Wetenschap 2023 UU
Hoorcollege 4 Psychologie als Wetenschap 23 UU
Hoorcollege 4
- Mens (persoonlijke biases): staan ons als mens/psycholoog/onderzoeker in de weg om objectief waar te nemen
- Methode (bias in tests en methode): hebben invloed op de middelen waarmee we iets objectief willen meten
- Systeem (systematische biases) beïnvloeden de invloed van het wetenschapssysteem
- Confirmation bias: je gaat op zoek naar feiten en bewijs die bevestigen waar jij gelooft. Hierbij negeer je dus informatie die hier niet bij past
- Hindsight bias: achteraf schat je de kans groter in dan voorheen. Bvb ik denk dat Tina Turner live goed is en achteraf concert zeggen ja ik wist zeker dat ze live goed is.
- Bias blind spot: je denkt dat jezelf minder vatbaar bent voor persoonlijke biases dan anderen
- Halo/horn effect
- Overconfidence
- Representativiteits
- Attributie
- Availibility
- Zijn mentale shortcuts bij probleemoplossen
- Helpt met het vormen van een coherentie werkelijkheid die cognitief minder belastend is
- Is een snel beslissysteem en dus handig als er gevaar dreigt, maar wel slecht in kansen
- (on)bewust belang van de onderzoeker: ondersteuning voor zijn/haar theorie, gepubliceerd willen worden etc
- Selectiebias: slechts een deel van de populatie wordt omvat
- Bij het operationalisatieproces kan het ook fout gaan
- Peformance tests: prestatietaken, aptiude tests, reactietijden
- Typical response tests: vragenlijsten naar kenmerken, symptomen of attitudes
- Systematische observaties
- Kwalitatieve interviews
- Fysiologische maten
- Rorschach vlekkentest: inktvlekken worden getoond en gevraagd om te beschrijven wat er wordt gezien, hierbij owrdt gelet op inhoud, plaats en vorm determinanten
- Vragenlijsten: bvb de MMPI-2 of de PID-5 voor stoornissen
- Systematische observaties: bb middels video-opnamen in verschillende sociale situaties
- Op basis van online gedrag (Big Data)
- Gebaseerd op een theorie
- Meet wat je wilt meten (validiteit)
- Meet wat het zegt te meten
- Resultaten moet niet afhankelijk zijn van toeval, moment of situatie (betrouwbaar)
- Test moet uitvoerbaar zijn binnen de gegeven context en populatie (generalisatie)
- Vertekening die de validiteit van een testuitslag bedreigt
- Vertekening die een groep met bepaalde kenmerken systematisch onder- of overschat ten opzichte van een andere groep
Hoorcollege 5 Psychologie als Wetenschap 2023 Universiteit Utrecht
Hoorcollege 5
- Horen allemaal bij psychologie
- Kennen hun eigen prominenten vraagstukken en onderwerpen
- Zijn soms bepalend voor methodologie, meetmethoden en onderzoeksopzet
- Hebben hun eigen uitdagingen
Centrale vragen | Kenmerkende methoden | Uitdagingen | |
PF |
|
|
|
SP |
|
|
|
OWP |
|
|
|
KP |
|
|
|
- Psychologische constructen bestaan en kunnen gemeten worden
- Metingen van psychologische constructen zijn iet perfect
- ER zijn verschillende manieren om een construct te meten
- Alle meetmethoden hebben krachten en beperkingen
- Prestaties op tests kunnen gegeneraliseerd worden naar niet-testgeboden gedrag
- Een combinatie van tests kunnen informatie verstrekken die psychologen helpt om betere professionele beslissingen te nemen
- Testgebruik kan bevorderlijk zijn voor individu en maatschappij
Hoorcollege 6 Psychologie als Wetenschap 2023 Universiteit Utrecht
Hoorcollege 6
- Minder erkend en krijgt hierdoor minder kans op onderzoeksfunding
- Minder erkenning vna het belang van psychologische kennis in maatschappelijke vraagstukken
- Kan in de weg staan van het krijgen van een goede behandeling of interventie
- psychologen om te kunne nagaan met ideeën die leven in de maatschappij
- psychologische begrijpen waar de weerstand zit
- om de relevantie van het vakgebied uit te kunnen leggen
- bij het schrijve van aanbevelingen voor beleidsmakers
- Is gewoon commons sense
- Gebruikt geen wetenschappelijke methoden
- Kan geen generieke claims maken, want iedereen is uniek
- Levert geen herhaalbare resultaten op
- Kan geen precieze voorspellingen doen
- Is niet bruikbaar voor de maatschappij
- Als je bevindingen spannender/betekenisvoller overbrengt, genereert dit meer aandacht voor je bevindingen en jouw CV
- Media kan een bevinding uit proportie trekken, waardoor dit weetje een eigen leven gaat leiden en uit de wetenschapper alleen maar spannende uitspraken worden ontlokt
- Een bevinding met mogelijke consequenties wordt gedaan. Als niet-wetenschappers zich gaan bemoeien, wordt de noodzaak ervaren de evidentie harder aan te zetten dan gewilt
- Evicence based uitspraken over een politiek gevoelig gebied leidt tot social media aanvallen en zo een onveilig gevoel
- Wetenschappers mijden sommige media
- Niet-wetenschappers en pseudowetenschappers krijgen meer ruimte om hun meningen te ventileren
- Experts komen minder in beeld
- De nuance verdwijnt en de kennis waarop we ons baseren is deels onjuist
- Er leeft angst onder wetenschappers
- Informeer, haal niet over
- Biedt balans, niet vals balans
- Sluit onzekerheden af
- Benadruk bewijskwaliteit
- Hoe rekening met misinformatie
- Snelheid van technologie en maatschappelijke ontwikkelingen vs de traagheid en zorgvuldigheid van wetenschap
- Ruim beschikbare misinformatie
- AI (Chat GPT)
- Rabbitholes en Echochambers
- Algoritmen en technologieën, inclusief hun biases
- Ethiek en prvacy
- Deep fake technologieën
.....read more
Hoorcollege 7 Psychologie als Wetenschap 2023 Universiteit Utrecht
Hoorcollege 7
- Universalisme: kennis moet persoononafhankelijk zijn
- Communalisme: kennis moet openbaar zijn (transpirantie)
- Belangeloosheid: streven naar waarheid, niet eigenbelang
- Georganiseerd skepsis: systeem voor beoordeling van uitspraken
- Transparant in alle stappen van onderzoek. T.b.v. beoordeling en reproduceerbaarheid
- Onderzoeksmaterialen, data, analyse code worden gedeeld
- Vakbladen, universiteiten en subsidiegevers waarderen transparantie
- Transparantere onderzoekspraktijken
- Pregregistratie: onderzoeksplan, beslissingen of beslisblomen, gedetailleerde plannen worden van te voren gedeeld. Levert meer reflectie, overleg, feedback
- Registered reports: er was preregistratie en daarna report
- Multiverse analyse:Ondercheid tussen arbitratir (meerdere redelijke opties) en niet-arbitraire (duidelijk een beste optie), waarbij alle paden worden bekeken. Dit kan in combinatie met pre-registratie. Alle paden worden verkent en gerapporteerd
- Verkent data op transparante en comfortabele wijze
- Beloont kwaliteit, waarover we controle hebben, in plaats van uitkomsten waarover we geen controle hebben
- Verminder de druk op het verkrijgen van significante resultaten
Hoorcollege 8 Psychologie als Wetenschap 2023 Universiteit Utrecht
Hoorcollege 8: testtheorie: betrouwbaarheid en validiteit
- integer,
- respectvol,
- verantwoordelijk
- deskundig.
- Gender (vragen naar man / vrouw / X)
- Lengte (geregisseerde meting in cm)
- Rekenvaardigheid (aantal goed op rekentest)
- Prestatie-motivatie (score op onderdeel van PMTK, motivatie en prestatie scores)
- Integriteit (score op integriteitstest).
- Latente of ware score T (true score). De echte mate van integriteit. Is ook de belangrijkste score. Ben jij niet integer dan scoor je laag.
- Toevallige meetfout E (error). Er zijn allemaal invloeden: persoon, omgeving, test of de testleider. Het kan dus overal aanliggen. Hoe groter deze fout, hoe minder zeker je bent van de daadwerkelijke score van een persoon.
- Spreiding van de toevallige meetfout bij oneindig aantal replicaties.
- Geeft een indicatie van de nauwkeurigheid van de meting in een populatie.
- De standaardmeetfout is identiek voor alle individuen waarbij je het instrument afneemt (= aanname). Het is voor iedereen hetzelfde. Met de standaardmeetfout kunnen we het betrouwbaarheidsinterval afleiden voor de ware score.
- formule: Betrouwbaarheid: Testscore is ware score plus toevallig fout: Testvariantie is ware scorevariantie plus errorvariantie: Betrouwbaarheid is verhouding tussen ware scorevariantie en testvariantie: Hoe dichter bij 1 hoe betrouwbaarder de test, hoe dichter bij 0, hoe onbetrouwbaarder. Toch is er een probleem. Want de variantie van ware scores S2/t is bekend, we moeten dus de betrouwbaarheid testscore moeten we daarom schatten.
Hoorcollege 9 Psychologie als Wetenschap 2023 Universiteit Utrecht
Hoorcollege 9: factoranalyse
- Beoordelen dimensionaliteit van test: Vinden we het aantal theoretisch veronderstelde dimensies (= factoren) binnen de verzameling van testitems? -> confirmerende factoranalyse (CFA). We hebben namelijk een verwachting, en willen we dit ook bevestigen.
- Realiseren van datareductie, Kunnen we informatie uit groot aantal variabelen samenvatten in kleiner aantal nieuw te construeren variabelen (= factoren)? -> explorerende factoranalyse (EFA). Je komt dus tot nieuwe variabelen. We hebben item variabelen en test (scores) variabelen. We hebben hier geen verwachting, maar we willen nagaan hoe iets zit.
- Stap 1: welk model? Hier wordt gekeken naar factormodellen: Hoofdcomponentenanalyse (PCA) en Principal axis factoring (PAF) zijn de 2 meest gebruikte modellen
- Stap 2: aantal factoren? Eigenwaarde criterium en Knikcriterium
- Stap 3: interpretatie factor(en)? Doen we door een van de 2 te kiezen: Orthogonale rotatie en Oblique rotatie
- Stap 4: kwaliteit factoroplossing? Simple structure, Correlatie tussen factoren, Proportie verklaarde variantie factoren en Communaliteit
- Hoofdcomponentenanalyse (Principal Components Analyses). Hierbij woorden de A’s berekend. De sterke van de invloed van de factor op de afzonderlijke variabale/observaties.
- Factoranalyse (Principal Axis Factoring); met U(nieke factor). Is een iets uitgebreider model. Ze hebben ook andere invloeden.
- Geobserveerde variabele (X , Zx )
- X = individuele score op variabele en Zx = X getransformeerd naar z-score
- Factorlading (a) Correlatie van variabele met factor. NB. De factorladingen a worden
- geschat. Dus hoe goed/slecht de is factor op een item. Het zijn achterliggende verklaringen. Factor (F ) Achterliggende verklaring voor variatie (variantie) in en samenhang (correlaties)
- tussen de variabelen. NB. In PCA spreekt men van componenten in plaats van factoren.
- Unieke factor (u) Unieke factor voor verklaring van specifieke en error variantie.
- Voor ieder individu een score op (elke) factor.
- Voor persoon i is Fji de gewogen som (lineaire combinatie) van k naar Z gestandaardiseerde variabelen.
- F is een nieuwe variabele, die meerdere variabele
- samen pakken.
- Voor verdeling van factorscores geldt: gemiddelde M = 0 en standaardafwijking SD =1
- Aantal mogelijke factoren: Maximaal aantal factoren is gelijk aan totaal aantal variabelen (k) in de analyse. Hebben we 11 variabele in de analyse, kunnen we 11 factoren krijgen.
- Doel factoranalyse: Met zo weinig mogelijk factoren zo veel mogelijk variantie in variabelen verklaren (datareductie). Dus hoe goed die test zijn gemaakt.
- Verklaarde variantie factoren
- Factor 1: verklaart zo groot mogelijk deel van testvariantie. Heeft de meeste invloed/gewicht
- Factor 2: verklaart zo groot
Hoorcollege 10 Psychologie als Wetenschap 2023 Universiteit Utrecht
College 10: Itemanalyse en transformaties
- Factoranalyse ter beoordeling van eendimensionaliteit. Je wilt een selectie van items.
- Selecteer items voor schaal
- Codeer items in zelfde richting. Een hoge code, betekent veel van het kenmerk.
- Betrouwbaarheidsanalyse met Cronbach’s alfa voor schatting betrouwbaarheid. Geeft een
- betrouwbaarheid van de hele schaal, maar ook van de afzonderlijke items.
- Itemanalyse voor selecteren items voor schaalscore. Hierdoor komen we tot een definitieve selectie, dus een definitieve schaal.
- Test (of schaal) moet zo goed als mogelijk differentiëren (Heeft te maken met onderscheiden)
- Testbetrouwbaarheid zo hoog als mogelijk (heeft te maken met betrouwbaarheid)
- realiseer een test met de grootste spreiding testscores:
- kies voor items die ‘goed’ differentiëren
- kies voor items die onderling ‘sterk’ samenhangen
- itemvarianties (Sg/2); hoe groter hoe meer differentiatie. Je wilt dus veel spreiding.
- inter-itemcorrelaties (R gh); hoe hoger hoe betrouwbaarder.
- Inter-itemcorrelaties
- Voor elk item is er een correlatie met alle overige items.
- Is er een samenvattende maat voor de correlatie van item i met alle overig
- items? Dan maak je gebruik van:
- Item-totaalcorrelatie (Item-total correlation). Dit is de hele test.
- Correlatie ri,x tussen item (i) en testscore (X). —> rit - waarde
- Item-restcorrelatie (Item-rest correlation). Dit is de correlatie met het item en de overige items.
- Correlatie ri,(X-g) tussen item (i) en score op test zonder item (X - g). —> rit - waarde
- Bij de SPSS output kijken bij: corrected item-total correlation.
- Een zo betrouwbaar als mogelijke test.
- Globaal een zo goed als mogelijk differentiërende test.
- Een test die nauwkeurig meet in midden van verdeling:
- maakt differentiatie voor middengroepen goed mogelijk.
- de Cronbach’s alfa is een procedure voor het schatten van de betrouwbaarheid, met Likert achtige schalen.
- Populaire methode betrouwbaarheidsschatting testscore.
- Voor items met meer dan twee geordende categorieën.
- Voor homogene set van items (eendimensionaal).
- Speciaal geval van Cronbach’s alfa
- Voor dichotome items (positief = 1, negatief = 0; goed =
- 1, fout = 0). Je kan alleen maar 0 of 1 toekennen.
- Voor homogene
Hoorcollege 11 Psychologie als Wetenschap 2023 Universiteit Utrecht
Hoorcollege 11: Signaal-detectie theorie (beslissend test gebruik)
- Is een vervolg op de criterium gerichtheid. Er worden namelijke beslissingen in onzekerheid
- genomen (subjectieve oordelen van cliënt en diagnosticus, onbetrouwbaarheid test en lastig om veelheid van informatie te integreren tot een oordeel).
- Theorie die de mogelijkheid biedt diagnostiek vanuit modelmatig, besliskundig perspectief aan te pakken. Het maakt het mogelijk om grip te krijgen op deze onzekerheid.
- Denkkader en verzameling analysemethoden rondom het nemen van beslissingen.
- Theorie over kans op goede en foute beslissingen, met aannamen over verdelingen van testuitkomsten onder verschillende omstandigheden.
- Van toepassing in alle te onderscheiden gebieden binnen de psychologie.
- Bij de SDT wordt gebruikt gemaakt van een grensaarde: rechts van de grenswaarde heeft een stoornis en link van de grenswaarde heeft geen stoornis. Er zijn 4 oppervlaktes te onderkennen.
- Hoe groot is de kans op een positieve diagnose gegeven dat iemand de stoornis heeft?
- Kans op positieve diagnose (D+) gegeven dat het individu behoort tot categorie (C+). Je wilt een hoge waarden hebben.
- Positieve predictieve waarde (PPV): Proportie ware positieven gegeven een positieve diagnose.
- Negatieve predictieve waarde (NPV) Proportie ware negatieven gegeven een negatieve diagnose. Beide waarde zijn problematisch.
- Hoe groot is de kans dat iemand uit de populatie een positieve diagnose (ware en valse positieven) krijgt? Kans op positieve diagnose (D+) voor iemand uit de populatie.
- Het is dus de valse en ware positieven bij elkaar opgeteld. Ook deze waarden zijn problematische waarde. Er is namelijk een aselecte steekproef nodig uit de populatie of eerder onderzoek of expertschatting.
- kwaliteit instrument (sensitiviteit en specificiteit van het instrument)
- voorkomen van stoornis, ziekte, trauma (prevalentie)
- Zelfs bij betrouwbaar instrument is bij lage prevalentie de kans op correcte beoordeling klein.
- predictieve accuratesse is bij lage prevalentie altijd gering. Stoornissen die weinig voorkomen, kan je snel overschatten. Dus zeggen dat de stoornis aanwezig is, terwijl deze niet aanwezig is.
- met subjectieve a-priori verwachting kun je P(C+) aanpassen
Hoorcollege 12 Psychologie als Wetenschap 2023 Universiteit Utrecht
- Theorie over testscores: weinig informatief over afzonderlijke items (hoe de items werken bv)
- Schatting betrouwbaarheid testscore: afhankelijk van populatie(variatie). Dus de steekproef
- Aanname over toevallige meetfout: meetfout is onafhankelijk van niveau respondent
- Aanname over meetniveau testscore: niet statistisch te toetsen (‘meten bij fiat’)
- Beperkingen in vergelijken respondenten: betrouwbaar voor middengroepen is goed, maarde buitenkant minder. En ontwikkeling (Xt2 – Xt1) lastig vast te stellen.
- Inefficiëntie: alle respondenten moeten hele test maken. Dus geen selectie.
- Het is een theorie over itemscores in plaats van testscores
- Schatting van psychometrische kenmerken van items en testscore is onafhankelijk van de populatie (sample free of sample independent)
- Nauwkeurigheid van schatting (= betrouwbaarheid) kan binnen IRT variëren tussen respondenten (er is differentiatie in niveau mogelijk)
- Aannames over model(len) statistisch toetsbaar (‘meten bij implicatie’)
- Op IRT gebaseerde tests maken beoordeling ontwikkeling beter mogelijk
- Schatting vaardigheid onafhankelijk van verzameling items: dit maakt testafname op maat (adaptief testen) mogelijk. (Met een beperkt aantal items komen op een vaardigheid)
- Waargenomen itemscore X1 wordt bepaald door latente variabele T (latente trek
- (continu)of latente klasse (categorisch)). De t staat voor teta (vaardigheid)
- Het is een factormodel voor discrete (2 antwoordmogelijkheid, dus ja of nee) en ordinale (likert schade, dus van mee eens tot niet mee eens) itemresponsen.
- Kans op item goed (P (Xg = 1)) afgezet tegen latente trek 0.
- De item-responsfunctie laat met figuur of formule zien hoe P(Xg= 1) afhangt van latente trek 0. (Van je kwaliteit)
- Het gaat om dichotome antwoorden, dus goed/fout. Ja of nee.
- dominantiegegevens (als je antwoord goed hebt, beschik je over de vaardigheid, zoals cognitie) en preferentiegegevensAantal en soort antwoordcategorieën
- continu of discreet
- geordend of niet geordend
- polytoom of dichotoom
- Xig = 1, voor een goed antwoord van persoon i op item g.
- Xig = 0, voor een fout antwoord van persoon i op item g.
- Een respons wordt beïnvloed door 1 latente trek (0): De items zijn ééndimensionaal. Je hebt het dus wel of niet.
- Functie (= stap- of sprongfunctie)
Add new contribution