Hoorcollege 1

We moeten ons bewust worden van bias in jezelf en in anderen. Recht doen aan onzekerheden.

Kritisch en constructief denken.

• Niet alleen denken wat is slecht, maar ook: hoe kan ik het beter maken.
• Bias uitbannen: we willen procedures transparant hebben.
• Teams moeten beloond worden en niet individuen die goede wetenschap produceren.

Belangrijke begrippen

• Transparent: het onderzoeksproces is stap voor stap helder en volledig beschreven
• Reproduceerbaar: het onderozek (of een deel ervan) kan nog een keer uitgevoerd worden zoals dit eerder ook gebeurd is
• Replicatie: Een studie vindt hetzelfde resultaat als een eerdere studie
• Replicatie is hetzelfde resultaat vinden met nieuwe data.
• Reproduceerbaar is met de data van de ander. Replicatie is dezelfde onderzoeksvraag, maar andere data.

Descriptief onderzoek:

• observaties documenteren zonder relaties tussen variabelen te analyseren. 
• Deze kever is zo groot, dit is deze kleur.

Exploratief:

• relaties tussen variabelen analyseren, maar niet hypotheses toetsen.
• Je kijkt wel naar de relaties. Hangt grootte kever samen met hoeveelheid regen. Niet met een hypothese in gedachte.

Confirmatief:

• hypotheses toetsen.
• Als er meer regen valt, zullen kevers groter zijn. Dat is een hypothese die je kan toetsen.

In het ene deel formuleer je hypothesen en voorspellingen en in het andere deel toets je deze op data. Je toetst niet een hele theorie maar een aantal hypothesen van een theorie.

Theoretische precisie: 

• Veel theorieën zijn onduidelijk.
• Wat is de definitie van tegenslag? Of van impulsiviteit.
• Duidelijk zeggen wat het wel of niet voorspelt.
• Dan krijg je bias: dan gaan mensen de theorie zo interpreteren dat het klopt met de voorspelling. Je moet dus helder zijn.
• Ambiguïteit is onwenselijk. Dit kan heel erg leiden tot bias: hoe moet je het nou interpreteren.
• Waarom is er weinig formele theorie? Die specifiek geformuleerd zijn. Woorden hebben ambiguïteit. In de psychologie bestaan theorieën veel uit woorden.

Er is wel formalisering in de psychologie, maar dan in de toetsing. Maar niet om theorieën precies uit te drukken: hoe hangen de variabelen met elkaar samen in het theoretische model dat we hebben. Transparantie maakt kwetsbaar. Hoe vager ik de theorie maak, hoe minder kritiek ik krijg. Dat is scheef.

• Theory stretching: strekken van een theorie. De theorie is ambigu. ‘’My theory can be stretched to cover that data.’’
• Post hoc precision: kleiner maken van een theorie, zodat deze beter bij de data past.
• Initial claim is vaag, ambigu. Je kan de claim dan op veel manieren invullen.

Wetenschappers zijn mensen, hebben biases. De wetenschapper omarmt procedures om de biases in toom te houden. Vooral onthouden: theory stretching en post hoc precision. Twijfel is kracht, geen zwakte. Leiders moeten hun overtuigingen publiekelijk kunnen aanpassen op basis van nieuw bewijs. Om beleid te verbeteren. Het is goed dat mensen hun mening aanpassen op basis van nieuwe data.

• Diversiteit: het erkennen, respecteren en waarderen van verschillen tussen mensen
• Inclusie: een gemeenschap waar iedereen zich gewaardeerd en thuis voelt

Exploratief onderzoek is dan beschrijf je

Hoorcollege 3

Slechte richtlijnen en we meten iets complex: probleem is dan dat veel studies niet goed gerepliceerd kunnen worden. Replicatiecrisis niet beperkt tot de psychologie. Het is een breed probleem. Meer dan 50% kon niet gerepliceerd worden in de psychologie. Cognitieve experimenten beter dan sociale experimenten. Vooral de sociale experimenten waarin gedrag of reacties werden gemeten, werden slecht gerepliceerd.

Studies die de aanname hebben, we hebben bewustzijn, maar er wordt veel onbewust verwerkt. Introspectief weten we niet dat er heel veel informatie binnenkomt. IJsbergplaatje. Deze studies zijn slecht repliceerbaar.

Cognitie

• Heel veel is juist bewust.
• Er gebeurt onbewust niet zo heel veel, je bent onbewust niet zo heel erg beïnvloedbaar. Dus de ijsberg moet andersom.
• We zijn hele bewuste dieren.

Oorzaken replicatiecrisis

1. Wetenschapscultuur
2. Complexiteit van de psyche en gedrag. De psychologie staat in de kinderschoenen.

Demarcatie is het onderscheiden van pseudoscience en normale science. Als het niet ontkracht kan worden, is het niet wetenschap. Kuhn: er moet eerst een crisis zijn. Bij 1 bewijs tegen zwaartekracht publiceer je niet meteen een paper met ‘’gravitatie is nep’’. Dat paradigma wordt niet gelijk verworpen.
Als er veel bewijs is, krijg je een crisis en dan een paradigma shift.

Binnen de psychologie heb je:

• Observaties vs introspectie
• Fysicalisme vs mentalisme
• Dualisme: gedrag komt voort uit een immateriële geest. Echt een geest → religie.
• Fysicalisme: gedachte/gedrag komen voort uit fysieke brein. Iets fysiologisch.
• Idealisme: de omgeving is een interpretatie van zintuigen
• Fysicalisme: meet wat je ziet, want wat je denkt is een onbetrouwbare interpretatie.
• Mentalisme: meet wat je denkt want wat je ziet is een onbetrouwbare sensorische meting

Fysicalisme

• Empiricisme
• Materialisme (determinisme)
• Evolutieleer
• Gedragsobservaties

Mentalisme

• Rationalisme
• Associationisme
• Structuralisme
• Gestaltisme

Hedendaagse spanningen

Over introspectie:

• Klinisch en sociaal, vragenlijsten zijn populair
• Experimentele psychologie alleen indien nodig vragenlijsten. Stress meet je met hartslag.
• Klinisch: depressie moet je wel een vragenlijst invullen. We kunnen thuis geen observaties doen. Hoe lang iemand in bed ligt.

Wisselwerking tussen stromingen en hun voorkeur voor:

• Fysicalisme: observatie methoden
• Mentalisme: introspectie methoden

Evolutieleer & functionalisme

• Eerst was de mening: de God heeft de aarde en de dieren geschapen.
• Wallace en Darwin hadden de evolutietheorie.
• Er werd bij evolutie vooral gekeken naar anatomie. Bewijs door fossielen en DNA vergelijken. Vorm van de schedel werd bekeken.

Comparatieve psychologie / vergelijkende psychologie.

• Darwin vergeleek als eerste gedrag (emoties) tussen dieren. Daarna emoties vergelijken tussen Oosten en Westen.
• Extreme nadruk op nature: genen. Meer dan op omgeving/ervaringen. Ook binnen de psychologie. Observatie onderzoek was het.
• Start van het nature vs nurture debat.

Functionalisme

• Wetenschappelijke stroming. Geïnspireerd door Darwin.
• Ook emotieonderzoek.
• Gedrag en cognitie hebben een evolutionaire functie. Wat is nou de functie van een bepaalde vaardigheid of een bepaald mentaal proces?
• Waarom hebben we bewustzijn? Waarom kunnen we onze aandacht verplaatsen?
• Er kwam wat meer ruimte voor introspectie, want mentale processen werden onderzocht.

Bij structuralisme was de vraag ‘’wat?’’

• Wat zijn de elementen

Hoorcollege 5

Jij bent iemand die iets meet. Op basis van een resultaat kan je niks weten, het helpt jou om tot conclusies te komen.

Uitgangspunten bij testgebruik

1. Psychologische constructen bestaan en kunnen gemeten worden
2. Metingen van psychologische constructen zijn niet perfect
3. Er zijn verschillende manieren om een construct te meten
4. Alle meetmethoden hebben krachten en beperkingen
5. Prestaties op tests kunnen gegeneraliseerd worden naar niet-testgebonden gedrag
6. (Een combinatie van) Tests kunnen informatie verstrekken die psychologen helpt om betere professionele beslissingen te meten
7. Testgebruik kan bevordelijk zijn voor individu en maatschappij

Tests:

• Vragenlijsten
• Interviews
• Observaties
• Cognitieve taken

Er zijn drie niveaus van testgebruik.

• Beslissingen op groepsniveau
• Minder belangrijke beslissingen op individueel niveau: Dyslexie
• Belangrijke beslissingen op individueel niveau → taken die negatief kan uitpakken voor hun levensloop

Bij testkeuze en gebruik is het belangrijk dat:

• Je een goede onderzoeksvraag stelt
• Je een kwalitatief goede test kiest
• Je de resultaten op de juiste wijze interpreteert
• Daarbij recht doet aan de mogelijke impact van de uitkomst

De score die uit een IQ-test komt, heeft heel erg veel invloed op zijn leven. En op hoe anderen naar hem kijken.

Een IQ:

• Ligt binnen een betrouwbaarheidsinterval
• Is niet vrij van systematische bias en onsystematische meetfouten
• Is aan verandering onderhevig gedurende de levensloop
• Voorspelt schoolprestaties wel, maar er spelen ook andere factoren mee

Sollicitatiegesprekken zijn best ongestructureerde interviews en die zijn vaak zeer bepalend.

• Zijn subjectief en gevoelig voor biases
• Andere metingen zijn een waardevolle aanvulling

Forensische praktijk:

• Je moet voorspellen of de cliënt een risico vormt
• Verschillende belangen van cliënt, psycholoog en juridisch systeem
• Dit staat objectiviteit in de weg (dissimulation)
• Uitkomstmaten onderzoek zijn niet altijd gerelateerd aan het risico
• Impact op de maatschappij

Richtlijnen voor ethisch testgebruik

1. Gebruik geen tests die een slechte kwaliteit data opleveren
2. Gebruik geen tests die je niet kunt scoren afnemen of interpreteren
3. Baseer geen belangrijke beslissingen op de resultaten van 1 test
4. Laat je persoonlijke voorkeuren en biases thuis
5. Breek geen vertrouwelijkheidsafspraken m.b.t. het verstrekken van testgegevens aan derden
6. Gebruik geen technisch jargon bij het uitleggen van de tests
7. Negeer de speciale behoeften van de getesten niet
8. Maak geen wijzigingen aan het testmateriaal, zonder weer te geven hoe deze wijzigingen de prestatie kunnen beïnvloeden
9. Verbreek de vertrouwelijkheid niet
10. Neem nooit zomaar aan dat als een expert een test heeft gemaakt, dit ook een goede test is. Verzamel altijd informatie over kwaliteit en toepassing

NIP beroepscode: 

• Psycholoog i.o. is je bent al psycholoog, maar je bent in opleiding tot GGZ-psycholoog.

COTAN is het instituut over psychologische tests in Nederland.

• De COTAN beoordeelt een breed scala aan (psychologische) tests, toetsen en vragenlijsten op diverse criteria die te maken hebben met materialen, afname en testkwaliteit
• De COTAN-documentatie is ontwikkeld voor professionals die zich bezighouden met psychodiagnostiek of assessment. Veel instrumenten worden ook in onderzoek gebruikt.

COTAN beoordeelt op 7 criteria

1. Uitganspunten testconstructie
2. Kwaliteit testmateriaal
3. Kwaliteit handleiding
4. Normen
5. Betrouwbaarheid
6. Begripsvaliditeit
7. Criteriumvaliditeit

Hoorcollege 7

Academica die maken het probleem: zij maken de biases en de fouten. De wetenschap doet dat niet. Dat is dus anders. Papers analyseren. In de psychologie en psychiatrie wordt 90% steun gevonden voor de hypothese. Dat is een verdacht hoog percentage. Er liggen veel problemen aan dat statement ten grondslag.

Publicatie bias

• Gedrag tijdens het publicatieproces dat papers met positieve resultaten bevoordeelt over papers met negatieve resulaten

Reviewer bias

• Editors en reviewers bevoordelen papers met positieve resultaten

File-drawering

• Onderzoekers proberen negatieve resultaten niet te publiceren

Dan krijg je een oververtegenwoordiging van positieve resultaten ten opzichte van hoeveel er is uitgevoerd.

Beloningsstructuur gericht op o.a. het aantal publicaties. Dit leidt tot:

Vertekenende onderzoekspraktijken

• Gedrag tijdens het onderzoek dat leidt tot overschatting van bewijs voor hypothese
• Niet hetzelfde als fraude, veel subtieler
• Wijdverbreid, niet  alleen in de psychologie
• Onderzoekers zijn/waren zich niet bewust van hoezeer deze praktijken vertekenen

Het kan ervoor zorgen dat er QRP’s gedaan worden. Want je wil positieve resultaten krijgen. Outliers weglaten en dan wel steun vinden. Deze keuze maak je niet van tevoren. Dan is het een QRP. Je fabriceert de data niet, het is geen fraude. QRP’s kunnen ook onbewust zijn. Psychologie loopt voorop in de kennis dat dit een probleem is.

Mertoniaanse normen

Universalisme

• Kennis moet persoonsonafhankelijk zijn

Communalisme

• Kennis moet openbaar zijn (transparantie)

Belangeloosheid

• Streven naar waarheid, niet naar eigenbelang

Georganiseerde skepsis

• Systeem voor beoordeling van uitspraken

Als je QRP’s doet, je wil positieve verbanden hebben. Dat is tegen belangeloosheid in. Niet open access? Dan is het een schending van communalisme.

p-hacking

• Het exploiteren van flexibiliteit in data-analyse om statistisch significante resultaten te verkrijgen
• Onewust of bewust (bijvoorbeeld hindsight bias)
• De data 'vormen naar' een theorie of hypothese (zonder hierover transparant te zijn)
• P-hacking leidt snel tot vertekenende resultaten

Wetenschapper die op zoek is naar een resultaat, doet ook de analyse. Ook verwerkt hij ruwe data naar verwerkte data. Dan stopt hij ze in de analyse. Outlier te snel weghalen. Als je de data zo aan het manipuleren bent naar de hypothese, zonder daarover transparant te zijn. Dat is p-hacking. Alles transparant? Dan heeft de lezer alle informatie om te oordelen over de evidentie. Transparantie is de essentie van de open science beweging.

Tuin van splitsende paden:

• Je probeert erg veel manieren om tot een significant resultaat te komen
• Uiteindelijk vind je een significant resultaat
• Dan zeg je 'zie je wel, ik wist het wel'. Dat is hindsight bias.
• Als je die beslissing niet van tevoren maakt, dan is het bias en slecht. Als je maar alle paden probeert en dan uiteindelijk goed uitkomt.

HARKing

• Hypothesizing after results are known
• Hypothesen bepalen op basis van onderzoeksuitkomsten
• Het presenteren van theoretisch onverwachte data alsof deze wél door theorie voorspeld waren
• Een theorie of hypothese 'vormen naar' de data (zonder hierover transparant te zijn)
• Je keert de volgorde om.
• Je gaat maar random

Hoorcollege 9

Voor een schaalscore wil je eendimensionaliteit.

Factoranalyse gaat alleen over relaties binnen een test.

• Meerdimensionaliteit: clusters van items die samenhangen.
• Eendimensionaliteit: alle items hangen samen.

Factoranalyse helpt ons iets daarover te zeggen. Een of meer achterliggende verklaring voor de verzameling van items. Dan kan je uiteindelijk 1 schaalscore gebruiken voor een onderwerp.

Doelen factoranalyse:

1. Beoordelen dimensionaliteit van test
2. Realiseren van datareductie

Aantal variabelen is hier items. Kan ook testscores zijn. Die tests bevatten weer meerdere items. 

• Boven is een verwachting proberen te bevestigen: het klopt.
• Onder is zonder verwachtingen en kijken hoe het zit.
• Test is tweede factoranalyse
• Items is eerste factoranalyse.

De tien opgaven kunnen vervangen worden door twee scores. --> datareductie. De eerste 5 voor F1 (factorscore) en de laatste 5 voor F2. Dit is dus van 10 naar 2 variabelen, dus dat is datareductie.

Stappen in factoranalyse:

Stap 0 is: zijn mijn data überhaupt wel geschikt om een factoranalyse uit te voeren.

Stap 1: Keuze factormodel

• We doen een confirmerende factoranalyse.
• We onderzoeken of die tweedimensionaliteit van intelligentie klopt. Of we inderdaad twee factoren hebben.
• Zijn deze twee achterliggende factoren te vinden in deze verzameling van variabelen?
• Keuze factormodel nu. We veronderstellen twee clusters van testscores.
• Je werkt met z-scores, want het is gestandaardiseerd, waardoor je ze kan vergelijken.
• We veronderstellen twee achterliggende factoren.

F1 en F2 hebben op alle items een invloed. De sterkte van de invloed wordt aangegeven met een a. Dat wordt een resultaat van de analyse.

Testscores zijn de variabele X

z-score heeft een standaardafwijking van 1.

Dit is een transformatie.

• Factorlading = samenhang tussen de factor en de afzonderlijke observatie.
• Hoe goed zo’n factor van invloed is op  zo’n afzonderlijk item.
• Factor is niet observeerbaar. Wat we wel kunnen zien zijn die antwoorden van de respondent (de items).

Voor ieder individu krijg je een andere F omdat er voor ieder individu een andere combinatie van z-scores is gerealiseerd. Niet iedereen heeft dezelfde scores op de test en dus ook niet dezelfde z-scores, en dus ook niet dezelfde Factorscore. De a’tjes zijn wel allemaal hetzelfde. Factorscores hebben een verdeling, een gemiddelde en en een standaardafwijking.

• Gemiddelde is 0 en de standaardafwijking is 1, omdat we hier te maken hebben met z-scores.
• Factorscore van 0, dan heeft hij een score op de 10 items gelijk aan het gemiddelde van de groep.
• +  en - betekent boven of onder het gemiddelde. En het wordt uitgedrukt in standaardafwijkingen.
• We hebben van tevoren een idee over het aantal achterliggende factoren.

Stap 2: Bepalen aantal factoren

• Eigenwaarde criterium
• Knikcriterium
• Hoe goed is de factor in staat spreiding in items te verklaren en te representeren.
• Als je geen idee hebt, dan ga je kijken hoeveel het er zijn.
• Conformerend is wat je verwacht of dat ook wordt gevonden.
• Dit is interne structuur van de begripsvaliditeit.
• Voor elke test een lading op factor 1 en factor 2.
• Hoe groter

Hoorcollege 11

Redeneerfout: Base rate fallacy of base rate neglect.

• Positieve testuitslag moet altijd in het licht gezet worden van hoe groot is de kans dat iemand met zo’n positieve testuitslag niet positief is.
• Leidt tot verkeerde conclusies: bij positieve uitslag ga je ervan uit dat er ook echt een stoornis is.
• Naarmate de diagnose meer ingrijpend is, hoe belangrijker is dat je zeker bent van een positieve diagnose.
• Wel of geen behandeling. Voor toetsvragen hetzelfde: we kunnen denken je beschikt niet over genoeg kennis, maar dat heb je eigenlijk wel.
• Alle beslissingen zijn beslissingen in onzekerheid.

Signaal detectie theorie

• Denkkader en verzameling analysemethoden rondom het nemen van beslissingen
• Theorie over kans op goede en foute beslissingen, met aannamen over verdelingen van testuitkomsten onder verschillende omstandigheden.

We onderscheiden ware en valse beslissingen bij een testscore.

• Die scores overlappen deels.
• Op basis van de grenswaarde beslis ik of de stoornis wel of niet aanwezig is.

Dit is de basis van de signaal detectie theorie.

• De gouden standaard is de absolute kennis. Die klopt sowieso. Die is noodzakelijk als we een indeling willen maken. Dat is de C in bovenstaande tabel.
• False negatives zijn misses. Die mis je om een diagnose te stellen.
• Ware negatieven zijn ook wel correct rejections.

Sensitiviteit = hoe groot is de kans op een positieve diagnose gegeven dat iemand de stoornis heeft.

• P is de kans.
• Kans op D+, gegeven C+.
• Kans op diagnose gegeven het feit dat hij volgens de gouden standaard ook die stoornis heeft.
• Je wil een hoge waarde, je wil dat iedereen die waarvan bekend dat hij een positieve diagnose heeft, ook een positieve diagnose krijgt.
• Dit is een voorwaardelijke of conditionele kans. Dus de kans op D+ op voorwaarde dat je in die C+ zit. Daarom is het een voorwaardelijke kans.
• Je moet dus een steekproef hebben van mensen waarvan bekend is dat ze de stoornis hebben. Dus je hebt alleen de C+ nodig om de sensitiviteit te berekenen.

Specificiteit = de kans op een negatieve diagnose, gegeven dat iemand de stoornis niet heeft.

• Weer een conditionele of voorwaardelijke kans.
• Nu kijk je naar de C- groep.
• Je wil weer zo hoog mogelijke waarde.
• Kans om negatief geval negatief te testen.
• Sensitiviteit is positief geval ook daadwerkelijk positief testen.

Predictieve accuratesse is nodig om een correcte positieve diagnose te stellen.

• Niet alleen de sensitiviteit nodig, maar ook hoe zit het met de verkeerde testuitslagen.

De predictieve waarde gaan we het nu over hebben. Positieve predictieve waarde (PPV) = proportie/kans op ware positieven gegeven een positieve diagnose.

Wat is C+, gegeven diagnose.

• PPV zal niet helemaal kloppen, want de stoornis komt niet veel voor in de populatie. Je moet dus een correctie uitvoeren.
• We hebben informatie nodig over de prevalentie. Of de base rate. De proportie voor de mensen waarvoor geldt dat hij voorkomt bij de mensen. Ook wel de prevalentie.
• 0,16