Aantekeningen college Uitdagingen - Universiteit Utrecht (2022-2023)

Hoorcollege 7

Academica die maken het probleem: zij maken de biases en de fouten. De wetenschap doet dat niet. Dat is dus anders. Papers analyseren. In de psychologie en psychiatrie wordt 90% steun gevonden voor de hypothese. Dat is een verdacht hoog percentage. Er liggen veel problemen aan dat statement ten grondslag.

Publicatie bias

• Gedrag tijdens het publicatieproces dat papers met positieve resultaten bevoordeelt over papers met negatieve resulaten

Reviewer bias

• Editors en reviewers bevoordelen papers met positieve resultaten

File-drawering

• Onderzoekers proberen negatieve resultaten niet te publiceren

Dan krijg je een oververtegenwoordiging van positieve resultaten ten opzichte van hoeveel er is uitgevoerd.

Beloningsstructuur gericht op o.a. het aantal publicaties. Dit leidt tot:

Vertekenende onderzoekspraktijken

• Gedrag tijdens het onderzoek dat leidt tot overschatting van bewijs voor hypothese
• Niet hetzelfde als fraude, veel subtieler
• Wijdverbreid, niet  alleen in de psychologie
• Onderzoekers zijn/waren zich niet bewust van hoezeer deze praktijken vertekenen

Het kan ervoor zorgen dat er QRP’s gedaan worden. Want je wil positieve resultaten krijgen. Outliers weglaten en dan wel steun vinden. Deze keuze maak je niet van tevoren. Dan is het een QRP. Je fabriceert de data niet, het is geen fraude. QRP’s kunnen ook onbewust zijn. Psychologie loopt voorop in de kennis dat dit een probleem is.

Mertoniaanse normen

Universalisme

• Kennis moet persoonsonafhankelijk zijn

Communalisme

• Kennis moet openbaar zijn (transparantie)

Belangeloosheid

• Streven naar waarheid, niet naar eigenbelang

Georganiseerde skepsis

• Systeem voor beoordeling van uitspraken

Als je QRP’s doet, je wil positieve verbanden hebben. Dat is tegen belangeloosheid in. Niet open access? Dan is het een schending van communalisme.

p-hacking

• Het exploiteren van flexibiliteit in data-analyse om statistisch significante resultaten te verkrijgen
• Onewust of bewust (bijvoorbeeld hindsight bias)
• De data 'vormen naar' een theorie of hypothese (zonder hierover transparant te zijn)
• P-hacking leidt snel tot vertekenende resultaten

Wetenschapper die op zoek is naar een resultaat, doet ook de analyse. Ook verwerkt hij ruwe data naar verwerkte data. Dan stopt hij ze in de analyse. Outlier te snel weghalen. Als je de data zo aan het manipuleren bent naar de hypothese, zonder daarover transparant te zijn. Dat is p-hacking. Alles transparant? Dan heeft de lezer alle informatie om te oordelen over de evidentie. Transparantie is de essentie van de open science beweging.

Tuin van splitsende paden:

• Je probeert erg veel manieren om tot een significant resultaat te komen
• Uiteindelijk vind je een significant resultaat
• Dan zeg je 'zie je wel, ik wist het wel'. Dat is hindsight bias.
• Als je die beslissing niet van tevoren maakt, dan is het bias en slecht. Als je maar alle paden probeert en dan uiteindelijk goed uitkomt.

HARKing

• Hypothesizing after results are known
• Hypothesen bepalen op basis van onderzoeksuitkomsten
• Het presenteren van theoretisch onverwachte data alsof deze wél door theorie voorspeld waren
• Een theorie of hypothese 'vormen naar' de data (zonder hierover transparant te zijn)
• Je keert de volgorde om.
• Je gaat maar random allemaal analyses uitvoeren om een verband te vinden.
• Eerst 100 participanten, steun voor de hypothese? Weet je wat? 50 mensen erbij!
• Vind je dan alsnog een .05 p-waarde? Dan ben je de hypothese aan het overschatten.

30-50% vinden mensen hetzelfde resultaat als in de oorspronkelijk studies. Handsight bias hoort heel erg bij p-hacking. ‘’Ja ik zie je ik wist het’’.

Transparant onderzoek. Ik kan wel gewoon een hele slechte analyse doen. Slecht wetenschap bedrijven op een transparante manier. Transparant zorgt ervoor dat het controleerbaar is, maar het kan nog steeds slecht zijn. Omdat je transparant werkt, kunnen mensen het ook de credibility geven die het ook echt verdient.

Credibiliteit revolutie

• Transparant in alle stappen van onderzoek t.b.v. beoordeling en reproduceerbaarheid
• Onderzoeksmaterialen, data en analyse code worden gedeeld
• Vakbladen, universiteiten en subsidiegevers waarderen transparantie
• Transparantere onderzoekspraktijken

De kwaliteit van het onderzoek en transparantie ga ik belonen. Niet de uitkomsten van onderzoek. Dan krijg je dat mensen graag die uitkomsten willen hebben.

Transparantere onderzoekspraktijken

• preregistratie
• registered reports
• multiverse analyse

Preregistratie

• Preregistratie is voordat je het onderzoek uitvoert of voor je de data-analyse uitvoert
• Onderzoeksplan
• Beslissingen of beslisbomen over outliers, composities, aantal participanten
• Gedetailleerde plannen verminderen de flexibiliteit in de data-analyse meer
• Verhelderen van confirmatief vs exploratief onderzoek
• Hoe meer details in preregistratie hoe meer je jezelf beperkt tot snel ander pad kiezen.
• De dingen die je kan anticiperen moet je preregistreren.
• Preregistratie en geen gevangenis.

Het is geen panacea = lost alle problemen op

Registered Reports

• Ipv hele onderzoek uitvoert en dan laat beoordelen.
• Beoordeling als je de studie hebt vormgegeven. Dat onderzoeksplan dien je in bij een vakblad/journal. Dat is niet het geval bij een preregistratie.
• De editor na een review zegt: jullie krijgen een IPA: In Principle Acceptance. We publiceren jouw onderzoek, ondanks de uitkomst.
• Op kwaliteit en transparantie wordt beoordeeld en niet op uitkomst.
• Preregistratie upload je ergens en kan je later bij mensen naar refereren.
• Bij registered reports dien je je halve manuscript in.
• Dan maak je de resultaten en schrijf je het report. Er is dan nog een keer een review moment.
• 300+ vakbladen accepteren dit format.
• In Registered Reports zie je minder vaak confirmatieve uitkomsten.

Multiverse analyse

• Onderscheid arbitraire en niet-arbitraire beslissingen
• Niet-arbitrair: een optie is duidelijk het beste
• Arbitrair: meerdere redelijke opties (bv. outliers)
• Verkennen en rapporteren alle arbitraire paden
• Kan in combinatie met preregistratie

Het doen van de analyse:

• Proces van data-processing. Van ruwe data naar verwerkte data. Die verwerkte data gooi je in de analyse.
• In die pijp van ruwe data naar verwerkte data neem je beslissingen.
• Niet-arbitraire beslissingen zijn beslissingen waarvan jij vindt dat een optie duidelijk het beste is.
• Als ik iets afneem voor concentratie: als iemand 3x de kamer in komt schreeuwen. Dan neem ik die persoon niet mee.
• Arbitraire beslissing: ik verwijder mensen die 1 attentiecheck niet hebben gehaald.
• Attentiecheck is druk nu op de linker en dan de rechter spatie.
• Ouitliers? Verwijderen bij 2 SD of bij 3 SD?

Multiverse kan in combinatie met preregistratie.

• Er blijven nog wat arbitraire keuzes over in de multiverse analyse
• Bij multiverse kan je al die paden verkennen en dat kan je transparant doen.
• Die andere paden ga ik niet verkennen, want dat is zo duidelijk. Dat is niet-arbitrair.
• Als je de data op verschillende manieren verwerkt krijg je net verschillende versies van dezelfde dataset.
• Je voert dan bijvoorbeeld 64 analyses. Dan oordeel je alle uitkomsten van de analyses.
• Risico van het preregistreren van 1 specifiek verwerkingspad, dan beperk je jezelf enorm.
• Is dit geen p-hacking? Nee, want je trekt je conclusies over alle analyses samen. Van de 64 analyses waren er 80% significant en 20% niet significant.
• Liggen die effectgroottes heel erg uit elkaar? Dan had je heel erg verkeerde conclusies kunnen trekken als je maar 1 pad had gekozen.

Open Science

• Is bevrijdend
• Goed voor het welbevinden van de wetenschapper: je hebt controle over hetgeen waarop je wordt beoordeeld.

Metascience

• De studie van wetenschappelijke normen, praktijk en cultuur, met het doel om te interveniëren en te verbeteren
• De wetenschappelijke studie van de wetenschap.

Vragen die worden gesteld in de metascience zijn die onderste vragen:

• Welk percentage van de studies repliceert?
• Staan er vaker nul resultaten in Registered Reports?
• Wat zijn de voor- en nadelen van meer beurzen geven aan consortia vs. kleinere prijzen voor meer mensen?
• Wat zijn de 'onbedoelde effecten' van goedbedoelde initiatieven om onderzoek en beleid te verbeteren?

Consortia zijn grote onderzoeksgroepen. Meer publicaties belonen is het onderste punt. Dat kan echt een groot probleem worden door kwantiteit > kwaliteit. Ingrediënten van meta-analyse. Als die allemaal positieve resultaten hebben, dan heeft de meta-analyse ook een positief resultaat.

Meta-analyse gebruikt heel veel studies. Meta-analyse is dus niet vrij van biases. Effectgrootte in meta-analyse is vaak groter en dat komt vaak door bias. Je kan ook de analyse laten uitvoeren door heel veel onafhankelijke statistici. Er zit ambiguïteit in onderzoeksvragen daardoor kan je toch vaak verschillende uitkomsten anders.

De wetenschap is nooit voltooid.