Playing with Data – Or How to Discourage Questionable Research Practicesand Stimulate Researchers to Do Things Right - Sijtsma - 2016 - Artikel

Wat zijn Questionable Research Practices (QRP)?

Er bestaat veel discussie over de manier waarop psychologische wetenschappers onderzoek doen en hun data verzamelen, opslaan en analyseren. Hier wordt niet alleen door onderzoekers over gediscussieerd, maar ook binnen professionele organisaties en de populaire media. Fouten die worden veroorzaakt door incorrecte methodologische beslissingen en onjuist gebruik van statistische methoden kunnen worden vermindert door het onderwijzen van onderzoekers en politieke maatregelen op institutioneel niveau. Responsible Conduct of Research refereert naar het beoefenen van kennis over hoe wetenschap moet worden uitgevoerd e hoe data moet worden geanalyseerd. Deze ligt aan de ene kant van een spectrum, terwijl aan de andere kant fabricatie, falsificatie en plagiaat liggen. Questionable Research Practices liggen eigenlijk tussen deze twee in. Ze kunnen relatief onschuldig zijn (e.g. onjuist afronden) of juist ernstig (e.g. het verzinnen van data). Het is echter lastig te zeggen welke QRP erger zijn, omdat zelfs QRP die onschuldig lijken serieuze gevolgen kunnen hebben.

Wat zijn voorbeelden van QRP?

We maken hierbij onderscheid tussen onjuiste methodologische beslissingen en onjuist gebruik van statistische methoden.

Voorbeelden van onjuiste methodologische beslissingen:

• Het verbergen van experimentele condities die resultaten produceerden die inconsistent waren met de verwachtingen en het alleen analyseren van data en rapporteren van resultaten in de overblijvende subset van de experimentele condities.
• Ad hoc construeren van een afhankelijke variabele waarbij alleen de items worden gebruikt die de betrouwbaarheid verhogen, zonder dat te rapporteren.

Voorbeelden van onjuist gebruik van statistische methoden:

• Het negeren van de invloed van outliers op statistische resultaten.
• Het selecteren van de cases uit een sample voor het maken van een subsample die, in tegenstelling tot het originele sample, tot een gewenst resultaat leidt.
• Continued sampling: het stapsgewijs vergroten van de samplegrootte, tussen de stappen door statistische significantie analyse uitvoeren, en pas stoppen als er een significant resultaat gevonden is.

Waarom maken onderzoekers gebruik van QRP?

De manier waarop statistische resultaten worden gepresenteerd kan invloed hebben op de mensen die deze statistieken lezen, maar eigenlijk geen kennis hebben over statistiek en daar niet in getraind zijn. Statistieken kunnen dan ook makkelijk gebruikt worden om mensen te bedriegen. Maar er kunnen ook omstandigheden zijn die het begrijpelijk maken waarom onderzoekers gebruik maken van QRP. Zo hebben mensen te maken met cognitieve mechanismen die de kans verhogen dat een fout wordt gemaakt, en onderschatten veel onderzoekers de complexiteit van statistiek of zijn zij zich niet echt bewust van deze complexiteit.

Welke cognitieve mechanismen verhogen de kans op het uitvoeren van QRP?

Statistisch redeneren vereist rationeel en bewust nadenken dat veel moeite kost, terwijl de eerste neiging is om intuïtief te reageren. Intuïtie werkt op twee manieren. De eerste manier is gebaseerd op ervaring (bijvoorbeeld: “neem een grote steekproef natuurlijk, want groter is altijd beter”). De tweede manier is heuristiek die is gebaseerd op cognitieve automatismen (bijvoorbeeld: “neem een kleine steekproef, want we hebben een klein budget”). Statistiek is ingewikkeld, en mensen zijn cognitief niet goed uitgerust om statistici te zijn.

Waarom moeten we bij QRP kijken naar de intenties van de onderzoeker?

Er bestaat de kans dat een onderzoeker zich met QRP bezig houdt zonder dat deze daar slechte bedoelingen bij heeft. Om onderscheid te kunnen maken tussen de onderzoekers die zich bewust bezig houden met QRP en onderzoekers die QRP uitvoeren zonder zich daarbij bewust te zijn dat hun onderzoekspraktijken twijfelachtig zijn, kijkt de auteur naar twee aspecten: 1) de assumptie dat een onderzoeker wel of niet bewust QRP uitvoert, 2) ongeacht de intentie van de onderzoeker kan het resultaat van een datamanipulatie wel of niet het gevolg zijn van bevooroordeelde data die bevooroordeelde resultaten veroorzaakt. Op basis van deze twee aspecten zijn er vier mogelijke uitkomsten:

• Onderzoekers die bewust bevooroordeelde data produceren, bewust gebruik maken van QRP en daarin succesvol zijn.
• Onderzoekers die onbewust bevooroordeelde data produceren en QRP gebruiken zonder zich daarvan bewust te zijn.
• Onderzoekers die zich niet bezig houden met QRP.
• Onderzoekers die proberen gebruik te maken van QRP maar daarin niet succesvol zijn.

Wat is het probleem met het vaststellen van de intentie van de onderzoeker?

Als iemand per ongeluk een QRP ontdekt dan kan deze de onderzoeker daarvan bewust maken. Zulke onderzoekers die per ongeluk QRP uitvoeren worden vaak gecorrigeerd, maar niet bestraft. Onderzoekers die bewust bedriegen zullen waarschijnlijk verantwoordelijk worden gehouden en bestraft. Het is echter vrijwel onmogelijk om aan te tonen dat een onderzoeker slechte intenties had, tenzij een onderzoeker dat zelf aangeeft. Zelfs als deze intentie wel zou kunnen worden aangetoond, dan lost dat het probleem van QRP niet op.

Wat zijn null fields?

Een null field is een onderzoeksgebied dat ontstaan nadat een onderzoeker een dataset heeft onderzocht en daarin een interessant resultaat tegenkwam dat eigenlijk veroorzaakt werd door toeval, maar zo interessant lijkt dat het wel verder onderzocht moet worden. Zulke resultaten kunnen worden veroorzaakt door kleine steekproeven, kleine effectgroottes, flexibiliteit in onderzoeksontwerp, definities en analysemethoden.

Op welke manier leiden null fields tot QRP?

De gevonden resultaten in een null field leiden er vaak toe dat onderzoekers zeer geïnteresseerd zijn in dit nieuwe gebied en zo snel mogelijk meer resultaten willen winnen. Onderzoekers testen dan vaak de nulhypothese en gaan dan op zoek naar een significant resultaat van p α. QRP om p α te bewerkstelligen. Bijvoorbeeld door:

• Het weglaten van outliers en andere opmerkbare observaties en dan het opnieuw testen van de nulhypothese.
• Verschillende subsets wel of niet betrekken bij de steekproef en de test opnieuw uitvoeren na elke dataselectie.
• Posteriori reconstructie van de afhankelijke variabele door het selecteren van subsets van items en het kiezen van de afhankelijke variabele die de kleinste p-waarde oplevert.
• Continued sampling: wanneer een steekproef stapsgewijs wordt aangevuld met nieuwe observaties en de nulhypothese na elke stap opnieuw wordt getest.  Het verzamelen van de data stopt wanneer p α gevonden wordt.

Welke cycli kunnen null fields doorgaan?

• Onderzoekers maken geen gebruik van QRP. Grote effect groottes lijken te verdwijnen tijdens replicaties (decline effect). Confirmatiebias en publicatiebias stimuleren beiden het publiceren van resultaten met de gewenste uitkomst, terwijl na een poosje worden de tegensprekende resultaten juist interessanter. Er ontstaan dan twijfels over het eerste resultaat.
• Een onderzoek maakt gebruik van continued sampling. Er wordt ook wel gesproken van “reasoning to a foregone conclusion”, omdat zelfs als de nulhypothese p α waar is, als je maar blijft toevoegen aan je sample kom je uiteindelijk een keer een ander resultaat tegen. Daardoor wordt het lastig om het null field aan te geven als een uitzichtloos onderzoeksgebied.

Waarom voert men verkennend onderzoek uit?

In de eerste fasen van een nieuw onderzoeksgebied zijn theorieën nog vaak onontwikkeld en zijn er geen theoretische modellen die getoetst kunnen worden. In de afwezigheid van een theorie worden er geen voorspellingen gedaan, maar worden er verschillende statistische analyses uitgevoerd, er op gericht om de meest interessante en veelbelovende resultaten verder te zullen onderzoeken. In zulke verkennende studies is het aantal variabelen vaak hoger dan bij bevestigende studies. Er is immers meer kans op een interessant resultaat als er meer variabelen in de studie zijn. Verkenning is gericht op het beter begrijpen van een bepaald fenomeen dat uiteindelijk kan leiden tot een theorie die in bevestigend onderzoek kan worden bestudeerd.

Waarom kunnen we niet zonder verkennend onderzoek?

Sommige wetenschappelijke gebieden kunnen alleen maar met verkennend onderzoek worden bestudeerd, zoals archeologie en sociologie. Sommige wetenschappers vinden zulk verkennend onderzoek maar niks en vinden dat alleen experimenteel onderzoek zou moeten worden uitgevoerd. Echter, in de psychologie wordt zeer veel experimenteel onderzoek gedaan, maar daar komt bij dat er ook een groot gebrek is aan goed ontwikkelde theorieën die goed geïnformeerde voorspellingen doen over specifieke gedragsfenomenen. Multivariate data analyse methoden daarentegen kunnen nieuwe inzichten creëren in bepaalde relaties die vervolgens getest kunnen worden in nieuw onderzoek.

Waarom is het uitvoeren van alleen bevestigend onderzoek zinloos?

Wat veel wetenschappers doen is dat wanneer zij een dataset hebben, zij een theorie hebben en op basis daarvan een bepaald model op de data loslaten. Als de data dit model dan niet bevestigen, proberen zij vaak andere modellen uit, op zoek naar een significant resultaat. Echter het toepassen van verschillende modellen zonder theoretische achtergrond heeft weinig wetenschappelijke zin. Het vinden van een passend statistisch model heeft alleen zin als deze theoretisch is onderbouwd.

Wat is HARKing?

Wanneer de eerste resultaten niet aan de verwachtingen voldoen, kunnen onderzoekers hun hypothesen veranderen en dan dezelfde data nog een keer gebruiken bij hun nieuwe hypothese. Dit wordt ook wel Hypothesizing After the Results are Known (HARKing) genoemd. Het heeft een vernietigend effect op het wetenschappelijke proces, omdat het wetenschappers de verkeerde richting in stuurt en daarbij tijd en geld verspild. Als de wetenschappers eerlijk rapporteren wat er uit hun test is gekomen dan kan HARKing helpen bij het creëren van inzicht over hoe de verwachtingen moeten worden aangepast. Op deze manier kan een dataset wel gebruikt worden als een bron van inzicht, zolang het maar gevolgd wordt door het verzamelen van nieuwe data om de nieuwe verwachtingen te bevestigen of te verwerpen.

Hoe kunnen wetenschappers worden ontmoedigd om gebruik te maken van QRP?

Er kunnen dingen worden gedaan om het gebruik van QRP te ontmoedigen. Zo kunnen onderzoekers beter worden opgeleid in het gebruik van statistiek, waardoor ze minder heuristische intuïtieve reacties gaan vertonen en meer gaan reageren op basis van ervaring. Tevens zouden meer wetenschappers tijdens hun onderzoeken hulp moeten vragen aan statistici. Veel data-analyse problemen vereisen een bepaald niveau van statistische kennis die wetenschappers tijdens hun training niet hebben geleerd. Het toevoegen van een ervaren methodologist of statistici bij een onderzoeksproject kan de hoeveelheid problemen als gevolg van gebrekkige ervaring met statistiek verminderen. Ook zou er tijdens de opleiding meer aandacht gegeven kunnen worden aan statistiek, met name met betrekking tot het belang en de techniek van data management, data collectie, administratie, opslag en publicatie. Studenten zouden moeten leren dat het delen van data heel productief kan zijn.

Hoe kunnen beleidsveranderingen het gebruik van QRP verminderen?

QRP worden eerder vermijd en gecorrigeerd wanneer een wetenschapper in een groter team werkt waarbij de data wordt verzameld door verschillende collega’s en gedeeld wordt voor analyse. Ook het institutionele beleid waarbij onderzoekers hun data beschikbaar maken voor andere wetenschappers kan QRP verminderen. De wetenschappelijke kwaliteit van een onderzoek kan alleen worden behouden als anderen de kans hebben om te controleren of de resultaten correct zijn en niet gebaseerd op QRP.

Waarom willen wetenschappers hun data niet delen?

Er zijn een aantal redenen waarom wetenschappers hun data niet willen delen:

• Het publiek maken van data op een manier waarop die door anderen gebruikt kan worden is veel werk en levert niets op (de resultaten zijn immers al bekend).
• Dagbladen zouden de data en het bijbehorende codeboek kunnen publiceren.
• Wetenschappers zijn bang dat statistische fouten of andere fouten aan het licht komen.

Hoe kunnen wetenschappers gerust worden gesteld met betrekking tot het delen van hun data?

Wetenschappers willen niet te vroeg hun data delen, uit angst dat iemand anders met hun resultaten wegloopt. Dat kan worden voorkomen:

• Auteurs zouden toestemming moeten hebben om als eerste artikelen te mogen publiceren gebaseerd op hun data, en daarna een co-auteurschap mogen delen met de wetenschappers die vervolgens artikelen produceren met hun data (zolang de eerste auteur een substantiële bijdrage levert).
• Auteurs zouden alleen verplicht moeten worden om de data en variabelen gerelateerd aan hun resultaten te publiceren, zodat ze nog steeds onderzoek kunnen verrichten op de data die ze nog niet hebben gebruikt.