Je vertrek voorbereiden of je verzekering afsluiten bij studie, stage of onderzoek in het buitenland
Study or work abroad? check your insurance options with The JoHo Foundation
Er bestaat veel discussie over de manier waarop psychologische wetenschappers onderzoek doen en hun data verzamelen, opslaan en analyseren. Hier wordt niet alleen door onderzoekers over gediscussieerd, maar ook binnen professionele organisaties en de populaire media. Fouten die worden veroorzaakt door incorrecte methodologische beslissingen en onjuist gebruik van statistische methoden kunnen worden vermindert door het onderwijzen van onderzoekers en politieke maatregelen op institutioneel niveau. Responsible Conduct of Research refereert naar het beoefenen van kennis over hoe wetenschap moet worden uitgevoerd e hoe data moet worden geanalyseerd. Deze ligt aan de ene kant van een spectrum, terwijl aan de andere kant fabricatie, falsificatie en plagiaat liggen. Questionable Research Practices liggen eigenlijk tussen deze twee in. Ze kunnen relatief onschuldig zijn (e.g. onjuist afronden) of juist ernstig (e.g. het verzinnen van data). Het is echter lastig te zeggen welke QRP erger zijn, omdat zelfs QRP die onschuldig lijken serieuze gevolgen kunnen hebben.
We maken hierbij onderscheid tussen onjuiste methodologische beslissingen en onjuist gebruik van statistische methoden.
Voorbeelden van onjuiste methodologische beslissingen:
Voorbeelden van onjuist gebruik van statistische methoden:
De manier waarop statistische resultaten worden gepresenteerd kan invloed hebben op de mensen die deze statistieken lezen, maar eigenlijk geen kennis hebben over statistiek en daar niet in getraind zijn. Statistieken kunnen dan ook makkelijk gebruikt worden om mensen te bedriegen. Maar er kunnen ook omstandigheden zijn die het begrijpelijk maken waarom onderzoekers gebruik maken van QRP. Zo hebben mensen te maken met cognitieve mechanismen die de kans verhogen dat een fout wordt gemaakt, en onderschatten veel onderzoekers de complexiteit van statistiek of zijn zij zich niet echt bewust van deze complexiteit.
Statistisch redeneren vereist rationeel en bewust nadenken dat veel moeite kost, terwijl de eerste neiging is om intuïtief te reageren. Intuïtie werkt op twee manieren. De eerste manier is gebaseerd op ervaring (bijvoorbeeld: “neem een grote steekproef natuurlijk, want groter is altijd beter”). De tweede manier is heuristiek die is gebaseerd op cognitieve automatismen (bijvoorbeeld: “neem een kleine steekproef, want we hebben een klein budget”). Statistiek is ingewikkeld, en mensen zijn cognitief niet goed uitgerust om statistici te zijn.
Er bestaat de kans dat een onderzoeker zich met QRP bezig houdt zonder dat deze daar slechte bedoelingen bij heeft. Om onderscheid te kunnen maken tussen de onderzoekers die zich bewust bezig houden met QRP en onderzoekers die QRP uitvoeren zonder zich daarbij bewust te zijn dat hun onderzoekspraktijken twijfelachtig zijn, kijkt de auteur naar twee aspecten: 1) de assumptie dat een onderzoeker wel of niet bewust QRP uitvoert, 2) ongeacht de intentie van de onderzoeker kan het resultaat van een datamanipulatie wel of niet het gevolg zijn van bevooroordeelde data die bevooroordeelde resultaten veroorzaakt. Op basis van deze twee aspecten zijn er vier mogelijke uitkomsten:
Als iemand per ongeluk een QRP ontdekt dan kan deze de onderzoeker daarvan bewust maken. Zulke onderzoekers die per ongeluk QRP uitvoeren worden vaak gecorrigeerd, maar niet bestraft. Onderzoekers die bewust bedriegen zullen waarschijnlijk verantwoordelijk worden gehouden en bestraft. Het is echter vrijwel onmogelijk om aan te tonen dat een onderzoeker slechte intenties had, tenzij een onderzoeker dat zelf aangeeft. Zelfs als deze intentie wel zou kunnen worden aangetoond, dan lost dat het probleem van QRP niet op.
Een null field is een onderzoeksgebied dat ontstaan nadat een onderzoeker een dataset heeft onderzocht en daarin een interessant resultaat tegenkwam dat eigenlijk veroorzaakt werd door toeval, maar zo interessant lijkt dat het wel verder onderzocht moet worden. Zulke resultaten kunnen worden veroorzaakt door kleine steekproeven, kleine effectgroottes, flexibiliteit in onderzoeksontwerp, definities en analysemethoden.
De gevonden resultaten in een null field leiden er vaak toe dat onderzoekers zeer geïnteresseerd zijn in dit nieuwe gebied en zo snel mogelijk meer resultaten willen winnen. Onderzoekers testen dan vaak de nulhypothese en gaan dan op zoek naar een significant resultaat van p < α. QRP om p < α te bewerkstelligen. Bijvoorbeeld door:
In de eerste fasen van een nieuw onderzoeksgebied zijn theorieën nog vaak onontwikkeld en zijn er geen theoretische modellen die getoetst kunnen worden. In de afwezigheid van een theorie worden er geen voorspellingen gedaan, maar worden er verschillende statistische analyses uitgevoerd, er op gericht om de meest interessante en veelbelovende resultaten verder te zullen onderzoeken. In zulke verkennende studies is het aantal variabelen vaak hoger dan bij bevestigende studies. Er is immers meer kans op een interessant resultaat als er meer variabelen in de studie zijn. Verkenning is gericht op het beter begrijpen van een bepaald fenomeen dat uiteindelijk kan leiden tot een theorie die in bevestigend onderzoek kan worden bestudeerd.
Sommige wetenschappelijke gebieden kunnen alleen maar met verkennend onderzoek worden bestudeerd, zoals archeologie en sociologie. Sommige wetenschappers vinden zulk verkennend onderzoek maar niks en vinden dat alleen experimenteel onderzoek zou moeten worden uitgevoerd. Echter, in de psychologie wordt zeer veel experimenteel onderzoek gedaan, maar daar komt bij dat er ook een groot gebrek is aan goed ontwikkelde theorieën die goed geïnformeerde voorspellingen doen over specifieke gedragsfenomenen. Multivariate data analyse methoden daarentegen kunnen nieuwe inzichten creëren in bepaalde relaties die vervolgens getest kunnen worden in nieuw onderzoek.
Wat veel wetenschappers doen is dat wanneer zij een dataset hebben, zij een theorie hebben en op basis daarvan een bepaald model op de data loslaten. Als de data dit model dan niet bevestigen, proberen zij vaak andere modellen uit, op zoek naar een significant resultaat. Echter het toepassen van verschillende modellen zonder theoretische achtergrond heeft weinig wetenschappelijke zin. Het vinden van een passend statistisch model heeft alleen zin als deze theoretisch is onderbouwd.
Wanneer de eerste resultaten niet aan de verwachtingen voldoen, kunnen onderzoekers hun hypothesen veranderen en dan dezelfde data nog een keer gebruiken bij hun nieuwe hypothese. Dit wordt ook wel Hypothesizing After the Results are Known (HARKing) genoemd. Het heeft een vernietigend effect op het wetenschappelijke proces, omdat het wetenschappers de verkeerde richting in stuurt en daarbij tijd en geld verspild. Als de wetenschappers eerlijk rapporteren wat er uit hun test is gekomen dan kan HARKing helpen bij het creëren van inzicht over hoe de verwachtingen moeten worden aangepast. Op deze manier kan een dataset wel gebruikt worden als een bron van inzicht, zolang het maar gevolgd wordt door het verzamelen van nieuwe data om de nieuwe verwachtingen te bevestigen of te verwerpen.
Er kunnen dingen worden gedaan om het gebruik van QRP te ontmoedigen. Zo kunnen onderzoekers beter worden opgeleid in het gebruik van statistiek, waardoor ze minder heuristische intuïtieve reacties gaan vertonen en meer gaan reageren op basis van ervaring. Tevens zouden meer wetenschappers tijdens hun onderzoeken hulp moeten vragen aan statistici. Veel data-analyse problemen vereisen een bepaald niveau van statistische kennis die wetenschappers tijdens hun training niet hebben geleerd. Het toevoegen van een ervaren methodologist of statistici bij een onderzoeksproject kan de hoeveelheid problemen als gevolg van gebrekkige ervaring met statistiek verminderen. Ook zou er tijdens de opleiding meer aandacht gegeven kunnen worden aan statistiek, met name met betrekking tot het belang en de techniek van data management, data collectie, administratie, opslag en publicatie. Studenten zouden moeten leren dat het delen van data heel productief kan zijn.
QRP worden eerder vermijd en gecorrigeerd wanneer een wetenschapper in een groter team werkt waarbij de data wordt verzameld door verschillende collega’s en gedeeld wordt voor analyse. Ook het institutionele beleid waarbij onderzoekers hun data beschikbaar maken voor andere wetenschappers kan QRP verminderen. De wetenschappelijke kwaliteit van een onderzoek kan alleen worden behouden als anderen de kans hebben om te controleren of de resultaten correct zijn en niet gebaseerd op QRP.
Er zijn een aantal redenen waarom wetenschappers hun data niet willen delen:
Wetenschappers willen niet te vroeg hun data delen, uit angst dat iemand anders met hun resultaten wegloopt. Dat kan worden voorkomen:
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
Je vertrek voorbereiden of je verzekering afsluiten bij studie, stage of onderzoek in het buitenland
Study or work abroad? check your insurance options with The JoHo Foundation
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
Field of study
Add new contribution