Theorie, Toepassing en Test bij Integriteit van onderzoeksmethoden en Statistiek 

Eerlijkheid

• In theorie: Het principe eerlijkheid gaat over dat je op een eerlijke manier aan je resultaten komt.
• In toepassing: Er mag bij onderzoek geen sprake zijn van fabricage en plagiaat. Opzettelijke schending valt onder het principe eerlijkheid.
• In test: Mark voert een onderzoek uit en vindt hierbij een opvallende uitschieter. Hij denkt dat de meting bij dit specifieke geval verkeerd is gegaan en besluit de uitschieter te verwijderen. Hij benoemt dit echter niet in zijn onderzoek. Welk principe komt hierbij in het geding?

1. Eerlijkheid
2. Zorgvuldigheid
3. Transparantie
4. Onafhankelijkheid

Zorgvuldigheid

• In theorie: Het principe zorgvuldigheid gaat over dat je zorgvuldig aan je gegevens moet komen tijdens een onderzoek. Het gaat hier om precisie.
• In toepassing: Onopzettelijke schending valt onder het principe zorgvuldigheid.
• In test: In het theoretische deel van Kirsten gebruikt ze verschillende bronnen van Wikipedia. Omdat het Wikipedia is, komt ze niet achter de precieze auteur. Ze besluit daarom een verwijzing te maken naar de algemene site van Wikipedia en schrijft dat op in haar bronnenlijst. Welk principe komt hierbij in het geding?

1. Eerlijkheid
2. Zorgvuldigheid
3. Transparantie
4. Onafhankelijkheid

Transparantie

• In theorie: Het principe transparantie gaat over dat je transparant moet zijn tijdens je onderzoek.
• In toepassing: Je moet altijd duidelijk aangeven wat en waarom je iets doet of gedaan hebt.
• In test: Mohammed doet onderzoek naar waterkwaliteit in de buurt van fabrieken. Zijn vader die in dienst is bij een van die fabrieken is erg geïnteresseerd in het onderzoek van zijn zoon. Hij besluit zijn zoon een bijdrage te geven voor het onderzoek op voorwaarde dat de fabriek waar hij werkt het onderzoek mag inzien voor publicatie. Welk principe komt hierbij in het geding?

1. Eerlijkheid
2. Zorgvuldigheid
3. Transparantie
4. Onafhankelijkheid

Onafhankelijkheid

• In theorie: Het principe onafhankelijkheid gaat over dat je onafhankelijk moet zijn tijdens je onderzoek. Je opereert als onderzoeker niet in het belang van bijvoorbeeld een bedrijf.
• In toepassing: Als je iets in opdracht van een bedrijf doet, moet je dit aangeven in je onderzoek, anders komt het principe transparantie in het geding.
• In test: Kees doet onderzoek naar mentale klachten. Hij neemt interviews af met mensen met mentale klachten en laat hen een verhaal vertellen dat slechte herinneringen naar boven brengt. Hij heeft de deelnemers van tevoren gewaarschuwd dat het een heftig onderzoek kan zijn. Welk principe komt hierbij in het geding?

1. Zorgvuldigheid
2. Transparantie
3. Onafhankelijkheid
4. Verantwoordelijkheid

Verantwoordelijkheid

• In theorie: Het principe verantwoordelijkheid gaat over dat je verantwoordelijk je onderzoek moet uit voeren.
• In toepassing: Voer onderzoek uit dat relevant is, zonder daarbij schade aan mensen of dieren te doen.
• In test: Suus voert een onderzoek uit en vindt een uitschieter. Omdat deze uitschieter totaal niet bij haar verwachtingen past, focust ze zich eerst op de andere resultaten. Uiteindelijk is ze de uitschieter vergeten mee te nemen in haar onderzoek. Welk principe komt hier in het geding?

1. Zorgvuldigheid
2. Transparantie
3. Onafhankelijkheid
4. Verantwoordelijkheid

Publication bias

• In theorie: Onderzoekers schrijven hun niet-significante bevindingen bewust niet op om zo de kans te vergroten dat hun artikel gepubliceerd wordt. Dit is publication bias.
• In toepassing: Wetenschappelijke tijdschriften publiceren graag nieuwe significante verbanden en niet-significante bevindingen kunnen dan snel als 'niet interessant' bevonden worden. 
• In test: Daan voert een onderzoek uit. Hij komt uit op een p-waarde van 0,051. Hij heeft echter een uitschieter die hij niet kan verklaren en hij besluit dat deze meting waarschijnlijk fout is gegaan. Zonder dit aan te geven in zijn onderzoek verwijdert hij de uitschieter, waardoor hij nu op een p-waarde onder de 0,05 komt. Welk begrip is hierop van toepassing?

1. Publication bias
2. File-drawer problem
3. p-hacking
4. HARKing

Confirmation bias

• In theorie: Onderzoekers negeren hier de resultaten die niet overeenkomen met hun verwachtingen. Dit leidt tot confirmation bias.
• In toepassing: Dit kan bewust of onbewust gebeuren en leidt tot onbetrouwbare resultaten.
• In test: Kasper voert een onderzoek uit. De resultaten zijn echter niet zoals hij het had verwacht. Toch is het wel een significantie p-waarde die uit het onderzoek komt. Hij besluit de hypothesen aan te passen om het zo tot een mooier geheel te maken. Welk begrip is hierop van toepassing?

1. Confirmation bias
2. File-drawer problem
3. p-hacking
4. HARKing

File-drawer problem

• In theorie: Niet-significante bevindingen blijven vaak 'in de la' liggen en worden niet gepubliceerd.
• In toepassing: Het file-drawer probleem kan het gevolg zijn van meerdere dingen, bijvoorbeeld van de publication bias of de confirmation bias.
• In test: Sanne moet een onderzoekje uitvoeren voor school. Ze weet de uitkomst eigenlijk al, omdat volgens haar het erg voor de hand ligt. Ze wil het onderzoek snel afronden en focust zich vooral op hoe ze op haar verwachte conclusie uitkomt. Welk begrip is hierop van toepassing?

1. Confirmation bias
2. File-drawer problem
3. p-hacking
4. HARKing

p-hacking

• In theorie: De onderzoeker verandert iets aan de resultaten of aan de onderzoeksmethode om de p-waarde significant te krijgen.
• In toepassing: p-hacking is een vorm van falsifying, omdat de p-waarde op zo'n manier wordt aangepast dat deze significant is.
• In test: Peter is begonnen met een onderzoek, maar merkt eigenlijk al gelijk aan de resultaten dat dit niet zal leiden tot een significante uitkomst. Hij besluit het onderzoek te stoppen. Welk begrip is hierop van toepassing?

1. Publication bias
2. File-drawer problem
3. p-hacking
4. HARKing

HARKing

• In theorie: HARKing staat voor Hypothesizing After Results are Known. Dit is het achteraf opstellen van hypothesen en doen alsof deze vooraf waren opgesteld.
• In toepassing: HARKing is een vorm van falsifying.
• In test: Saskia heeft al meerdere onderzoeken afgerond. Een paar hebben significante uitkomsten, maar het merendeel is niet significant en heeft ze besloten om niet te publiceren. Welk begrip is hierop van toepassing?

1. Publication bias
2. File-drawer problem
3. p-hacking
4. HARKing

PPPR

• In theorie: PPPR staat voor Post Publication Peer Review. Dit is een online discussieplatform over publicatie tussen auteurs, redacteuren en peers.
• In toepassing: De verantwoordelijkheid ligt nu niet alleen bij de auteur, maar bij het hele veld binnen de wetenschap. Dit leidt tot transparantie en verantwoordelijkheid.
• In test: Na publicatie besluit Daniël op een online forum om feedback te vragen. Veel onderzoekers op dat forum adviseren hem om het onderzoek per direct terug te trekken, omdat het veel onwaarheden bevat. Wat had Daniël beter kunnen doen?

1. Hij had beter tijdens het onderzoek al feedback kunnen vragen en zijn onderzoek dan aan kunnen passen.
2. Niets, zolang hij het onderzoek direct terugtrekt is er niks aan de hand.
3. Hij had beter geen feedback kunnen vragen en had zelf zijn onderzoek voor publicatie vaker moeten controleren.

Pre-registratie

• In theorie: Je moet vooraf verplicht een onderzoeksprotocol indienen. Je hebt een half artikel: Hypothesen, Methodologie, Verwachting. Je krijgt publicatie onafhankelijk van de uitkomst van het onderzoek. 
• In toepassing: Dit wordt ingeleverd bij het tijdschrift. Onafhankelijk van de resultaten wordt er besloten of het uiteindelijk gepubliceerd wordt.
• In test: Wat zijn de voordelen van pre-registratie?

1. De auteur heeft zekerheid van publicatie.
2. Het geeft een realistischer beeld van de wetenschap, omdat er ook niet-significante uitkomsten vertoond worden.
3. Voorkomt het file-drawer probleem
4. Alle hierboven genoemde antwoorden zijn juist

Retractie

• In theorie: Vorm van zelfcorrectie achteraf. Hierbij trekt een onderzoeker een onderzoek terug.
• In toepassing: Dit heeft nadelen. Het leidt tot reputatieschade onderzoeker, reputatieschade wetenschap. Er zit vaak een lange tijd tussen publicatie en retractie. Veel mensen hebben in de tussentijd gerefereerd naar dit onderzoek in hun eigen onderzoek.
• In test: Wat is het gevolg van retractie na een lange tijd?

1. Wanneer de onderzoeker duidelijk naar buiten brengt dat dit onderzoek niet kloppend is, dan is er in principe niet heel veel aan de hand.
2. Het is al verspreid over het internet, waardoor het lastiger te verwijderen is 
3. Veel onderzoekers hebben dit onderzoek gebruikt voor eigen onderzoek.
4. C en D zijn beiden juist

Questionable Research Practices (QRP)

• In theorie: QRP's zijn dingen die onderzoekers doen, om toch significant te zijn. Dit kan integer zijn of niet.
• In toepassing: Een onderzoeker mag een uitschieter verwijderen als hij hier transparant over is. Hij moet kunnen onderbouwen waarom hij de uitschieter verwijdert. Anders is het een QRP.
• In test: Wat kan een QRP zijn?

1. Tijdens het onderzoek een grotere steekproef nemen
2. Een uitschieter verwijderen
3. Bepaalde waarden afronden op een gunstige manier
4. Alle hierboven genoemde antwoorden.

Antwoordindicatie

Eerlijkheid

• C

Zorgvuldigheid

• A

Transparantie

• D

Onafhankelijkheid

• D

Verantwoordelijkheid

• A

Publication bias

• C

Confirmation bias

• D

File-drawer problem

• A

p-hacking

• A

HARKing

• B

PPPR

• C

Pre-registratie

• D

Retractie

• D

Questionable Research Practices (QRP's)

• D