1. Publicatiebias in de sociale wetenschap

Publicatiebias

Een publicatiebias is een vertekening die ontstaat wanneer positieve resultaten wel, maar negatieve of onduidelijke resultaten niet worden gepubliceerd. Dit noemt men ook wel het “file-drawer” effect (of het bureaulade-effect). Hierdoor vergroot de kans dat de gepubliceerde resultaten eerder een type 1 fout weergeven, in plaats van de werkelijke parameters van de populatie. Tevens bemoeilijkt deze publicatiebias het verkrijgen van de daadwerkelijke kennis binnen een gebied, doordat de negatieve resultaten ongeobserveerd blijven door de wetenschappelijke gemeenschap.

Het onderzoeken van publicatiebias

Er zijn verschillende methoden om te onderzoeken of er sprake is van een publicatiebias. Een veelgebruikte methode is het doen van een meta-analyse waarin zowel gepubliceerde als ongepubliceerde literatuur wordt betrokken. Deze methode is echter gelimiteerd, doordat ongepubliceerde literatuur ook vaak ongezien blijft. Een andere methode betreft het onderzoeken van de gepubliceerde literatuur. Daarbij maakt men dan assumpties over de distributie van de ongepubliceerde literatuur, bijvoorbeeld door het vergelijken van de nauwkeurigheid en effectgroottes van een aantal studies.

Publicatiebias in de sociale wetenschap

Een van de redenen waardoor het lastig is om een publicatiebias binnen de sociale wetenschappen vast te stellen, is het feit dat er grote kwaliteitsverschillen bestaan tussen gepubliceerde en ongepubliceerde onderzoeken. Hierdoor zijn de onderzoeken lastig met elkaar te vergelijken. In het huidige onderzoek wordt gekeken naar de huidige populatie van uitgevoerde onderzoeken, waarbij alle onderzoeken voldoen aan een hoge kwaliteitseis.

Het gebruik van Time-Sharing Experiments

Time-Sharing Experiments in the Social Sciences wordt gesponsord door de National Science Foundation. Het biedt onderzoekers de kans om experimentele voorstellen te doen die kunnen worden uitgevoerd op een nationale en representatieve groep. In dit onderzoek worden de gepubliceerde statistische resultaten van de TESS experimenten vergeleken met de ongepubliceerde resultaten. Deze aanpak heeft diverse voordelen. Ten eerste is er bekend welke resultaten er zijn gepubliceerd en welke resultaten niet. Ten tweede hebben zelfs de ongepubliceerde onderzoeken voldaan aan een hoge kwaliteitseis. Ten derde zijn vrijwel alle survey experimenten uitgevoerd door hetzelfde bedrijf, waardoor de onderzoeken goed te vergelijken zijn. Tot slot vereist TESS dat de onderzoeken sterke statistische power hebben, waardoor een onsignificant resultaat niet simpelweg het gevolg is van een kleine steekproef.

Resultaten

Er blijkt een sterke relatie te bestaan tussen de resultaten van een onderzoek en of deze wel of niet gepubliceerd worden. Het patroon wijst op het bestaan van een publicatiebias. Behalve dit resultaat is tevens interessant dat niet alleen weinig onsignificante resultaten worden gepubliceerd, maar dat een groot aantal van hen niet eens wordt opgeschreven.

Negatieve effecten van de publicatiebias

Het niet opschrijven van onsignificante resultaten is zeer problematisch. Ten eerste weten wetenschappers dan niet dat een onderzoek al is uitgevoerd en er een onsignificant resultaat is gevonden. Als onderzoekers het onderzoek dan uitvoeren, worden zowel tijd, moeite en hulpbronnen verspild. Ten tweede zouden toekomstige onderzoekers bij toeval een significant resultaat kunnen vinden. Dit zou binnen het veld dan een enorme ontdekking zijn en relatief heel veel invloed hebben, omdat negatieve resultaten nooit gepubliceerd en dus onbekend zijn. Het effect van het bij toeval gevonden significante resultaat is dan relatief sterker. Op deze manier beïnvloedt ook het niet opschrijven van onsignificante resultaten het wetenschappelijke kennisveld.

2. Reactie op de reproduceerbaarheid van de psychologische wetenschap

Replicatiecrisis

Het reproduceren van empirisch onderzoek is een belangrijk onderdeel van de wetenschap. De Open Science Collaboration (OSC) heeft een onderzoek gedaan naar de reproduceerbaarheid van onderzoeken binnen de psychologie. Op basis van hun onderzoek concludeerden zij dat er sprake is van een replicatiecrisis. Een zeer laag percentage van de onderzoeken zouden succesvol zijn gereproduceerd. De auteurs van dit artikel stellen echter dat er verschillende dingen mis zijn met het onderzoek van de OSC, en dat de reproduceerbaarheid van de psychologische wetenschap juist heel groot is.

Error

Wanneer een replicatiestudie een onderzoek herhaalt en daarbij een steekproef trekt uit de originele populatie, kan een replicatiefout soms simpelweg het gevolg zijn van een steekproeffout. De OSC gaat er van uit dat het enige verschil tussen hun onderzoeken en de originele onderzoeken te maken heeft met zo’n steekproeffout, terwijl er veel meer belangrijke verschillen zijn. Zo hebben zij soms een steekproef getrokken uit een compleet andere populatie. Ook hebben zij in sommige onderzoeken volledig andere vragen gesteld aan participanten die vrijwel niks met dat onderwerp te maken hebben (bijvoorbeeld vragen stellen over de studie aan participanten die nooit hebben gestudeerd, en vragen over reistijden aan participanten die niet naar school heen en weer hoeven te reizen). Op deze manier zijn er zeel veel verschillen aan te wijzen die de resultaten van het onderzoek van de OCS in twijfel doen brengen.

Power

De OSC heeft elk onderzoek slechts eenmaal gereproduceerd. Zij hebben dus niet elk onderzoek vaker gereproduceerd en vervolgens deze resultaten samengenomen en het gemiddelde genomen. De power van hun onderzoek is daardoor zeer laag. Een ander onderzoeksproject genaamd het Many Labs Project (MLP) heeft dat wel gedaan. Het onderzoek van MLP heeft veel meer power en zij concluderen een veel hogere reproduceerbaarheid dan het onderzoek van OSC.

Bias

Error betreft verschillen die zich op basis van toeval voordoen, maar het onderzoek van de OSC heeft ook te maken met bias. De auteurs hebben kunnen vaststellen dat het onderzoek van de OSC een bias heeft die er toe leidt dat de replicaties voornamelijk onsuccesvol zijn.

Conclusie

Er kan worden vastgesteld dat, in tegenstelling tot de conclusie van de OSC, er binnen de psychologische wetenschap, geen probleem is met de reproduceerbaarheid van de onderzoeken. Het omgekeerde is juist waar, en de reproduceerbaarheid blijkt groot te zijn.

3. Twijfelachtige onderzoekspraktijken

Introductie

Wanneer wetenschappers zich misdragen, wordt daar vaak veel aandacht aan besteed. Maar behalve grove misdragingen bestaan er ook twijfelachtige onderzoekspraktijken, uitbuitingen van het grijze gebied binnen de wetenschap. Deze worden ook wel ‘questionable research practices’ (QRP) genoemd. Deze zouden op de lange termijn meer schade kunnen aanrichten binnen de wetenschappelijke wereld dan ronduit grote misdragingen. Twijfelachtige onderzoekspraktijken bedreigen de waarde van het onderzoek, zorgen voor onrealistische resultaten en leiden uiteindelijk tot onjuiste conclusies. Een voorbeeld van een twijfelachtige onderzoekspraktijk is het uitsluiten van datapunten op basis van post hoc criteria. Hiermee wordt de kans op het vinden van bewijs dat de hypothese ondersteund enorm vergroot. QPR creëren ruimte voor rationaliseringen en zelfdeceptie. Tevens brengen ze wetenschappers die zich strikt aan de regels houden op een competitieve achterstand.

Methoden

Wanneer men onethisch of sociaal-gestigmatiseerd gedrag onderzoekt, is een onderrepresentatie van zelfgerapporteerde data te verwachten. Buiten de eigen goede wil van de respondenten om hebben zij weinig aanmoediging om eerlijke antwoorden te geven. In dit onderzoek probeert men realistische schattingen te verkrijgen over QRP. Zij doen dit via een nieuwe bevragingsmethode waarbij expliciete respons-afhankelijke prikkels zijn ingebouwd die de respondenten aanmoedigen om de waarheid te vertellen. Daarnaast moesten de respondenten twee onpersoonlijke schattingen geven over elke QRP. De eerste schatting betreft de prevalentieschatting. Dit is de schatting van de respondenten over het percentage van andere psychologen die zich wel eens schuldig hebben gemaakt aan QRP. De tweede schatting is de erkenningschatting. Dit is de schatting van de respondenten over het percentage van andere psychologen dat zal toegeven dat zij wel eens gebruik hebben gemaakt van QRP. Wanneer respondenten aangaven dat zij wel eens gebruik hebben gemaakt van QRP konden zij aangeven of zij hun gedrag kunnen verdedigen, en zo ja, op welke basis.

‘Bayesian truth serum’

Het Bayesian truth serum is een algoritme dat gebruikt maakt van de antwoorden van de groep als input voor een waarheidbelonende scoreformule. Compensaties konden niet direct worden gelinkt aan de individuele antwoorden door de vereiste voor anonimiteit. Daarom werd aan de respondenten verteld dat de onderzoekers een gift zouden doen aan een liefdadigheidsinstelling. De waarde van deze gift was afhankelijk van de waarachtigheid van de antwoorden zoals bepaald door het scoresysteem. Aan de hand van dit systeem probeerden de onderzoekers de morele inzet te versterken.

Schatting van de werkelijke prevalentie

Aan de hand van de zelfgerapporteerde data, de prevalentieschatting en de erkenningschatting kon een schatting van de werkelijke prevalentie worden gemaakt. Als de respondenten eerlijk zijn over de zelfgerapporteerde data, dan zal deze data de werkelijke prevalentie weergeven. Als de gemiddelde prevalentieschatting accuraat is, dan zal deze de werkelijke prevalentie weergeven. Als de erkenningschatting accuraat is dan kan de werkelijke prevalentie worden geschat door het berekenen van de verhouding van het aantal toegevingen/erkenningschatting.

Resultaten

Uit de resultaten blijkt dat één op de tien onderzoekspsychologen valse gegevens in wetenschappelijke rapporten introduceerde. De meerderheid van hen ondernamen praktijken zoals selectieve rapportering bij onderzoeken, het niet rapporteren van alle metingen, het verzamelen van extra data, het als verwacht rapporteren van onverwachte data en het post hoc uitsluiten van gegevens.

Het grijze gebied van de wetenschap

Binnen het grijze gebied van de wetenschap bestaan er items die nooit gerechtvaardigd kunnen worden, zoals het vervalsen van gegevens. Maar dit kan niet over alle items gezegd worden. Bijvoorbeeld wanneer een onderzoeker besluit niet alle metingen van een onderzoek te rapporteren, omdat de twee metingen voor eenzelfde construct dezelfde patronen opleveren die niet gemakkelijk kunnen worden gecombineerd tot één. Veel van de onderzoekers die zich schuldig hadden gemaakt aan QRP vonden dat hun acties verdedigbaar zijn, ook al werd in vervolgonderzoek hetzelfde gedrag als onacceptabel beoordeeld.

Het afname-effect

Het afname-effect is de neiging van effectgroottes om af te nemen bij daaropvolgende pogingen tot replicatie. De auteur Jonah Lehrer concludeerde dat de conventionele verklaringen van het afname-effect, zoals publicatiebias, onvolledig kunnen zijn. Het afname-effect zou ook veroorzaakt kunnen worden door het niet publiceren van bepaalde gegevens. Deze hypothese wordt door de resultaten van het huidige onderzoek ondersteund.

4. De reproduceerbaarheid van de psychologische wetenschap

Reproduceerbaarheid is een belangrijk aspect van de wetenschappelijke vooruitgang. Wetenschappelijke uitspraken verkrijgen hun waarde door de reproduceerbaarheid van hun bewijs. Wetenschappers moeten daarom duidelijk hun methodologie en resultaten beschrijven. Door het verzamelen van meer wetenschappelijk bewijs, of door onderzoeken met andere methoden uit te voeren, kan men over de resultaten discussiëren. Zulke discussies zijn echter zinloos als een onderzoek niet reproduceerbaar is. In dit onderzoek is gekeken naar de reproduceerbaarheid van psychologische onderzoeken. De onderzoekers hebben daarbij honderd experimentele en correlationele onderzoeken gerepliceerd.

Andere resultaten in een replicatie

Er zijn verschillende redenen waarom een directe replicatie niet dezelfde resultaten vindt. Behalve bekende en onbekende verschillen tussen de onderzoeken kunnen er ook vals positieve resultaten zijn gevonden, of de replicatie kan een vals negatief resultaat vinden. Valse positieve en valse negatieve resultaten zorgen voor misleidende informatie over de effecten. Het niet kunnen identificeren van de benodigde condities voor het reproduceren van een effect wijst op een incompleet theoretisch begrip. Door het direct kunnen reproduceren van een resultaat kan men de reproduceerbaarheid beoordelen en verbeteren.

Slechte replicatie van onderzoeksresultaten in de psychologie

Geconcludeerd wordt dat een grote proportie van de replicaties zwakker bewijs vonden dan de originele studies. Al zouden de replicaties wel allemaal dezelfde resultaten hebben gevonden, wil dat nog niet zeggen dat de onderliggende theorieën juist zijn. Er kunnen ook andere factoren een rol spelen die er voor zorgen dat zowel het originele onderzoek als de replica hetzelfde resultaat vinden. Ook wanneer de replica niet hetzelfde resultaat vindt als de originele studie, betekent dat niet dat de originele studie te maken heeft met vals positieve resultaten. Er kunnen zich verschillen voordoen in de methodologie, steekproef, setting en procedure die het observeren van het effect beïnvloeden.

Het belang van replicatie

Het belang van replicatie wordt vaak onderschat. Het opnieuw testen van een al bestaand resultaat wordt door velen saai gevonden en krijgt maar weinig aandacht. Innovatie wordt gezien als dé weg naar nieuwe ontdekkingen en toont ook zeker aan welke wegen er mogelijk zijn. Maar replicaties zijn nodig om te onderzoeken welke van deze wegen het meest waarschijnlijk zijn. Wetenschappelijke vooruitgang is afhankelijk van zowel innovatie als replicatie.

5. Wetenschappelijke uitgeverij

Wetenschappelijke uitgeverij

De wetenschappelijke uitgeverij distribueert wetenschappelijk onderzoek. Het meeste academische werk wordt gepubliceerd in academische tijdschriften, boeken of thesis. Academische stof die niet formeel wordt gepubliceerd, maar wel op internet wordt gezet, behoord tot de zogenaamde grijze literatuur. Het meeste wetenschappelijke werk is gebaseerd op peer review of een bewerking door een redacteur. De standaards voor deze herzieningen variëren veel. De meeste wetenschappelijke disciplines hebben hun eigen tijdschriften, maar er bestaan ook interdisciplinaire tijdschriften.  Als gevolg van de ontwikkeling van het internet ondergaat de wetenschappelijke uitgeverij grote veranderingen. Met name ‘open access’ is aan het groeien. Open access betekent dat een artikel gratis en openlijk toegankelijk is voor iedereen.

Wetenschappelijk paper

Een paper is een academisch geschrift dat normaal gesproken wordt gepubliceerd in een wetenschappelijk tijdschrift. Het betreft origineel onderzoek of bespreekt bestaande wetenschappelijke resultaten. Zo’n paper wordt ook wel artikel genoemd en is alleen geldig wanneer het door anderen wordt herzien. Het duurt vaak maanden voordat een artikel kan worden gepubliceerd. Daarom publiceren veel wetenschappers hun onderzoeken tegenwoordig online. Sommigen stellen dat deze vroegtijdige online publicaties leiden tot een afname van artikelen die door andere wetenschappers zijn herzien, wat kan leiden tot een afname van de kwaliteit.

Peer review

Peer reviews zijn een belangrijk onderdeel binnen de wetenschappelijke uitgeverij. Andere wetenschappers moeten wetenschappelijk werk beoordelen om er zeker van te zijn dat de kwaliteit goed is en om plagiaat te voorkomen. Een probleem dat zich hier soms bij voordoet is dat een artikel voor een bepaald tijdschrift niet wordt goedgekeurd, maar vervolgens door een ander tijdschrift wel. Zo worden artikelen met een lage kwaliteit soms alsnog gepubliceerd, terwijl artikelen met een hoge kwaliteit soms worden geweigerd. ‘Confirmatory’ bias is de onbewuste neiging om artikelen te accepteren die overeenstemmen met de ideeën van de lezer en om artikelen af te wijzen die niet overeenstemmen. Het bestaan van deze bias is in experimentele onderzoeken bevestigd.

Publicatieproces

Het publicatieproces wordt onderverdeeld in peer reviews en productie. Het gedeelte van de peer reviews is afgelopen wanneer de inhoud van het artikel geaccepteerd is voor publicatie. Het productieproces betreft vervolgens editing, typesetting, printen en online publicatie.

Open access tijdschriften

In open access tijdschriften betalen de auteurs een bepaald bedrag om hun artikel te publiceren. De distributie van het artikel vindt dan plaats zonder kosten voor de lezer. De Europese Unie heeft vastgesteld dat vanaf 2020 alle wetenschappelijke publicaties die door de overheid zijn gefinancierd vrij beschikbaar moeten zijn. Onderzoeksdata moet optimaal hergebruikt kunnen worden. Deze data moet beschikbaar zijn, tenzij er een goede reden bestaat waarom dat niet zo zou moeten zijn (bijvoorbeeld intellectuele eigendomsrechten of veiligheid).

Crisis in de wetenschappelijke uitgeverij

De huidige crisis in de wetenschappelijke uitgeverij heeft te maken met de bezuinigingen aan de kant van de universiteiten en de hogere kosten voor de tijdschriften.