![Image](https://www.worldsupporter.org/sites/default/files/styles/medium/public/tips_suggestions/wereldbol_summaries_joho_single_boek_1_150x190px.png?itok=rEljlfYL)
1. Publicatiebias in de sociale wetenschap
Publicatiebias
Een publicatiebias is een vertekening die ontstaat wanneer positieve resultaten wel, maar negatieve of onduidelijke resultaten niet worden gepubliceerd. Dit noemt men ook wel het “file-drawer” effect (of het bureaulade-effect). Hierdoor vergroot de kans dat de gepubliceerde resultaten eerder een type 1 fout weergeven, in plaats van de werkelijke parameters van de populatie. Tevens bemoeilijkt deze publicatiebias het verkrijgen van de daadwerkelijke kennis binnen een gebied, doordat de negatieve resultaten ongeobserveerd blijven door de wetenschappelijke gemeenschap.
Het onderzoeken van publicatiebias
Er zijn verschillende methoden om te onderzoeken of er sprake is van een publicatiebias. Een veelgebruikte methode is het doen van een meta-analyse waarin zowel gepubliceerde als ongepubliceerde literatuur wordt betrokken. Deze methode is echter gelimiteerd, doordat ongepubliceerde literatuur ook vaak ongezien blijft. Een andere methode betreft het onderzoeken van de gepubliceerde literatuur. Daarbij maakt men dan assumpties over de distributie van de ongepubliceerde literatuur, bijvoorbeeld door het vergelijken van de nauwkeurigheid en effectgroottes van een aantal studies.
Publicatiebias in de sociale wetenschap
Een van de redenen waardoor het lastig is om een publicatiebias binnen de sociale wetenschappen vast te stellen, is het feit dat er grote kwaliteitsverschillen bestaan tussen gepubliceerde en ongepubliceerde onderzoeken. Hierdoor zijn de onderzoeken lastig met elkaar te vergelijken. In het huidige onderzoek wordt gekeken naar de huidige populatie van uitgevoerde onderzoeken, waarbij alle onderzoeken voldoen aan een hoge kwaliteitseis.
Het gebruik van Time-Sharing Experiments
Time-Sharing Experiments in the Social Sciences wordt gesponsord door de National Science Foundation. Het biedt onderzoekers de kans om experimentele voorstellen te doen die kunnen worden uitgevoerd op een nationale en representatieve groep. In dit onderzoek worden de gepubliceerde statistische resultaten van de TESS experimenten vergeleken met de ongepubliceerde resultaten. Deze aanpak heeft diverse voordelen. Ten eerste is er bekend welke resultaten er zijn gepubliceerd en welke resultaten niet. Ten tweede hebben zelfs de ongepubliceerde onderzoeken voldaan aan een hoge kwaliteitseis. Ten derde zijn vrijwel alle survey experimenten uitgevoerd door hetzelfde bedrijf, waardoor de onderzoeken goed te vergelijken zijn. Tot slot vereist TESS dat de onderzoeken sterke statistische power hebben, waardoor een onsignificant resultaat niet simpelweg het gevolg is van een kleine steekproef.
Resultaten
Er blijkt een sterke relatie te bestaan tussen de resultaten van een onderzoek en of deze wel of niet gepubliceerd worden. Het patroon wijst op het bestaan van een publicatiebias. Behalve dit resultaat is tevens interessant dat niet alleen weinig onsignificante resultaten worden gepubliceerd, maar dat een groot aantal van hen niet eens wordt opgeschreven.
Negatieve effecten van de publicatiebias
Het niet opschrijven van onsignificante resultaten is zeer problematisch. Ten eerste weten wetenschappers dan niet dat een onderzoek al is uitgevoerd en er een onsignificant resultaat is gevonden. Als onderzoekers het onderzoek dan uitvoeren, worden zowel tijd, moeite en hulpbronnen verspild. Ten tweede zouden toekomstige onderzoekers bij toeval een significant resultaat kunnen vinden. Dit zou binnen het veld dan een enorme ontdekking zijn en relatief heel veel invloed hebben, omdat negatieve resultaten nooit gepubliceerd en dus onbekend zijn. Het effect van het bij toeval gevonden significante resultaat is dan relatief sterker. Op deze manier beïnvloedt ook het niet opschrijven van onsignificante resultaten het wetenschappelijke kennisveld.
2. Reactie op de reproduceerbaarheid van de psychologische wetenschap
Replicatiecrisis
Het reproduceren van empirisch onderzoek is een belangrijk onderdeel van de wetenschap. De Open Science Collaboration (OSC) heeft een onderzoek gedaan naar de reproduceerbaarheid van onderzoeken binnen de psychologie. Op basis van hun onderzoek concludeerden zij dat er sprake is van een replicatiecrisis. Een zeer laag percentage van de onderzoeken zouden succesvol zijn gereproduceerd. De auteurs van dit artikel stellen echter dat er verschillende dingen mis zijn met het onderzoek van de OSC, en dat de reproduceerbaarheid van de psychologische wetenschap juist heel groot is.
Error
Wanneer een replicatiestudie een onderzoek herhaalt en daarbij een steekproef trekt uit de originele populatie, kan een replicatiefout soms simpelweg het gevolg zijn van een steekproeffout. De OSC gaat er van uit dat het enige verschil tussen hun onderzoeken en de originele onderzoeken te maken heeft met zo’n steekproeffout, terwijl er veel meer belangrijke verschillen zijn. Zo hebben zij soms een steekproef getrokken uit een compleet andere populatie. Ook hebben zij in sommige onderzoeken volledig andere vragen gesteld aan participanten die vrijwel niks met dat onderwerp te maken hebben (bijvoorbeeld vragen stellen over de studie aan participanten die nooit hebben gestudeerd, en vragen over reistijden aan participanten die niet naar school heen en weer hoeven te reizen). Op deze manier zijn er zeel veel verschillen aan te wijzen die de resultaten van het onderzoek van de OCS in twijfel doen brengen.
Power
De OSC heeft elk onderzoek slechts eenmaal gereproduceerd. Zij hebben dus niet elk onderzoek vaker gereproduceerd en vervolgens deze resultaten samengenomen en het gemiddelde genomen. De power van hun onderzoek is daardoor zeer laag. Een ander onderzoeksproject genaamd het Many Labs Project (MLP) heeft dat wel gedaan. Het onderzoek van MLP heeft veel meer power en zij concluderen een veel hogere reproduceerbaarheid dan het onderzoek van OSC.
Bias
Error betreft verschillen die zich op basis van toeval voordoen, maar het onderzoek van de OSC heeft ook te maken met bias. De auteurs hebben kunnen vaststellen dat het onderzoek van de OSC een bias heeft die er toe leidt dat de replicaties voornamelijk onsuccesvol zijn.
Conclusie
Er kan worden vastgesteld dat, in tegenstelling tot de conclusie van de OSC, er binnen de psychologische wetenschap, geen probleem is met de reproduceerbaarheid van de onderzoeken. Het omgekeerde is juist waar, en de reproduceerbaarheid blijkt groot te zijn.
3. Twijfelachtige onderzoekspraktijken
Introductie
Wanneer wetenschappers zich misdragen, wordt daar vaak veel aandacht aan besteed. Maar behalve grove misdragingen bestaan er ook twijfelachtige onderzoekspraktijken, uitbuitingen van het grijze gebied binnen de wetenschap. Deze worden ook wel ‘questionable research practices’ (QRP) genoemd. Deze zouden op de lange termijn meer schade kunnen aanrichten binnen de wetenschappelijke wereld dan ronduit grote misdragingen. Twijfelachtige onderzoekspraktijken bedreigen de waarde van het onderzoek, zorgen voor onrealistische resultaten en leiden uiteindelijk tot onjuiste conclusies. Een voorbeeld van een twijfelachtige onderzoekspraktijk is het uitsluiten van datapunten op basis van post hoc criteria. Hiermee wordt de kans op het vinden van bewijs dat de hypothese ondersteund enorm vergroot. QPR creëren ruimte voor rationaliseringen en zelfdeceptie. Tevens brengen ze wetenschappers die zich strikt aan de regels houden op een competitieve achterstand.
Methoden
Wanneer men onethisch of sociaal-gestigmatiseerd gedrag onderzoekt, is een onderrepresentatie van zelfgerapporteerde data te verwachten. Buiten de eigen goede wil van de respondenten om hebben zij weinig aanmoediging om eerlijke antwoorden te geven. In dit onderzoek probeert men realistische schattingen te verkrijgen over QRP. Zij doen dit via een nieuwe bevragingsmethode waarbij expliciete respons-afhankelijke prikkels zijn ingebouwd die de respondenten aanmoedigen om de waarheid te vertellen. Daarnaast moesten de respondenten twee onpersoonlijke schattingen geven over elke QRP. De eerste schatting betreft de prevalentieschatting. Dit is de schatting van de respondenten over het percentage van andere psychologen die zich wel eens schuldig hebben gemaakt aan QRP. De tweede schatting is de erkenningschatting. Dit is de schatting van de respondenten over het percentage van andere psychologen dat zal toegeven dat zij wel eens gebruik hebben gemaakt van QRP. Wanneer respondenten aangaven dat zij wel eens gebruik hebben gemaakt van QRP konden zij aangeven of zij hun gedrag kunnen verdedigen, en zo ja, op welke basis.
‘Bayesian truth serum’
Het Bayesian truth serum is een algoritme dat gebruikt maakt van de antwoorden van de groep als input voor een waarheidbelonende scoreformule. Compensaties konden niet direct worden gelinkt aan de individuele antwoorden door de vereiste voor anonimiteit. Daarom werd aan de respondenten verteld dat de onderzoekers een gift zouden doen aan een liefdadigheidsinstelling. De waarde van deze gift was afhankelijk van de waarachtigheid van de antwoorden zoals bepaald door het scoresysteem. Aan de hand van dit systeem probeerden de onderzoekers de morele inzet te versterken.
Schatting van de werkelijke prevalentie
Aan de hand van de zelfgerapporteerde data, de prevalentieschatting en de erkenningschatting kon een schatting van de werkelijke prevalentie worden gemaakt. Als de respondenten eerlijk zijn over de zelfgerapporteerde data, dan zal deze data de werkelijke prevalentie weergeven. Als de gemiddelde prevalentieschatting accuraat is, dan zal deze de werkelijke prevalentie weergeven. Als de erkenningschatting accuraat is dan kan de werkelijke prevalentie worden geschat door het berekenen van de verhouding van het aantal toegevingen/erkenningschatting.
Resultaten
Uit de resultaten blijkt dat één op de tien onderzoekspsychologen valse gegevens in wetenschappelijke rapporten introduceerde. De meerderheid van hen ondernamen praktijken zoals selectieve rapportering bij onderzoeken, het niet rapporteren van alle metingen, het verzamelen van extra data, het als verwacht rapporteren van onverwachte data en het post hoc uitsluiten van gegevens.
Het grijze gebied van de wetenschap
Binnen het grijze gebied van de wetenschap bestaan er items die nooit gerechtvaardigd kunnen worden, zoals het vervalsen van gegevens. Maar dit kan niet over alle items gezegd worden. Bijvoorbeeld wanneer een onderzoeker besluit niet alle metingen van een onderzoek te rapporteren, omdat de twee metingen voor eenzelfde construct dezelfde patronen opleveren die niet gemakkelijk kunnen worden gecombineerd tot één. Veel van de onderzoekers die zich schuldig hadden gemaakt aan QRP vonden dat hun acties verdedigbaar zijn, ook al werd in vervolgonderzoek hetzelfde gedrag als onacceptabel beoordeeld.
Het afname-effect
Het afname-effect is de neiging van effectgroottes om af te nemen bij daaropvolgende pogingen tot replicatie. De auteur Jonah Lehrer concludeerde dat de conventionele verklaringen van het afname-effect, zoals publicatiebias, onvolledig kunnen zijn. Het afname-effect zou ook veroorzaakt kunnen worden door het niet publiceren van bepaalde gegevens. Deze hypothese wordt door de resultaten van het huidige onderzoek ondersteund.
4. De reproduceerbaarheid van de psychologische wetenschap
Reproduceerbaarheid is een belangrijk aspect van de wetenschappelijke vooruitgang. Wetenschappelijke uitspraken verkrijgen hun waarde door de reproduceerbaarheid van hun bewijs. Wetenschappers moeten daarom duidelijk hun methodologie en resultaten beschrijven. Door het verzamelen van meer wetenschappelijk bewijs, of door onderzoeken met andere methoden uit te voeren, kan men over de resultaten discussiëren. Zulke discussies zijn echter zinloos als een onderzoek niet reproduceerbaar is. In dit onderzoek is gekeken naar de reproduceerbaarheid van psychologische onderzoeken. De onderzoekers hebben daarbij honderd experimentele en correlationele onderzoeken gerepliceerd.
Andere resultaten in een replicatie
Er zijn verschillende redenen waarom een directe replicatie niet dezelfde resultaten vindt. Behalve bekende en onbekende verschillen tussen de onderzoeken kunnen er ook vals positieve resultaten zijn gevonden, of de replicatie kan een vals negatief resultaat vinden. Valse positieve en valse negatieve resultaten zorgen voor misleidende informatie over de effecten. Het niet kunnen identificeren van de benodigde condities voor het reproduceren van een effect wijst op een incompleet theoretisch begrip. Door het direct kunnen reproduceren van een resultaat kan men de reproduceerbaarheid beoordelen en verbeteren.
Slechte replicatie van onderzoeksresultaten in de psychologie
Geconcludeerd wordt dat een grote proportie van de replicaties zwakker bewijs vonden dan de originele studies. Al zouden de replicaties wel allemaal dezelfde resultaten hebben gevonden, wil dat nog niet zeggen dat de onderliggende theorieën juist zijn. Er kunnen ook andere factoren een rol spelen die er voor zorgen dat zowel het originele onderzoek als de replica hetzelfde resultaat vinden. Ook wanneer de replica niet hetzelfde resultaat vindt als de originele studie, betekent dat niet dat de originele studie te maken heeft met vals positieve resultaten. Er kunnen zich verschillen voordoen in de methodologie, steekproef, setting en procedure die het observeren van het effect beïnvloeden.
Het belang van replicatie
Het belang van replicatie wordt vaak onderschat. Het opnieuw testen van een al bestaand resultaat wordt door velen saai gevonden en krijgt maar weinig aandacht. Innovatie wordt gezien als dé weg naar nieuwe ontdekkingen en toont ook zeker aan welke wegen er mogelijk zijn. Maar replicaties zijn nodig om te onderzoeken welke van deze wegen het meest waarschijnlijk zijn. Wetenschappelijke vooruitgang is afhankelijk van zowel innovatie als replicatie.
5. Wetenschappelijke uitgeverij
Wetenschappelijke uitgeverij
De wetenschappelijke uitgeverij distribueert wetenschappelijk onderzoek. Het meeste academische werk wordt gepubliceerd in academische tijdschriften, boeken of thesis. Academische stof die niet formeel wordt gepubliceerd, maar wel op internet wordt gezet, behoord tot de zogenaamde grijze literatuur. Het meeste wetenschappelijke werk is gebaseerd op peer review of een bewerking door een redacteur. De standaards voor deze herzieningen variëren veel. De meeste wetenschappelijke disciplines hebben hun eigen tijdschriften, maar er bestaan ook interdisciplinaire tijdschriften. Als gevolg van de ontwikkeling van het internet ondergaat de wetenschappelijke uitgeverij grote veranderingen. Met name ‘open access’ is aan het groeien. Open access betekent dat een artikel gratis en openlijk toegankelijk is voor iedereen.
Wetenschappelijk paper
Een paper is een academisch geschrift dat normaal gesproken wordt gepubliceerd in een wetenschappelijk tijdschrift. Het betreft origineel onderzoek of bespreekt bestaande wetenschappelijke resultaten. Zo’n paper wordt ook wel artikel genoemd en is alleen geldig wanneer het door anderen wordt herzien. Het duurt vaak maanden voordat een artikel kan worden gepubliceerd. Daarom publiceren veel wetenschappers hun onderzoeken tegenwoordig online. Sommigen stellen dat deze vroegtijdige online publicaties leiden tot een afname van artikelen die door andere wetenschappers zijn herzien, wat kan leiden tot een afname van de kwaliteit.
Peer review
Peer reviews zijn een belangrijk onderdeel binnen de wetenschappelijke uitgeverij. Andere wetenschappers moeten wetenschappelijk werk beoordelen om er zeker van te zijn dat de kwaliteit goed is en om plagiaat te voorkomen. Een probleem dat zich hier soms bij voordoet is dat een artikel voor een bepaald tijdschrift niet wordt goedgekeurd, maar vervolgens door een ander tijdschrift wel. Zo worden artikelen met een lage kwaliteit soms alsnog gepubliceerd, terwijl artikelen met een hoge kwaliteit soms worden geweigerd. ‘Confirmatory’ bias is de onbewuste neiging om artikelen te accepteren die overeenstemmen met de ideeën van de lezer en om artikelen af te wijzen die niet overeenstemmen. Het bestaan van deze bias is in experimentele onderzoeken bevestigd.
Publicatieproces
Het publicatieproces wordt onderverdeeld in peer reviews en productie. Het gedeelte van de peer reviews is afgelopen wanneer de inhoud van het artikel geaccepteerd is voor publicatie. Het productieproces betreft vervolgens editing, typesetting, printen en online publicatie.
Open access tijdschriften
In open access tijdschriften betalen de auteurs een bepaald bedrag om hun artikel te publiceren. De distributie van het artikel vindt dan plaats zonder kosten voor de lezer. De Europese Unie heeft vastgesteld dat vanaf 2020 alle wetenschappelijke publicaties die door de overheid zijn gefinancierd vrij beschikbaar moeten zijn. Onderzoeksdata moet optimaal hergebruikt kunnen worden. Deze data moet beschikbaar zijn, tenzij er een goede reden bestaat waarom dat niet zo zou moeten zijn (bijvoorbeeld intellectuele eigendomsrechten of veiligheid).
Crisis in de wetenschappelijke uitgeverij
De huidige crisis in de wetenschappelijke uitgeverij heeft te maken met de bezuinigingen aan de kant van de universiteiten en de hogere kosten voor de tijdschriften.
- 1 of 2
- volgende ›
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
Online access to all summaries, study notes en practice exams
- Check out: Register with JoHo WorldSupporter: starting page (EN)
- Check out: Aanmelden bij JoHo WorldSupporter - startpagina (NL)
How and why would you use WorldSupporter.org for your summaries and study assistance?
- For free use of many of the summaries and study aids provided or collected by your fellow students.
- For free use of many of the lecture and study group notes, exam questions and practice questions.
- For use of all exclusive summaries and study assistance for those who are member with JoHo WorldSupporter with online access
- For compiling your own materials and contributions with relevant study help
- For sharing and finding relevant and interesting summaries, documents, notes, blogs, tips, videos, discussions, activities, recipes, side jobs and more.
Using and finding summaries, study notes en practice exams on JoHo WorldSupporter
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
- Use the menu above every page to go to one of the main starting pages
- Starting pages: for some fields of study and some university curricula editors have created (start) magazines where customised selections of summaries are put together to smoothen navigation. When you have found a magazine of your likings, add that page to your favorites so you can easily go to that starting point directly from your profile during future visits. Below you will find some start magazines per field of study
- Use the topics and taxonomy terms
- The topics and taxonomy of the study and working fields gives you insight in the amount of summaries that are tagged by authors on specific subjects. This type of navigation can help find summaries that you could have missed when just using the search tools. Tags are organised per field of study and per study institution. Note: not all content is tagged thoroughly, so when this approach doesn't give the results you were looking for, please check the search tool as back up
- Check or follow your (study) organizations:
- by checking or using your study organizations you are likely to discover all relevant study materials.
- this option is only available trough partner organizations
- Check or follow authors or other WorldSupporters
- by following individual users, authors you are likely to discover more relevant study materials.
- Use the Search tools
- 'Quick & Easy'- not very elegant but the fastest way to find a specific summary of a book or study assistance with a specific course or subject.
- The search tool is also available at the bottom of most pages
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
- Check out: Why and how to add a WorldSupporter contributions
- JoHo members: JoHo WorldSupporter members can share content directly and have access to all content: Join JoHo and become a JoHo member
- Non-members: When you are not a member you do not have full access, but if you want to share your own content with others you can fill out the contact form
Quicklinks to fields of study for summaries and study assistance
Field of study
- All studies for summaries, study assistance and working fields
- Communication & Media sciences
- Corporate & Organizational Sciences
- Cultural Studies & Humanities
- Economy & Economical sciences
- Education & Pedagogic Sciences
- Health & Medical Sciences
- IT & Exact sciences
- Law & Justice
- Nature & Environmental Sciences
- Psychology & Behavioral Sciences
- Public Administration & Social Sciences
- Science & Research
- Technical Sciences
Psychologie als Wetenschap HenrietRozeboom contributed on 29-05-2017 21:00
Psychologie als Wetenschap
Add new contribution