Society and culture - Theme
- 2655 keer gelezen
Wat zijn de belangrijkste kenmerken van wetenschap?
Het verschil tussen ontologische en epistemologische uitspraken.
Wat wordt er met empirie bedoeld?
De drie wetenschappelijke referentiekaders binnen de sociale wetenschappen.
De verschillen en gelijkenissen tussen de empirisch-analytische, interpretatieve en kritisch emancipatoire invalshoeken van onderzoek.
Omdat iedereen wel een bepaald beeld heeft van wat nu precies wetenschappelijk onderzoek is, is het belangrijk over de volgende vraag na te denken: Wat maakt een onderzoek wetenschappelijk? Wetenschapsgebieden zijn zo verschillend dat het lastig is om een eenduidige definitie te geven. Hieronder volgt een aantal relevante, kenmerkende eigenschappen, waardoor wetenschappelijk onderzoek zich onderscheidt van de rest.
Ten eerste komen we zo terecht bij de drang naar kennis. Collectief punt van de nagevolgde kennis is dat ze niet uit losse feitjes bestaat en samen kan worden gebracht in een theorie; een beschrijving van samenhangende verschijnselen uit de werkelijkheid.
Ten tweede hebben we een ander belangrijk punt van onderscheiding: wetenschap is empirisch. Empirische uitspraken zijn kort gezegd uitspraken op basis van zintuiglijke waarneming.
Het laatste punt is dat van de systematische benadering. Hierop onderscheidt wetenschap zich van pseudowetenschap; vakgebieden die pretenderen wetenschappelijk te zijn, maar niet aan de regels voldoen waar wetenschap zich door laat kenmerken (bijvoorbeeld spiritualiteit). Deze regels streven ernaar wetenschap zich zo te laten ontpoppen dat er zo min mogelijk een waardeoordeel aan de uitkomsten gehangen kan worden. Dit houdt in dat de persoonlijke voorkeuren van de wetenschapper niet naar voren mogen komen in de uitkomsten, en dus ook dat het onderzoek niet in een bepaalde richting geduwd mag worden om expres op bepaalde uitslagen te komen.
Bovenstaand doet voorkomen alsof binnen alle wetenschap volledige gelijkenis bestaat over onderzoeksmethoden. Dit is natuurlijk niet het geval; er zijn verschillende manieren waarop de essentie van wetenschap geïnterpreteerd kan worden. Hieronder worden de verschillende gehanteerde invalshoeken, de drie paradigma’s, besproken.
De sociale wetenschappen bestuderen zowel het handelen en gedrag van mensen in individuele context met hun beïnvloedende factoren (gedragswetenschappers) als de mens die fungeert als ‘spil’ in hun sociale omgeving en hoe deze omgeving het gedrag beïnvloedt (maatschappijwetenschappers). Onderzoek wordt op verschillende manieren uitgevoerd: kwantitatief (in cijfers) of kwalitatief (in beelden, vormen en geluiden).
Wanneer wetenschappers het met elkaar eens zijn over wat wetenschap is en hoe het uitgevoerd moet worden en waar theorieën aan dienen te voldoen, noemt men dit in de wetenschapsfilosofie een wetenschappelijk paradigma, een gedeelde opvatting.
De wijze waarop een onderzoek wordt opgezet, is deels afhankelijk van de ontologische overtuigingen van de wetenschapper. Hiermee worden de sociale verbanden binnen een samenleving bedoeld, die een rol spelen in sociale processen. Als onderzoekers uitspraak doen over het bestaan van een bepaald sociaal verband, dan doen ze een uitspraak over een verband wat in de werkelijkheid aanwezig is. Dit zijn ontologische uitspraken. Ontologie houdt zich bezig met deze verbanden en hoe de sociale werkelijkheid in elkaar steekt.
Naast de ontologie is de epistemologie van invloed op hoe wetenschappers hun onderzoek uitvoeren. Epistemologie is de kennisleer en geeft weer hoe kennis vergaard zou moeten worden. De epistemologische waarden van de onderzoeker bepalen dus voor een ander deel hoe het onderzoek opgezet is. Samenvattend houdt ontologie zich bezig met wat er in de werkelijkheid aanwezig is, en epistemologie met hoe je kennis kunt opdoen uit die werkelijkheid. Inmiddels zijn er drie wetenschappelijke paradigma’s ontstaan: het empirisch analytische, het interpretatieve, en het kritisch analytische wetenschappelijk paradigma. De kenmerken worden hieronder beschreven.
Empirisch analytisch paradigma/referentiekader
Het empirisch-analytische paradigma is voornamelijk voortgevloeid uit de methodiek van de natuurwetenschappen. In de sociale wetenschappen heeft men dit overgenomen vanwege haar mate van succes. Empirisch analytische benaderingen laten zich kenmerken door herhaalbaarheid van onderzoek en controleerbaarheid van situaties.
Tevens hebben de sociale wetenschappen het positivisme overgenomen uit de natuurwetenschappen. Positivisme gaat uit van positieve ontwikkelingen in de wetenschap waar kennis steeds verder wordt ontdaan van waarden van onderzoekers en religieuze opvattingen, en er uiteindelijk alleen maar feiten zijn die kunnen worden getoetst op waarheid.
Het empirisme sluit aan bij het positivisme, omdat het zegt dat kennis gebaseerd moet zijn controleerbare feiten. Die basis van controleerbaarheid kan in de sociale wetenschap wel eens frictie geven, omdat het onderwerp waar onderzoek naar gedaan wordt vaak onder de oppervlakte ligt. Denk aan psychosen of mate van integratie, twee zaken die niet direct te observeren zijn. Dit valt dan empirisch te maken door te kijken naar bijvoorbeeld cijfers van zelfdoding.
Tussen 1920 en 1940 werden positivisme en empirisme aangevuld met logisch, dus logisch empirisme/positivisme. In deze stromingen worden waarnemingen beschreven in logisch opgebouwde, samenhangende uitspraken. Dit is ook de betekenis van analytisch.
Het verschil tussen empirische en empirisch analytische uitspraken is dat empirische uitspraken waarneembaar zijn, in dit geval door zintuigen. Empirisch analytische uitspraken zijn uitspraken waarin wetten naar voren komen: een algemene uitspraak waar voorspellingen op gebaseerd kunnen worden.
Empirisch analytische onderzoekers zijn dus voortdurend op zoek naar nomothetische kennis: kennis waar wetten in te herkennen zijn. Deze wetten moeten tevens te veralgemeniseren zijn.
Van hetgeen dat onderzocht wordt (individuen, groepen maatschappijen, etc.), worden altijd een aantal kenmerken ofwel variabelen beschreven. Empirisch analytische onderzoekers richten zich alleen op meetbare variabelen (leeftijd, afstand, geslacht, etc.). Omdat de onderzochte onderwerpen worden gereduceerd tot waarden in variabelen, wordt deze stroming ook wel reductionisme genoemd.
Empirisch analisten vinden het belangrijk dat de onderzoeksresultaten geen persoonlijke invloeden van de onderzoekers door laten schemeren. Vandaar ook dat de onderzoekers proberen zich zo neutraal mogelijk op te stellen tijdens het onderzoek, wat inhoudt dat ze alleen kijken en observeren, niet participeren. Ze bekijken het onderzoek als het ware vanuit de derde persoon.
Binnen sociale wetenschappen blijkt het vaak moeilijk om eigen invloeden te beperken. Men hoopt dit te beperken door herhaling van onderzoek door andere wetenschappers. Wat wel geaccepteerd wordt, is het onderzoek een kant op sturen vanuit een eigen overtuiging door bijvoorbeeld de vragen in een enquête erop aan te passen. Zolang er maar niet over de antwoorden gelogen, verzwegen of bij verzonnen wordt. Het streven naar overeenkomst binnen de wetenschap noemt men intersubjectiviteit. Wetenschappers hopen hierdoor dat de wetenschap zo min mogelijk vertekend is.
In empirisch analytisch onderzoek wordt vaak gebruik gemaakt van experimenten en de enquête. Verder is het zo dat de resultaten van empirisch analytisch onderzoek vaak in statistieken uitgedrukt wordt; vandaar dat het kwantitatief onderzoek wordt genoemd.
Interpretatief paradigma/referentiekader
Het interpretatieve paradigma is ontstaan als een reactie op het empirisme en het soort antwoorden dat gegeven werden door de natuurwetenschappelijk georiënteerde manier van wetenschapsbedrijving. De kritiek hierop is dat de verbanden die gevonden worden door empirisch analytici geen antwoord geven op de ‘waarom–vraag’ die overal boven hangt. Als we bijvoorbeeld weten dat er een verband bestaat tussen maatschappelijke afkomst en maatschappelijk gedrag betekent dit nog niet dat we kunnen verklaren waarom bepaalde mensen bijvoorbeeld delinquent gedrag vertonen of juist niet. Het is dus zo dat we nog geen begrip hebben van de situatie. De aanhangers van het interpretatieve paradigma wijzen erop dat we, omdat we als sociaal wetenschappers mensen onderzoeken, we naar begrip moeten streven. Daarom proberen deze onderzoekers de wereld zo te zien als degenen die zij onderzoeken, omdat dit essentieel is voor het begrip waaróm mensen reageren zoals ze reageren of zich manifesteren zoals zij doen.
Ook binnen deze zienswijze van wetenschap vinden aanhangers dat sociale wetenschappen empirisch moeten zijn. Alleen er bestaat wat hen betreft een verschil in de waarneming. In de natuurwetenschappelijke manier is men alleen geïnteresseerd in de directe zintuigelijke waarneming, terwijl men in de interpretatieve benadering probeert te begrijpen wat mensen in een situatie beweegt. Er wordt op deze manier geprobeerd een theorie op te stellen over het verschijnsel.
De interpretatieve onderzoeksopvatting komt voort uit de hermeneutiek en de fenomenologie. Hermeneutiek staat voor het uitleggen van teksten door taalwetenschappers.
De interpretatieve onderzoekers proberen mensen op dezelfde wijze te benaderen, namelijk van binnenuit en geplaatst in een bepaalde context. In de fenomenologie is men vooral op zoek naar achterliggende oorzaken. In de lijn van deze twee klassieke theorieën probeert sociaal wetenschappelijk onderzoek de mens van binnenuit te begrijpen en de wezenlijke verschijnselen van de innerlijke personen uit te leggen.
Nu komen we terecht bij het verschil tussen de interpretatieve en de empirische analytische invalshoek. De empirisch analisten zoeken zoals gezegd naar nomothetische kennis (kennis waarin wetten zijn te herkennen). Ze gaan op zoek naar wetten, die voor veel gevallen van toepassing zijn. De interpretatieven zoeken daarentegen naar idiografische kennis; kennis die het unieke beschrijft. Binnen de sociale wetenschap worden concrete zaken als personen, gezinnen en groepen hierbij beschreven. Ze gaan dus na waarom specifieke gevallen tot stand komen, waarom bijvoorbeeld een specifieke groep probleemgedrag vertoont. Het contrast of de contradictie zit hier dus in dat de ene stroming zoekt naar de algemene verbanden in wetmatigheden voor bijvoorbeeld probleemgedrag onder groepen jongeren, terwijl de andere stroming wil weten waarom deze groepen jongeren zo gevoelig zijn voor vertoning van probleemgedrag.
In tegenstelling tot de empirisch analisten reduceren interpretatieve onderzoekers hun subjecten niet tot cijfers en variabelen. Omdat interpretatieve onderzoekers zich vooral richten op de gehele context in plaats van vooraf gestelde variabelen, wordt dit referentiekader holistisch genoemd (holo is Grieks voor geheel). Dit holisme houdt overigens niet in dat er niet naar verschillen en overeenkomsten tussen individuen en groepen wordt gekeken.
Een ander verschil met de empirisch analytische benadering omvat waarden. De empirisch analytici zijn zoals gezegd voor onderzoek dat vrij van waarden is. De interpretatieve methode daarentegen is juist voorstander van waardenverheldering. Dit houdt in dat je jezelf bewust moet maken van de waarden en normen die je hebt, en rekening moet houden met het feit dat dit je onderzoek kan beïnvloeden.
Meestal gaat de interpretatieve methode richting kwalitatief onderzoek; de onderzoekers doen mee in de onderzochte situatie en proberen de situatie vanuit de eerste persoon te bekijken. De inbreng van de onderzoekers is daardoor groot in zowel de dataverzameling als de analyse daarvan. Dit houdt overigens in dat ze ook zeer kritisch moeten reflecteren op hun eigen onderzoek.
Kritisch emancipatoir paradigma/referentiekader
Het kritisch emancipatoire referentiekader komt voort uit het marxisme en laat veel maatschappelijke betrokkenheid zien. Het draait hierbij om de bevrijding van de sociale overheersing en de emancipatie daarvan.
Emancipatoir heeft hier twee betekenissen. Allereerst maatschappijkritisch: vooral gezien als kapitalistisch en patriarchaal. Daarnaast wetenschapskritisch: met name op de empirisch analytische invalshoek, die als standaardopvatting van de wetenschap wordt gezien.
In het kritisch emancipatoire referentiekader wordt met name actieonderzoek gedaan. Dit houdt in dat de onderzoekers participeren en samen met de onderzochten een lering meemaken gedurende het onderzoek. Belangrijk hierbij zijn empowerment en wederkerige adequaatheid. Empowerment streeft verhoging van grip op eigen leven en omstandigheden na voor de onderzochten. Wederkerige adequaatheid komt neer op voortdurende reflectie van beide partijen door met elkaar te blijven communiceren gedurende het onderzoek.
De kennis is met name gericht op het bevrijden en helpen van minderheden, en dus sterk gebonden aan waarden. De wetenschappers willen niet alleen kennis leveren, maar ze willen ook weten wat ermee gebeurt. Verder houdt dit in dat de onderzoekers niet alleen bij het onderzoek betrokken zijn, maar ook bij de onderzochten en de opdrachtgevers.
Een van de kenmerken is dat dat de onderzoekers huiverig en kritisch zijn tegenover de invloed van machtsstructuren binnen de maatschappij, omdat de traditionele manieren van onderzoek vaak niet ten behoeve van de minst machtigen zijn. Een voorbeeld van actieonderzoek is peer-research. Hierbij werven deelnemers (bijvoorbeeld daklozen) andere deelnemers en verzamelen ze zelf data. Ze discussiëren bijvoorbeeld met beleidsmakers. Dit wordt als empowerment gezien.
Ondanks dat de onderzochten bij het onderzoek betrokken worden, betekent dit natuurlijk niet dat er niet volgens bepaalde methodologische regels gewerkt moet worden. Er ontstaat wel enige wrijving tussen de doelen die nagestreefd worden en de methodes die worden gebruikt. Zo kan men zich bijvoorbeeld afvragen of de onderzochten even goed data kunnen verzamelen als professionele onderzoekers. Misschien vindt men het in dergelijke gevallen belangrijker dat de onderzochten onderzoeksvaardigheden leren om zo meer grip op hun leven te krijgen.
De bovenstaande paradigma’s werden in het verleden vaak strikt gescheiden gehouden. Tegenwoordig worden deze verschillen wat nuchterder (pragmatisch) bekeken en worden de verschillende paradigma’s zelfs gecombineerd. Deze manier van mixed method onderzoek combineert de voordelen van de verschillende invalshoeken, waardoor ze minder gebonden zijn aan een enkele methode wanneer de onderzoeksvragen beantwoord worden. Dit neemt niet weg dat er nog steeds verschillen zijn in opvattingen tussen onderzoekers over hoe de wetenschap bedreven moet worden.
Onderzoek onderscheidt twee vormen:
Fundamenteel onderzoek: richt zich op uitbreiding van kennis.
Praktijkgericht onderzoek: richt zich op oplossingen voor een praktijkgericht probleem.
Wetenschap houdt zich aan een bepaalde systematiek en logica, die hier weergegeven wordt in de empirische cyclus. Belangrijke begrippen zijn: exploratie, inductie, deductie, hypothesen, toetsing.
Kerndoelen:
Onderscheiden van fundamenteel en praktijkgericht wetenschappelijk onderzoek.
Kennen van verschillende stadia in de empirische cyclus en de mogelijkheid tot reproductie hiervan.
Het in eigen woorden beschrijven van inductie en deductie.
Het belang van hypothesen in wetenschappelijk onderzoek.
Kennis over de mogelijkheid van wetenschap in ondersteuning van beleidsvorming in beleid en professionele praktijk.
Vaak levert onderzoek nieuwe vragen op, vinden onderzoekers hiaten in ander onderzoek of heeft onderzoek te weinig antwoorden geleverd. Er ontstaat een kennisprobleem. Fundamenteel onderzoek houdt zich bezig met het ontwikkelen van hypothesen, theorieën en de toetsing hiervan. De antwoorden leveren theoretische kennisvermeerdering op en lossen dus het kennisprobleem op.
Praktijkproblemen daarentegen ontstaan buiten de wetenschap om, wanneer personen, groepen of bedrijven bijvoorbeeld ergens tegenaan lopen. Hier steekt praktijkgericht wetenschappelijk onderzoek de kop op; zij doet onderzoek naar de ontwikkeling, uitvoering en evaluatie van oplossingen voor praktijkproblematiek. Ook hier is sprake van uitbreiding van kennis, maar in dit geval betreft het praktische kennis die beleidsmakers en professionals direct helpen bij besluitvorming.
Vaak kan praktijkgericht onderzoek niet wetenschappelijk worden genoemd, omdat het nauwelijks theorievorming en systematiek bevat, het snel moet gebeuren en het gebruik maakt van niet-wetenschappelijke normen van de opdrachtgever of beroepsgroep. Praktijkgericht onderzoek dat niet voldoet aan de wetenschappelijke normen van methodologie wordt dan ook praktijkgericht niet-wetenschappelijk onderzoek genoemd.
Bijna elke onderzoek heeft te maken met zowel praktijkproblemen als met kennisproblemen. Toch moet de onderzoeker duidelijk kunnen maken wat het primaire doel is.
Type onderzoek | Fundamenteel wetenschappelijk onderzoek | Praktijkgericht niet-wetenschappelijk onderzoek | Praktijkgericht wetenschappelijk onderzoek |
Hoofddoel | Kennisvermeerdering in het verlengde van theorie | Ondersteuning van besluitvorming | Kennis voor besluitvorming |
Richtinggevende regels en normen | Wetenschappelijke normen | Praktijknormen (van opdrachtgever/ beroepsgroep) | Praktijknormen en wetenschappelijke normen |
Resultaten | Generalisering op basis van theorie | Eigen praktijksituatie | Eigen praktijksituatie en eventueel generalisering naar andere praktijksituaties |
De verschillende stappen in het onderzoeksproces staan op logische volgorde, samengevat in de empirische cyclus van De Groot (1971). Dit is een theoretisch of methodologisch model van wetenschappelijk onderzoek, ideologisch opgesteld. Theorie is hier een centraal begrip.
De volgorde is als volgt:
Observatie
Inductie
(Theorie: deze staat niet in het boek maar wordt over het algemeen geplaatst tussen inductie en deductie.)
Deductie
Toetsing
Evaluatie
Observatie; nadat de cyclus afgerond is, volgt er vaak weer een nieuwe cyclus. Dit omdat een goed onderzoek altijd nieuwe vragen oplevert. Dit wordt verderop toegelicht.
Observatie
Voor de verzameling van onderzoeksmaterie is observatie van belang. Deze observatie dient ertoe om duidelijk te krijgen welke kennis al aanwezig is, of en welke hiaten daarin zitten, en te kijken of deze kennis toereikend is om de onderzoeksvraag te antwoorden. Dit is vaak niet zo, waardoor er een kennisprobleem ontstaat. Om te weten welke kennis er allemaal aanwezig is, hoe andere onderzoekers tegen het probleem aan kijken en om de onderzoeksopzet en zijn probleemstelling duidelijk te krijgen is systematisch literatuuronderzoek de belangrijkste bron.
Na formulering van het kennisprobleem is het duidelijk welke fasen van de empirische cyclus zullen volgen. Wanneer veel kennis ontbrekend blijkt te zijn en een goede, complete theorie mist, noemt men het een explorerend onderzoek. In dit geval komt het neer op de eerste fasen van de cyclus tot er met de theorieformulering. Wanneer de onderzoeker bestaande kennis en een daarbij behorende theorie wil toetsen, noemt men het een toetsend onderzoek. Dit omvat theorie tot en met evaluatie, de laatste fasen van de cyclus.
Inductie
Inductie is de tweede fase van de empirische cyclus. Hierin worden belangrijke fenomenen vastgesteld en benoemd. Op basis van hun ervaring en aanwezige kennis construeren onderzoekers een onderbouwde verwachting weergegeven in ogelijke empirische regelmatigheden en verbanden: een educated guess, die de basis is voor de te onderzoeken hypothesen. Om de genoemde verbanden te vinden, wordt aan de hand van gedane observaties een te veralgemeniseren uitspraak gedaan. Als dit vóór verder onderzoek gedaan wordt, heet dit inductie. Er wordt als het ware gegokt met enige voorkennis.
In de empirische cyclus spreken we nu van de veronderstelling of de exploratieve hypothese, omdat de werkelijke verklaring van de theorie nog gevonden moet worden. Inductie van een dergelijke hypothese betekent de start van de zoektocht naar de verklaring of interpretatie van een theorie.
Omdat een theorie centraal staat in de empirische cyclus heb ik hem bij de opsomming gevoegd. In de eerste fasen van de empirische cyclus (observatie en inductie) is men nog op zoek naar een theorie. In de laatste fasen (deductie, toetsing en evaluatie) beoordeelt men de gevonden theorie. Een theorie staat voor samenhangende uitspraken waarmee wetmatigheden beschreven, uitgelegd en voorspeld kúnnen worden. Omdat er vaak meerdere verklaringen mogelijk zijn voor fenomenen kiezen onderzoekers bij de uitwerking van theorieën de meest waarschijnlijke. Het afwegen van verklaringen is een belangrijk kenmerk voor exploratief onderzoek waarin de theorie nog gevonden moet worden of nog niet is getoetst.
Deductie
Om tot een hypothese te komen, redeneert men van een algemene uitspraak naar het specifieke. Dit noemt men deductie. Deductie is dus de tegenhanger van inductie. Een hypothese is hierbij het verwachte waar te nemen feit. (Hoe naar hypothesen toe geredeneerd wordt, wordt verder uitgelegd in het volgende hoofdstuk.)
Zoals gezegd is het doel van een theorie verklaren. Deze verklaring wordt getracht te vinden door naar de oorzaak van fenomenen te zoeken. Welke hypothesen en aannames afgeleid worden uit de theorie is afhankelijk van het gekozen vertrekpunt voor het onderzoek.
Toetsing van hypothesen
Hypothesen zijn relevante criteria om de gestelde theorieën te kunnen testen. De toetsing gebeurt door de uitkomsten na analyse van empirische data met de hypothese te vergelijken.
Wanneer de hypothese geverifieerd is door uitkomsten van data-analyse, is de hypothese bevestigd en dus waarschijnlijk. (Let op: na verificatie is het nog steeds niet zeker of de hypothese klopt.) Wanneer de hypothese gefalsifieerd wordt, wordt deze verworpen of opnieuw geformuleerd. Verificatie en falsificatie worden in een later hoofdstuk verder uitgewerkt.
De ervaring heeft geleerd dat veel onderzoekers vrijwel nooit na falsificatie hun gehele theorie verwerpen, maar altijd proberen te redden wat er te redden valt, door aanpassingen aan te brengen in de theorie.
Evaluatie
Aangekomen bij de laatste fase van de cyclus wordt de grote vraag beantwoord: is het kennisprobleem opgelost? Indien het kennisprobleem nog in enige mate aanwezig is, kan dit leiden tot de keuze om de empirische cyclus, al dan niet geheel, opnieuw te doorlopen. Zo kan opnieuw begonnen worden met observaties. Wanneer de verbanden en regelmatigheden wel lijken te kloppen en de antwoorden alleen maar nieuwe vragen hebben opgeleverd, kan men er ook voor kiezen enkel te exploreren naar verdere verklaringen van de gevonden wetmatigheden.
Het is ook mogelijk dat niet de theorie onjuist is, maar in de gedane veronderstellingen een fout zit.
Samenvattend bestaan er verschillende redenen voor het niet oplossen van kennisproblemen:
Afstappen van theorie, omdat er betere verklaringen voor de gevonden data zijn.
Onjuiste uitvoering van onderzoek.
Verdere uitwerking van de theorie is noodzakelijk.
Ook kan het zijn dat andere verklaringen mogelijk zijn voor de theorie. Deze dienen dan los van elkaar op empirische gronden uitgesloten te worden om de bestaande theorie te bevestigen, of er wordt verondersteld dat er verder onderzoek nodig is om deze alternatieven uit te sluiten.
Praktisch Wetenschappelijk onderzoek
Zoals vermeld, bestaat het doel van praktijkgericht wetenschappelijk onderzoek uit het bevorderen van het maken van beslissingen. Vaak worden bestaande, reeds geteste, theorieën gebruikt. Zelden wordt een eigen theorie ontwikkeld. Hoe het ook zij: Deze theorie bestaat altijd om op korte termijn een oplossing te bieden voor praktijkproblemen. De opdrachtgevers zijn vaak de belanghebbenden bij het onderzoek.
--- Zie figuur 2.3 op bladzijde 38 van het boek van Tijmstra en Boeije om te zien hoe praktisch wetenschappelijk onderzoek denkstructuren besluitvorming kan beïnvloeden.---
Ook binnen praktijkgericht wetenschappelijk onderzoek doorloopt men niet alle fasen in de cyclus, en worden bijna nooit alle fasen van besluitvorming tegelijkertijd onderzocht. Veelal richt men zich met name op probleemanalyse, vaststelling van praktijkproblemen, interventie en evaluatie.
Formuleren praktijkprobleem
Praktijkproblemen komen vaak uit praktijksituaties van niet-wetenschappers en zijn de aanleiding tot praktisch wetenschappelijk onderzoek. De probleemstelling is niet alleen in het belang van de onderzoekers, maar ook van de opdrachtgevers en de betrokkenen. Probleemanalyse is vaak essentieel. Verschillende methoden kunnen hiervoor toereikend zijn; interviewen van deskundigen/experts, situatieve observatie, literatuurstudie naar soortgelijke probleemonderzoeken en hun resultaten. Soms is door een dergelijke analyse het probleem al opgelost en is verder onderzoek dus niet meer nodig. In vele gevallen leidt de probleemanalyse vooral tot een duidelijke doel- en vraagstelling. Als dit helder is, kan men bepalen aan welke fase(n) van de besluitvorming het onderzoek kan worden gekoppeld.
Vaststelling
Wanneer de onderzoeker de probleemsituatie en de oorzaken hiervan duidelijk wil hebben, is hij bezig met diagnostisch onderzoek. Dit soort onderzoek komt in de praktijk op verschillende manieren voor: zo kan er gekeken worden naar individuele gevallen of juist naar organisaties. Opvallend is dat er een analyse van beginsituatie en bestaande oplossingen wordt uitgevoerd. Deze ‘oplossingen’ worden dan onder de loep genomen om te bekijken waarom ze niet toereikend zijn.
Het moge duidelijk zijn dat de diagnosticerende fase geldt voor vaststelling en verheldering van het praktijkprobleem om hier vervolgens passende oplossingen voor te vinden. Hier wordt dan ook uitermate goed gekeken naar verschillende factoren van het probleem en hoe goed deze te veranderen zijn. Verandering van factoren is immers van belang om het probleem op te lossen.
Plan en besluit
Tijdens de besluitvorming wordt een plan beschreven, waarin het doel, de bijbehorende middelen en de probleemoplossingen vermeld staan. Het doel en de middelen worden duidelijk na situatieonderzoek en ondervraging van de betrokkenen. Wanneer duidelijk is wat men met het onderzoek wil bereiken, volgt een analyse van de middelen. De plannen worden bekritiseerd op effectiviteit en uitvoerbaarheid, uiteraard voordat de daadwerkelijke ingreep plaatsvindt. Omdat dit voor de ingreep gebeurt, wordt dit wel ex ante evaluatie genoemd (ex ante betekent in het Latijns van tevoren). Deze analyse vindt plaats, omdat de mogelijke effecten en haalbaarheid vóór de uitvoering duidelijk moeten zijn. De onderzoeksfragmenten ten behoeve van beoordeling en ondersteuning van de plannen voor besluitvorming heet planevaluatie. Onderzoekers gaan dan na of hun plan wel aansluit bij de diagnose die ze hebben opgesteld over het probleem. Dit vergemakkelijkt het beoordelen van de plannen op mogelijke effectiviteit en aansluiting bij de problemen.
Ingreep
Het onderzoek tijdens uitvoering van de plannen, of de ingreep om de problemen aan te pakken, noemt men procesevaluatie. Hierbij worden de uitvoering van het plan en de tussentijdse uitkomsten bekeken. Dit wordt ook wel formatieve evaluatie genoemd. Bij het eerdergenoemde actieonderzoek zijn de onderzoekers ook actief bezig met dit proces van verandering. De onderzochten werken mee aan het onderzoeksproces. Bewustwording van het probleem en gezamenlijke verantwoording zijn hierbij vooraanstaande doelen.
Veranderingen
In de eindevaluatie wordt bekeken of de ingreep praktisch effectief blijkt. Dit deel van het onderzoek wordt product- of uitkomstevaluatie genoemd. In het Engels wordt dit summatieve evaluatie genoemd. Evaluatieonderzoek is erg belangrijk binnen de praktijkgerichte wetenschap. Maatregelen moeten geworteld zijn in geldig wetenschappelijk bewijs van effectiviteit. Dit noemt men evidence based handelen. De te evalueren uitkomsten worden van tevoren bepaald. Ook is het van belang zo veel mogelijk na te gaan of de gedane veronderstellingen vanuit de theorie kloppen.
Fundamenteel en praktijkgericht onderzoek zijn niet zo hermetisch van elkaar gescheiden als het voorgaande schrijven doet voorkomen. Op termijn heeft bijna elk fundamenteel onderzoek praktische gevolgen en bij praktijkgericht wetenschappelijk onderzoek worden ook theorieën ontwikkeld en gebruikt. Het belangrijkste onderscheid is dat de uitkomsten van praktijkgericht wetenschappelijk onderzoek een direct (positief) gevolg hebben voor de betrokkenen. De ontwikkeling van een theorie is niet het voornaamste streven van het onderzoek, maar wel een bijkomend streven.
Kernpunten
De logica leren zien van het deductief-nomologisch model.
Binnen het deductief-nomologisch model algemene uitspraken, aannames en specifieke uitspraken van elkaar leren onderscheiden.
Hypothesen afleiden uit theorieën en veronderstellingen.
Duidelijkheid over het feit dat sociaal wetenschappelijke uitspraken vaak waarschijnlijk/probabilistisch zijn en niet deterministisch.
Foutenbronnen leren vinden in deductief nomologische verklaringsmodellen.
In dit hoofdstuk wordt de stof behandeld aan de hand van een onderzoeksvoorbeeld. Een korte samenvatting: Vaak wordt gedacht dat een ernstige ziekte een disbalans veroorzaakt in relaties. Onderzoeksvoorbeeld: kanker binnen een relatie.
Blijft billijkheid evenzeer van belang wanneer een ernstige ziekte in het spel is bij relaties van patiënten en hun partners? Bij het voorkomen van een ziekte verschuift de balans volgens de algemene opvatting van gelijken naar verzorgende en patiënt. Daarom gelooft Kuijer dat de billijkheidstheorie een interessante zienswijze geeft op partnerrelaties. Deze theorie stelt dat wanneer de investering in en ontvangst uit een relatie tussen partners ongelijk zijn, dit een onbillijke situatie teweegbrengt. Ook wordt gesteld dat naarmate de billijkheid toeneemt, de ontevredenheid over de relatie hier evenredig mee zal stijgen. De benadeelde voelt zich boos of gefrustreerd en degene in het voordeel zal schuldgevoelens ervaren. Voorspeld wordt dat wanneer er een disbalans ontstaat in het geven en nemen in een relatie er eerder ontevredenheid over de relatie ontstaat dan wanneer de verhouding in balans is.
Methode
174 kankerpatiënten en partners worden onderzocht. De controlegroep bestaat uit 80 gezonde echtparen. Vergelijking: relatiebeoordeling op het moment van het onderzoek en van een jaar eerder. De beoordeling wordt vergeleken met die van gezonde echtparen. Toetsing vindt plaats met vragenlijsten waar de volgende variabelen mee worden gemeten: kwaliteit van de relatie, gevoelens van boosheid, schuldgevoelens, gezondheid, wederzijdse steun en billijkheid.
Resultaten
Partners met een ziekte blijken zich inderdaad bevoordeeld te voelen, maar hun partners voelen zich niet benadeeld. De meeste boosheid komt naar voren in de benadeelde situatie, de meeste schuldgevoelens komen naar voren in de bevoordeelde situatie. Dit is in overeenstemmening met de billijkheidstheorie. Opmerkelijk: wanneer de patiënt in slechte fysieke toestand is, zijn de partners tevreden over de relatie, ongeacht de mate van billijkheid en welke kant deze opgetrokken wordt.
Discussie
Voor het niet uitkomen van de voorspelling dat gezonde partners zich benadeeld voelen, geven de onderzoekers twee mogelijke verklaringen. Allereerst is het mogelijk dat het door de partners als een prestatie wordt gezien dat de zieke probeert te helpen, de situatie inachtgenomen. Daarnaast kan het zijn dat zowel partners als patiënten sociaal wenselijke antwoorden geven om hun partner niet af te vallen. De partners lijken het als rechtvaardig te beschouwen meer te doen dan de zieke, wanneer de zieke er fysiek slecht aan toe is. Billijkheid lijkt niet meer van belang en partners gaan meer uit van het rechtvaardigheidsprincipe. Je kunt dus stellen dat de billijkheidstheorie niet altijd opgaat. De algemene geldigheid van de theorie moet na dit onderzoek worden herzien.
Het deductief nomologische model leidt uit een algemene uitspraak meer specifieke uitspraken af. De algemene uitspraak probeert een patroon uit de werkelijkheid weer te geven, ook wel een wetmatigheid genoemd. De specifieke uitspraken worden gezien als een logisch vervolg op de wetmatigheden.
Een theorie is deductief nomologisch als aan de volgende voorwaarden wordt voldaan:
Alle termen zijn aan een duidelijke definitie verbonden. Vage, onduidelijke termen komen niet voor. Belangrijk is dat een uitspraak niet op meerdere manieren geïnterpreteerd kan worden, omdat er anders nooit helderheid ontstaat of een uitspraak waar is of niet.
De uitspraken binnen de theorie moeten geordend kunnen worden van algemeen naar specifiek.
De uitspraken binnen de theorie zijn logisch met elkaar verbonden. De hypothese wordt dus afgeleid uit algemene uitspraken. Om dit te kunnen doen, is het vaak wel nodig dat men assumpties (aannames) doet.
De specifieke uitspraken moeten getest kunnen worden door waarnemingen, omdat anders niet met zekerheid gezegd kan worden dat de wetmatigheid werkelijkheid is.
In het boek wordt dit toegelicht aan de hand van het onderzoeksvoorbeeld. Dit gebeurt in de vorm van een syllogisme: een logische redenatie, waarbij uit twee uitspraken een conclusie wordt getrokken.
Wanneer de verhouding tussen opbrengst en investering van de ene partner afwijkt van die van de andere partner, is er sprake van een situatie die door beide partners als onbillijk wordt ervaren.
Wanneer een van de partners kanker heeft, zal de verhouding tussen opbrengst en investering van de partners ongelijk zijn.
Wanneer een van de partners kanker heeft, zullen beide partners onbillijkheid ervaren in de relatie
Bron: Tijmstra en Boeije: ‘Wetenschapsfilosofie in de context van de sociale wetenschappen’
In dit voorbeeld is de eerste zin een algemene uitspraak, de tweede zin een assumptie en de derde zin de conclusie. Ook bestaat er een ordening van algemeen naar meer specifiek. Daarbij kan de conclusie empirisch onderzocht en nagezocht worden. Een hypothese die afgeleid wordt uit een theorie, is op deze manier een conclusie die we af kunnen leiden uit eerdere assumpties en algemene uitspraken binnen de theorie. Er kunnen uit hypothesen steeds weer nieuwe algemene uitspraken gedaan worden.
Partners zullen minder tevreden over een relatie zijn wanneer zij onbillijkheid ervaren.
Uit deze uitspraak en de conclusie van de eerste twee uitspraken kan vervolgens weer een nieuwe hypothese geformuleerd worden.
Beide partners zullen minder tevreden zin over de relatie wanneer één van de partners kanker heeft.
Door telkens specifiekere uitspraken uit vorige uitspraken af te leiden, ontstaan telkens weer nieuwe hypothesen.
Het is belangrijk om hierbij op te merken dat uitspraken in een model binnen sociale wetenschappen vaak niet deterministisch (voor alle gevallen geldig), maar probabilistisch zijn. Dit is ook waarom er bijna altijd een uitdrukking als “in het algemeen genomen” bij staat. Andere factoren dan de gekozen variabelen kunnen ook goed een rol spelen.
Omdat veel algemene uitspraken binnen de sociale wetenschappen behoorlijk abstract en algemeen zijn, bestaat een theorie vaak uit grote aantallen uitspraken. Dit om een meetbare definitie te geven aan bepaalde begrippen, zoals sociaal zijn of schuchterheid. Zonder al deze extra uitspraken zou een hypothese niet goed kunnen worden getoetst en dus niet wetenschappelijk zijn. Het is ook van belang dat er uitspraken worden gedaan over wat eigenlijk voor de hand liggend is, omdat anders de conclusie niet logisch wordt afgeleid uit de algemene uitspraken en assumpties en het model niet meer klopt. Vervolgens kun je bij de weerlegging van de hypothese niet goed nagaan waar de fout zit.
In de praktijk richt onderzoek zich vaak niet op ‘mensen’ in het algemeen, maar op een kleinere populatie. Dit kan zijn omdat een onderzoeker alleen geïnteresseerd is in een bepaalde groep, of dat er alleen informatie te verkrijgen is over deze groep en niet voor een grotere populatie. Bij het laatste geval moeten onderzoekers zich altijd afvragen of de onderzochte groep representatief is voor de grote populatie. In andere woorden: kan de conclusie worden veralgemeniseerd?
Om terug te keren naar het onderzoeksvoorbeeld: ook hier komen we een probleem met de representativiteit tegen. Het is aannemelijk dat de conclusie over partnerrelaties bij echtparen met een kankerpatiënt niet representatief is voor de rest van de bevolking met een relatie. Vervolgonderzoek moet kunnen uitwijzen welke verschillen er zijn tussen relaties waarin een partner een ziekte heeft en relaties waarin dit niet het geval is.
Zoals eerder vermeld, is het mogelijk dat uitspraken binnen een deductief nomologisch model verschillen in specificiteit; variërend van erg abstract (de algemene uitspraken) tot zeer precies (de hypothesen). De algemene uitspraken vormen altijd de basis van een theorie. Daarnaast zijn ook assumpties van belang. Hoewel deze niet centraal staan in de theorie, zijn ze van groot belang voor de geldigheid van afleidingen.
Verder is gebleken dat hypothesen, afgeleid uit algemene uitspraken, later dienst kunnen doen als algemene uitspraken om nieuwe hypothesen uit te formuleren. Dit is een teken dat het model eigenlijk nooit af is en bijna altijd verder uitgebreid kan worden. Om dit allemaal goed te kunnen onderbouwen, is het echter wel nodig dat alle gedane aannames duidelijk vermeld worden.
Met het deductief nomologisch model leid je dus hypothesen af, die empirisch getoetst kunnen worden. Mocht uiteindelijk naar voren komen dat de hypothese niet klopt, is er ergens hoger in het model een fout gemaakt.
Een punt van kritiek is dat in de praktijk over het algemeen blijkt dat het allemaal niet zo nauwgezet in een deductief nomologisch model uiteen wordt gezet en dat de relatie tussen theorie en hypothese ook niet zo simpel is als wordt weergegeven. Wel kan het handig zijn om onderzoek in een deductief nomologisch model te formuleren, zodat het makkelijker is om verbanden te leggen en het onderzoek tegen een kritische lamp te houden.
Kernpunten:
Drie eisen voor wetenschappelijke uitspraken.
Beeldend leren uitleggen wat het inductieprobleem is.
Bepalen of een uitspraak geverifieerd dan wel gefalsifieerd kan worden.
De informatieverstrekking van wetenschappelijke uitspraken bepalen aan de hand van de omvang van de domeinen en specificiteit.
Explicitering van uitspraken is van belang voor de mate van repliceerbaarheid van het onderzoek.
De allereerste eis van wetenschappelijke uitspraken, is toetsbaar zijn. Dit gebeurt altijd aan de hand van empirische data. Wanneer men bij het toetsen van uitspraken streeft naar bevestiging noemt men dit verificationisme : de uitspraken worden geverifieerd. Het streven naar weerlegging noemt men falsificationisme. Dit zal worden uitgelegd aan de hand van het volgende voorbeeld: “alle kikkers zijn groen”.
Wanneer het streven verificatie is, zullen de onderzoekers moeten nagaan of de uitspraak voor alle gevallen klopt. Elke vondst die de uitspraak ondersteunt, maakt hem waarschijnlijker. Dit is weer een voorbeeld van inductie; specifieke uitspraken ondersteunen een algemene uitspraak. Het moge duidelijk zijn dat het onmogelijk is om na te gaan of alle kikkers groen zijn, omdat dan elke kikker op de aarde bekeken zal moeten worden. Een extra moeilijkheid hierbij is, dat kikkers veel op padden lijken. De onmogelijkheid om algemene uitspraken met behulp van specifieke uitspraken te verifiëren, heet het inductieprobleem.
In dit geval is het verstandiger om over te schakelen op falsificatie. Dit biedt meer zekerheid over de algemene uitspraak. Het is makkelijker om een kikker te vinden die niet groen is dan om na te gaan of alle kikkers dit wel zijn. Dit is ook de reden dat veel wetenschappers Popper navolgen in zijn streven naar falsificatie. Volgens hem zal falsifiëren de wetenschap verder vooruit helpen dan verifiëren. Om deze reden zeggen sommige wetenschappers dat “echte” wetenschap zich bezighoudt met falsificatie tijdens toetsing van theorieën. Hoewel falsificatie zekerheid biedt over de onwaarheid van een theorie, biedt het geen zicht op waar de fout in de theorie verscholen ligt. Wanneer het niet mogelijk is om te bepalen welke uitspraak fout is, is er sprake van onderdeterminatie. Er is dan verder onderzoek nodig om te bepalen of de fout in de assumptie ligt of in de theorie.
Volgens sommige wetenschapsfilosofen is het probleem van onderdeterminisme onoplosbaar. Volgens hen kunnen wetenschappers de harde kern van hun theorie altijd blijven beschermen door aan te nemen dat de fout in de gedane assumpties ligt. Echter, als een theorie telkens wordt verworpen, is het wel voor de hand liggend dat zich ergens in de theorie een onjuistheid bevindt.
Het voorgaande geeft weer dat, zelfs wanneer je hypothesen niet zijn verworpen, je je theorie en assumpties nooit als onveranderbare antwoorden moet zien. Wetenschappelijke antwoorden zijn altijd tijdelijke antwoorden. In vervolgonderzoek wordt vaak een bredere en diepere theorie gevormd. Hypothesen worden afgeleid (deductie) en getoetst en mogelijk gefalsifieerd. De weerlegging is volgens onderzoekers mogelijk te wijten aan de gedane assumpties en formuleren, op basis van data en theorieën van anderen, nieuwe hypothesen (inductie).
Vervolgens leiden ze nieuwe hypothesen af en toetsen dit door middel van onderzoek. In de fase van evaluatie gaan onderzoekers na of er geen andere verklaring kan worden gevonden voor het aannemen van de hypothese. Als er wel een alternatieve verklaring is, moet de oorspronkelijke theorie worden aangepast.
De eis dat uitspraken toetsbaar moeten zijn, maakt dat normatieve uitspraken (uitspraken op basis van een waardeoordeel, uitingen van emoties), speculatieve (uitspraken op basis van veronderstellingen) en definities met een onscherpe plaats of tijdsaanduiding buiten beschouwing gelaten worden. De eerste twee zijn überhaupt niet te toetsen en de derde is wel te bevestigen, maar nooit te weerleggen.
Toetsbaarheid zorgt gelijk voor de eis dat de uitspraken niet dubbelzinnig geformuleerd mogen zijn. Tijd en plaats moeten goed worden weergegeven. Ook mogen er geen abstracte begrippen in een hypothese voorkomen, zoals schuchterheid. Ten slotte moeten vage termen worden vermeden, zoals van invloed zijn. Dit kan namelijk zowel positief als negatief zijn.
Het is voor de wetenschap belangrijk dat een uitspraak zo veel mogelijk informatie geeft, omdat je dan zoveel mogelijk informatie verkrijgt bij het toetsen van je hypothese. Hoeveel informatie een uitspraak bevat, is afhankelijk van het domein en de specificiteit van de uitspraak. Het domein van een uitspraak is de populatie waar je een uitspraak over doet. De specificiteit is wat er in de hypothese over deze groep gezegd wordt, dus welke kenmerken je deze groep toeschrijft. Uitspraken die een omvangrijk domein hebben en een erg specifiek zijn, bezitten veel informatie.
Uitspraak 1: Studenten die veel bier drinken, scoren anders op een intelligentietest dan studenten die dit niet doen.
Uitspraak 2: Studenten die veel bier drinken, scoren lager op een intelligentietest dan studenten die dit niet doen.
Hierbij is uitspraak 2 informatiever dan uitspraak 1. Uitspraak 1 geeft alleen aan dat er een verschil is, terwijl uitspraak 2 ook aangeeft dat ze lager scoren. De eis van maximale informativiteit is sterk verbonden aan de eis van toetsbaarheid. Hoe informatiever de uitspraak is, hoe beter de uitspraak aan een kritische blik kan worden blootgesteld. Dit betekent ook dat de eis van maximale informativiteit nauw samenhangt met het streven naar falsificatie.
Uitspraak 1: Alle Nederlanders houden van kaas.
Uitspraak 2: Alle Nederlanders uit het oosten houden van kaas.
De mensen uit uitspraak 2 zijn een deel van de populatie uit uitspraak 1. Uitspraak 2 heeft dus een kleiner domein dan uitspraak 1. Uitspraak 1 is dus informatiever. Bij het vergelijken van informativiteit is het dus belangrijk om na te gaan welke uitspraak het grootste domein heeft en welke uitspraak het meeste zegt over deze groep. Het is mogelijk dat uitspraak 1 in vergelijking met uitspraak 2 een groot domein heeft, maar een kleine specificiteit, terwijl uitspraak 2 een klein domein heeft, maar een grote specificiteit. Het is dan moeilijk te zeggen welke uitspraak informatiever is.
Concluderend kun worden gesteld dat hoe groter de informativiteit van een uitspraak is, hoe meer de uitspraak voldoet aan de eis van toetsbaarheid. Hierbij bestaat echter wel het gevaar dat de uitspraak te specifiek gemaakt wordt. Er moeten dan zoveel assumpties worden toegevoegd dat er hierdoor nauwelijks nog een verband te trekken is tussen de algemene uitspraak en de hypothese. Dit heeft vervolgens tot gevolg dat falsificatie van een dergelijke hypothese maar weinig informatie geeft over de algemene uitspraak.
Zoals gezegd, moet een onderzoek te herhalen zijn. Hiervoor is het nodig dat wetenschappelijke kennis openbaar is en expliciete uitspraken bevat. Dit houdt in dat de genomen stappen, beslissingen en hoe wetenschappers tot resultaten zijn gekomen, uitgebreid en nauwkeurig weergegeven moeten worden. Openbaarheid houdt in dat andere wetenschappers artikelen van elkaar op kunnen vragen, zodat zij het onderzoek kunnen controleren op mogelijk meegespeelde persoonlijke voorkeuren die, wanneer de resultaten erdoor beïnvloed zijn, gecorrigeerd kunnen worden. Waar vroeger de nadruk lag op objectiviteit (waarden en normen mogen absoluut geen rol spelen), ligt die nu op intersubjectiviteit. Dit houdt in dat wetenschappers met andere waarden en normen elkaar corrigeren.
Een feit is dat sociale wetenschappers weinig tot niets doen aan duplicatie of herhaling van onderzoek. Dit is toe te wijzen aan het punt dat sociaal wetenschappelijk onderzoek moeilijk exact na te bootsen is, omdat de sociale werkelijkheid in beweging blijft. Ondanks het achterblijven van herhaling bestaat het grote belang van openbaarheid en expliciete weergave van gebruikte methoden, zodat het onderzoek wel zo goed mogelijk nagebootst kan worden, of juist met bepaalde aanpassingen uitgevoerd kan worden. Zo kan worden gecontroleerd of de onderzoekers wetenschappelijk hebben gehandeld.
Bron:
Join with a free account for more service, or become a member for full access to exclusives and extra support of WorldSupporter >>
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
Main summaries home pages:
Main study fields:
Business organization and economics, Communication & Marketing, Education & Pedagogic Sciences, International Relations and Politics, IT and Technology, Law & Administration, Medicine & Health Care, Nature & Environmental Sciences, Psychology and behavioral sciences, Science and academic Research, Society & Culture, Tourisme & Sports
Main study fields NL:
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
3674 | 1 |
Add new contribution