Samenvatting Methoden en Technieken van Onderzoek in de Criminologie (Bijleveld)

Hoofdstuk 1. Inleiding methoden en technieken in de criminologie

Dit boek gaat over methoden en technieken om criminologisch onderzoek uit te voeren. Criminologie is een objectwetenschap. Dit betekent dat het niet één verklaring gebruikt voor diverse fenomenen, maar juist allerlei verklaringen voor één fenomeen(criminaliteit). Hierbij worden allerlei verschillende disciplines gebruikt. Wetenschappers gebruiken in de criminologie vaak hun herkomstwetenschap (psychologie, sociologie, etc.).

Criminaliteit is géén criminologie. Criminaliteit (volgens de wet) geeft een te smalle definitie die ook nog aan verandering onderhevig is (zo was homoseksualiteit ooit verboden en nu niet meer). Criminologie is beter te definiëren als de studie van het vóórkomen van criminaliteit, het verklaren er van, de strafrechtelijke sancties en de victimologie. Slachtofferstudies zijn onder te verdelen in twee typen. Ten eerste heb je de studies die inzicht moeten geven in de gevolgen van het delict voor het slachtoffer(bv. slaapstoornissen, PTSD, etc.). Ten tweede kunnen slachtofferstudies dienen om inzicht te verkrijgen   het totale aantal gepleegde delicten in Nederland.

Criminaliteit is een containerbegrip. In een onderzoek ben je vaak geïnteresseerd in een bepaald type van criminaliteit, zoals vermogens- of geweldsdelicten. Daarbij hebben deze verschillende typen criminaliteit verschillende verklaringen. Het is dus van belang te zorgen dat het onderwerp niet te heterogeen is.

Een standaardclassificatie van criminaliteit is die van het Centraal Bureau voor de Statistiek. Deze heeft twintig categorieën gebaseerd op de Nederlandse wetten. Je kunt ook andere indelingen hanteren, zoals of er wel of geen directe slachtoffers waren, of het delict individueel of in een groep plaatsvond, mate van georganiseerdheid, jonge/oude dader, etc.

Wetenschap

De meningen zijn verdeeld over wat de wetenschap nu eigenlijk is. Iedereen is het er wel over eens dat het rationeel en objectief moet zijn en moet streven naar de waarheid. Door de tijd heen zijn er diverse waarheidsopvattingen geweest. Fenomenologie houdt rekening met de mens in relatie tot zijn omgeving (bijv. dat twee mensen hetzelfde kunnen doen, met een heel ander doel). Symbolisch interactionisme gaat er van uit dat mensen middels symbolen met elkaar in interactie staan. Menselijk gedrag is alleen te begrijpen wanneer je de symbolen van menselijke interactie begrijpt. Neopositivisme probeert aan de hand van wetenschappelijk getoetste uitspraken iets te zeggen over de werkelijkheid. Het is de tegenhanger van kritisch rationalisme. Dit gaat er juist van uit dat er nooit iets echt waar kan zijn; je kunt alleen weten dat iets niet waar is. Het wordt daarom ook wel falsificationisme genoemd: je moet theorieën falsificeren, en als die niet-gefalsificeerd is, is die “voorlopig waar”.

Empirische cyclus

Wetenschappelijk onderzoek verloopt via de zogenaamde empirische cyclus. Deze zorgt er voor dat het onderzoek bepaalde fasen doorloopt. Deze fasen zijn:

• Theoriefase. In deze fase heb je een onderwerp, hier doe je een literatuurstudie naar.
• Inductiefase. Nu neem je het algemene idee en formuleert een abstracte onderzoeksvraag.
• Deductiefase. Hier maak je het nog preciezer door toetsbare hypothesen te formuleren en constructen te operationaliseren. Het moet duidelijk zijn hoe het onderzoek gaat verlopen (zodat het ook voor een andere onderzoeker duidelijk is).
• Toetsingsfase. Nu worden gegevens verzameld en de hypothesen getoetst.
• Evaluatiefase. In deze fase worden de resultaten geanalyseerd, wordt het onderzoek gecontroleerd (is het objectief verlopen, etc.) en wordt gekeken wat zegt het over de theorie.

Evaluatie gebeurt aan de hand van vier criteria:

1. Absoluut criteria 1: logische consistentie. De theorie moet inhoudelijk ontegenstrijdig zijn.
2. Absoluut criteria 2: toetsbaarheid. De theorie moet toetsbaar zijn.
3. Relatief criteria 1: parsimonie. Bij twee theorieën met gelijke verklaringskracht, gaat de voorkeur uit naar de meest eenvoudige theorie.
4. Relatief criteria 2: compatibiliteit. Bij twee theorieën over één onderwerp, gaat de voorkeur uit naar de theorie die het meeste overeenkomt met de andere theorieën over het betreffende onderwerp (de theorie die compatibel is met wat we al dachten).

Modellen en theorieën

Een model is een constellatie van de werkelijkheid welke aan drie voorwaarden moet voldoen: het model moet onafhankelijk zijn van de werkelijkheid, het moet bekender zijn dan de werkelijkheid en het moet in structuur overeenkomen met de werkelijkheid. Een theorie is een voorbeeld van een model, maar het is ingewikkelder. Het moet voorspellingen kunnen doen en kunnen verklaren.

Typen onderzoek

Eerst kijken we naar het niveau waarop je onderzoek kunt doen. We onderscheiden het micro-, meso- en macroniveau. Het microniveau is het niveau met de kleinste analyse-eenheid: het individu. Het macroniveau kijkt naar processen op aggregatieniveau: bijv. de staat. Bij uitspraken op dit niveau moet men oppassen voor de zogenaamde ‘ecologische fout’: wanneer onderzoekers bevindingen op het ene niveau verklaren op een ander niveau. Het mesoniveau valt tussen het micro- en macroniveau. Het moet gaan over een niveau hoger dan het individu, maar niet zo hoog als de staat. Denk bijv. aan een groep, of een wijk.

Ten tweede kijken we naar kwantiteit versus kwaliteit. Sommige vragen vergen heel veel data en hebben een grote kwantiteit nodig om een antwoord te vinden (bijv. of je wilt weten of vermogenscriminaliteit afneemt). Andere vragen hebben juist meer kwalitatieve informatie nodig (bijv. hoe drugshandelaren te werk gaan).

Ten derde kijken we naar of we dingen willen beschrijven of verklaren. Het liefste willen we dingen kunnen verklaren, maar voordat je dat kunt doen moet je wel weten hoe een situatie er in de werkelijkheid uit ziet en zul je het toch eerst moeten beschrijven. Beschrijvend onderzoek geeft een opsomming van het vóórkomen van bepaalde verschijnselen en brengt het soms in verband met andere verschijnselen, maar het kan het niet verklaren. Verklarend onderzoek wordt ook wel causaliteits- of experimenteel onderzoek genoemd.

Ten vierde kijken we naar de tijdfactor. Soms ben je geïnteresseerd in een oorzaak-gevolgrelatie. Als je dat goed wilt toetsen, zul je data moeten verzamelen op twee tijdstippen, om er zeker van te zijn dat het ene voorafgaat aan het andere. Zo’n onderzoek, waarin je door de tijd metingen verricht noemt men longitudinaal onderzoek. Je kunt een prospectief en een retrospectief longitudinaal onderzoek hebben. Bij prospectief loop je met de bevindingen in de tijd mee; bij retrospectief worden respondenten ‘achteraf’ gevraagd gegevens over de tijd heen te produceren. Omdat zulk onderzoek heel lang duurt en veel geld kost, wordt er vaker cross-sectioneel onderzoek verricht. Hiermee kun je heel goed beschrijvend onderzoek doen.

Tot slot kijken we naar het gebruik van primaire of secundaire data. Primaire gegevens zijn door de onderzoeker zelf verzameld. Secundaire gegevens zijn al gepubliceerd maar worden hergebruikt voor onderzoek (zoals gegevens van het CBS).

Hoofdstuk 2. Criminaliteitsonderzoek

Operationaliseren

Operationaliseren is het meetbaar maken van constructen. Meten is het toekennen van getallen aan waarnemingen. We onderscheiden vijf meetniveaus:

• Nominaal meetniveau. Hier krijgen waarnemingen bepaalde getallen, maar die hebben geen enkele andere functie dan het toekennen van een label. Bijv.: (1) Man (2) Vrouw.
• Ordinaal meetniveau. Hierbij zit er een bepaalde volgorde in de nummering. Bijv.: (1) Laag opgeleid (2) Middelbaar opgeleid (3) Hoog opgeleid.

• Interval meetniveau. Hierbij is er ook nog een vaste verhouding tussen de metingen. Bijv. temperatuur. De afstand tussen 10 en 13 graden is even groot als de afstand tussen 20 en 23 graden. Bij dit meetniveau is geen vast nulpunt.

• Ratio meetniveau. Hier is er wel een vast nulpunt, en liggen niet alleen de verschillen tussen metingen vast maar ook de verhoudingen van de metingen zelf. Bijv. de prijs van een product. Iets kan gratis zijn, dan is het in ponden en euro’s en dollars gratis.

• Absoluut meetniveau. Hierbij ligt alle informatie van de meting vast. Bijv. als iemand drie broers heeft. Het is dan niet zinvol om dit op een andere manier uit te drukken. Het gemeten getal is drie.

Samenvattend is het dus zo dat hoe lager het meetniveau, hoe meer vrijheid de onderzoeker heeft om de metingen te transformeren. Maar hoe lager heet meetniveau, hoe minder informatie er besloten ligt in de metingen. 

Operationaliseren is nodig om bepaalde constructen te kunnen meten, zoals intelligentie of religiositeit. Men gebruikt soms ook hypothetische constructen. Hiermee wordt een niet-uitwendig waarneembaar kenmerk van personen veronderstelt aanwezig te zijn. Je weet niet zeker dat deze constructen aanwezig zijn (zoals sociale controle), maar je moet de aanwezigheid veronderstellen door andere kenmerken te waarnemen.

Zelfs als je weet wat je wilt gaan meten, bijvoorbeeld ‘spijt’, dan moet het nog duidelijk worden gemaakt hoe je dat gaat meten. Je kan niet zomaar vragen: “Heeft u er spijt van?”. Hiervoor moet je een operationele definitie maken. Deze definitie geeft precies aan wat je gaat meten en hoe je dat gaat doen.

Betrouwbaarheid en validiteit

Betrouwbaarheid gaat over de vraag of je nauwkeurig hebt gemeten. Validiteit gaat over of je hebt gemeten wat je wilde meten. Je kunt bijvoorbeeld iets totaal anders meten dan je wilde weten, en dat toch heel nauwkeurig doen. Aan de andere kan je ook precies meten wat je wilde weten, maar dat heel onnauwkeurig doen. Er zijn verschillende typen validiteit.

Constructvaliditeit

• Betrouwbaarheid: is er nauwkeurig gemeten?
• Inhoudsvaliditeit: is het hele spectrum van het construct gemeten?
• Criteriumvaliditeit: voorspelt de meting een criterium? (de metingen moeten samenhangen met een bepaalde vorm van gedrag dat het construct moet voorspellen).
• Constructvaliditeit in engere zin: is het bedoelde construct gemeten?

Statistische conclusie validiteit

Dit gaat over het wel of niet hebben van een significant resultaat. Significant betekent dat er zo’n kleine kans is dat je het gevonden verband per toeval zou hebt gevonden, dat we het voor waar aannemen. Als die kans kleiner is dan ‘alfa’ (α) concluderen we dat de aanname van geen-verband onjuist is. Het resultaat is dan statistisch valide.

Interne validiteit

Interne validiteit heeft betrekking op het redeneren binnen het onderzoek. Stel dat je te maken hebt met een spurieus verband, dan is je onderzoek niet intern valide. Je kunt dan wel een relatie vinden, maar die hoeft geen enkele wetenschappelijke betekenis te hebben. Bijv. het bekende verband tussen ooievaars en baby’s.

Externe validiteit

Hier kijk je of de gevonden resultaten ook generaliseerbaar zijn.

Samenvattend stellen wij ons bij de vraag of we betrouwbaar en valide hebben gemeten, de volgende vragen: heb ik zonder conceptuele fouten en precies gemeten wat ik wil meten, mag ik dat resultaat als niet-toevallig resultaat beschouwen, is dat resultaat niet het gevolg van een spurieus verband, en heeft het resultaat betrekking op een bredere groep dan alleen de onderzochte groep? 

Betrouwbaarheids- en validiteitsanalyse

De validiteit en betrouwbaarheid van een onderzoek kunnen wetenschappelijk worden getoetst. Deze toetsingen noemen we betrouwbaarheidsanalyses en validiteitsanalyses.

Betrouwbaarheidsanalyse

Betrouwbaarheid ging om de vraag of er nauwkeurig is gemeten. Dit kan je op vier manieren nagaan:

• Test-hertestbetrouwbaarheid. Je doet dan dezelfde test nog een keer, om te kijken of het resultaat overeenkomt.
• Interbeoordelaarbetrouwbaarheid. Je hebt dan twee onafhankelijke onderzoekers, die idealiter dezelfde resultaten vinden.
• Split-half. Hierbij wordt niet één vraag gesteld ter operationalisering van een construct, maar allemaal verschillende vragen die allemaal aspecten van hetzelfde fenomeen zijn.
• Cronbach’s α. Dit wordt gebruikt wanneer er dus meerdere vragen worden gesteld. Hiermee kan een gemiddelde overeenstemming worden berekend tussen alle mogelijke manieren waarop men de items in tweeën kan delen.

Validiteitsanalyse

Validiteit kijkt of je meet wat je wilde meten. Hier zijn ook vier testen voor:

• Face validity. Hierbij gebruik je ‘gewoon’ je gezonde verstand om je af te vragen: “is dit logisch?”.
• Criteriumvaliditeit. Hierbij kijk je of de scores op de meting samenhangen met gedrag dat zij beogen te voorspellen of waar ze mee samenhangen. Bijv. of iemands beoordeling van zijn eigen prestatie samenhangt met feitelijke prestatie.
• Convergente validiteit. Dit heeft betrekking op de vraag of verschillende methoden die hetzelfde begrip meten, ook tot hetzelfde resultaat leiden.
• Divergente validiteit. Als je valide hebt gemeten, zouden je metingen van het construct niet moeten samenhangen met constructen waarmee ze niet horen samen te hangen. Daar toets je dan op. 

Kwaliteitsaspecten van onderzoek

Ook al is een onderzoek valide en betrouwbaar, dan nog kunnen er zich complicaties voordoen die voor vertekende resultaten zorgen of je onderzoek weinig bruikbaar maken. Ten eerste heb je te maken met ‘obtrusive’ metingen: wanneer mensen zich anders gaan gedragen in een onderzoekssituatie. Je wilt natuurlijk ‘unobtrusive’ metingen. Resultaten die met name ‘unobtrusive’ zijn, zijn observaties die de respondent niet door heeft. Ten tweede wil je dat je steekproef representatief is, zodat resultaten kunnen worden gegeneraliseerd naar de populatie(dus geen selectie-effecten). Onderzoek naar criminelen is vaak niet erg representatief (denk aan de misdaadtrechter). Ten derde kent criminaliteit een hoog ‘dark number’: we krijgen niet het totaal aan criminaliteit te zien. En als laatste probleem, het verschil van definities tussen verschillende landen. Juridische kwalificaties van zowel gedrag als delict kunnen fors uiteenlopen. 

Gelaagde structuur van criminaliteit

Criminaliteit heeft op meerdere manieren een gelaagde structuur. Zo kun je criminaliteit op meerdere lagen meten. Je kunt kijken naar het totaal aantal delicten, naar processen-verbaal (die ook meer dan één delict kunnen bevatten), het daderniveau (daders kunnen ook meerdere delicten plegen), strafdossiers en strafzaken. Daarnaast is er ook nog een geografische gelaagdheid. Je kunt bijv. per gemeente gaan kijken, of per stad, of per wijk. Daar binnen kun je nog gaan kijken naar type delicten (inbraak, geweld, beroving). Tot slot zijn er nog de slachtoffers. Sommige delicten hebben één slachtoffer, sommige helemaal geen slachtoffers, terwijl anderen een hele grote groep slachtoffers hebben (die soms niet eens weten dat ze slachtoffer zijn). Daarom geven ook slachtofferenquêtes geen volledig beeld van de criminaliteit.

Typen onderzoek

Het soort onderzoek hangt o.a. af van de vraagstelling en mogelijkheid om aan gegevens te komen. Zo zijn er per onderzoek verschillen in:

• meetniveau: micro, meso of macro.
• longitudinaal (strekt zich uit over tijd) en cross-sectioneel(één meetmoment)
• etnografische studie, survey en experiment.
• kwalitatief vs kwantitatief
• toetsend vs exploratief
• primair vs secundair

Met ieder onderzoek dienen de privacy en ethische regels in acht genomen te worden.

Hoofdstuk 3. Plannen en uitvoeren van een criminologisch onderzoek

Er zijn meerdere manieren waarop een criminologisch onderzoek kan worden uitgevoerd. De genoemde stappen kunnen van volgorde wisselen. Hieronder zal echter de meest gangbare manier worden besproken.

1. Meestal begin je met een onderzoeksvraag. Deze stuurt het onderzoek. Soms is er nog te weinig bekend over een onderwerp, en moet er eerst data verzameld worden om inzicht te krijgen in de situatie. Deze aanpak wordt ‘grounded theory’ genoemd: de dataverzameling (‘grounded data’) genereert dan de onderzoeksvragen.
2. De tweede stap is gewoonlijk een literatuuronderzoek. Hierin verken je het gebied van je onderzoek, kijk je hoe andere wetenschappers het hebben gedaan, wat zij al weten en welke problemen zij tegenkwamen.
3. De derde stap is voorbereiding voor de uitvoering. Je moet toestemming vragen voor het gebruik van de data en contact opnemen met eventuele stakeholders(een persoon die belang heeft bij het onderzoek ).
4. De vierde stap is maken van een onderzoeksopzet. Dit houdt dingen in als de keuze van de meetinstrumenten, de selectie van de respondenten. De onderzoeksopzet zou zo duidelijk moeten zijn, dat wanneer je die aan een andere onderzoeker geeft, deze het onderzoek ook zou kunnen uitvoeren.
5. De vijfde stap is het daadwerkelijke kiezen van analyse-eenheden (het trekken van de steekproef). Je moet hierbij weer rekening houden met representativiteit en generaliseerbaarheid, maar ook met de mogelijkheden met betrekking tot tijd en geld.
6. De zesde stap is de bevragingsmethode. Deze stap volgt vaak op het kiezen van de analyse-eenheden, omdat deze vaak bepaalt wat de bevragingsmethode is. Bijv. als je iets wilt weten over kindermishandeling. Je moet dan eerst kiezen of je volwassenen of kinderen of experts gaat benaderen. Zij zouden allemaal op een andere wijze bevraagd moeten worden.
7. De zevende stap is het kiezen van een analysemethode. Daarbij moet dus ook gekeken worden naar het meetniveau van de variabelen.  Bepaalde meetniveaus gaan samen met bepaalde analysemethoden.
8. Als hierin allemaal keuzes zijn gemaakt, kan het onderzoeksplan worden geschreven. Dit gebeurt vooral wanneer er fondsen geworven moeten worden. De sponsors moeten immers weten waar hun geld heen gaat. In een onderzoeksplan wordt bovenstaande allemaal benoemd (inclusief literatuuronderzoek, deelvragen, planning en begroting).

Vooronderzoek

Het is verstandig om, voor je het onderzoek daadwerkelijk gaat uitvoeren, het eerst uit te testen. De interviewers moeten worden getraind, de enquêtes moeten worden gecontroleerd, observaties moeten worden geoefend, respondenten moeten nog eens worden gevraagd om hun meewerking, etc. Zo’n testonderzoek wordt een ‘pilot study’ genoemd. Aan de hand van zulke studies kunnen heel veel verbeterpunten naar boven komen.

Triangulatie

Elk type onderzoek heeft zijn eigen sterke en zwakke kanten. Het is daarom goed om verschillende typen onderzoek met elkaar te combineren. Je kan dan bijv. kwantitatief onderzoek en kwalitatief onderzoek naast elkaar gebruiken. Dit wordt triangulatie genoemd.

Hoofdstuk 4. Onderzoeksopzet bij causaal onderzoek

In de onderzoeksopzet (of: onderzoeksdesign) staat welke stappen genomen moeten worden om de onderzoeksvragen te kunnen beantwoorden. Een onderzoeksvraag kijkt vaak naar een causaal verband: is Y het gevolg van X? Je kan dan niet zomaar gaan meten en concluderen dat, omdat Y en X tegelijk voorkomen, Y dan wel het gevolg van X zal zijn. Voorbeelden van onderzoeken die hierbij gedaan kunnen worden zijn observationeel, quasi-experimenteel en experimenteel onderzoek.

Een causaal verband moet aan drie eisen voldoen:

• X gaat vooraf aan Y.
• X hangt empirisch samen met Y.
• Er is geen alternatieve verklaring voor deze samenhang.

Voorbeelden van complicaties bij een verband dat causaal lijkt te zijn, zijn multipele oorzaken (wanneer X en Y beiden worden veroorzaakt door Z) en suppressor-variabelen (wanneer het verband tussen X en Y wordt onderdrukt door Z).

Interventie

Een interventie is wanneer een stimulus wordt gegeven aan personen, organisaties, landen of groepen personen, die tot doel heeft iets te veranderen bij die analyse-eenheden. Bij observationeel onderzoek wordt geen interventie uitgedeeld. Een interventie kan worden gezien als de onafhankelijke variabele.

Als je wilt weten wat het effect is van een interventie, moet je voor en na de toediening van de interventie meten. Zelfs dan, als je ziet dat er een verandering is opgetreden, is het belangrijk na te gaan of dat ook komt door de interventie. Het kan immers ook een andere oorzaak hebben.

Vereisten voor causaal onderzoek

Een causaal onderzoek moet aan een aantal eisen voldoen:

• De observatie-eenheden zijn replicaties van dezelfde structuur.
• De observatie-eenheden vertonen onafhankelijk van elkaar het te onderzoeken gedrag (ze moeten niet onder invloed van elkaar ander gedrag gaan vertonen).
• De observatie-eenheden zijn representatief.
• De observatie-eenheden werken mee, en vertonen hun natuurlijke gedrag.

Observationeel onderzoek

Bij observationeel onderzoek wordt er niet door de onderzoeker een interventie uitgedeeld. Dat betekent niet dat er geen interventie kan plaatsvinden (zoals een wetswijziging). Er kan dan dus ook een nameting plaatsvinden. Het is echter veel moeilijker om een eventueel effect toe te wijzen aan de interventie, omdat je geen andere variabelen kunt uitsluiten.

Quasi-experimenteel onderzoek

Bij dit onderzoek heb je een controlegroep en een experimentele groep. De experimentele groep krijgt een interventie, en de controlegroep is de vergelijkingsgroep die geen interventie krijgt. Je kunt dan de twee groepen met elkaar vergelijken na de interventie. Het verschil tussen de twee groepen kan je dan toewijzen aan de interventie.

Bij quasi-experimenteel onderzoek is het alleen zo dat de onderzoeker niet zelf de groepen kan indelen. Hij moet het doen met bestaande groepen (zoals afdelingen in gevangenissen, schoolklassen, buurten). Je kunt er daarom niet altijd helemaal zeker van zijn dat de interventie het enige verschil is tussen de twee groepen.

Experimenteel onderzoek

Hierbij bepaalt de onderzoeker wie er in de experimentele groep zit en wie in de controlegroep. Dit gebeurt meestal willekeurig (at random). Als er dan alleen nog toevallige verschillen zijn tussen de twee groepen noemt men de groepen statistisch equivalent. De experimentele groep krijgt dan wel een interventie en de controlegroep niet. Dit noemt men het klassieke experiment.

De verandering in de experimentele groep (voor- en nameting) is de bruto-veranderingen. Dit is de verandering die men sowieso wel zou ondergaan plús de verandering als gevolg van de interventie. De verandering in de controlegroep is de verandering die men sowieso wel zou ondergaan. Het verschil tussen deze twee is de netto-verandering.

Soms zijn zulke onderzoeken niet mogelijk, maar wil je toch een causaal verband kunnen vaststellen (bijv. hoe effectief een bepaalde therapie is). Er zijn drie manieren om dit op te lossen. Ten eerste kun je met statistiek bepaalde verstorende invloeden corrigeren. Hiervoor moet de steekproef wel groot genoeg zijn en moet je precies weten welke variabelen verstorend werken. Ten tweede kan je proberen om verschillende groepen toch zo vergelijkbaar mogelijk te maken, door bijv. te individuen of groepen te ‘matchen’. Ten derde kun je ‘propensity score matching’ gebruiken. Dit is een geavanceerde manier van matchen.

Validiteit

Validiteit is meten wat je wilt meten. Dit speelt ook bij experimenteel onderzoek een grote rol. Er worden een aantal typen validiteit besproken.

Statistische validiteit

Deze kijkt of een gevonden verband significant is of niet (is het toeval?). Je stelt daarbij een H0- en een H1-hypothese op. De H0-hypothese veronderstelt dat er geen verband is. De H1-hypothese veronderstelt dat er een verband is. Wanneer de kans dat je het verband per toeval hebt gevonden kleiner is dan 5%, verwerpen we vaak H0. Deze grens van 5% kan natuurlijk ook lager worden afgesteld. Daar zijn echter ook problemen mee: als je deze α zo laag zet, dan vindt je  eigenlijk vrijwel nooit meer een statistisch significant resultaat. Je kunt hierbij twee fouten maken, namelijk een Type-1-fout en een Type-2-fout. Een Type-1-fout maak je wanneer er in de werkelijkheid geen verband bestaat, maar je toch die conclusie trekt (bijv. bij een te hoge α). Een type-2-fout maak je wanneer er in de werkelijkheid een verband bestaat, maar je toch de conclusie trekt dat er geen verband bestaat (bijv. bij een te lage α). Het maken van deze fouten is ook afhankelijk van de steekproefgrootte: bij een kleinere steekproef is de kans op een Type-2-fout groter, en bij een te grote steekproef is de kans op een Type-1-fout groter (dan is bijna elk resultaat significant).

Interne validiteit

Intern valide is een onderzoek wanneer er geen alternatieve verklaring is voor het gevonden resultaat. Je moet een spurieus verband dus uitsluiten. Er zijn tien ‘bedreigers’ van interne validiteit:

• History: wanneer er gelijktijdig met de interventie iets heeft plaatsgevonden dat een effect op de afhankelijke variabele heeft.
• Rijping: wanneer het effect niet het gevolg is van de interventie, maar van een (autonoom) ontwikkelingsproces binnen de respondenten.
• Testeffecten: wanneer de voormeting een effect heeft op de afhankelijke variabele (bijv. bij het ‘oefenen’ van een interventie).
• Instrumentatie: wanneer de observatiemethode van betekenis verandert in de loop van het onderzoek, welke vervolgens het waargenomen effect veroorzaakt.
• Selectie-effect: wanneer twee groepen niet aselect zijn samengesteld (niet at random).
• Uitval: wanneer respondenten halverwege het onderzoek uitvallen. Dit wordt ook wel experimentele mortaliteit genoemd. Dit gaat vaak samen met selectie-effecten (mensen vallen vaak uit a.g.v. het onderzoeksonderwerp).
• Onvoldoende scheiding tussen groepen: de experimentele groep en de controlegroep komen met elkaar in aanraking, waardoor de controlegroep te horen krijgt over de interventie. Dit kan gevolgen hebben voor het effect.
• Waargenomen verschil tussen groepen: de controlegroep kan nijdig worden op de experimentele groep (daar zij wel een interventie ondergaan) en zich daardoor competitief gaan gedragen.
• Regressie naar het gemiddelde: wanneer je voor je onderzoek groepen selecteert die extreem hoog of laag scoren op iets. Echter, ook zonder interventie was hun score wel omhoog of omlaag gegaan. Er is dan sprake van regressie naar het gemiddelde.
• Interactie van de diverse bedreigers met selectie: wanneer een bepaalde bedreiger alleen optreedt in de ene groep en niet in de andere.

Externe validiteit

Externe validiteit kijkt naar de generaliseerbaarheid van het gevonden resultaat. Je kunt generaliseren naar een grotere groep, maar ook naar een andere situatie of een ander tijdstip. Externe validiteit kan worden beschermd door een goede steekproef, door te zorgen voor een zo normaal mogelijke situatie en door goede operationalisering van de constructen. Externe validiteit kan onder andere door de volgende vier dingen worden bedreigd:

• Interactie van testeffecten en interventie: een voormeting kan een effect hebben op het uiteindelijke resultaat (bijv. door oefening en weten waar het onderzoek over gaat). Dit heeft gevolgen voor de externe validiteit, omdat in de werkelijkheid geen voormeting zou plaatsvinden en het effect daardoor anders zou kunnen zijn.
• Interactie van selectie en interventie: mensen die vaak mee doen aan experimenten, zijn die representatief voor de populatie?
• Interactie van situatie en interventie: dit wordt ook wel aangeduid met ecologische validiteit. Dit is wanneer het effect wel optreedt in het laboratorium, maar niet zou optreden in de ‘gewone’ wereld.
• Reactieve factoren: wanneer het gedrag van respondenten alleen vertoond wordt wanneer zij weten dat ze onderzocht worden. VB: Hawthorne-effect en placebo-effect.

Constructvaliditeit

Bij constructvaliditeit kijkt men naar de operationaliseringen van het construct. Bedreigers van constructvaliditeit zijn:

• Antwoordtendenties: de neiging van respondenten om niet te antwoorden met de waarheid, maar op grond van een ander criterium (zoals het gemiddelde).
• Sociaal wenselijkheid: de neiging van respondenten om zich op een sociaal positieve manier voor te stellen (zoals overdreven rapporteren van gedrag dat sociaal wenselijk is).
• Respondentrollen: wanneer respondenten geen zin hebben en daardoor expres verkeerde antwoorden gaan geven, of juist uitstekende respondenten willen zijn, of een idee hebben van waar de onderzoeker naar op zoek is en daarna te gaan antwoorden.
• Effecten onderzoeker in interactie met respondent: wanneer de onderzoeker bijv. de respondent verkeerd beoordeeld (a.g.v. sociaal wenselijkheid, vooroordelen, etc.) of als model gaat fungeren voor de respondent.

Hoofdstuk 5. Selecteren van onderzoekseenheden

Onderzoekers willen dat de resultaten van de steekproef geldig zijn buiten die steekproef. De resultaten zijn dan generaliseerbaar en de steekproef is dan representatief. Wanneer de steekproef niet representatief is, wordt vaker over een onderzoeksgroep gesproken. Bij criminologisch onderzoek is er een grote ‘hidden population’: de populatie is niet bekend. Zulke populaties hebben geen ‘steekproefkader’ (= totale lijst van analyse-eenheden in de populatie). Je kan dan ook niet weten of de steekproef representatief is, want de kenmerken van de populatie zijn immers niet bekend.

Bij kwantitatief onderzoek wil men minstens een steekproef van 100. Dit is het minimum om statistische toetsen uit te voeren en een aantal generalisaties te kunnen doen. De steekproef moet echter ook niet te groot zijn, want dan zal elk gevonden verband significant blijken.

Er zijn twee manieren om een steekproef te trekken, via ‘probability sampling’ en ‘non-probability sampling’.

Probability sampling

Bij probability sampling heeft ieder lid van de populatie een gelijke kans om in de steekproef te komen. Je krijgt daarmee een representatieve steekproef. Er zijn vier soorten van probability sampling:

• Een random steekproef. Alle leden van de populatie zijn bekend en genummerd, en hieruit wordt willekeurig een groep uit getrokken. Er kan zich een ‘sampling error’ voordoen: een toevallige afwijking.
• Een systematische steekproef. Iedere ‘x’-de uit de populatie wordt getrokken (bijv. elk 10^e huis). Deze steekproeven kunnen alleen representatief zijn wanneer aan twee voorwaarden zijn voldaan: er moet begonnen worden bij een willekeurig startpunt en de steekproefelementen moeten geen periodiciteit van dezelfde frequentie als het trekkingsinterval hebben (bijv. dat al die 10 huizen toevallig hoekhuizen zijn).
• Gestratificeerde steekproef. Uit verschillende lagen uit de populatie trek je een aantal mensen. Een proportioneel gestratificeerde steekproef trekt aan de hand van gegevens uit de populatie (bijv. in de populatie is 60% man en 40% vrouw, dus dat doe je in de steekproef ook). Een disproportioneel gestratificeerde steekproef wil gelijke groepen in de steekproef (bijv. 50% man en 50% vrouw, en dan met statistisch wegen de resultaten representatief maken).
• Clustersteekproef. Steeds willekeurig groepen uit grotere groepen trekken (bijv. uit de hele populatie een aantal gevangenissen trekken, daaruit een aantal afdelingen, daaruit een aantal gevangenen, etc.).

Non-probability sampling

Bij non-probability sampling heeft niet ieder lid van de populatie een gelijke kans om in de steekproef te komen. Er zijn vier soorten non-probability sampling:

• Convenience steekproef. Een makkelijke steekproef; mensen die makkelijk beschikbaar zijn.
• Quotasteekproef. Een convience steekproef, maar waarbij wordt geprobeerd zoveel mogelijk rekening te houden met de representativiteit (pogingen doen om zowel mannen als vrouwen, jong als oud, te krijgen).
• Doelgerichte steekproef(purposive steekproef). Een bepaalde groep met bepaalde kennis als steekproef. Dit wordt vooral gebruikt in kwalitatief onderzoek (bijv. wanneer men iets wil weten over drugshandel). Deze steekproeven zijn geschikt wanneer de interviews een volledig beeld geven over het onderzoeksonderwerp, en wanneer er verzadiging plaatsvindt (en nieuwe interviews/respondenten niets nieuws meer toevoegen).
• Sneeuwbalsteekproef. Aan respondenten vragen of zij mogelijk nieuwe respondenten weten, en op die manier nieuwe respondenten werven.

Non-respons

Bij kwantitatieve onderzoeken is er vaak een hoog percentage non-respons. Dit zijn mensen die je wel in je steekproef wilt hebben en hebt benaderd, maar die toch niet in het onderzoek terecht komen. Dit kan verschillende oorzaken hebben. Stoop heeft het over de drie O’s: onbereikbaarheid (bijv. mensen die nooit thuis zijn), onvermogen (bijv. mensen die chronisch ziek zijn) en onwil (bijv. mensen die geen zin hebben). Ermoet bij het trekken van een steekproef altijd rekening gehouden worden met de non-respons, en daarom moet er een veel grotere steekproef getrokken worden dan eigenlijk nodig is..

Stoop zegt dat minimaal vier contactpogingen moeten worden ondernomen (telefonisch). Pogingen ’s avonds en in het weekend zijn vaker succesvol. Bij mensen die weigeren kan het nuttig zijn om een meer ervaren onderzoeker nog eens te laten bellen (‘refusal conversion’). De mensen die dan alsnog mee willen doen worden ook wel ‘zachte weigeraars’ genoemd. Een andere methode is de centrale-vraagprocedure. Hierbij wordt geprobeerd de weigeraars het antwoord op de onderzoeksvraag te ontlokken.

Als uitval niet voorkomen heeft kunnen worden, is het gebruikelijk om de uitvallers (de non-responders) te vergelijken met de niet-uitvallers (de responders).

Hoofdstuk 6. Bestaande databronnen

Bij kwantitatief onderzoek hoeft men niet altijd zelf de data te gaan verzamelen. Vaak kan er gebruik gemaakt worden van bestaande data. Dit levert tijds- en kostenbesparing op. Er zijn verschillende bronnen, zoals statistieken (van bijv. CBS), bestaande gegevens van politie en justitie, niet-justitiële archieven en dossiers, slachtofferenquêtes en self-report enquêtes.

Statistieken

Statistieken zijn vooral geschikt voor vragen op macroniveau, omdat de instanties die deze gegevens verzamelen niet op persoonsniveau mogen publiceren. Een voorbeeld van zo’n instantie is het CBS.

Bestaande gegevens van politie en justitie

De data die politie en justitie hebben is in eerste instantie niet bedoeld voor wetenschappelijk onderzoek. De data is operationeel: de verzameling data heeft een doel en wordt alleen daarvoor gebruikt. Denk hierbij aan politiestatistieken, registratiesystemen van het OM en alle opgeslagen strafbladen.  Bij het gebruiken van zulke data voor wetenschappelijk onderzoek moet goed gekeken worden naar de validiteit en mogelijke vertekeningen. Er is echter wel heel erg veel data beschikbaar, over het aantal aanhoudingen, delicttypes, rechtszaken, proces-verbalen, straffen, etc.

Niet-justitiële data

Bij dit soort gegevens moet men denken aan HALT-registraties, verzekeraarsregistraties, behandelinstellingen (zoals Pieter Baan Centrum), etc. Ook bij dit soort gegevens moet goed worden afgevraagd waarom deze data is verzameld en opgeslagen, welke vertekeningen dat oplevert en hoe bruikbaar het is voor het onderzoek.

Slachtofferenquêtes

Daar waar niet alle delicten worden geregistreerd of aangegeven bij de politie(dark number), kunnen slachtofferenquêtes laten zien hoeveel mensen slachtoffer zijn geweest van een delict (wat zou impliceren dat er zoveel delicten zijn gepleegd). De definitie van een delict is hierin niet hetzelfde als de strafrechtelijke definitie, wat de indruk kan wekken dat er veel meer criminaliteit is dan blijkt uit politie gegevens. Een voorbeeld van een slachtofferenquête is de Veiligheidsmonitor Rijk (VMR). Hierin wordt gevraagd naar zowel slachtofferschap van ernstige delicten als buurtoverlast en onveiligheidsgevoelens. Er kunnen hevige schommelingen zijn in de data, doordat er soms nieuwe vragen worden gesteld of respondenten op een andere manier worden benaderd. De data is niet erg consistent. Andere slachtofferenquêtes zijn bijv. die van het CBS en de Politiemonitor.

Self-report data

Hierin worden mensen gevraagd of zij dader zijn van een bepaald delict. Er zijn verhitte discussies over de betrouwbaarheid van deze data. De WODC-monitor Jeugdcriminaliteit brengt met enige regelmaat de Monitor Zelfgerapporteerde Jeugdcriminaliteit (MZJ) uit.

Het onderwerp van de vragenlijst, de manier waarop de steekproef wordt getrokken, de manier van benaderen, de context waarbinnen het onderzoek wordt gepresenteerd, kunnen zowel bij slachtoffer- als bij daderenquêtes grote invloed hebben op de cijfers. Dit wordt aangeduid met het begrip: methodeverschillen. Dit zijn dus verschillen tussen cijfers, niet omdat er echt een verschil is tussen de groepen, jaren of landen, maar omdat de cijfers met een andere methode verkregen zijn.

Hoofdstuk 7. Dataverzameling

Standaardisatie is, kort gezegd, het werken volgens een protocol. Onderzoeken kunnen van zeer gestandaardiseerd tot volledig ongestandaardiseerd lopen. Het eerste doel van standaardisatie is storende invloeden uit te schakelen. Bijv. wanneer je een onderzoek doet over misdragingen in de adolescentie en opvoeding. Als de ene onderzoeker zegt dat hij iets wil weten over criminaliteit, en de ander zegt dat hij iets wil weten over opvoeding, dan kunnen mensen daar hele diverse antwoorden op geven. Het tweede doel is efficiëntie. Zo bereik je met gestandaardiseerde enquêtes heel goedkoop, heel veel mensen. Je hebt dan van bijv. 2000 mensen heel veel (oppervlakkige) informatie. Het is bijna onmogelijk om 2000 mensen uitgebreid te interviewen.

Standaardisatie binnen interviews heeft tot drie typen geleid. Bij het ongestructureerde interview zijn de respondenten volledig vrij in hun antwoorden (bijv. “Waarom deed je dat?”). Ze kunnen heel uitgebreid of heel kort antwoord geven, wat ze zelf willen. Bij het semi-gestructureerde interview zijn aan de situatie van de respondent beperkingen opgelegd (bijv. “Maak de volgende zin af: …”). Bij een volledige gestructureerd interview zijn ook de gedragsmogelijkheden beperkt (bijv. antwoordcategorieën A t/m E). Deze zullen later worden besproken.

Observeren

Een belangrijk type van observatie is de participerende observatie (waarin de onderzoeker niet alleen maar observeert, maar ook ‘meedoet’ in het leven van de observanten). Het is een belangrijke manier van onderzoek doen, omdat bepaalde ervaringen alleen begrepen kunnen worden door ze zelf mee te maken. Hierin zijn ook gradaties, waarin de onderzoeker volledig bekend is en meedoet tot aan waar hij min of meer ‘undercover’ observeert. Daarin moet  echter wel rekening gehouden worden met de vraag of het wel ethisch is, bijv. als mensen niet weten dat ze worden geobserveerd en dat er zich een onderzoeker in hun midden bevindt. Ook de onderzoeker kan zich in een moeilijke situatie bevinden, bijv. wanneer hij getuige is van een delict of wordt geacht er aan mee te werken. In het volgende hoofdstuk wordt observatie besproken.

Interviewen en enquêteren

Interviewen en enquêteren kan ook in diverse gradaties van standaardisatie plaatsvinden. Bij de meest gestandaardiseerde vorm van interviewen (standaardenquête), worden enkele aannames gedaan. Ten eerste dat de respondenten de vraag begrijpen. Ten tweede dat de respondenten de feiten niet vergeten zijn. Ten derde dat de respondenten niet zullen liegen. Deze aannames zijn echter niet vanzelfsprekend. Zo kan het soms helemaal niet goed zijn als respondenten precies al weten waar het onderzoek over gaat, of kunnen vragen te persoonlijk zijn waardoor men anders gaat antwoorden. Ook zijn er verschillende vormen van interviewen. Zo zijn er ongestructureerde open en diepte interviews, waarbij er veel kwalitatieve informatie wordt verzameld. Daarnaast heb je (semi)gestructureerde interviews. Bij veel interviews wordt tegenwoordig een computergestuurde vragenlijst ingezet. Dit heet computer assisted interviewing.

Enquêtes

Bij het maken van een vragenlijst spelen een aantal factoren een rol, die kunnen beïnvloeden of en hoe mensen de vragenlijst invullen. Zo mag de vragenlijst niet te lang zijn. Als het te lang duurt, hebben respondenten er geen zin meer in en gaan de antwoorden kwalitatief achteruit. Belangrijke vragen moeten daarom in  het midden van de vragenlijst gesteld worden. Ook moeten vragen gegroepeerd worden, zodat men niet twee keer in de enquête een losstaande vraag over hun baan (bijv.) moet invullen. Tot slot is het verstandig om ieder nieuw blok van vragen in te leiden, zodat de respondent niet wordt overvallen met een volledig nieuwe vraag.

Bij het maken van enquêtevragen zijn een aantal basisregels:

• Heldere vragen. Dus niet: “Wat vindt u daar van?”, want ‘vinden van’ kan op diverse manieren worden geïnterpreteerd. Begrippen moeten duidelijk worden gedefinieerd.
• Geen suggestieve vragen. De mening van de onderzoeker mag niet naar voren komen, omdat het de respondent kan beïnvloeden. Dus niet: “Vindt u ook niet dat…?”.
• Geen dubbelloopse vragen (twee vragen in één). De respondent kan immers maar één antwoord geven.
• Geen dubbele ontkenningen. Er wordt dan vaak geantwoord op de vraag alsof het een enkele ontkenning bevat.
• Antwoordcategorieën zijn uitputtend en wederzijds uitsluitend. Met uitputtend wordt bedoeld dat alle mogelijke antwoorden er in zitten, en de respondent dus altijd zijn/haar antwoord kan geven (Bijv. “Hoe oud bent u?” : 18-20, 25-30). Met wederzijds uitsluitend wordt bedoeld dat er geen overlap tussen de antwoorden mag bestaan (Bijv. “Hoe oud bent ut?” : 18-25, 20-30).
• Sociaal wenselijke antwoorden minimaliseren. Dit kan voorkomen worden door via antwoordcategorieën de respondent nogmaals over de vraag te laten nadenken.
• Zo min mogelijk kans antwoordtendenties. Een antwoordtendentie is wanneer de respondent niet zijn werkelijke mening rapporteert, maar gaat antwoorden aan de hand van de uiterlijke verschijningsvorm van de vraag. Er zijn verschillende vormen van antwoordtendenties. Ten eerste is er de neiging tot het gemiddelde (mensen die vaak ‘neutraal’ antwoorden). Dit is te zien als een vorm van sociale wenselijkheid. Het tegenovergestelde hiervan is de neiging tot extreme antwoorden. Ten tweede is er de nabijheidsfout. Dit is wanneer mensen vragen die bij elkaar in de buurt staan, op min of meer dezelfde wijze gaan beantwoorden. Als de vragen op een andere plek stonden, kregen ze een ander antwoord. Het tegenovergestelde van deze fout is het zigzageffect. Ten derde is er de welwillendheidsfout. Dit is wanneer respondenten er moeite mee hebben het oneens te zijn met stellingen. Ten vierde is er de logische fout. Dit is wanneer mensen heel bewust zo consistent mogelijk willen antwoorden. Bij meerdere vragen over hetzelfde onderwerp, zullen zij nagaan wat zij eerder hebben geantwoord, en in overeenstemming met die antwoorden de komende vragen invullen.
• Constructen duidelijk operationaliseren. Dus niet: “Bent u slachtoffer van racisme?”. De respondenten kunnen anders denken over wat racisme en slachtofferschap is, en bovendien wordt er niet gevraagd naar een bepaalde periode.
• Vragen met een referentieperiode. Men wilt bijv. wel onderscheid maken tussen mensen die als kind eens een klap hebben gehad en mensen die systematisch mishandeld worden.
• Geen offensieve vragen. Beledigende vragen kunnen er toe leiden dat de respondent geen zin meer heeft, vragen overslaat of onzinantwoorden gaat geven.

Er zijn verschillende manieren waarop een vragenlijst kan worden afgenomen. Als eerst is er de mondelinge afname (face-to-face-afname). Voordelen zijn een hoge respons rate, de mogelijkheid tot lange interviews, het kunnen registreren van de omgeving en het kunnen bevragen van complexe of persoonlijke onderwerpen. Nadelen zijn hoge financiële kosten en mogelijke interactieproblemen tussen interviewer en geïnterviewde. Ten tweede kan een enquête telefonisch worden afgenomen. Voordelen zijn dat het zeer goedkoop is en er veel mensen bereikt kunnen worden. Nadelen zijn dat de respondent kan worden afgeleid, en dat er minder (en minder open) vragen gesteld kunnen worden. Ten derde kan een enquête schriftelijk worden afgenomen met en zonder een onderzoeker erbij. Voordelen van een onderzoeker erbij zijn dat deze verduidelijking kan geven als vragen onduidelijk zijn. Nadelig is dat het meer geld kost en er minder enquêtes kunnen worden afgenomen.

Antwoordcategorieën

Vaak wordt een construct niet met één vraag gemeten, maar met een set van vragen (ook wel index genoemd). Op deze manier krijgt men een duidelijker beeld van wat de respondent van het construct vindt. Het is mogelijk om de mate waarin zo’n index hetzelfde construct meet in een getal uit te drukken, te weten de Cronbachs α. Deze kan de interne consistentie van een set vragen meten (in hoeverre meten zij hetzelfde aspect). Vuistregel is dat Cronbachs α minstens 0,8 moet zijn.

Complexe en persoonlijke onderzoeksonderwerpen

Sommige mensen hebben overal een mening over, ook al weten zij helemaal niet waar het over gaat. Dit soort mensen kunnen worden gefilterd door ‘sleeper questions’ in de enquête te stoppen. Dit zijn stellingen over zaken die helemaal niet bestaan, met de vraag in hoeverre iemand het er mee eens is. Dit soort respondenten worden dan gefilterd.

In criminologisch onderzoek heeft men dan nog te maken met over- en onderrapportage en de neiging tot sociaal wenselijke antwoorden. Mensen zeggen liever niet dat zij ooit iets crimineels hebben gedaan. Hier zijn een aantal strategieën voor bedacht, zoals de ‘locked box’. Hierbij krijgt een respondent een aantal kaarten met daarop regeloverschrijdend gedrag. Deze gaan in twee dozen. Eén doos met gedrag dat de respondent wel heeft vertoond en een andere met gedrag dat hij niet heeft vertoond. Een andere manier is die van de randomnized respons-methode. Een vb.: stel we willen weten hoeveel mensen het afgelopen jaar hun partner geslagen hebben. In ons onderzoek krijgt dan iedere respondent een dobbelsteen en de instructie om, als hij met die dobbelsteen een even aantal ogen gooit, ‘ja’ te antwoorden en als de respondent een oneven aantal ogen gooit, moet hij de vraag eerlijk beantwoorden. De interviewer ziet echter niet het aantal ogen van de dobbelsteen.

Naast het feit dat respondenten bepaalde feiten niet willen noemen of daarover liegen, kan het ook eenvoudigweg zo zijn dat respondenten door hun geheugen in de steek worden gelaten. Dit is helaas een groot en niet oplosbaar probleem.

Hoofdstuk 8. Analysebeschrijving

Hoe de gegevens beschreven en geanalyseerd moeten worden verschilt voor kwantitatieve en kwalitatieve data. Bij kwantitatieve data moet er iets gezegd worden over het gemiddelde,de spreiding, etc. Dat gaat niet bij kwalitatieve data; daar zijn andere methoden voor.

Beschrijving van de data

Bij kwantitatieve data is het voor de lezer het handigst als deze niet zelf de data hoeft te analyseren, maar er beschreven staat wat de gemiddeldes zijn, varianties, etc. Er moet dus een samenvatting van alle data gemaakt worden.

Maten van centrale tendentie geven met één getal een samenvatting van de data. Maten zijn het gemiddelde, de mediaan (de middelste waarneming) en de modus (meest voorkomende waarneming). De modus wordt maar weinig gebruikt. De mediaan daarentegen is vooral handig bij scheve verdelingen en om de effecten van ‘outliers’ te onderkennen.
 

Maten van spreiding geven aan hoeveel variatie er in de maat van centrale tendentie is. Maten van spreiding zijn de ‘range’, de variantie en de standaarddeviatie. De range beschrijft de laagste en de hoogste waarde. De variantie geeft de gemiddelde som van de gekwadrateerde afwijkingen van de individuele scores van het gemiddelde. De standaarddevatiatie is de wortel uit de variantie. Deze heeft de voorkeur boven de variantie, omdat de variantie moeilijk te interpreteren is, terwijl de standaarddeviatie weer iets zegt in termen van de oorspronkelijke schaal.

Naast het samenvatten van resultaten van onderzoek in één maat, kunnen resultaten ook duidelijk gemaakt worden door middel van tabellen en grafieken. Deze maken in één oogopslag duidelijk hoe de scores verdeeld zijn.

Beschrijving van de duur tot een gebeurtenis

Als we de duur tot een zekere gebeurtenis onderzoeken, dan betekent dit dat de afhankelijke variabele speciale eigenschappen heeft: de variabele kan alleen positieve waarden aannemen. Dit soort onderzoek heet ‘overlevingsduur analyse’. De overlevingsduur is de tijd totdat de gebeurtenis (de ‘event’) waarin we geïnteresseerd zijn intreedt. In de eenvoudige beschrijvende overlevingsduuranalyse wordt de zogeheten overlevingsfunctie geconstrueerd. Deze curve geeft voor elk moment dat de metingen worden verricht, het percentage respondenten dat heeft ‘overleefd’, dit wil zeggen, dat zij nog niet de gebeurtenis die het onderwerp van onderzoek is hebben ondergaan. Deze curve wordt ook wel de Kaplan-Meier overlevingscurve genoemd.

Analyse van de data

Bivariate analyse kijkt naar samenhang tussen twee variabelen, of in hoeverre de ene variabele uit de andere voorspelt kan worden. De meest gebruikte maat voor samenhang is de Pearson-product-momentcorrelatiecoëfficiënt. Beter bekend als ‘de’ correlatiecoëfficiënt.  Dit is een schaalonafhankelijke  en steekproefgrootte-onafhankelijke maat voor samenhang tussen twee kwantitatieve variabelen. Bij een positief verband is de correlatiecoëfficiënt groter dan 0, bij een negatief verband kleiner dan 0. De minimale en maximale waarde zijn -1 en 1. Nadelen van de correlatiecoëfficiënt zijn dat het een maat is voor lineaire samenhang (en dus een verkeerd beeld geeft bij een kwadratisch of logaritmisch verband), en dat het gevoelig is voor extreme scores.

Het kan zo zijn dat een verband tussen twee variabelen een spurieus verband is. Hiermee wordt dan niet bedoled dat er geen empirische samenhang is tussen de twee variabelen, maar dat die samenhang door een andere, derde, variabele wordt veroorzaakt.

Wanneer de variabelen niet van interval meetniveau of hoger zijn, kan je geen correlatiecoëfficiënt gebruiken. Andere methoden moeten dan worden gebruikt. De hier besproken methoden zijn de X², de odds ratio’s en de log-ranktoets.

X²

De X² kan gebruikt worden bij nominale variabelen en kijkt naar de geobserveerde waarnemingen en hoe waarschijnlijk het is dat je die in de werkelijkheid tegen zou komen. Het kijkt of uitgaande van de H0, de resultaten niet zo onwaarschijnlijk zijn dat we de H1 zouden moeten aannemen. In SPSS kan worden aangegeven of de X² significant is.

Odds ratio’s

De odds ratio is een maat voor de verhouding van het relatief risico; de verhouding tussen de waarschijnlijkheid dat een gebeurtenis voorvalt en de waarschijnlijkheid dat ze niet voorvalt. Een odds ratio van 1 betekent dat er geen verschil is tussen de twee gebeurtenissen. Een odds ratio groter dan 1 betekent dat een verhoogde kans is. Een odds ratio lager dan 1 betekent een verlaagde kans. In SPSS kan worden opgevraagd of de odds ratio significant is.

Log-ranktoets

Deze toets lijkt op de X², omdat er wordt vergeleken in hoeverre het geobserveerde aantal afwijkt van het onder de H0 te verwachten aantal; in hoeverre de populaties van twee of meerdere overlevingscurves vergelijkbaar zijn. De toets doet daarbij een belangrijke aanname, de ‘proportional hazards assumption’: het risico om de gebeurtenis te ondergaan, verandert niet over de tijd. In SPSS kan de p-waarde worden opgevraagd.

Regressie-analyse

Met regressie-analyse kan worden onderzocht hoe goed je met X de scores op Y kunt voorspellen. Bij enkelvoudige regressie-analyse gebruik je één X om Y te kunnen voorspellen. Bij multipele regressie-analyse gebruik je meerdere onafhankelijke variabelen (X1, X2, etc.) om Y te kunnen voorspellen.

Enkelvoudige regressie-analyse

Met deze analyse kan worden gekeken hoe goed Y kan worden voorspelt uit X. Bijv. als je inkomen (Y) wilt voorspellen aan de hand van iemands opleiding (X). De voorspelde Y wordt aangeduid met . We willen dan weten hoe ver de  afwijkt van Y. Het liefste zijn die afwijkingen 0, wat zou betekenen dat X de Y perfect voorspelt. De afwijkingen worden uitgedrukt in ‘e’. De voorspelling van Y uit X kan worden uitgedrukt in het regressiemodel: Y = a + bX + e. Het intercept ‘a’ geeft aan hoeveel we bij X moeten optellen om Y te voorspellen. Het regressiegewicht ‘b’ geeft weer hoeveel Y toeneemt met een toename van X. 

Multipele regressie-analyse

Met deze analyse probeer je Y te voorspellen uit meerdere onafhankelijke variabelen (X1, X2, etc.). Bijv. wanneer je inkomen (Y) wilt voorspellen aan de hand van opleiding (X1) en geslacht (X2). Het regressiemodel verandert dan als volgt: Y = a + b1X1 + b2X2 + e. Elke onafhankelijke variabele heeft zijn eigen regressiegewicht.

Meta-analyse

Wetenschappelijk onderzoek in de criminologie is om veel eerder genoemde redenen lastig. Niet alleen het verzamelen van de data, maar ook de analyses geven niet altijd een goed beeld. Er wordt daarom vaak meta-analyse gedaan: de systematische analyse van een (groot) aantal analyses. Eerst zoekt men alle publicaties over het desbetreffende onderwerp. Vervolgens worden uit die studies geschikte centrummaten gekozen. Deze worden vervolgens geanalyseerd.

Andere methoden

Naast de hiervoor genoemde methoden worden er in de criminologie nog zeer veel andere methoden gebruikt. Allereerst de Capture-recapture methode. Bij deze methode probeert men een schatting te maken van een onbekende populatie die men wil onderzoeken. Daarnaast is er de multilevelmethode. Deze methode houdt rekening met de gelaagdheid (de verschillende kenmerken die een verklaring voor een fenomeen kunnen geven), door per laag een regressiemodel te specificeren.

Hoofdstuk 9. Evaluatieonderzoek

Binnen de criminologie speelt evaluatieonderzoek een grote rol. Denk aan evaluatie van gevangenisstraffen of cameratoezicht. Het ontwikkelen, uitvoeren en evalueren van beleid vindt plaats via de zogenaamde beleidsketen. Er is een wens voor bepaald beleid (minder overlast van hangjongeren) (= beleidswens) → er wordt beleid ontwikkeld (we gaan ‘mosquitos’ ophangen) (= beleid) → het beleid wordt ingevoerd (de ‘mosquitos’ worden opgehangen) (= input) → het beleid functioneert (de ‘mosquitos’ hangen) (= output) → het beleid heeft effect op de situatie (de hangjongeren verdwijnen) (= impact). 

Beleid kan op twee manieren worden geëvalueerd. De procesevaluatie kijkt naar het beleidsproces en evalueert of aan de beleidswens is voldaan. De effectevaluatie kijkt welke effecten zijn bewerkstelligd als gevolg van het beleid. Het beste is om beide evaluaties te doen. Stel immers dat uit een effectevaluatie blijkt dat een beleid geen effect heeft gehad. Dat kan het gevolg zijn van gebeurtenissen die met een procesevaluatie kunnen worden blootgelegd. De typen evaluaties vullen elkaar dus aan.

Bij een beleidsevaluatie spelen een aantal factoren een rol die het moeilijk kunnen maken:

• Onhelder beleidsdoel. Soms wordt in beleid niet duidelijk geformuleerd wat nu eigenlijk het doel is. Het is dan ook niet duidelijk of dat doel wel bereikt is, of dat het beleid effectief is geweest. Je weet immers niet wat er bereikt moest worden.
• Selectiefouten. Het invoeren van beleid kan niet even gemakkelijk worden uitgevoerd als een laboratoriumexperiment. Als beleid in de ene buurt wel wordt ingevoerd en in de andere niet kan niet zomaar gezien als twee afzonderlijke, vergelijkbare groepen. Er zal een reden voor zijn dat de ene buurt het beleid wel krijgt en de andere niet. Er moet goed gekeken worden naar de uitgangssituatie.
• Gebrek aan controlegroep. Er is vaak geen geschikte vergelijkingsgroep.
• Caseflow. Niet altijd is de onderzoeksgroep groot genoeg voor statistische analyses (bijv. bij het ophangen van één ‘mosquito’). Er kan dan worden geprobeerd de onderzoeksgroep te vergroten (bijv. het effect van meerdere ‘mosquitos’ onderzoeken). Dat heeft echter ook weer gevolgen, gezien de groepen niet zomaar samengevoegd kunnen worden.
• Afhankelijkheid van registraties van anderen. Bij beleidsevaluaties gaat de onderzoeker meestal niet zelf op zoek naar de data, maar gebruikt hij data die al door anderen is verzameld (overheid, politie, justitie). Dat kan problemen opleveren, daar de data niet in eerste instantie dient voor wetenschappelijk onderzoek.
• Politieke context en media. De politiek en de media willen vaak snel weten of iets werkt of niet, en dat kan zeer negatieve gevolgen hebben voor beleidsevaluatieonderzoek. Zulke onderzoeken hebben tijd nodig.
• 'Treatment integrity’. Terwijl beleid wordt ingevoerd, worden er bewust en onbewust al verbeteringen aan toegevoegd. Het wordt dan moeilijk achteraf te beslissen welk effect nu waardoor is veroorzaakt.

Criminologische beleidsevaluatie

Bovenstaande problemen doen zich voor bij algemeen beleidsonderzoek. Maar bij criminologische beleidsevaluaties doen zich nog andere problemen voor. Denk hierbij aan verplaatsingseffecten (criminelen verplaatsen zich) en een mogelijke toename door interventie (er is meer aandacht voor het probleem, waardoor het ‘groeit’).

Uit de wetenschappelijke literatuur zijn een aantal kenmerken vastgesteld, die bijdragen aan de effectiviteit van straffen:

• De straf moet onvermijdelijk volgen op het gedrag (consistentie).
• De straf moet ogenblikkelijk op het gedrag volgen.
• De straf moet zwaar genoeg zijn om indruk te maken.
• De straffen moeten variëren.
• De persoon moet begrijpen waarom hij de straf krijgt, en de straf moet verband houden met het delict.

Vaak wordt er ook gewerkt met de ‘What Works’ principes:

• Risicobeginsel. Bij een gering risico op recidive, is een straf van geringe intensiteit voldoende.
• Behoeftenbeginsel. Straffen moeten ingaan op de criminogene behoeften van de persoon.
• Responsiviteitsbeginsel. Straffen moeten zijn afgestemd op de kennis en vaardigheden van de persoon.
• Behandelmodaliteit. Straffen dienen op verschillende factoren gericht te zijn (crimineel gedrag heeft altijd meerdere oorzaken).
• Programma-integriteit. Straffen moeten worden uitgevoerd zoals gepland.
• Professionaliteitsbeginsel. De straf moet worden uitgevoerd door een professional.
• Gemeenschapsgeoriënteerd. De straf moet erop gericht zijn de persoon te laten terugkeren in de maatschappij.

Bron:

• Deze samenvatting bij Methoden en Technieken van Onderzoek in de Criminologie van Bijleveld is geschreven in 2014