Deze samenvaatting bij Realistic Evaluation van Pawson & Tilley is geschreven in 2014

Hoofdstuk 1 - A history of evaluation in 28 ½ pages

1^e golf

In de jaren 60 van de vorige eeuw had het evaluatie onderzoek betrekking op de beoordeling van de grote sociale programma’s van de “Great Society” (heeft betrekking op de sociale programma’s van USA-president Johnson, die gericht waren op de bestrijding van armoede en ongelijkheid).

In deze periode rezen de kosten van deze programma’s de pan uit. Hierdoor ontstond een evaluatie beweging, die het hele spectrum van de sociale sector doordrong. Elders in de wereld ontstonden in de UK, Europa en Australië Evaluatie-Verenigingen; het proces van globalisatie leidde uiteindelijk tot het eerste internationale Evaluation Journal.

In het verlengde van de grote ambities in die tijd antwoordde de evaluatie-goeroe Scriven inzake de vraag “wat allemaal kon worden geëvalueerd?”: Alles!.

2^e golf

De initiële verwachting was dat de “Great Society” kon worden uitgebouwd door research-driven policy (door onderzoek ondersteund beleid/politiek). Omdat al het beleid kon worden geëvalueerd, kon het beleid dat niet werkte worden gestaakt en beleid dat wel voldeed, verder worden verfijnd. Deze verwachtingen bleken achteraf veel te overspannen te zijn geweest.

In dit hoofdstuk komen de volgende 4 evaluatie-varianten/perspectieven aan de orde:

• de experimentele evaluatie;

• de pragmatische evaluatie;

• de constructivistische evaluatie;

• de pluralistische evaluatie.

Gaat heen en experimenteer

Aanvankelijk stond de logica van het experiment (logics of experimentation) centraal. Het basis raamwerk is weergeven in onderstaand figuur 1.1

Zie bijlage voor het basis raamwerk.

Pawson en Tilley komen in hoofdstuk 2 nog uitvoerig terug op dit OXO-schema.

Er is sprake van een netto-effect van de behandeling/interventie, indien het verschil (O₂ – O₁) van de experimentele groep groter is dan het verschil (O₂ - O₁) van de controlegroep:

(O₂ –O₁)^E - (O₂ – O₁)^C .

Deze experimentele methode beoogt dus de oorzaak/gevolg-relatie tussen 2 variabelen (de onafhankelijke variabele = variabele die door de onderzoeker wordt gemanipuleerd en de afhankelijke variabele (= variabele die eventueel door de onafhankelijke variabele wijzigt) aan te tonen. Een experiment wil demonstreren dat door wijziging van de waarde van de ene variabele een verandering in de waarde van de andere variabele optreedt. De onderzoeker moet voorkomen dat andere externe variabelen dan de onafhankelijke variabele geen invloed uitoefenen.

Opmerking: Indien de onafhankelijke variabele niet door de onderzoeker kan worden gemanipuleerd (bijv. geslachtsverschil) spreekt men van een quasi-experiment en een quasi-onafhankelijke variabele.

De basis van de experimentele methode is een “theory of causation” (theorie over het oorzakelijk verband). Voorafgaand aan de behandeling zijn de experimentele groep en de controle groep identiek. Het verschil tussen beide groepen ontstaat door de toepassing van het programma (behandeling) en daarom kan uitsluitend het programma verantwoordelijk zijn voor het verschil in de uitkomsten.

Deze wijze van denken over causaliteit wordt in de epistemologische literatuur (epistemologie = kennistheorie) aangeduid als “successionist” (opeenvolgend). De oorzakelijkheid tussen behandeling en uitkomst dient te worden afgeleid uit de herhaalde opeenvolging van de behandelingen.

Van belang is dat elke denkbare rivaliserende oorzakelijke factor van het experiment dient te worden uitgesloten. Er moet worden voorkomen dat bijvoorbeeld een onverwachte gebeurtenis (die dus geen deel uitmaakt van het programma) optreedt en daardoor invloed kan uitoefenen op de uitkomst.

Uit bovenstaande theorie volgt een theorie over “policy implementation” (beleidsimplementatie). Pawson en Tilley geven in dit verband het volgende citaat van Campbell over de “experimenting society”:

“The United States and other modern nations should be ready for an experimental approach to social reform, an approach in which we try out new programs designed to cure specific social problems, in which we learn whether or not these programs are effective, and in which we retain, imitate, modify or discard them on the basis of their apparent effectiveness on the multiple imperfect criteria available” (p. 6)

De auteurs noemen 2 voorbeelden van eerste-golf studies:

A. Sesamstraat

Onderwijsdeskundigen wezen er op dat er bij kinderen tussen 2 en 5 jaar veel meer cognitieve veranderingen optreden dan in hun latere levensjaren. Indien men dus sociale ongelijkheid wil verminderen d.m.v. onderwijs moeten men er snel bij zijn voordat de ‘rot’ zijn intrede doet. Op basis hiervan werd besloten tot de productie van de Sesamstraat TV-serie.

B. Negatieve inkomstenbelasting

Een systeem van negatieve inkomstenbelasting komt in de plaats van een systeem van sociale zekerheid en behelst dat als het inkomen beneden een bepaalde grens komt, men van de belastingdienst een bedrag ontvangt dat hoger wordt naarmate het inkomen verder onder de grens ligt. Het was de bedoeling dat het negatieve inkomstenbelastingsysteem een heel scala van gedragvariabelen zou veranderen. De effectiviteit van het systeem werd m.b.v. de experimentele methode geëvalueerd.

In figuur 1.2 wordt een samenvatting van de experimentele evaluatie gegeven.

Figuur 1.2.:Overzicht experimentele evaluatie

Zie de bijlage voor het overzicht.

In figuur 1.2. wordt het brede onderscheid gemaakt tussen (a) methodologische strategie, onderverdeeld naar 'aard van de verklaring', 'technisch apparaat' en 'visie (make-up) ten aan zien van de sociale realiteit' en (b) de impliciete veronderstellingen van een onderzoeksprogramma ten aanzien van de beleidsimplementatie, onderverdeeld naar 'wat het programma beoogt te gaan doen', 'op welke wijze een programma wordt verfijnd' en 'hoe de programmakennis in het beleid wordt opgenomen'.

Wel of geen effect?

De auteurs zijn van mening dat de resultaten van de experimentele evaluatie zeer teleurstellend zijn, hetgeen ze o.a. illustreren met de verwijzing naar het veel geciteerde artikel van Martison inzake zijn onderzoek naar de geschiedenis van het evaluatie-onderzoek, waarin hij zich afwende van zijn oorspronkelijke publicatie “What works?” met de conclusie: “nothings works”. De mainstream evaluatiegemeenschap heeft het pessimisme van Martison niet overgenomen, hetgeen o.a. naar voren komt in de uitspraak van Ross & Gendreau dat de meeste dingen wel soms werken.

Wat decennia lang aan de orde blijkt te zijn is de vraag inzake de mate van empirische steun (onderbouwing), die vereist is om met enige zekerheid te kunnen aanbevelen dat een bepaald programma werkt. Uiteindelijk kwam men niet verder dan de oudste academische slogan: “more research is needed”.

Pawson en Tilley stellen dat, om te begrijpen waarom er sprake is van inconsistente uitkomsten bij de experimentele evaluatie, de cruciale vraag dient te worden gesteld “waarom of hoe” een programma werkt. Noodzakelijk is een methode die poogt te begrijpen wat een programma feitelijk bewerkstelligt ten aan zien van gedragsverandering.

Beleidsterrein

De vraag naar mee tijd (meer onderzoek) van de zijde van de experimentele evaluatie benadering, deed veel experimentele evaluators de vraag opwerpen of de experimentele evaluatie niet zelf een deel van het probleem was. Als reactie hierop zagen we 2 lijnen. Allereerst de opvatting dat evaluatie-onderzoek “reformist” is, omdat het gaat om interventies die bijdragen aan de oplossing van sociale problemen. Evaluaties zijn echter ook in een bepaald opzicht overduidelijk “political”, omdat bepaalde sociale/historische/politieke constel-laties als gegeven worden beschouwd en de ambities van de te evalueren programma’s zijn gericht op vermindering van problemen binnen het systeem, dus het systeem beter moeten laten functioneren.

De meest evaluators weten wel dat de programma’s waarbij ze zijn betrokken reformistisch en niet te radicaal zijn. Ze veronderstellen ook echt niet dat armoede, ongelijkheid, onrechtvaardigheid, slechte gezondheid etc. door een paar programma’s zullen worden geëlimineerd. Er wordt dan ook vaak gepleit voor een pragmatische benadering, waarvan het basis idee is dat onderzoek uitgevoerd moet worden zodat het makkelijker toegepast kan worden in het daadwerkelijke proces van beleid maken.

Pawson en Tilley wijzen in dit verband op de publicaties van Weiss die een overgang aangeven van kennisgedreven naar gebuiksgeoriënteerd onderzoek. Uiteindelijk werd deze “utilization-focused”, dus pragmatische benadering een volwaardige evaluatiestroming, waarvan de standaarden zijn samengevat in 4 functies door Stufflebeam, namelijk: utility, feasibilty, propriety and accuracy (nut, haalbaarheid, fatsoen en accuraatheid).

Pragmatische evaluatie

Het meest kritieke punt van de “utilization-focused” evaluatie (=pragmatische evaluatie) is de vraag: wie betaalt (het onderzoek), die bepaalt (de evaluatie). Met andere woorden de klant geeft aan wat hij wil en hoe hij het wil, de evaluator voert zijn onderzoek volgens de maatstaven van de klant uit en vervolgens krijgt de evaluator (na tevredenheid van de klant) voor zijn dienst betaald..

De auteurs zijn van mening dat de pragmatische benadering uiteindelijk berust op een theorie van sociaal acceptabele ideeën. Op basis hiervan formuleren Pawson en Tilley de volgende algemene regel van de pragmatische evaluatie: “the more explicit the policy mandate the more compressed and purely technical the researcher’s role” (p 14). In het extreme geval zou deze regel zelfs kunnen betekenen dat de beleidsmaker bepaalde evaluatieresultaten eist.

In figuur 1.3 een gedetailleerd overzicht van de pragmatische evaluatie.

Figuur 1.3: overzicht pragmatische evaluatie

Zie bijlage voor het overzicht.

Het constructivisme

In de jaren zeventig ontstond een nieuwe evaluatie benadering, namelijk 'het constructivisme'. Centraal in deze benaderingstaat staat de opvatting dat programma’s geen “onafhankelijke variabelen”, geen “losstaande dingen” zijn, maar tot stand komen in complexe processen van menselijk begrip en interactie. Een programma werkt steeds via een proces van redenering, verandering, beïnvloeding, onderhandeling, strijd tussen opvattingen, overreding etc. Hierdoor verschoof in het evaluatie-onderzoek de aandacht van uitkomsten naar processen.

In plaats van vragen zoals “verbetert door het programma, het leesniveau?” of “is de gezondheid van een bepaalde doelpopulatie door het programma verbeterd?” richt het evaluatie onderzoek zich primair op de interne dynamiek van een programma door het in beeld brengen van de impliciete opvattingen inzake een programma van allerlei betrokkenen (stakeholders).

Terwijl in de experimentele evaluatie de aandacht gericht is op de experimentele groepen en de controlegroepen en in de pragmatische evaluatie op de besluitvormers in de politiek, willen de constructivisten stakeholders ter wille zijn.

Wat betreft de specifieke onderzoeksmethode van de constructivistische evaluatie merken Pawson en Tilley op dat, omdat de sociale wereld fundamenteel als een onderhandelingsproces (en programma’s dus ook) wordt opgevat, het onderzoek zich ook zo dient op te stellen. Evaluators zijn dus arrangeurs van een onderzoeksproces. Voor evaluators is het dus van belang zich te vergewissen van de visie (= constructie) van de belangrijkste stakeholders inzake een programma. Ze dienen consensus te bereiken ten aanzien van zoveel mogelijk constructies (bijv. door een forum waar de diverse constructies aan de orde komen) en constructies waarover (nog) geen overeenstemming is ontstaan, te recyclen totdat ook hierover consensus wordt bereikt.

De motor van de constructivistische evaluatie benadering is dus de uitwisseling van meningen tussen onderzoeker en alle programmaparticipanten.

Pawson en Tilley geven in figuur 1.4 een samenvattend overzicht van de constructivistische evaluatie.

Zie bijlage voor het overzicht.

Een kritische blik

Pawson en Tilley wijzen erop dat de diverse stakeholders in het onderhandelingsproces een verschillende machtspositie hebben als er sprake is van een constructivistische evaluatie. Hierdoor is het maar de vraag of er bij de realisatie van de gezamenlijke constructie sprake is van een echte consensus.

Een ander punt is de positie van de evaluator. In de onderhandelingscyclus kunnen er namelijk allerlei zaken de revue passeren waar de evaluator volgens de stakeholders iets mee 'moet' in zijn onderzoek. De evaluator zal hieruit toch een keuze moeten maken en die keuze is mede afhankelijk van zijn assumpties, bestaande theorieen, bepaalde waarden etc.

De rol van de evaluator kan dan ook niet beperkt blijven tot objectieve arrangeur (dus geen agnostische positie ten aanzien van de waarheid).

Guba & Lincoln zijn van mening dat je bevindingen die zijn opgedaan binnen de ene context, niet kunt generaliseren naar een ander context (situationeel relativisme).

Volgens Pawson en Tilley erkennen Guba & Lincoln het belang van de context als restrictie bij de acties, standpunten en onderhandelingen van de stakeholders, maar ze vinden dat deze opvatting er toe leidt dat context beperkt blijft tot indirecte kenmerken die toevallig opduiken in een bepaald onderzoek

Terwijl Guba & Lincoln de experimentele evaluatoren beschuldigen van “context-stripping”, plegen ze zelf “context-hopping”, omdat volgens hen, de context per situatie verschillend is.

Ze zouden geen oog hebben voor de structuur/instituties van een maatschappij: de sociale wereld is meer dan de optelsom van opvattingen, hoop, verwachtingen van afzonderlijke individuen (stakeholders). De evaluator zal zich dus een onafhankelijk oordeel moeten vormen over de wijze waarop structuur/instituties/ machtsposities zich in een bepaald programma manifesteren.

Pluralisme

Een aantal evaluatoren hebben een pluralistische evaluatie-benadering gekozen, waarin de karakteristieke elementen van de 3 besproken benaderingen zijn opgenomen, namelijk de strikte regels van de experimentele benadering, de praktische opstelling van de pragmatische benadering en de empathie voor de opvattingen van de stakeholders vanuit de constructivistische benadering. De pluralistische benadering zou, in navolging van Rossi, ook kunnen worden aangeduid als comprehensive (veelomvattend) evaluation.

De auteurs wijzen er op dat de pluralisten zoals Rossi en Cronbach bij hun analyse van de tekortkomingen van de experimentele evaluatie een aantal remedies hebben aangegeven, die Pawson en Tilley de moeite waard vinden om in hun eigen model (hoofdstuk 3) op te nemen. Als eerste punt hebben ze genoemd de noodzaak van een “theory-driven” evaluatie. Het is juist van belang om te begrijpen hoe sociale programma’s werken en een aspect van gecontroleerde experimenten is dat het niet nodig is om hiernaar te kijken om een schatting te kunnen geven van de effectiviteit van dat programma.

Pawson en Tilley voegen hieraan toe dat theorie-gedreven evaluatie uiteraard geen wondermiddel is en dat de cruciale vraag natuurlijk is wat precies met “theorie” wordt bedoeld.

Een tweede punt dat volgens Pawson en Tilley van belang is en waarop is gewezen door Cronbach is de afperking van het zuivere domein van evaluatiestudies. Zijn kritiek op de experimentele evaluatie is dat deze benadering is geobsedeerd door interne validiteit: het gaat er bij deze benadering om dat uitsluitend de behandeling (programma) verantwoordelijk is voor een bepaalde uitkomst.

Cronbach werkt zelf met een zogenaamde. u.t.o.s [u = eenheid van analyse (bijv. het individu, de school), t = behandeling (bijv. het toegepaste programma), o = observatie (bijv. de verschillende input- en outputmaatstaven) en s = context/setting (bijv. een bepaalde locatie)].

Duidelijk is dat de utos (kleine letters) in feite de casestudie die aan de orde is in het kort beschrijft. Deze bepaalde case is natuurlijk slechts 1 van de gehele populatie van eenheden, behandelingen, observaties en settings.

UTOS (hoofdletters) representeren de gehele populatie van alle denkbare combinaties van eenheden, behandelingen, observaties en settings; een bepaalde utos is dus 1 element van UTOS.

Tenslotte kent Cronbach nog *UTOS (ster UTOS) en dat is een bepaald gedeelte (deelverzameling) van UTOS, dat relevant is voor andere (buiten het bepaalde programma) geïnteresseerden. Cronbach wijst er nu op dat de concentratie van de experimentele evaluatie op de interne validiteit slechts een oppervlakkige evaluatie is, namelijk de vraag betreft of het werkelijk is gerelateerd aan o. Evaluaties dienen echter ook UTOS/*UTOS in de beschouwing te betrekken. De UTOS hebben betrekking op externe validiteit en ook die is voor de evaluatie van belang.

Pawson en Tilley steunen Cronbach in zijn pleidooi voor het in de beschouwing betrekken van externe validiteit. De utos/UTOS-benadering van Cronbach heeft vrijwel geen navolging/toepassing gevonden, omdat deze analyse te omvangrijk/allesomvattend is.

Hoofdstuk 2 - Out with the old: weaknesses in experimental evaluation

Pawson en Tilley gaan in dit hoofdstuk de zwakke kanten van evaluatieonderzoek met een experiment aantonen. Het eerste falen van experimentele evaluatieonderzoek dat ze aanhalen is het Martinson probleem ofwel dat experimenten inconsistente bevindingen geven. Daarna gaan ze in op het probleem dat experimenten alleen laten zien dat een programma werkt en niet waarom een programma werkt ofwel het ‘zwarte gat’. Ze willen laten zien dat er in sociale verklaringen een verandering nodig is van een succesionistische causale theorie naar een generatieve causale theorie en dat er qua evaluatie moet worden overgestapt van een experimenteel paradigma naar een realistische.

Experimenten en causaliteit

Bij een experiment wordt er geprobeerd een causale relatie aan te tonen. Het kader van Pawson en Tilley is vast gesteld door het onderscheid tussen; de succesionistische en generatieve causale theorieën. Beide theorieën gaan er vanuit dat een causale verklaring in de wetenschap te maken heeft met een methode die onderscheid maakt in situaties waarin X gekoppeld is aan Y en situaties waarin dit niet het geval is door toevallige omstandigheden.

Succesionistische causale theorie

Deze theorie volgt Hume in zijn visie dat causaliteit niet te observeren is (het is een perceptie van de geest) en dat causaliteit alleen afgeleid kan worden uit geobserveerde data. De sleutel tot de werkelijkheid is om een gecontroleerde reeks van observatie op te zetten die het onderscheid duidelijk maakt tussen de causale relatie en de valse associatie. Het klassieke experimentele design past in deze visie. De onderliggende assumptie is dat mensen uit de experimentele en controle groep identiek zijn aan elkaar, behalve dat de één wel een interventie ondergaat en de andere niet. Als de onderzoeker er voor gezorgd heeft dat de manipulatie, observatie en controle goed is uitgevoerd, dan is er volgens deze visie niets meer nodig om de behandeling (oorzaak) te koppelen aan de uitkomsten (effecten). Dus het fundamentele idee van deze experimentele logica is succesionistisch: causaliteit is extern en causale processen zijn niet te observeren. Evaluatoren kunnen niets meer dan alleen de maatregelen en controles rigide en systematische toepassen om vervolgens af te wachten tot er een constante samenhang ontstaat tussen de verschillen tussen de controle en experimentele groep.

Generatieve causale theorie

Deze theorie gaat er vanuit dat er een ‘echte’ connectie is tussen de gebeurtenissen waarvan we vermoeden dat er een causaal verband tussen is. Het gaat dan vaak over een persoon, zaak of systeem in ‘transformatie’. Bijvoorbeeld een gevangene die gerehabiliteerd is. Om deze veranderingen te verklaren kijken we vaak naar observeerbare externe verklaringen zoals een rehabilitatieprogramma, maar we vertrouwen voor een gedeelte ook op interne aspecten die veranderd zijn zoals bijvoorbeeld afgeleerde neigingen van de gevangene. Deze interne krachten zijn ook belangrijk in wetenschappelijke verklaringen volgens deze visie gezien ze ons in staat stellen om die gevallen waarin de causale relatie afwezig is toch te begrijpen. De generatieve theorie ziet causaliteit zowel als intern als extern en oorzaken beschrijven de potentie van fenomenen om te transformeren. Het ene gebeuren (een rehabilitatieprogramma) kan een andere gebeurtenis veroorzaken (de gevangene kan terug geplaatst worden in de maatschappij) maar dit kan alleen als het hele proces onder de juiste omstandigheden heeft plaats gevonden. Verklaringen van fenomenen moet dus niet alleen kijken naar de externe oorzaken maar ook naar de onderliggende interne processen. Verklaringen zoeken middels een experiment met de nadruk op het controleren en observeren van het onderwerp laat deze interne processen en krachten links liggen waardoor het geen complete verklaring geeft.

Het hierboven beschreven dualisme tussen succesionistische en generatieve causaliteit is een voorbeeld van wat wetenschappers een rationele reconstructie noemen. Dit zijn twee ideaaltypen die de abstracte essenties van de logica proberen te vangen.

Corrigeren en causaliteit

In dit gedeelte wordt een praktijkvoorbeeld gegeven met de intentie om te laten zien dat het experimentele design niet altijd goed is. Het praktijkvoorbeeld is de evaluatie van een training voor cognitieve vaardigheden (Cognitive Skills Training Program). Dit is een rehabilitatieprogramma dat verschillende soorten psycho-educatie en sociale leertechnieken toepast om overtreders te assisteren bij het oefenen van nieuw gedrag en gedachten.

Pawson en Tilley beginnen met de ramp van het random toewijzen van de gevangen tot een experimentele of controle groep. Hier zijn ethische dilemma’s en praktische moeilijkheden die de random toewijzingen slecht uitvoerbaar maken. De ethische dilemma’s zijn dat de gevangenen die worden toegewezen aan de experimentele groep een ‘behandeling’ krijgen en daardoor in betere ‘omstandigheden’ verkeren dan de controlegroep die geen behandeling krijgt. Met dit in gedachten zijn evaluatoren vaak onwillig om ‘God’ te spelen en het leven van mensen random toe te wijzen aan een bepaalde groep.

Tevens zijn er praktische redenen waarom random toewijzingen desastreus zouden zijn. Voor de dagelijkse en normale gang van zaken van een sociaal programma is men afhankelijk van de samenwerking van de deelnemers (in dit geval gevangenen). Deelnemers zullen eerder mee werken als ze er zelf voor hebben gekozen om aan het programma mee te doen. Er wordt dus vaak gekozen voor vrijwillige deelname.

Pawson en Tilley willen duidelijk maken dat het gevaar van random toewijzingen in corrigerende evaluaties echter niet in de ethische of de praktische aspecten ligt, maar op een meer fundamenteel niveau: namelijk het causale niveau. De gevangen nemen vrijwillig deel aan het programma en het maken van een keuze en bereid zijn om deel te nemen, is volgens Pawson en Tilley de voorwaarde voor sociale en individuele verandering. In generatieve termen; programma’s werken door de samenwerking en keuzes van mensen zelf.

Een experimentalist zou nu aangeven dat de vrijwillige deelname inderdaad een bedreiging van de interne validiteit is, maar dat dit wordt opgelost door enkel vrijwilligers te betrekken in het experiment. Dit ziet er volgens Pawson en Tilley als volgt uit in de praktijk.

Gevangenen worden gescreend en degenen die ‘in het profiel van het experiment passen’ krijgen het programma aangeboden. De gevangenen geeft zich vrijwillig op. Het programma krijgt echter een wachtlijst door veel aanmeldingen en dit geeft de mogelijkheid voor random toewijzingen tot ofwel de wachtlijst ofwel het programma. Daarnaast vinden er in het gevangenisleven regelmatig verplaatsingen van gevangenen plaats. Degenen die zich hebben opgegeven voor het programma maar verplaatst worden, vormen een ander ofwel tweede gedeelte van de controlegroep. Het basale experiment wordt dus met enige vindingrijkheid weg gezet.

In dit praktijkvoorbeeld leidde het idee om vast te houden aan gelijkwaardige groepen juist tot nog meer zorgen over de gelijkwaardigheid van de controlegroep:

• Enkele gevangenen op de wachtlijst maakten het namelijk tot de experimentele groep en kan het zo zijn dat hun motivatie hoger is omdat ze zo lang moesten wachten?

• In sommige gevangenissen waren er niet zo veel aanmeldingen en moest het programma dus al starten zonder ‘wachtlijst’ en dus zonder controlegroep. Dit is geen echte random toewijzing omdat er geen keuze mogelijk was.

Bovenstaande zaken halen Pawson en Tilley aan om aan te geven dat het vast stellen van een controle en experimentele groep enorm moeilijk kan zijn. Iemand die zich voornamelijk hier op focust, heeft weinig oog voor bijvoorbeeld de wilskracht van de deelnemers en hoe dit bijdraagt aan de werking van het programma. Programma’s moeten worden gezien als leersituaties en net zoals bij alle leersituaties, zouden we moeten begrijpen dat vooruitgang veroorzaakt wordt door de doelgerichte acties van deelnemers. Het maken van een keuze is de motor van verandering volgens Pawson en Tilley.

Het generatieve paradigma spreekt over een transformatie en gaat uit van een concentratie op de interne krachten van deelnemers. Dit geeft de mogelijkheid om programma’s te zien als een manier om kansen te bieden aan de deelnemers. De mate van succes hangt echter af van de keuze van de deelnemers. Sociale programma’s bestaan uit een continuüm van interacties, mogelijkheden en beslissingen.

Experimentele evaluaties zien de interne krachten van een deelnemer eerder als bedreiging van variabelen die onder controle gehouden moet worden door het te weg te laten of te veranderen. Hierdoor wordt de capaciteit van deelnemers om te veranderen terug gebracht in een succesionistisch kader van manipulatie, controle en observatie. In een dergelijke visie is er enkel oog voor de vergelijking van de input en de output met weinig aandacht voor degenen die het proces ervaren. De realistische les die uit dit praktijkvoorbeeld met enkel vrijwillige deelnemers aan het experiment getrokken kan worden, is dat er juist gekeken moet worden naar waarom het programma voor de ene groep beter werkt dan voor de andere groep. Bij een succesionistische insteek leiden de methodologische aspecten je af van hetgeen dat echt belangrijk is.

Programma’s zijn leerprocessen en bepaalde groepen of individuen hebben vermoedelijk de juiste eigenschappen om te baten bij het programma. Het experimentele design is een slechte methode om deze eigenschappen te achterhalen. Dit komt door de gelijkwaardigheid tussen de controle en experimentele groep. De resultaten van een experiment zijn namelijk erg afhankelijk van de balans in deze groepen. De grootste zorg is dat de resultaten van een experiment waarschijnlijk verschillen als de controle en experimentele groepen ook verschillen van proef tot proef. Deze inconsistentie van resultaten wordt ook wel het Martinson probleem genoemd. Volgens Pawson en Tilley wordt dit veroorzaakt door het methodologisch falen van een experimentele design.

Als er gekeken wordt naar de resultaten van het praktijkvoorbeeld, bleek dat het rehabilitatieprogramma als trial erg succesvol was maar als landelijke aanpak niet. De verklaring die wordt gegeven door Pawson en Tilley is dat de trials en de landelijke uitvoeringen verschillend gebalanceerde subgroepen (in termen van hun potenties) in het programma hebben opgenomen. Er zijn namelijk verschillende redenen om mee te doen aan het programma. Pawson en Tilley geven aan dat succes pas komt wanneer het juiste paard (karakteristieken/potenties) voor de juiste cursus kiest. Het beste zou zijn om te testen binnen programma variatie in de slaagkansen van verschillende subgroepen. Een experimenteel design onderdrukt een dergelijke gedachte volgens Pawson en Tilley.

In de beleidstheorie van het praktijkvoorbeeld wordt aangegeven dat het programma bedoeld is voor degenen die gebrekkige cognitieve vaardigheden hebben. Hier worden gegadigden ook op geselecteerd. Daarnaast wordt ook gebruik gemaakt van het principe van Andrews. Hierin wordt beweerd dat programma’s het beste werken wanneer men zich richt op gevangenen met een hoge risicofactor op recidive. Dit idee wordt beschreven als een succesionistische wet en het probleem is dat ook deze theorie te kort schiet. Het mechanisme dat maakt dat gevangenen met een hoge risicofactor het misschien goed doen in het programma is niet bekend. En het hele punt dat Pawson en Tilley duidelijk willen maken, is dat het juist nodig is om te omschrijven welke processen verandering veroorzaken in wat voor programma en onder wat voor omstandigheden.

Het experimentele design heeft de neiging om de echte motor tot verandering in sociale programma’s over het hoofd te zien, namelijk het proces van verschillende subjecten/deelnemers met verschillende hulpbronnen die beperkte keuzes maken tussen de verschillende mogelijkheden die worden geboden.

Causaliteit en gemeentelijk beleid.

Hier wordt een tweede praktijkvoorbeeld aangehaald (politie-contactprogramma). Deze studie onderzoekt de effectiviteit van een angst verminderende strategie uitgevoerd door de politie. Het idee dat erachter ligt, is dat mensen in woonwijken zich anders moeten gaan gedragen ten opzichte van misdaad. Het gaat om veranderingen in gevoel, angst voor slachtofferschap, tevredenheid over de politie e.d. Het heeft een quasi-experimenteel design waarin subjecten via matching zijn toegewezen aan de controle en experimentele groep. Er wordt longitudinaal onderzoek gedaan en er wordt ook gebruik gemaakt van grootschalig beschrijvend onderzoek. Het is een procesevaluatie waarin gekeken wordt of het programma is uitgevoerd zoals gepland.

Pawson en Tilley geven aan dat er in principe wel betrouwbare resultaten zijn behaald, maar dat er vanuit de visie van de beleidsmaker toch nog veel dingen mis zijn. De resultaten zeggen namelijk niets over de gevolgen van de studie voor de beleidsmakers ofwel er wordt geen advies gegeven. Daarnaast geven Pawson en Tilley aan dat er ook enigszins sprake is van het Martinson probleem. Er zijn immers inconsistente resultaten en het is niet duidelijk of het programma nu werkt of niet, of er nu wel of geen nieuw programma nodig is om de onzekerheden van buurtbewoners te veranderen ten aanzien van misdaad.

Pawson en Tilley keren terug naar hun hoofdvraag; wat maakt dat zelfs de beste uitgevoerde experimentele evaluaties, of in dit geval quasi-experimentele evaluatie, leidt tot weinig rendement?

Pawson en Tilley geven aan dat het wederom te maken heeft met een foute opvatting van het programma dat is ingebouwd in de methodologie. Het programma wordt gereduceerd tot enkele mechanische operaties zoals het aantal dagen/uren dat de politie in een wijk aanwezig is en het maken van contact met wijkbewoners. Echter bij het contact leggen zullen verschillende activiteiten van de bewoners aangemoedigd worden. Dit zou implementatie verschillen kunnen suggereren die de variatie in uitkomsten kan verklaren. Doordat je het programma reduceert tot een aantal mechanische stappen, een serie van prestatiedoelstellingen gaat het experimentele design volgens Pawson en Tilley voorbij aan de echte vraag: Wat maakt dat politie patrouilles kunnen leiden tot een vermindering van misdaadcijfers, angst voor misdaad, een verbeterde buurtcohesie etc. Wat eigenlijk onderzocht had moeten worden is het karakter van het contact tussen politie en buurtbewoners. Er bestaat misdaad in een wijk omdat het getolereerd, niet gezien, ondersteund wordt etc. Het gaat dus meer over de interne (aangeleerde) aspecten en het contact van de politie met buurtbewoners kan enkel werken als de gegeven suggesties voor verandering mee worden genomen door de bewoners in hun eigen redeneringproces.

Wat er dus eigenlijk getest zou moeten worden is een serie van impliciete hypothesen over hoe de aanwezigheid van de politie overtuigend kan zijn in het veranderen van locale gedachte patronen en actie patronen ten aanzien van misdaad. Pawson en Tilley geven aan dat dit in dit praktijkvoorbeeld niet wordt gedaan doordat experimentele evaluatie methodisch gestuurd zijn. Alles wordt behandeld als een input of een output zodat het programma zelf een variabele wordt en er alleen nog wordt gekeken naar de juiste dosering van een experiment.

Pawson en Tilley geven nu aandacht aan hoe het programma ontvangen is in de gemeenschap. De opvatting van het quasi-experiment is volgens hun wederom fout. Wijken/gemeenschappen verschillen namelijk wel degelijk van elkaar en ze hebben factoren die niet gereduceerd kunnen worden tot die van individuele leden. Het gaat hier om culturen (religieuze geloven), structuren (werkeloosheid, werkpatronen) en relaties (contacten tussen etnische groepen). In generatieve termen: gemeenschappen hebben krachten en het zijn deze interne eigenschappen die maken dat ze verandering accepteren of niet. Een specifiek programma zal alleen werken als de contextuele condities bevorderlijk zijn. Quasi-experimenten proberen deze karakteristieken vaak ‘gelijk’ te maken waardoor ze weg vallen. In dit tweede praktijkvoorbeeld wordt tevens geen aandacht besteed aan de karakteristieken van de gemeenschappen waarin het programma geïntroduceerd wordt. Er is bijvoorbeeld geen informatie over de activiteit op straat gegeven. Dit terwijl de interne karakteristieken van een gemeenschap, de waarden en normen en de culturen wel degelijk beïnvloeden of een programma effectief is of niet. Juist hier moet op gefocust worden en dit soort verschillen in de wijken gecombineerd met mogelijke implementatie verschillen, kunnen verklaren waarom een programma werkt. De informatie over de straatactiviteit zou bijvoorbeeld nuttig zijn om te verklaren waarom in de ene wijk een hoger percentage het programma ervaren heeft door het zien van politie op straat dan in de andere.

Conclusie

Er zijn twee studies als voorbeelden aangehaald die verschillend zijn van toepassingsgebied en inhoud. Toch is er ontdenkt dat beiden niet de juiste aandacht geven aan de causale ingrediënten (context, interne mechanismen die zich voordoen als je met mensen te maken hebt) waardoor de onderzoeksresultaten willekeurig en inconsistent zijn. In beide gevallen hebben de programma’s deelnemers een reeks aan ideeën, mogelijkheden en suggesties aangeboden. Deze ideeën komen in ontmoeting met de wilskracht, keuze en beslissingen van de deelnemers, en het is dit redeneringproces wat maakt of een programma succesvol wordt of faalt. Natuurlijk wordt de keuze van een deelnemer wel beperkt door diens eigen krachten en capaciteiten. Als het subject een individu is, kunnen limiterende factoren bijvoorbeeld de capaciteit om te leren zijn. Als het gaat om een subject als een gemeente kan een limiterende factor gemeenschapsactiviteiten zijn. Het lot van ieder programma zal bepaald worden door de balans van zulke paden van beperkte keuze.

Hoofdstuk 3 - In with the new: introducing scientific realism

De indeling van dit hoofdstuk is als volgt:

In de eerste paragraaf wordt het generatieve model van de oorzakelijkheid (oorzakelijke verbanden) besproken, dat kan worden gecomprimeerd in de formule: regelmatigheid = mechanisme + context.

In de tweede paragraaf komt een algemene theorie van verandering in sociale systemen aan de orde. Terwijl keuzes van subjecten enerzijds aan restricties onderhevig zijn, transformeren nieuwe ideeën van een bepaalde groep de omstandigheden voor de volgende generatie en vormen zo het kader (= geven de restricties aan) voor deze nieuwe generatie. Deze dualiteit van “structure and agency” vormt de basis van het structuralistische model, waarmee sociologen proberen sociale verandering te begrijpen. Deze theorie van sociale verandering kan worden gecomprimeerd in de formule: uitkomst = mechanisme + context en dient als basis voor een deugdelijke programma-evaluatie.

In de derde paragraaf wordt een illustratie gegeven van de generatieve evaluatie van het CCTV-programma (closed circuit television) op een parkeerplaats in een stadscentrum.

Verklaring door een realist en reële experimenten

Experimenten in de natuurwetenschap hebben de neiging om generatieve logica te volgen, terwijl de sociaal-wetenschappelijke experimenten, in de kern succesionistisch zijn. Een belangrijke uitzondering hierop vormen de medische wetenschappen, die nog steeds vooral de experimentele evaluatie toepassen. De auteurs willen dat de sociale wetenschappen, in navolging van de natuurwetenschappen, ook het generatieve model gaan toepassen.

Bij de uitkomst gaat het om 2 verklarende factoren, namelijk het mechanisme en de context (de fysieke omstandigheden, die het mogelijk maken dat het mechanisme in werking treedt). Daarom stellen Pawson en Tilley: causale uitkomsten volgen uit mechanismen en contexten.

In figuur 3.1 van het boek (p. 58) is de generatieve oorzakelijkheid schematisch weergegeven.

Dit schema van figuur 3.1 kan worden toegelicht aan de hand van een voorbeeld uit de natuurkunde, waarin de relatie tussen temperatuur (T), volume (V) en druk (P), geldend voor gassen, wordt beschreven (gaswet):

PxV

----- = constant

T

Bovenstaande gaswet geeft aan dat bijvoorbeeld een verhoging van de druk, bij gelijkblijvend gasvolume, een stijging van de temperatuur tot gevolg heeft. Er is sprake van een voorspelbare uitkomst (natuurwet) omdat er een model is geformuleerd (door Bernoulli), dat zowel het desbetreffende mechanisme als de relevante condities (context) beschrijft die aan de wetmatigheid ten grondslag liggen.

Het generatieve mechanisme is de moleculaire beweging: de eigenschappen van gas kunnen worden opgevat als het gedrag van particels (kleine fysische deeltjes, kleiner dan een atoom); de beweging van die deeltjes genereert druk door het beuken op de wanden van het vat, waarin het gas zich bevindt; naarmate er sprake is van meer beweging, ontstaat er meer energie, waardoor de temperatuur stijgt. De generatieve context betreft een aantal noodzakelijke omstandigheden, die aanwezig moeten zijn wil de wetmatigheid PV/T = constant opgaan; zo mag bijvoorbeeld het gas niet bijna vloeibaar zijn (zie ook hoofdstuk B2).

Pawson en Tilley maken een scherp onderscheid tussen experimenten in de natuurweten-schappen enerzijds en de OXO-experimenten van de experimentele evaluatie, in de sociale wetenschappen veelal aangeduid als het klassieke experimentele design.

Volgens een realist (bijvoorbeeld Bhaskar) moet een experiment aan de volgende kenmerken voldoen; de theorie moet worden omgezet in een context die ideaal moet zijn om zo het mechanisme te laten werken (experimental production). Dit moet plaats vinden onder toezicht van de experimentele controle (experimental control)

Volgens een realistische visie komt het er op neer dat een onderzoeker niet gewoon een onafhankelijke variabele moet activeren en daarna afwacht wat het effect is, maar moet zorgen dat de gewenste interrelatie tussen onafhankelijke en afhankelijk variabele tot stand komt. Een onderzoeker is dus systeembouwer. Het voorgaande kan als volgt worden geëxpliciteerd. Een onderzoeker heeft kennis van het mechanisme (M) dat een empirische regelmatigheid (X-Y) tot stand brengt. De onderzoeker gebruikt deze theorie bij de “productie” van een context, waarvan wordt aangenomen dat hierdoor de ideale omstandigheden ontstaan om het mechanisme in werking te laten treden. De werking van het mechanisme brengt het systeem uit zijn evenwicht, waardoor X en Y veranderen. De veranderingen in X en Y worden genoteerd om na te kunnen gaan of de voorspelde regelmatigheid optreedt. Dit alles vindt plaats onder de door Bhaskar aangeduide “experimental control” en heeft niets te maken met controle-groepen, want het gaat om laboratory control. Deze laboratoriumcontrole beoogt vreemde, ongewenste, causale factoren buiten de deur te houden, met andere woorden stabiele omstandigheden te scheppen.

Het voorgaande wordt in het boek schematisch in figuur 3.2 weergegeven (het experiment van de realist) ( zie p. 60).

Sociale systemen

Sociale programma’s zijn onmiskenbaar sociale systemen en behelzen, zoals elk sociaal systeem, het krachtenspel van individuen en instituties, van agency en structuren en van micro en macro sociale processen. Realisme beschikt over een standaardset van begrippen om de werking van een sociaal systeem te beschrijven: verankering in sociale netwerken (embeddedness), mechanismen, contexten, regelmatigheden en verandering.

Verankering

Realisten duiden dit begrip als de stratificatie (stratified nature) van de sociale realiteit. Zo is bijvoorbeeld de actie van een bancaire overschrijving (al dan niet via home-banking) alleen een routinematige activiteit, omdat men vanzelfsprekend uitgaat van de werking van het bancaire systeem. Pawson en Tilley willen daarom een programma niet opvatten als gericht op subjecten met als consequentie dat de capaciteit van het programma om effect te sorteren simpel een kwestie is van verandering van het subject. Ze verwijzen in dit verband naar het Cognitive Skills Training Program (hoofdstuk B2). Dat programma kan als een specifieke verzameling van ideeën en vaardigheden worden beschouwd, die bij de gevangen wordt geïntroduceerd. Deze ideeën/vaardigheden worden echter in een klas situatie met verwachtingen omtrent de opvatting hoe gevangenen moeten worden behandeld. Een instructeur ziet gevangenen in het kader van een set van gedragsregels en hetzelfde geldt voor de gevangenen. Programma’s gaan dus over “mensen”. De programma-uitvoerders hebben een bepaalde set van achtergronden, ervaringen en loyaliteiten en de gevangenen hebben een andere set; de aard en het succes van de uitwisseling van de ideeën/vaardigheden zal middels deze verschillende sets verlopen.

Mechanismen

De visie van een gestratificeerde werkelijkheid resulteert in het meest kenmerkende gereedschap van de verklaring door de realist, namelijk het verklarende mechanisme. Pawson en Tilley geven geen kant en klare definitie, maar verschillende karakteristieken van dit begrip. Een vaak gehanteerd beeld is het zogenaamd ‘onderliggend mechanisme’, dat betrekking heeft op de wijze waarop dingen onder de waarneembare verschijning werkzaam zijn (men kan niet begrijpen hoe een klok werkt door naar de buitenkant van de klok te kijken, maar moet het binnenwerk, het uurwerk, onderzoeken).

Bij de verklaring van sociale regelmatigheden moet het causale potentieel van zowel micro als macro sociale mechanismen in ogenschouw worden genomen. Zo is de verklaring van bijvoorbeeld (hoge) zelfmoordpercentages zowel een kwestie van individuele acties als van sociale beperking (constraint). De socioloog Durkheim gaf in zijn analyse aan dat zelfmoord uiteraard een kwestie van individuele actie is, maar ook sociaal geconditioneerd is (mate van sociale cohesie, maatschappelijke ondersteuning etc.).

Sociale mechanismen hebben dus betrekking op keuzes van mensen en de capaciteiten die afgeleid en zijn van het groepslidmaatschap. Een sociologische verklaring is in het algemeen een combinatie van ‘agency en structure’. Bij de evaluatie van programma’s willen de auteurs eenzelfde verklaringsvorm hanteren, die zich uitstrekt van de lagen van individual reasoning (wat is de wenselijkheid van de door het programma gepromote ideeën?) tot de collectieve middelen (recources) die worden aangeboden (verstrekt het programma de middelen om van gedachte/ opvatting te veranderen?). Middels de notie van programma mechanismen kan de stap worden gemaakt van de vraag of een programma werkt naar de vraag: Wat maakt dat een programma werkt?

Men kan dus stellen dat een programma mechanisme:

1. de verankering van het programma reflecteert binnen de gestratificeerde natuur van de sociale werkelijkheid

2. de vorm aanneemt van proposities die aangeven hoe zowel micro als macro processen het programma constitueren

3. laten zien hoe programma uitkomsten voortvloeien uit keuzes van stakeholders (reasoning) en hun capaciteit (recourses) om de keuzes in de praktijk te brengen.

Als we het politie-contactprogramma (hoofdstuk B2) als voorbeeld nemen, zou de realistische onderzoeker beginnen met vraag via welke mechanismen het programma zou kunnen werken, door de formulering van stellingen over welke zaken een reactie van de subjecten zouden teweeg kunnen brengen. Dergelijke virtuele processen zouden in de vorm van hypothesen als spiegel kunnen fungeren voor de feitelijke werking van het programma; er is dan altijd sprake van een “weefproces” van “middelen” en “redenering”. Een empowerment proces zou een voorbeeld kunnen zijn. Politiepatrouilles zouden kunnen leiden tot een groter onderling vertrouwen tussen de bewoners van de experimentele gebieden, waardoor de bewoners meer zouden kunnen gaan samenwerken, misdaadrapportages kunnen gaan opstellen en meer gaan doen aan zelfbescherming. Dit zou vervolgens een potentiële misdadiger kunnen afschrikken.

In figuur 3.4 van het boek zijn 3 voorbeelden schematisch weergegeven van

verklarende micro en macro mechanismen in de natuurkunde, sociologie en evaluatie (zie p. 67).

De opvatting van verschillende lagen in de verklaring van de sociale realiteit is van vitaal belang voor de wijze waarop wordt gedacht over oorzakelijkheid. Als men het heeft over generatieve oorzakelijkheid, dient te worden bedacht dat “generate” wil zeggen opmaken, vervaardigen, produceren, vormen, constitueren. Het gaat dus niet om correlaties tussen verschijnselen. De generatieve mechanismen “constitute the regularity; they are the regularity”(p. 67).

Aan de hand van figuur 3.5 van het boek willen Pawson en Tilley het verschil tussen de successionistische en de generatieve oorzakelijkheid illustreren (zie p. 68).

Uitleg 'models of causation':

Wanneer realisten stellen dat het constante conjunctiemodel, zoals weergegeven in (a) niet adequaat is, pleiten ze er niet voor om meer interveniërende variabelen op te voeren. Het gaat ze er niet om dat er wellicht een onvoorziene variabele (Z) is die ruis in de relatie tussen X en Y teweeg brengt, zoals weergegeven in (b), of dat de relatie tussen X en Y indirect is, namelijk via Z verloopt, zoals weergegeven in (c).

De realist is van mening dat het mechanisme zelf verantwoordelijk is voor de relatie tussen X en Y (zie d). Een mechanisme is dus niet een variabele, maar een relaas (account) van de opmaak, gedrag en interrelaties van die processen die verantwoordelijk zijn voor de regelmatigheid. Een mechanisme is dus een theorie, die de potentiële menselijke middelen en redeneringen expliciteert.

Wanneer zelfmoord als voorbeeld wordt genomen, zal in de experimentele evaluatie de correlatie tussen huwelijkse staat (X) en zelfmoordpercentages (Y) worden geanalyseerd. Eventueel wordt er nog een variabele Z, bijvoorbeeld het hebben van kinderen, opgevoerd, waarbij dan zou gelden dat huwelijkse staat leidt tot kinderen en het hebben van kinderen tot een geringere neiging tot zelfmoord vanwege de verantwoordelijkheid van de ouder voor de kinderen. Een volledige successionistische behandeling zou een multivariate analyse, met een groot aantal variabelen (religie, onderwijs, huwelijkse staat, kinderen etc. ) kunnen behelzen. De auteurs benadrukken echter dat elk afzonderlijk pad (XY, ZY, UY) als zodanig een verklaring in termen van “reasoning and recourses, and choises and capacities” vergt.

Sociale interventie werkt uitsluitend en altijd middels de werking van mechanismen, door een proces van verwevenheid van middelen en redeneringen.

Contexten

Een standaard stelling van de realisten is dat 'the relationship between causal mechanisms and their effect is not fixed, but contingent' (p 69). Met andere woorden het effect van een interventie kan onderhevig zijn aan toevalligheden.

In de sociale wetenschappen is bekend dat men sociale vooruitgang vaak wil bereiken door middel van onderwijs. Een dergelijke strategie is alleen effectief als de economie voldoende groeit, zodat er ook voldoende extra banen beschikbaar zijn. Indien dat niet het geval is, treedt er alleen “diploma-inflatie” op. Dit is een voorbeeld van toevalligheden of omstandigheden die een interventie (onderwijs) kunnen beïnvloeden.

Alle sociale programma’s worden geconfronteerd met bestaande contextuele omstandigheden, want ze worden altijd geïntroduceerd in reeds bestaande sociale omstandigheden. Deze omstandigheden zijn van cruciaal belang voor de verklaring van het succes of mislukking van sociale programma’s.

Met sociale context wordt niet alleen de ruimtelijke/ geografische/institutionele locatie (gevangenis, ziekenhuis, school, buurt) bedoeld waarin het programma wordt uitgevoerd, maar ook de set van sociale regels, normen, waarden en interrelaties op deze locaties, die grenzen stelt aan de effectiviteit van programmamechanismen.

Regelmatigheden

Het gaat nu om het doel van de verklaring door de realist.

Pawson en Tilley geven hiervoor de formule: regelmatigheid (R) = mechanisme (M)+ context (C).

Wanneer een evaluator aangeeft dat een bepaald programma succesvol is (R), zal hij tevens daarbij aan moeten geven wat het dan is wat werkt (M), voor wie het werkt en onder welke condities het werkt (C). In figuur 3.6 wordt deze formule schematisch weergegeven (zie p 72).

Verandering

Wat dit punt betreft is er een verschil tussen de verklaringen van de realist in de natuurwetenschappen en de realist in de sociale wetenschappen, omdat sociale systemen een “open systeem” karakter hebben. Dit betekent dat de balans van mechanismen, contexten en regelmatigheden onderhevig is aan het voortdurend, zelfopwekkend aannemen van nieuwe vormen. Mensen zijn zich vaak bewust van de patronen en regelmatigheden waarin ze leven, van de keuzes waartoe hun activiteiten leiden, van de brede sociale krachten die hun mogelijkheden beperken. Dit bewustzijn zal, althans bij een aantal mensen, leiden tot de wens om het bestaande patroon te veranderen.

Verder wordt onvoorspelbaarheid geïntroduceerd, omdat men slechts imperfecte kennis heeft van de contextuele condities die hun activiteiten beperken, waardoor de veranderingsmechanismen zelf onverwachte gevolgen kunnen hebben.

Sociale regelmatigheden hebben dus de neiging zichzelf steeds te transformeren, maar het exacte pad van de verandering kan men niet voorzien. Het transformatieve karakter van sociale systemen maakt sociale verklaring een complexe aangelegenheid.

In figuur 3.7 worden transformatieve sociale systemen schematisch weergeven aan de hand van een voorbeeld 'veranderingen in het onderwijs in de afgelopen 30 jaar in Westerse landen' (zie boek p. 73).

Sociale programma’s starten met de identificatie van een regelmatigheid (R₁), zie figuur 3.8 (p. 74), die een sociaal probleem aangeeft. Het programma dient deze regelmatigheid te veranderen naar regelmatigheid (R₂), waar het sociale probleem in geringere mate of niet meer aanwezig is. Dit kan betrekking hebben op verlaging van bijv. misdaadpercentages, recidivistenpercentages, percentages rokers of verhoging van aandachtspercentages voor probleemscholieren of ex-patiënten. Het gaat hier om de uitkomst (O) van het programma. De term regelmatigheid wordt gereserveerd voor de beschrijving van het onderzochte gedrag voorafgaand aan T₁ en na de interventie T₂. De term 'uitkomst' wordt gebruikt voor de verandering in de percentages (R₂ - R₁) in de loop van de tijd.

Wat betreft de verklaring van de uitkomsten, heeft de realist kennis van de set van mechanismen (M₁) die het initiële sociale probleem in stand houden. De sleutel vormt natuurlijk het veranderingspotentieel van het veranderingsmechanisme (M₂).

De auteurs memoreren dat het niet het programma is dat werkt, maar het vermogen van het programma om in te breken in de bestaande schakels van middelen en redenering, die tot het sociale probleem hebben geleid.

Grondstellingen van een realistische evaluatie zijn:

• Onderzoek moet antwoord geven op de vraag: wat zijn de mechanismen voor verandering veroorzaakt door een programma en hoe verloopt dat ten opzichte van de bestaande sociale processen?

• Onderzoek moet antwoord geven op de vraag: wat zijn de sociale en culturele voorwaarden die nodig zijn voor verandering naar werkbare mechanismen en hoe worden ze verdeeld binnen en tussen programma contexten?

Wat betreft de rol van de context, blijkt dat er in de meeste sociale programma's van wordt uitgegaan dat er door het programma geen significante verandering in de context zal optreden.

Op basis van de grondstellingen kan gesteld worden, dat succesvol empirisch onderzoek een voorwaarde is voor het opstellen van hypothesen die in het algemeen volgen uit de verklaring van de realist en in het bijzonder een veranderingstheorie in de vorm van het mechanisme-vraagstuk en het context-vraagstuk behelzen.

Evaluators zullen dus altijd hun verklaringen formuleren in termen van de 3 cruciale ingrediënten: context (C), mechanisme (M) en uitkomst (O).

Wanneer onderzoekers gevallen bestuderen in termen van de verschillende overeenkomsten en verschillen, hebben ze het over “configuraties”.

Daarom noemen Pawson en Tilley stellingen die dit drietal van verklarende componenten combineren “context-mechanism-outcome pattern configurations”, ofwel CMO-configuraties.

Voorbeeld van een realistische evaluatietheorie

Pawson en Tilley nemen als voorbeeld de criminaliteit op parkeerplaatsen/garages (auto-inbraak/diefstal) en de poging om door middel van de installatie van gesloten circuit videocamera’s (CCTV) die criminaliteit te verminderen. Evaluatie door realisten zal gebeuren op basis van een theorie inzake de mechanismen waardoor CCTV invloed kan hebben op potentiële daders en de contexten die vereist zijn om deze invloeden te laten werken.

Ze geven de volgende mogelijke mechanismen:

1. The “caught in the act” mechanism. Het heterdaad-betrapt mechanisme zou de criminaliteit kunnen verminderen doordat huidige daders op schermen worden geobserveerd, onmiddellijk worden betrapt bij inbraak, gearresteerd, verwijderd, gestraft en na vrijlating worden afgeschrikt om weer auto-inbraken te plegen.

2. The “you ‘ve been framed” mechanism. Het je-bent-in-beeld mechanisme zou de criminaliteit kunnen verminderen door afschrikking van potentiële daders, die niet meer durven te riskeren dat ze in hechtenis worden genomen en daarna veroordeeld wegens auto-inbraak op basis van video-opnames als bewijs.

3. The “nosy parker” mechanism. Het nieuwschierig-Aagje mechanisme zou de criminaliteit kunnen verminderen doordat de aanwezigheid van CCTV tot een groter gebruik van parkeerplaatsen/garages zou kunnen leiden, omdat automobilisten zich veiliger voelen. Het grotere gebruik kan leiden tot een “natuurlijke” surveillance (door op de parkeerplaats/garage lopende automobilisten), waardoor potentiële daders worden afgeschrikt.

4. The “effective deployment” mechanism. Het effectieve-inzet mechanisme zou criminaliteit kunnen verminderen doordat CCTV de effectieve inzet van veiligheidsfunctionarissen en politieagenten in gebieden met verdacht gedrag mogelijk maakt. Door hun aanwezigheid zouden potentiële daders in deze gebieden kunnen worden afgeschrikt en verder zouden feitelijke daders in sterkere mate op heterdaad kunnen worden betrapt en gearresteerd.

5. The “publicity” mechnanism. Het publiciteits-mechanisme zou de criminaliteit kunnen verminderen doordat CCTV in het openbaar duidelijk maakt dat criminaliteit serieus wordt genomen en wordt bestreden. Potentiële daders zouden hierdoor kunnen worden afgeschrikt.

6. The “time for crime” mechanism. Het tijd-voor-inbraak/diefstal mechanisme zou de criminaliteit kunnen verminderen doordat autodelicten die in zeer korte tijd moeten worden voltooid minder afnemen dan autodelicten waar meer tijd voor nodig is, want daders calculeren de tijd in die veiligheidsfunctionarissen/politie nodig hebben om naar de parkeerplaats/garage te komen.

7. The “memory jogging” mechanism. Het geheugen-opschudden mechanisme zou de criminaliteit kunnen verminderen doordat CCTV automobilisten eraan worden herinnerd dat hun auto’s inbraakgevoelig zijn, waardoor ze beter op hun spullen gaan letten door hun auto op slot te doen, geen kostbare zaken in de auto laten liggen, zich aan de veiligheidsvoorschriften op parkeerplaatsen/garages gaan houden.

8. The “appeal to the cautious” mechanism. Het oproep-tot-voorzichtigheid mechanisme zou criminaliteit kunnen verminderen doordat voorzichtige automobilisten, die zich ervan bewust zijn dat hun auto’s inbraakgevoelig zijn, de van CCTV voorziene parkeerplaatsen/garages gaan gebruiken, waardoor er geen plaats meer is voor minder voorzichtige automobilisten, waarvan de auto’s dan elders worden gestolen of wordt ingebroken.

Één of meer van bovenstaande mechanismen kunnen ook gelijktijdig werkzaam zijn. Welke mechanisme(n) feitelijk werkzaam zullen zijn, is in sterke mate afhankelijk van de aanwezige context.

Daar zijn de volgende voorbeelden van te noemen:

1. The “criminal clustering” context. Een bepaald auto-gerelateerde criminaliteitspercentage kan het resultaat zijn van zeer variërende daderaantallen. Zo kunnen bijv. 1.000 autodelicten gepleegd zijn door enerzijds slechts 1 dader en anderzijds door 1.000 daders (of nog meer, indien men in groepen opereert). In geval van een hoge dader/delictratio (veel delicten per dader) zal mechanisme (a) effectief zijn, want er zijn dan relatief weinig daders, maar wel veel misdaden, zodat arrestatie van deze veelplegers leidt tot een relatief grote daling van het aantal misdaden.

2. The “style of usage” context. Een “long-stay” parkeerplaats/garage heeft meestal een grote instroom van auto’s tussen 08.00 en 08.30 uur en zal tussen 17.00 en 18.00 relatief leeg zijn. Indien de mechanismen (c) en (h) aan de orde zijn, zullen deze mechanismen weinig effectief zijn, want de benuttingsgraad is al hoog en de dagpatronen liggen al vast, omdat ze worden bepaald door de kantoortijden/arbeidspatronen en niet door de vrees voor auto-inbraak/diefstal. Indien er echter sprake is van een relatief laag gebruik van een parkeerplaats/garage en een hoog misdaadpercentage per automobilist, zal mechanisme (c) tot een lager misdaadpercentage per automobilist (maar een hoger aantal delicten) leiden.

3. The “style of the land” context. Auto’s die op blinde plekken op een parkeerplaats/ garage worden geparkeerd zijn in sterkere mate vatbaat voor een autodelict in geval van mechanisme (b), maar niet in geval van mechanisme (g) of (h).

4. The “alternative targets” context. De locale motivatiepatronen van (potentiële) daders alsmede de beschikbare alternatieven voor autodelicten kunnen, ongeacht welke mechanismen worden geacht werkzaam te zijn, leiden tot verplaatsing van autodelicten naar andere locaties.

5. The “resource” context. Mechanisme (d) is niet realiseerbaar in geval van een geïsoleerd liggende parkeerplaats, waarbij veiligheidsfunctionarissen/politie zich op grote afstand bevinden.

6. The “surveillance culture” context. Naarmate CCTV zich uitbreidt naar vrijwel alle sectoren van het maatschappelijk leven, zal de effectiviteit van mechanisme (e) worden versterkt/gewijzigd, afhankelijk van de maatschappelijke reputatie van CCTV.

Hoofdstuk 4 - How to design a realistic evaluation

Volgens Scriven zijn theorieën een meerwaarde voor een evaluator, maar niet noodzakelijk. Scriven is van mening dat het niet noodzakelijk is om theorieën te hebben voor verklaringen e.d. om tot een goede evaluatie te komen. Deze kennis is zelfs nadelig voor summatieve evaluaties.

Pawson en Tilly zijn het niet eens met Scriven. In dit hoofdstuk willen ze laten zien hoe belangrijk theorie is voor een goede evaluatie.

De wetenschapscirkel

In de sociale wereld wordt er veel gebruik gemaakt van de wetenschapscirkel. Het ontwerp van een realistische evaluatie volgt ongeveer dezelfde stappen. De wetenschapscirkel bestaat uit de volgende onderdelen:

1. Theorieën zijn geformuleerd in abstracte termen en zijn belast met de identificatie en het geven van verklaringen voor regelmatigheden.

2. Specifieke hypotheses komen voort uit deze theorieën en geeft aan waar de regelmatigheden gevonden moeten / kunnen worden.

3. Deze hypotheses worden getest door middel van verschillende soorten van observaties .

4. Observaties berichtten generalisaties. Deze generalisaties komen wel/niet overeen met de verwachtingen die voortkomen uit de opgestelde theorieën.

Als dit niet het geval is, dan geeft dat aan dat er een zwak punt zit binnen het ontwerp die de theorie moest testen, of dat de theorie op zichzelf opnieuw bekeken moet worden.

De realistische evaluatie cirkel

Er zit een verschil tussen de wetenschapscirkel en die van de realistische evaluatie (blz. 85). Het verschil ligt in het moment waarop wordt begonnen in de cyclus. In de wetenschapscirkel wordt begonnen met het vormen van een theorie, maar in de realistische evaluatie cirkel worden de theorieën gevormd in termen van proposities over hoe mechanismen en contexten invloed hebben op de resultaten. De rest van de cyclus volgt vanaf dit punt.

Het volgende punt is het formuleren van hypotheses, waaruit het beleid is opgedeeld en waardoor je in staat bent te identificeren wat gaat over het meten dat misschien de verandering veroorzaakt, waar individuen, subgroepen en locaties misschien voordeel uithalen vanuit het beleid, en welke sociale en culturele middelen er nodig zijn om deze veranderingen te behouden. Hierna volgen de observatie, methode van dataverzameling en de analyses om de hypotheses mee te testen.

In de realistische evaluatie wordt, net als de pluralistische visie, gebruik gemaakt van verschillende onderzoeksmethoden (kwalitatief/kwantitatief etc.). Dit wil niet zeggen dat ze gewoon zomaar verschillende methoden gebruiken, maar dat dit afhankelijk is van de eerder opgestelde hypotheses. Hierna volgt de fase van specificeren. Hierin wordt gekeken wat er precies voor zorgt dat het wel/niet werkt en onder welke omstandigheden (context).

Er wordt niet gesproken van generaliseren, omdat het gaat om de gevonden resultaten van dat beleid, met die mechanismen en die context. Ook deze cyclus wordt helemaal doorlopen, waarbij je dus weer uitkomt bij de fase van theorie opstellen. Dit kan dus betekenen dat de resultaten van een onderzoek aanleiding geven voor het opstellen van een nieuwe theorie, die dan ook weer de gehele cyclus doorloopt.

Pawson en Tilly geven drie voorbeelden van realistische evaluaties. Van de drie voorbeelden voldoet alleen de laatste aan alle eisen waaraan een realistische evaluatie moet voldoen. De andere twee moeten eerder als goede pogingen worden gezien. Hieronder zullen kort de voorbeelden beschreven worden.

1. Markeren van je eigendom

In deze evaluatie wordt gekeken of het markeren van je spullen een goede maatregel is tegen criminaliteit (diefstal). Uit eerder onderzoek waren de volgende mechanismen naar voren gekomen:

• Het markeren van je spullen zorgt ervoor dat het moeilijker door te verkopen is.

• Het markeren van je spullen zorgt ervoor dat het makkelijker terug te vinden is.

• Gestolen spullen worden sneller aan de eigenaar teruggeven, omdat er op staat wie de eigenaar is.

• Markering van spullen zorgt ervoor dat misdadigers sneller afgeschrikt worden.

Het was echter niet duidelijk of de kennis van deze mechanismen echt leidde tot een vermindering van criminaliteit. Het probleem van deze onderzoeken is dat ze vergeten zijn de context erbij te betrekken. Laycock is op zoek gegaan naar de beste context waar je dit zou kunnen onderzoeken. Ze is naar een aantal dorpen in Wales gegaan, vanwege het feit dat ze afgelegen zijn zou dit een goede context zijn. Mede door media aandacht voor het project (markeren van je eigendommen) was het aantal deelnemers hoog, zo’n 70%.

Laycock keek niet of het algemene criminaliteitscijfer daalde, maar naar het inbraakcijfer. Na een jaar bleek dat het aantal inbraken was gedaald. Er waren wel een aantal opmerkingen:

• Niet zozeer het markeren van je spullen had invloed, maar meer de sticker op raam, waarop stond dat de spullen gemarkeerd waren.

• In een groot aantal gevallen van diefstal, bleken de dieven de bewoners van het pand zelf te zijn (had te maken met bepaald betaalsysteem voor gas).

• Het aantal makkelijke slachtoffers was fors gedaald en de andere groep had andere voorzorgsmaatregelen genomen tegen diefstal.

• Het mechanisme is onderdeel van een self furfilling prophecy.

Laycock laat in deze evaluatie zien dat het markeren van je spullen niet zozeer de oorzaak is dat het aantal diefstallen daalt, maar dat het komt door het triggeren van mechanismen. Het is afhankelijk van de context of de mechanismen in werking komen.

2. PEP project

In dit voorbeeld werden de evaluatoren gevraagd om een al bestaand project, PEP, te evalueren. Ze keken vooral of het project invloed op criminaliteit. Er waren vier mechanismen:

1. Meer beveiliging van je huis zorgt ervoor dat er minder inbraken komen (dit valt onder het PEP project).

2. Slecht onderhoud van huizen geeft inbrekers het idee dat er minder op ze wordt gelet en dus makkelijker kunnen inbreken.

3. Mensen in de wijk wonen hebben geen interesse in het beveiligen van hun huis. Degene die dat wel belangrijk vinden, gaan er weg.

4. Gebrek aan sociale controle zorgt voor meer inbraken.

De onderzoekers hebben twee wijken onderzocht waar PEP werd ingezet. Tijdens het onderzoek hoopten de evaluatoren hun theorie steeds meer te kunnen verfijnen. Tijdens de introductie van PEP gaven de bewoners al aan dat ze zich veiliger voelde. Het uiteindelijke resultaat was wisselend. In totaal waren er 3 gebieden (A, B en C) onderzocht. Dit heeft mede te maken met de verschillende contexten van de gebieden. Zie pagina 101 voor de gehele uitkomst. In totaal is er sprake van een lichte daling van criminaliteitscijfers.

Samengevat: de onderzoekers hebben een theorie opgesteld hoe PEP invloed kan hebben op de criminaliteitscijfers. Deze theorie werd verder gedefinieerd tijdens de evaluatie. Door de wisselende uitkomsten blijkt dat de context bij een evaluatie erg belangrijk is.

3. Onderwijs in de gevangenis

Pawson heeft veel onderzoek gedaan naar onderwijs in gevangenissen. Hij heeft hiervoor een aantal mechanismen opgesteld:

1. Onderwijs leidt tot zelfrealisatie.

2. Onderwijs zorgt voor economische potentie.

3. Door onderwijs kan de gevangene zijn sociale vaardigheden verbeteren en deze vaardigheden in verschillende contexten gebruiken.

4. Onderwijs leidt tot nieuwe normen en waarden bij de gevangene.

5. Onderwijs zorgt ervoor dat de gevangene als geheel veranderd, bijvoorbeeld door nieuwe perspectieven te ontwikkelen.

Om onderzoek te doen naar deze mechanismen moet er eerst gekeken worden naar de context. In dit geval is dat welk type gevangene het beste past bij rehabilitatie via het volgen van onderwijs. Er is hier al veel onderzoek naar gedaan, dus de onderzoekers hoeven dit niet zelf te onderzoeken. Dit leidt dus tot een aantal geschikte contexten, dwz ‘best passende gevangen’ voor het project. Doordat er verschillende mechanismen en contexten zijn, leidt dit ook tot verschillende uitkomsten. Er wordt onderzocht welke combinaties leiden tot de beste uitkomst. Dit wordt gedaan in twee fases.

Fase 1: bestond uit informele kwalitatieve interviews. Uitvoerders van het project werden gevraagd welke onderdelen van de cursus het meeste zorgden voor veranderingen bij de gevangenen en welk type gevangene het meest positief beïnvloed (weg wilden uit het criminele circuit) werd door de lessen. Al deze voorbeelden werden gebruikt om de mechanismen en contexten te ontdekken, die invloed hadden op de uitkomst. Uit de informatie van de docenten van de lessen/cursussen werden verschillende hypothesen opgesteld. Er werd een totaal van 50 verschillende variabelen gevonden die van invloed waren.

Fase 2: met behulp van de 50 variabelen uit de eerste fase is er een kwantitatieve studie opgezet. Deze had als doel om te kijken welk type gevangene en welk type onderwijs/cursus zorgde voor minder recidive. Om dit kwantitatief te kunnen berekenen werd er gebruik gemaakt van een bestaande voorspeller, de SIR (kijkt o.a. naar bijvoorbeeld leeftijd waarop de gevangene voor het eerst werd veroordeeld). Met behulp van de mechanismen wordt er gekeken of het recidive is afgenomen bij degene die meededen aan cursus in vergelijking met de score die ze halen op de SIR (dus een voorspelde score van recidive van de gevangene als hij niet mee had gedaan aan het onderwijs/cursus). Het resultaat was een verbetering van 29%. Dit is heel positief, maar geeft niet aan waarom het onderwijs effect heeft. Het verschil zit dus in de context, dwz type onderwijs en type gevangene. Om dit uit te zoeken werden er verschillende onderdelen gemeten (waaronder GPA score, aantal behaalde punten in het onderwijs etc.) en de recidive na 3 jaar. Op deze manier hoopten de onderzoeker te kunnen achterhalen welke elementen van belang zijn. Op pagina 112 staat het hele schema.

Pawson beschrijft 2 CMO configuraties die weergeven welke context en mechanisme leiden tot een lage recidive:

1. Context: gevangenen die nauwelijks onderwijs gehad hadden en die een zogenaamde ‘nadelige’ achtergrond hadden.

Het mechanisme: de gevangene heeft een gemiddelde mate van betrokkenheid en succes met het volgen van onderwijs en deze triggeren een gevoel van zelfrealisatie en sociale acceptatie bij de gevangene.

De uitkomst: laagste cijfers recidive in vergelijking met die ze zouden hebben op de SIR.

2. Context: gevangenen die de meeste tijd in zwaar beveiligde gevangenissen verblijven en een ‘criminele’ achtergrond hebben.

Het mechanisme: hoog niveau van betrokkenheid en succes bij de lessen. Deze triggeren gevoelens van zelfreflectie bij de gevangene.

Uitkomst: laagste cijfers recidive in vergelijking met die ze zouden hebben op de SIR.

Conclusie

Er zijn drie belangrijke onderdelen/themas bij de realistische onderzoeksstrategie:

1. Door deze methode wordt er meer kennis opgedaan welke onderdelen precies zorgen voor veranderingen (de mechanismen) in de uitkomst.

2. Realistische onderzoeksstrategie verhoogt het inzicht in het belang van de context waardoor er meer kennis in welke omstandigheden de mechanismen tot werking komen.

3. De uitkomsten kunnen zo beter voorspelt worden doordat het mechanisme en de context bekend is.

Hoofdstuk 6 - How to construct realistic data: utilizing stakeholders knowledge

Evaluatie onderzoekers moeten met mensen praten om data te verzamelen. Onderzoekers moeten er dus over na denken hoe ze de vragen gaan stellen en aan wie ze die gaan stellen. Ten aanzien van interviews blijft de keuze vaak beperkt tot het kiezen tussen een gestructureerd of een ongestructureerd interview.

In dit hoofdstuk wordt er ingegaan op de constructie van de dataverzameling bij een realistische evaluatie. De realistische verklaring van programma’s heeft betrekking op het begrijpen van diens mechanisme, context en uitkomst. Het betreft dus een grote hoeveelheid aan informatie die zowel betrekking heeft op het proces als de uitkomsten van beleid. Het is onmogelijk om deze informatie te verzamelen met enkel een gestructureerd of enkel een ongestructureerd interview.

Maakt dit dat Pawson en Tilley pragmatische pluralisten zijn? Nee. De pluralisten zijn van mening dat gestructureerde methoden goed zijn voor het meten van uitkomsten en dat ongestructureerde methoden goed zijn voor het begrijpen van de achterliggende redenen. Volgens pluralisten zijn beiden methoden nodig en dus wordt er gekozen voor een semi- gestructureerde methode met een multi-methoden aanpak. Pawson en Tilly vinden het pluralisme en deze redenering slecht omdat:

1. Het pluralisme pakt van verschillende kanten iets, maar dit levert verschillende vragen op. Hoe kan je bijvoorbeeld kwantitatieve gegevens vergelijken met kwalitatieve interviews, ook al hebben ze hetzelfde onderwerp?

2. Er zijn geen duidelijke richtlijnen waardoor je niet weet wanneer je moet stoppen met bijvoorbeeld data verzamelen.

De dogmatische puristen en de pragmatische pluralisten delen dezelfde mis perceptie over het doel van interviewen. Het gestructureerde- , het informele- , het open einde- , het semi- gestructureerd- en het Multi methode- interview zijn allemaal een door data gedreven methoden. Volgens Pawson en Tilley moet de dataverzameling theorie gedreven zijn: de theorie van de onderzoeker is het onderwerp van het interview en de geïnterviewde is er om deze theorie te bevestigen, te falsificeren en te verfijnen.

Oud antagonisme

‘Praten’ is goedkoop en dit is waarschijnlijk een van de redenen waarom evaluatoren deze methode gebruiken om mee te onderzoeken. Er wordt even terug gegaan naar de strijd tussen ongestructureerde en gestructureerde interviews.

Het idee achter het formele gestructureerde interview is dat een simpele stimulus leidt tot reacties van subjecten. Het gebruik van een gelijke stimulus (vragenlijst met antwoord categorieën) en omgeving draagt bij aan het goed kunnen vergelijken van de data. De onderzoeker begint met het maken van een theorie over de informatie die nodig is van de subjecten, deze worden geoperationaliseerd in vragen en antwoord categorieën. Het interview wordt gehouden en ten slotte worden de antwoorden geanalyseerd om een goed beeld te krijgen van de situatie. Op deze aanpak kan worden aangemerkt dat het ‘idee’ van de onderzoeker wordt opgelegd aan de geïnterviewde doordat diens antwoorden gelimiteerd zijn tot antwoord categorieën die bedacht zijn door de onderzoeker. In dit geval zit er dus een verschil tussen het onderwerp van het interview (verzonnen door de onderzoeker) en de gedachten of ideeën van de geïnterviewde. Door vragen te stellen met antwoord categorieën is er weinig ruimte voor interpretatie. Dit kan er toe leiden dat de antwoorden verkeerd worden geïnterpreteerd.

Bij een ongestructureerd (kwalitatief) interview komt het onderwerp van het interview overeen met de gedachten of ideeën van de geïnterviewde. Tijdens het verzamelen van data moet de juiste setting gecreëerd worden. De onderzoeker geeft minimale sturing tijdens het interview en past de brede onderwerpen aan per respondent. Het idee is dat wederzijds begrip de uitwisseling van ideeën bevorderd. De onderzoeker haalt tijdens de analyse de belangrijke onderwerpen eruit en analyseert die. De kritiek op deze methode is dat in elke situatie er andere gegevens worden verzameld en het moeilijk is om de gegevens te vergelijken. Onderzoekers worden ervan beticht de informatie zo te interpreteren/begrijpen, zodat de informatie het beste past in de setting. De theorie van de onderzoeker is nooit duidelijk voor de geïnterviewde en deze wordt pas duidelijk bij het onderzoeksrapport.

De twee tegenstrijdige vormen van interviewen komen voort uit grotere antagonismen, namelijk die tussen het positivisme en relativisme. Pawson en Tilly zijn van mening dat je van verschillende stromingen wat kunt pakken afhankelijk van datgene wat beste bij je onderzoek past. Dit is dus een soort van pluralisme. De vraag is nu wat voor soort pluralisme. Vervolgens wordt er een tweedeling gemaakt. Pluralisme als toolkit hauling en pluralisme als toolkit selecting. Bij toolkit hauling wordt gestreefd naar een meer allesomvattende methode van onderzoek waarin alle methoden voor dataverzameling gebruikt worden. Bij toolkit selecting wordt ernaar gestreefd om de juiste methode van dataverzameling te koppelen aan een onderzoek. Volgens Pawson en Tilley wordt er tegenwoordig te veel nadruk gelegd op de eerste vorm van het pluralisme. Het is niet meer voldoende om te zeggen dat er een bepaalde combinatie nodig is van ongestructureerde en gestructureerde methoden. Een combinatie kan immers alles betekenen. De combinatie van kwalitatieve en kwantitatieve dataverzameling zou iets meer moeten bieden dan bewijs, maar moet ook ruimte geven voor uitleg van volledigheid, synthese of sluiting. Een ander kritiek punt van Pawson en Tilley op het pluralisme is dat het hele lange lijsten maakt van potentiële betrokkenen (stakeholders) met het idee dat alle visies vertegenwoordigd moeten worden in de evaluatie. Dit zou echter gemakkelijk kunnen leiden tot een te grote hoeveelheid aan informatie.

We zitten vast met een combinatie van twee logische methoden die in de twee figuren zijn weer gegeven (blz.156, 157). Het pluralisme is geen nieuwe manier om data te verzamelen, geeft geen nieuwe ideeën om de informatie tussen onderzoeker en respondent te kanaliseren en biedt inderdaad geen nieuw systeem voor kennisopbouw/constructie. Volgens Pawson en Tilley kun je alleen als je precies weet wat je gaat onderzoeken een passende methoden kiezen. Ze pleiten voor een theorie gedreven dataverzameling.

Wie weet wat

Tijdens het interview is de theorie van de onderzoeker het onderwerp van gesprek. Het doel is om deze theorie te falsificeren, te bevestigen of te verfijnen. Dezelfde ingrediënten (mechanisme, context en uitkomst) worden gebruikt voor een nieuwe denkwijze over dataverzameling. De belangrijke vragen zijn wie weet wat? En hoe gaan we dit vragen? Programma’s zijn eigenlijk complexe sociale organisaties met een verdeling in taken. Er wordt dus een verdeling in expertise gemaakt. Er wordt een onderscheid gemaakt tussen uitvoerders, subjecten en evaluatoren.

1. Subjecten: Kunnen veelal informatie geven over de werking van het mechanisme (m) binnen een programma gezien zij het programma ondervonden hebben. De mechanismen zorgen voor redenen en middelen die deelnemers aanmoedigen om te veranderen om deze reden zijn subjecten in de juiste positie om te bepalen of ze zich daadwerkelijk ook aangemoedigd hebben gevoeld.

2. Uitvoerders: Zij vertalen de programmatheorie naar de praktijk en worden als grote informatiebron gezien. Ze kunnen heel goed het programma hebben aangepast om het beste uit bepaalde subjecten te krijgen. Zo komen specifieke ideeën boven water over wat er precies werkt in het programma (m). Het is ook aannemelijk dat ze successen en mislukkingen hebben meegemaakt (uitkomsten ofwel outcome), en dat ze dus kennis hebben van de mensen en plaatsen (context) voor wie en waarvoor het programma is ontwikkeld. Wat we niet kunnen verwachten van de uitvoerders is dat ze weten wat voor wie werkt in welke omstandigheden ofwel de CMO configuraties die in verband staan met het project. Dit komt omdat uitvoerders een persoonlijke werkrelatie aangaan met subjecten en hierdoor moeilijk kunnen abstraheren naar deze CMO configuraties.

3. Evaluatoren: Ze brengen theorie en programma’s samen. Deze theorie kan nog heel klein zijn of juist heel goed ontwikkeld, maar (in de veronderstelling dat ze realistisch zijn) beginnen ze de verwachting dat het programma zal bestaan uit een reeks van de CMO-configurations.

Ieder van deze drie kan elkaar wat leren en Pawson en Tilley spreken van een teacher-learner interview. Eerst wordt echter ingegaan op de term ‘knowledgeability’. Deze term is afkomstig van Giddens en houdt in dat mensen altijd verstand hebben van hun eigen redenen. Zo weten de gevangenen in het voorbeeld op blz. 162 tot op een bepaalde hoogte de resultaten/uitkomsten van hun leven (uitkomsten), de bijdrage van hun culturele verleden en omgeving (context) en boven alles hun eigen redeneringen (mechanismen) om te komen tot bijvoorbeeld diefstal. Daarentegen is het zelfbegrip van mensen niet compleet. Zo komt Giddens met de termen ‘unacknowledged conditions of actions’ en ‘unintended consequences of action’. Er kan dus sprake zijn van niet erkende condities of onbedoelde gevolgen van acties. Hiermee wordt bedoeld dat een gevangene bijvoorbeeld zich wel bewust is van de redenen waarom hij deelneemt aan een educatie programma, maar dat dit niet betekent dat hij zich bewust is van zijn achtergrondkenmerken (leeftijd, crimineel verleden e.d.) die het meer waarschijnlijk maken dat hij deelneemt. Daarbij hoeven de redenen van de gevangene om deel te nemen (verveeldheid) nog niet overeen te komen met de uitkomsten of gevolgen (meer academische interesse, meer vrienden e.d.). Een individu kan dus bijna nooit zich helemaal bewust zijn van de structurele condities die ten grondslag liggen aan een actie of de hele set van potentiële gevolgen van die actie.

Het is de taak van de onderzoeker om een verklaring/theorie te ontwikkelen die zowel de redenering van de subjecten omvat als dit in een breder kader kan plaatsen omdat subjecten dit zelf niet kunnen. Om deze reden moet er niet enkel een verdeling van expertise gemaakt worden maar moet er ook een hiërarchische verdeling in worden aangebracht. Hierbij staat de onderzoeker aan de top en vormt de theorie het uitgangspunt. In het realistische model is niet het oneindig verzamelen van ideeën, overtuigingen en verwachtingen van stakeholders over het programma de taak, maar is het van belang om te laten zien welke aspecten van deze ideeën, overtuigingen en verwachtingen relevant zijn voor de CMO configuratie die getest wordt zodat de respondent kan bijdragen aan deze test. Het subject is de expert als het gaat om het mechanisme terwijl de onderzoeker de expert is als het gaat om de CMO configuratie gezien hij het individuele niveau overstijgt.

Het realistische interview

Op blz. 165 is een model weergegeven die de informatiestroom tussen de onderzoeker en de geïnterviewde aantoont volgens een realistische visie. Deze benadering is mede realistisch omdat er wordt verwacht dat de respondenten meer zijn dan alleen machines en dus ook expert zijn op bepaalde gebieden. Het model legt twee verborgen functies bloot. De teacher-learner function en het conceptual refinement process. In het model vormt het bovenste gedeelte de teacher-learner function en vormt het onderste gedeelte het conceptual refinement process. Voordat dit wordt uitgelegd wordt er eerst verteld waarom dit anders is dan een gewoon interview model.

Het model herinnert aan het orthodoxe interviewmodel waarbij de onderzoeker de vragen stelt en het subject antwoord. Hier komt de teacher-learner function om de hoek kijken. Pawson en Tilley stellen de houding ter discussie waarin feitelijke vragen worden gesteld en het subject antwoord geeft. Want hoe weten we dat de onderzoeker en geïnterviewde het over hetzelfde hebben? Volgens het gestructureerde interview moet je je houden aan precieze vragen en een goede operationalisering. Volgens Pawson en Tilley blijft de formulering van de vraag wel belangrijk in een interview, maar is een geoperationaliseerd begrip zelden voldoende om het subject te leiden naar het onderliggende onderwerp van de onderzoeker (de CMO configuraties). Vaak worden geïnterviewde in het ongewisse gelaten ten aanzien van de bedoelingen van het interview. Wat Pawson en Tilley adviseren is dat de onderzoeker meer een leraarsrol aan moet nemen ten aanzien van de geïnterviewde zodat deze op de hoogte wordt gebracht van de veronderstelde conceptuele structuur (CMO configuratie). Vervolgens kan de geïnterviewde feedback terug geven ofwel zijn bevindingen ‘leren’ aan de onderzoeker. Vaak vertonen geïnterviewde een soort van zoekgedrag naar de bedoelingen of hypothesen van het onderzoek. In de realistische benadering wordt hier rekening mee gehouden. Het is volgens Pawson en Tilley de kunst om het niet te minimaliseren (zoals in een gestructureerde benadering) of te ontwijken (zoals in een ongestructureerde benadering) maar om het te gebruiken. Je wilt als interviewer dan hebben dat de geïnterviewde denkt: ja, ik snap welke theorieën je aan het onderzoeken bent, ik snap wat je ideeën zijn en als ik deze op mij toepas komt ik tot het volgende antwoord: ….

Door goede vragen te stellen wordt er ruimte gegeven om goed na te denken over het onderwerp en meer diepgang te creëren. De interviewer helpt om de ondervraagde de juiste formulering te geven om te komen tot wat er daadwerkelijk wordt bedoeld. Dit is het moment waar de conceptual refinment function om de hoek komt kijken. Dit proces is bedoeld om de gedachtewereld van de participanten te achterhalen ofwel hoe subjecten keuzes maken in relatie tot het programma.

De ‘keypoint’ van het conceptual refinement strategy is dat respondenten hun eigen gedachten kunnen uiten waardoor de onderzoeker zijn eigen theorie eventueel kan bijstellen. De onderzoeker heeft vragen die over het algemeen zullen gaan over het gebied waarin de subjecten keuzes maken. De respondent zijn taak is om het eens te zijn, niet eens te zijn en om zichzelf te categoriseren in relatie tot de voorkeuren en houdingen die voorkomen in dergelijke vragen. Daarnaast zouden ze hun eigen conceptuele basis moeten kunnen aanpassen. Kort gezegd: Pawson en Tilley stellen een formule voor om vragen te stellen over de houding van respondenten waarna respondenten een formele beschrijving wordt aangeboden over hun eigen denkwijze. Hierna hebben ze de mogelijkheid om dit te verklaren en uit te leggen.

Het hele idee van een realistisch interview zou je zo kunnen samenvatten als het denkproces in beeld krijgen van de geïnterviewde.

Op naar actie en woorden

Pawson en Tilly willen er eerst op wijzen dat de hier boven beschreven modellen van het realistische interview niet zijn bedoeld om het bestaan van enkelvoudige technieken te impliceren die ‘voldoende’ zijn. Ten tweede doet bovenstaand model denken aan vignettes waarbij een verhaal/situatie geschetst wordt met de beleidstheorie erin verweven en gevraagd wordt aan de respondent om hierop te reflecteren. Het doet ook denken aan pilot interviews waarbij gevraagd wordt om bepaalde vragen te beantwoorden maar boven alles ook te zeggen wat je denkt. De eigenlijke vorm van het interview zal afhangen van het precieze stadium van de theorie vorming of het testen van welke theorie vorming is bereikt.

In dit hoofdstuk worden twee voorbeelden gegeven.

Het eerst interview gaat over een onderzoek wat Pawson heeft uitgevoerd. Hij heeft interviews afgenomen bij gevangenen die een kleinschalig gevangenis onderwijs project volgden bij HMP Full Sutton, UK. Er wordt uitgelegd hoe de interviews tot stand zijn gekomen en voorbeelden gegeven over hoe de vragen gesteld zijn en wat de antwoorden waren.

In het tweede voorbeeld wordt beschreven hoe het interview uitgevoerd is als onderdeel van een lopende evaluatie van een programma dat probeert de misdaad tegen de kleine bedrijven te verminderen in twee gebieden in Midland. Dit interview was gebaseerd op de assumptie dat als ze dit initiatief zouden uitvoeren dan zouden de uitvoerders nog meer gedetailleerde ‘folk theories’ tegen komen over welke aspecten van het programma (bepaalde anti-inbraak apparaten, bepaalde adviezen) precies in het oog springen met betrekking tot welke fysieke, sociale en culturele contexten.

De onderzoekers hebben geprobeerd de CMO theorie toe te passen. Het interview is afgenomen volgens het Teacher- learner patroon. Er zijn 4 fragmenten waarin ze laten zien wat de realistische evaluator doet bij het stellen van de vragen. De interviewers zijn Pawson en Tilly. Al die fragmenten kunnen gebruikt worden om een CMO Configuratie op te bouwen.

Ze laten zien dat de aanpak van een ogenschijnlijk eenvoudig probleem te maken heeft met een grote hoeveelheid aan theorie dat begrepen moet worden voordat de aandacht verplaatst kan worden naar de eventuele adequate uitkomst patronen.

Conclusie

In het pleiten voor het realistische interview als een dataverzameling methode met een algemeen nut voor evaluatie onderzoek, moet er duidelijk worden gemaakt dat het niet om specifieke interviewtrucjes gaat of vistechnieken. Het idee is niet alleen het stapelen van gegevens of een set van houdingen om verklaringen te krijgen. Waar het eigenlijk om gaat is de informatie stroming zoals op blz. 165. De sleutel is het creëren van een situatie waarin de theoretische en conceptuele structuren in onderzoek open kunnen worden gelegd voor inspectie zodat de respondent in staat is om een geïnformeerde en kritische bijdrage te leveren. Veel meer kan worden gezegd over de vraag wanneer, waarom en voor wie men de aanpak aan zou passen. Hier wordt alleen maar benadrukt dat de strategie een zeer specifieke en zorgvuldig geplande route is, die tussen de kwantitatieve en kwalitatieve tradities in staat. Pawson en Tilly zijn het er over eens dat de cyclus van realistische evaluatie voldoet aan de oude wetenschap. Ze zeggen dat een realistische evaluatie zowel met kwalitatieve als kwantitatieve data verzameling uitgevoerd kan worden. Wat innovatief is aan de methode is dat de verwerving van kennis wordt gedomineerd door een georganiseerde ontwikkeling van realistische stellingen die mechanismen, contexten en resultaten aan elkaar linken. Zo is het ook met het verzamelen van gegevens. Pawson en Tilly geven bij het uitvoeren van een realistische evaluatie nog steeds de voorkeur aan de ouderwetse methoden van wetenschap. Dit alles kan worden verwezenlijkt als het onderzoek is georganiseerd rond de ontwikkeling van de CMO configuraties.

Hoofdstuk 7 - No smoking without firing mechanisms: a realistic consultation

Dit hoofdstuk bestaat uit een fictieve dialoog om te laten zien dat een realistische evaluatie ook te gebruiken is voor andere zaken dan voor de voorbeelden (voornamelijk rondom gevangenen) die eerder zijn gebruikt. Dit voorbeeld gaat over een programma die het stoppen met roken wil bevorderen. Het hoofdstuk is geschreven in de vorm van een dialoog. Hieronder wordt een samenvatting gegeven van de dialoog.

Aan de dialoog nemen drie mensen deel:

• Emma Bluestocking: werkt voor de lokale GGD.

• Andrew Tissle: onderzoeker in evaluatieonderzoek voor de gezondheidszorg.

• Frank Candour: professor evaluatie studies.

Emma Bluestocking is op zoek naar een manier om het aantal rokers te verminderen. Er zijn al diverse onderzoeken en evaluaties geweest en dit leidt tot frustratie bij haar. Ze weet niet welk programma het meest effectief is. Andrew Tissle komt met het voorbeeld van het antirook project COMMIT, maar deze had niet de verwachte resultaten. Frank Candour geeft de suggestie dat de variatie in mensen een rol zou kunnen spelen in de uitkomst van COMMIT. Hij geeft namelijk aan dat programma’s altijd werken voor een bepaalde groep en dat de kunst is om uit te zoeken welke groep dat precies is.

Andrew Tissle gaat verder over de manier waarop het project geëvalueerd is, namelijk met behulp van enquête, waarin gevraagd werd of men wel of niet meedeed aan het project. Volgens Frank Candour is dit niet de juiste manier, je moet er namelijk achterkomen waarom een project werkt, en je moet daarom het beredeneerproces van de deelnemers zien te ontdekken. Daarnaast speelt de context van de deelnemers een grote rol. Frank Candour geeft aan dat als COMMIT bij andere mensen werd uitgevoerd dat er ook andere resultaten zouden zijn.

Andrew Tissle komt met andere voorbeelden, namelijk één uit Verenigd Koninkrijk en één uit Noorwegen. Het verschil in beide campagnes is dat in Verenigd Koninkrijk tabakreclame legaal is, terwijl er in Noorwegen een verbod is. Frank Candour kan niet zeggen of het verschil in context een oorzaak is, maar zegt dat als je dit wilt weten, theorie nodig hebt. Theorie kan namelijk het programma effectiever maken. Het falen van COMMIT en het project in Noorwegen kan te wijten zijn aan het gebrek aan theorie die verklaarde wat de verwachting was van de maatregelen, welke impact ze moeten hebben, welke groepen en welke condities hier bij horen. Candour geeft uitleg over de CMO (context-mechanisme-outcome) configuraties. Hij geeft een voorbeeld van het betrekken van huisartsen bij de antirookcampagnes. Andrew Tissle geeft aan dat er verschillende meta-analyses zijn uitgevoerd over de invloed van huisartsen bij antirookcampagnes, maar het ‘verlossende’ antwoord is nooit gevonden. Volgens Candour komt dit omdat er nooit is gekeken naar welke boodschappen aankomen bij welke doelgroepen. De theorie hierover bestaat uit een aantal kleine hypotheses en de taak van de evaluator is om deze systematisch te testen. Andrew Tissle wil weten hoe dit concreet eruit moet zien voor een antirookcampagne.

Candour zegt dat je dus wilt dat het aantal rokers vermindert en je wilt dit bereiken door het maximaliseren van de gezondheidswaarschuwingen mechanisme door een vonkje aan te steken bij de doelgroep in de juiste context waar dit het meeste effect zal hebben. Dit uit zich het beste in drie á vier kleine campagnes en niet met behulp van één grote campagne. Om tot de juiste CMO configuraties te komen is het heel belangrijk om bij veel verschillende mensen, artsen, beleidsmakers, ex-rokers etc., informatie te verzamelen zodat je weet in welke omstandigheden en bij welke mensen bepaalde maatregelen het beste werken.

Hoofdstuk 9 - The new rules of realistic evaluation

Dit hoofdstuk is een korte herhaling van alle andere hoofdstukken. Evaluatie valt onder het toegepaste onderzoek en ondanks dat Pawson en Tilley het voortdurend hebben over het invoeren van theorie is het construeren van theorie nooit een doel geweest. Het gaat om het ontwikkelen van een theorie over uitvoerders van een programma, participanten en beleidsmakers en wat dit realistische evaluatie kan doen voor beleid en programma’s.

Er zijn 8 regels, elk concept wordt in verband gebracht met een bijbehorende regel. Methodologische regels zijn echter voortdurend onderhevig aan verfijning.

Regel 1 Generatief oorzakelijk verband

• Evaluatoren moeten begrijpen hoe en waarom sociale programma’s de potentie hebben om veranderingen teweeg te brengen.

Oorzakelijke verbanden moeten niet extern begrepen worden, het is dus niet de basis taak om hypothesen te maken over of om de constante werking te demonstreren tussen programma X en uitkomst Y. De verandering die van binnen uit wordt veroorzaakt door sociale interventies zouden van binnen uit bekeken moeten worden omdat de onderliggende causale kracht van individuele of gemeenschappen worden dan bloot gelegd. Het zijn de stakeholders die er voor zorgen dat een programma gaat werken.

De capaciteit van verandering van natuurlijke en sociale verschijnselen kan alleen worden geactiveerd in de juiste omstandigheden. De evaluator moet begrijpen dat er aan bepaalde voorwaarden moet worden voldaan voordat de causale werking van het programma kan werken. Daarnaast moet de evaluator controleren of er in de praktijk aan deze voorwaarden is voldaan.

Regel 2 ontologische diepte

• Evaluatoren moeten doordringen onder het oppervlakte van waarneembare input en output van een programma om dit boven water te halen.

De sociale realiteit is gestratificeerd. Hetgeen we kunnen zien, wordt geproduceerd door onderliggende krachten die we misschien niet kunnen zien. Interventies zijn altijd ingebed in individuele, institutionele en sociale processen. Programma’s en de uitkomsten van programma’s worden dus gegenereerd door bepaalde micro en macro (sociale) krachten. Bij programma evaluatie moet begrepen worden hoe de veranderingen geïntroduceerd, geïnformeerd en gewijzigd worden om de balans van de beperkte keuzes van participanten te begrijpen.

Regel 3 mechanismen

• Evaluatoren moeten zich focussen op hoe causale mechanismen, die sociale en gedragsproblemen genereren, verwijderd of tegengegaan kunnen worden door een alternatieve causaal mechanisme te introduceren in een sociaal programma.

Realistisch evaluatoren zoeken naar het begrijpen waarom een programma werkt en de acties van mechanismen. Mechanismen refereren naar keuzes en capaciteiten die leiden naar patronen van sociaal gedrag. Programma’s zijn vaak sociale ontmoetingen.

Regel 4 context

• Evaluatoren moeten de context begrijpen waarin welke problematische mechanismen zijn geactiveerd en welke programma mechanismen succesvol ingezet kunnen worden.

Realistische evaluatoren zoeken naar het begrijpen ‘van wie en onder welke omstandigheden’ een programma werkt door de studie naar contextuele condities. Subjecten zullen alleen reageren op de middelen en de keuzes die geboden worden door een programma als ze worden aangeboden in een bevorderlijke setting. De omgeving is heel belangrijk met de bijbehorende normen en waarden. Net zoals er vaak meerdere mechanismen aanwezig zijn, zijn er ook meerdere contexten aanwezig in een programma. Een ander belangrijk aspect is om de mensen en situaties te identificeren voor wie het programma werkt door te kijken naar succes- en faal- cijfers van verschillende subgroepen en participanten binnen het programma en tussen programma’s.

Regel 5 Uitkomsten

• Evaluatoren moeten begrijpen wat de uitkomsten van een initiatief zijn en hoe deze zijn geproduceerd.

Uitkomsten vormen de sleutel voor de realistische evaluatie in elke aanbeveling. Programma’s kunnen niet worden begrepen als op zichzelf staande gehelen. Meerdere mechanismes hebben verschillende effecten op verschillende participanten in verschillende situaties. Er worden zo meerdere uitkomsten geproduceerd. Realistische evaluatoren onderzoeken dus uitkomst patronen in een theorie-testende rol. Uitkomsten zijn niet alleen om te kijken of het programma werkt, maar moeten ook geanalyseerd worden om te ontdekken of de theorie (CMO configuraties) bevestigd wordt.

Regel 6 CMO configuratie

• Om een overdraagbare en cumulatieve les uit onderzoek te ontwikkelen, hebben evaluatoren het nodig om zich te oriënteren op context-mechanismen-uitkomst patronen (CMO configuraties)

Een CMO configuratie is een propositie over wat maakt dat een programma werkt voor wie en in welke omstandigheden. De verwachtte CMO configuraties zijn het startpunt voor een evaluatie en de verfijnde CMO configuraties zijn de uitkomst van een realistische evaluatie. Realisten weten dat hetzelfde programma in verschillende omstandigheden andere uitkomsten kan hebben. Een realistische evaluator zal niet snel interventies dupliceren maar zal meerdere studies eerder zien als een kans om zich te focussen op de CMO configuraties om deze te verfijnen en aan te passen voor een locale situatie.

Regel 7 Teacher-learner proces

• Om de context-mechanismen-uitkomst verklaringen te construeren en te testen op patronen moet de evaluator ook een leraar-leerling relatie aangaan met programma makers, uitvoerders en participanten.

Deze stakeholders kunnen het programma begrijpen van binnen uit en ze zijn dus erg belangrijke informanten voor het onderzoeksproces. Omdat programma’s verankerd zijn in een diversiteit van individuele en institutionele krachten wordt het begrip van stakeholders wel gelimiteerd. De evaluator dient dus alert te zijn op deze onbedoelde consequenties en onderkende condities. In deze fase wordt er ook een verdeling in expertise gemaakt in combinatie met een leraar-leerling relatie. Het onderwerp van het gesprek zijn de CMO configuraties en het doel is om deze te verfijnen gedurende een proces van lesgeven en leren.

Regel 8 open systeem

• Evaluatoren moeten erkennen dat programma’s geïmplementeerd worden in een veranderende sociale wereld en dat de effectiviteit van een programma kan veranderen door onverwachte nieuwe contexten of causale krachten.

Het gaat om de veranderende omgeving van sociale programma’s waardoor een empirische afsluiting vaak moeilijk wordt. Stakeholders leren altijd van hun ervaringen met een interventie en onverachte contexten kunnen een ‘bewezen’ CMO configuratie altijd bedreigen. Een CMO configuratie is dus net als de sociale wereld onderhevig aan verandering.

Op pagina 220 staat nog een schema: een overzicht van realistische evaluatie.