Deze samenvatting is gebaseerd op collegejaar 2012-2013.

A. Inleiding

Dagelijks leven
Evalueren doen we overal en altijd. We vragen ons bijvoorbeeld af of een product het geld wel waard was en of het eten goed heeft gesmaakt. Als je dat doet, geef je een waardebepaling aan datgene wat je evalueert. Deze evaluaties gaan vrij automatisch, maar in het wetenschappelijk onderzoek ligt dat iets ingewikkelder. Toch is evalueren van groot belang om te informeren, legitimeren en te controleren. Factoren die het lastig maken om te evalueren zijn de complexiteit, de media en weerstand vanuit de overheid.

Onderzoek
Om goed wetenschappelijk te evalueren zijn er verschillende aspecten nodig:
1. Duidelijke probleemstelling
2. Afgebakend onderwerp
3. Systematische dataverzameling en daaruit volgend een analyse
4. Rapport met antwoord op de probleemstelling
Hierbij zijn de reguliere eisen aan een wetenschappelijk onderzoek, zoals controleerbaarheid en transparantie ook van toepassing.
Theorie of praktijkgericht?
Bij theoriegericht onderzoek gaat het vooral om beschrijven, verklaren en begrijpen van bepaalde verschijnselen. In praktijkonderzoek gaat het over het verkrijgen van kennis die direct toepasbaar is. Praktijkgericht onderzoek is er op gericht om de werkelijkheid te beïnvloeden en dingen te veranderen. Evaluatieonderzoek is vooral praktijkgericht: als er een goede evaluatie heeft plaatsgevonden, kunnen er dingen aan de werkelijkheid worden gewijzigd of andere maatregelen worden getroffen. Bij evaluatieonderzoek wordt sturing gegeven aan instanties en verantwoording afgelegd. Veel interventies werken alleen als de doelgroep er nauw bij betrokken wordt. Voor het evaluatie onderzoek is vooral het verzamelen en analyseren van rapporten van belang. Daarin wordt meestal ook intensief met de doelgroep samengewerkt.

Interventie
Met een interventie wordt een beleidsingreep bedoeld. Deze beleidsingreep moet goed afgebakend zijn, om in de evaluatie te kunnen zien wat wel en wat niet tot de interventie behoort. Verder moet duidelijk zijn wie de interventie toepast en uitvoert en wat de doelgroep van de interventie is. Meestal probeert de overheid met een interventie het gedrag van mensen te beïnvloeden. Dit kan op verschillende niveaus: micro-, meso- en macroniveau. Als er op microniveau wordt beïnvloed, zijn er maar een paar personen bij betrokken. Een voorbeeld hiervan is het uit huis plaatsen van een kind. Bij interventies op mesoniveau gaat het vooral om beleidsingrepen binnen organisaties, zoals het geven van een cursus. Bij interventies op een nog hoger niveau, (inter)nationaal, hebben we het over macroniveau. Grootschalige campagnes, werkgelegenheidsprogramma's en het studiebeurzen beleid van de overheid zijn hier voorbeelden van.
Effecten
Het doel van interventies is bepaalde effecten bereiken: veranderingen in scores op de doelvariabelen. Een doelvariabele is bijvoorbeeld een percentage van mensen met een ziekte die effectief geholpen is na de interventie. Doelvariabelen kunnen ook onderling concurreren. Als ziekenhuizen bijvoorbeeld meer patiënten per jaar willen helpen, is er de kans dat ze alleen de makkelijk behandelbare patiënten helpen en de moeilijkere doorverwijzen naar een andere instantie. Zo wordt wel het doel bereikt, maar de vraag is of dit op deze manier gewenst is. Het vaststellen van effecten van interventies wordt soms gedaan met een gedragswetenschappelijk of medisch experiment. De meest voorkomende vorm is het verdelen van de groep volgens toeval in een experimentele groep en een controle groep. Bij een goed experiment is er zowel een voor- als een nameting. Deze methode is vaak goed, maar soms niet nodig. Bij de beantwoording van vrij eenvoudige vragen is het soms niet nodig om een tijdrovend experiment op te zetten en uit te voeren. Bij sommige vragen is het alleen nodig te weten hoe tevreden mensen zijn, bijvoorbeeld. Om dit soort vragen te kunnen beantwoorden kunnen er beschrijvingen worden gegeven via monitoring. Dit houdt in dat er een periodieke evaluatie is. Ook auditing is een mogelijkheid om betrekkelijk makkelijke vragen te beantwoorden; dit is een cijfermatige weergave in de sfeer van de accountancy. Bij moeilijke vragen is het wel handig om een experiment te hebben, omdat er een voor en nameting bij nodig is. Als het experiment eenmaal gedaan is en de resultaten binnen zijn, worden de effecten afgezet tegen de eerder beschreven doelstellingen. Hierbij is het belangrijk dat de doelstellingen concreet zijn gemaakt, zodat er goed bekeken kan worden of het effect daadwerkelijk bereikt is.
Complicaties
Bij het doen van evaluatieonderzoek zijn er ook moeilijkheden, omdat verschillende aspecten het evalueren gecompliceerd maken. Als eerste is er het probleem dat een interventie in een bepaalde context werkt. Dit houdt in dat je niet enkel de interventie evalueert, maar ook een stuk context meeneemt. Bij een interventie zijn er altijd verschillende actoren betrokken. De belangengroepen hebben allemaal hun eigen doelstellingen en verwachtingen. De uitvoerders van de interventie verschillen van mening met de uitvinders van de interventie. De onderzoeker moet dus goed in de gaten houden of de context de doelvariabelen beïnvloedt en in welke context de interventie het best werkt.

Als tweede heeft een interventie altijd onbedoelde of neveneffecten. Soms zijn deze niet voorzien, ze kunnen negatief, positief en neutraal zijn. Een bekend neveneffect is cream-skimming: de doelgroep wordt beïnvloed, zodat het makkelijk is om bepaalde doelstellingen te behalen. Dit is ook te zien in het voorbeeld van het ziekenhuis: om zoveel mogelijk mensen te kunnen genezen in een jaar, verwijst het ziekenhuis de moeilijk behandelbare patiënten door naar een andere instelling. Bij cream-skimming wordt het makkelijkst bereikbare dus genomen, de groepen die het meeste kans hebben op succes.

De laatste complicatie is dat er neveneffecten zijn van het onderzoek zelf: evalueren is niet alleen meten, maar ook beïnvloeden. Een voorbeeld is strategisch gedrag. Doordat werknemers bijvoorbeeld bepaalde doelstellingen moeten halen, gaan ze zich alleen hierop richten en laten ze andere belangrijke handelingen schieten. Mensen gaan zich dus doelgericht gedragen. Een nadeel is dat binnen het evalueren soms een overdreven geloof in rapporten en documenten ontstaat. Het grootste nadeel bij het doen van evaluatieonderzoek in de praktijk is dat randomisatie, het indelen volgens toeval, meestal niet kan. Er zijn bestaande groepen, dus er kan geen echt experiment gehouden worden.

Fases
Evaluatieonderzoek is niet alleen onderzoek achteraf, maar er zijn verschillende vormen van evaluatieonderzoek. Het wordt namelijk ook gebruikt voor het plannen of ontwerpen van een interventie. Hierbij gaat het dus om toekomstig beleid en worden er veelbelovende interventies ontworpen. Hierbij gebruikt de onderzoeker aan de ene kant empirisch materiaal en theorieën, maar aan de andere kant moet er creatief nagedacht worden om tot nieuwe interventies te komen. Dit soort evalueren wordt een planevaluatie genoemd. Een ander soort evaluatieonderzoek is de procesevaluatie: lopende interventies kunnen gedurende de looptijd worden aangepast. Hierbij moeten effecten dus continu geëvalueerd worden om tot goede aanpassingen van de interventie te komen. Als evaluatieonderzoek gedaan wordt naar een afgesloten beleid, wordt dit product evaluatie genoemd. Over het algemeen gaat het dan om de vraag hoe succesvol de interventie is geweest. Er is een soort samenhang tussen de evaluaties: eerst een planevaluatie, dan een procesevaluatie en dan een productevaluatie. Deze kunnen dus ook alle drie aan de orde komen bij een bepaalde interventie.
Achtergrond evaluatieonderzoek
Het doen van evaluatieonderzoek komt voor uit drie aspecten van de samenleving: wetenschap, individualisering en democratisering. Door de wetenschap is het mogelijk om objectief een oordeel te vormen. De individualisering heeft er toe geleid dat er steeds meer diensten komen. Om een goed oordeel te kunnen vellen is het noodzakelijk om uitgebreid onderzoek te doen, omdat individuen door de complexiteit niet makkelijk zelf tot een oordeel kunnen komen. De democratisering heeft ertoe geleid dat er onderzoek moet zijn waar alle partijen die bij een interventie betrokken zijn, zeggenschap hebben. In de periode van 1960 tot 1980 kwam het doen van evaluatieonderzoek tot bloei, omdat het gesteund werd door grote wereldwijde projecten. Na 1980 is er een inkrimping door de economische tegenslag en politieke verschuivingen. Er is dan minder belangstelling en budget voor evaluatieonderzoek. Vanaf de jaren '70 is er in Nederland de COBA: Commissie voor de Ontwikkeling van de Beleidsanalyse. Hier wordt echter nog niet veel beleidsevaluatie gedaan. Een belangrijke gebeurtenis in 1987, het Congres van de Vereniging voor Bestuuskunde, zorgde er mede voor dat er meer aandacht kwam voor evaluaties. Nu heeft het een grote plaats verworven binnen veel sectoren.
Boek
Er zijn verschillende oorzaken waarom het boek geschreven is. Als eerste is het boek geschreven omdat er veel evaluatieonderzoek plaatsvindt in Nederland. De kwaliteit hiervan kan nog verbeterd worden, omdat er vaak makkelijk wordt verwezen naar omstandigheden. Als tweede is het boek geschreven omdat er niet voldoende evaluatieonderzoek is. In de zorgsector is het aantal evaluaties beneden de maat, terwijl het zeker in deze sector handig kan zijn. Als derde is het boek geschreven omdat het evaluatieonderzoek op veel verschillende velden plaatsvindt. Als vierde is dit boek er, omdat veel onderzoekers maar raad weten in een bepaald deel van het evaluatieonderzoek.

B. Planevaluatie, Procesevaluatie en Productevaluatie

Voor de evaluatie
De drie soorten evaluatieonderzoek, planevaluatie, procesevaluatie en productevaluatie, kunnen niet van start als de basis niet helder is. Er moet aan drie punten voldaan zijn om het evaluatieonderzoek te kunnen starten:
1. Probleemanalyse: de aard van het probleem, de actoren die ermee te maken hebben en de rest van de omstandigheden.
2. De bestaande situatie. Dit is van belang te weten, omdat je anders geen referentiekader hebt waar naar je kunt meten.
3. De gewenste situatie. Hierbij moeten de doelstellingen geanalyseerd worden die de opdrachtgever met een interventie wenst.
Probleemanalyse
Een interventie wordt ingevoerd omdat de bestaande situatie afwijkt van de gewenste situatie. Er is dus een kloof tussen de huidige situatie en de gewenste situatie. Dit is het probleem. Als de beleidsinstantie over weinig informatie beschikt over dit probleem, is er een onderzoek nodig. Dit is echter kostbaar, dus instanties proberen het te voorkomen. Wanneer het noodzakelijk is, worden de belangrijkste vragen door de onderzoeker beantwoord. Hoe ziet het probleem eruit? Is het al lang een probleem? Wat zijn relevante actoren? Waarom is evaluatie nodig? In de voorfase van het evaluatieonderzoek komen ook alternatieven voor onderzoek naar voren. Soms is dat het herformuleren van doelstellingen of andere instructies geven. Een probleemanalyse wordt gestart als de verwachte kosten minder zijn dan de verwachte baten (informatie). Het is vaak zo dat tijdens een onderzoek de doelstellingen worden herzien, omdat de onderzoeker een frisse blik heeft op de instantie. De onderzoeker stelt verschillende aspecten aan de kaart: de veranderingsplannen, het doelsysteem (complex systeem van mensen in een bepaalde context) en het stadium waarin de interventie zich bevindt.
Problemen bij definiëring
Tijdens een probleemanalyse komt de onderzoeker verschillende problemen tegen, die ervoor zorgen dat het probleem niet makkelijk in kaart te brengen is. Een antwoord op een vraag kan onzekerheid opleveren. Dit kan bijvoorbeeld zijn omdat wetenschappers onderling het niet eens zijn. De vraag is ook welke investering qua onderzoek er in gestopt moet worden. Bij interessante vragen van de opdrachtgever, wordt meestal meer tijd en geld ingestopt van de onderzoeker. Maar soms zijn de zogenaamde onbelangrijke vragen belangrijk om op te lossen, omdat de onderzoeker anders niet verder komt bij de grote, interessante vragen. Een vraag die een onderzoeker ook stelt aan de opdrachtgever is of de boodschap is aangekomen bij de doelgroep.

Sommige vragen zijn makkelijker op te lossen dan andere vragen. Als de overheid bijvoorbeeld een preventieve voorlichtingscampagne houdt op scholen over roken, is het lastig om het effect hiervan te meten. Ook bij banken speelt dit een rol: het melden van een vermoeden van witwassen is verplicht voor een bankmedewerker. Niemand kan echter controleren welk percentage niet gemeld wordt. Bij het evaluatieonderzoek richt de onderzoeker zich dan op de interne gang van zaken: hoe gaan de baliemedewerkers met dit soort dingen om? Wat wordt er gedaan met de meldingen? Moeilijk oplosbare problemen kunnen vervangen worden door makkelijkere problemen: je verschuift van een productevaluatie naar een procesevaluatie.
Relatie onderzoeker - opdrachtgever
Het verloop van de relatie tussen onderzoeker en opdrachtgever kan in verschillende fases worden uitgelegd. De eerste fase is de voorbereidingsfase. Hierin wordt het onderzoek gestart en vinden de onderhandelingen plaats. Ook wordt het onderzoeksplan helder en de onderzoeker krijgt een duidelijke opdracht van de opdrachtgever. In de tweede fase, de uitvoeringsfase, wordt het onderzoek daadwerkelijk uitgevoerd. Onderzoeker en opdrachtgever hebben regelmatig contact. In de derde fase, de nazorgfase, gaat het om begeleiding van het onderzoeksrapport. Hierin wordt vooral veel besproken, soms worden er ook trainingen gegeven door een derde partij. De voorbereidingsfase kan soms jaren in beslag nemen. De nazorgfase is soms helemaal afwezig en het is lastig om in te schatten hoeveel tijd hierin gaat zitten.
Bestaande en gewenste situatie
Een tekort aan informatie kan liggen aan onduidelijkheid over de bestaande situatie en over de gewenste situatie. Bij het vooronderzoek wordt, naast de probleemanalyse, ook duidelijk wat de bestaande en de gewenste situatie precies zijn. Bij de bestaande situatie heeft de beleidsinstantie meestal een vermoeden hoe alles in elkaar zit. Aan de onderzoeker is de taak om een beschrijving te geven van de bestaande situatie. Hierbij wordt vooral gefocust op de aspecten van de situatie waar verbetering gewenst is. Soms zijn er al onderzoeken over het zelfde probleem: de onderzoeker kan daaruit zijn informatie halen waar nodig. Bij de gewenste situatie zijn er doelstellingen opgesteld door de opdrachtgever. Deze doelstellingen zijn soms vaag en onderling concurrerend. Er is soms sprake van een zogenaamd weegprobleem. De weging van de operationele componenten moet ergens op gebaseerd zijn. Doelstellingen die tegenstrijdig zijn of lijken, kan de onderzoeker in overleg aanpassen. Tussentijdse resultaten in het vooronderzoek kunnen ook leiden tot extra nadenken over de doelstellingen. In de diagnose van de gewenste en bestaande situatie worden kort gezegd de beide situaties omschreven en de doelstellingen beter gemaakt. Na het vooronderzoek kan het evaluatieonderzoek beginnen.
Planevaluatie
Onderzoek dat gericht is op toekomstig beleid wordt planevaluatie genoemd. Hierbij wordt vooral vanaf het bureau gewerkt: rapporten worden geanalyseerd, verklaringen over situaties worden gelezen en de bestaande interventies worden bekeken in de verschillende contexten. De onderzoeker probeert de effecten van de bestaande interventies in kaart te brengen en te verklaren of te verbeteren. Soms is het lastig om deze effecten te verklaren. Bij zulke verklaringsproblemen wordt vaak gebruik gemaakt van rapporten van empirisch onderzoek. De theorieën worden gebruikt om verbeteringen door te kunnen voeren. Als je nieuwe interventies aan het ontwerpen bent, zit je in de fase van het oplossen van het ontwerpprobleem.

Bij een planevaluatie worden veel vragen gesteld. Wat zijn de oorzaken van de situatie? Werken de beleidsinterventies? Wie zijn er bij betrokken? Welke neveneffecten kunnen er zijn? Wat is de verhouding tussen kosten en baten? Is proces- en productevaluatie bij deze interventies haalbaar? De onderzoeker heeft dus als taak om cijfers aan te dragen en de opdrachtgever en te waarschuwen voor mogelijke gevolgen. Een interventieplan is het resultaat van de planevaluatie. Hierbij worden ook verwachte effecten op een rijtje gezet. De interventie wordt steeds afgestemd op de omgeving die verandert.
Procesevaluatie
Of de plannen in de planevaluatie ook werkelijkheid worden, is nog maar de vraag. Daarom is er ook een procesevaluatie nodig. De haalbaarheid, weerstanden bij doelgroepen en reikwijdte kan een probleem vormen, omdat niet alles voorspelbaar is. Veranderingen spelen ook een grote rol. Wat vroeger werkte, hoeft nu niet meer te werken. Tussen de invoering en de uitvoering van een interventie zit ook tijdsverschil. Een procesevaluatie begeleidt eigenlijk het proces van de interventie. Het is dus noodzakelijk om op tijd processen op te merken. Soms werken interventies wel, maar weet de overheid niet welke oorzaken hiervoor zijn. Of de overheid weet niet welke elementen van de interventies cruciaal zijn om een bepaald doel te kunnen bereiken. Het zou mooi zijn dat de interventie getest kan worden en er zo een kleinschalige proefcontext komt. Je kunt namelijk niet evalueren wanneer beleid er net is, maar als er een tijdje een proef wordt gedaan met de interventie, is het veel beter te evalueren. Bij procesevaluatie worden er ook weer veel antwoorden gezocht op vragen. Wat zijn de knelpunten? Wat zijn de onvoorziene neveneffecten? Hoe moet er worden bijgestuurd? Wat is de praktijk van de uitvoering? Procesevaluatie gebeurt dus achteraf: de omstandigheden en verklaringen worden achteraf gevraagd aan mensen. Het is dus een retrospectieve procesanalyse.
Productevaluatie
Productevaluatie geeft informatie over de sterkte van de effecten onder bepaalde omstandigheden. Ook laat deze vorm van evaluatie zien of en in welke mate de voorspellingen opgaan voor het grotere geheel. Mensen die voorstander zijn van een experimenting society willen graag een samenleving waarbij er geëxperimenteerd wordt met verschillende interventies. Zo kan er gemakkelijk de best werkende interventie worden uitgepikt om toe te passen in een groter gebied. Bij productevaluatie staan de gevolgen van de interventie centraal in het onderzoek. Achteraf wordt er dus zo duidelijk mogelijk vastgesteld of een interventie de gewenste effecten had. Bij productevaluatie komen er ook vragen naar voren. In welke mate zijn de effecten aanwezig? Wat is de effectiviteit van de interventie? Welke precieze handreikingen voor het beleid biedt het onderzoek? Hoe zijn de interventies generaliseerbaar? Wat zijn de uiteindelijke kosten en is er een balans met de baten?
De interventiecyclus
De interventiecyclus is een cyclus gericht op evaluatie en is verder vergelijkbaar met de empirische cyclus. Het verdeelt de opdrachtgever en de onderzoeker. Er worden verschillende stappen genomen.
1. Opdrachtgever: er is een probleem, maar het is nog vaag.
2. Onderzoeker: probleemanalyse
3. Opdrachtgever: duidelijk probleem, maar hoe verder?
4. Onderzoeker: diagnose van bestaande situatie en doelstellingen analyseren om zo bij de gewenste situatie te komen.
5. Onderzoeker: Planevaluatie en het ontwerpen van nieuwe interventies met daaraan gekoppeld advies voor de opdrachtgever over de interventie.
6. Opdrachtgever: invoeren interventie
7. Onderzoeker: Procesevaluatie, steeds weer opnieuw afstemmen en aanpassen.
(8. Opdrachtgever: aanpassing doeleinden)
9. Onderzoeker: Productevaluatie, als het een tijdje op gang is.
Problemen bij de interventiecyclus
De werkelijkheid is complexer dan het model van de cyclus, dus zijn er verschillende problemen die om de hoek komen. De taakverdeling tussen opdrachtgever en onderzoeker is niet altijd duidelijk. Soms houdt een opdrachtgever de onderzoeken buiten bepaalde processen. Een regulier beleidsproces verloopt als volgt:
1. Agendavorming
2. Beleidsvoorbereiding
3. Beleidsbepaling
4. Beleidsuitvoering
5. Beleidsevaluatie
6. Beleidsbijsturing
De eerste twee processen zitten vooral in het domein van de onderzoekswereld. De derde, beleidsbepaling, heeft een link met planevaluatie. Beleidsuitvoering heeft een link met procesevaluatie. Het uiteindelijk uitgevoerde beleid wordt de beleidsprestatie genoemd. Een ander probleem is dat de cyclus op zich een fase is in het verhaal. Productevaluatie wordt vaak beschouwd als de laatste vorm van evaluatie. Een kanttekening hierbij is dat een interventie niet op zichzelf staat en ook een deel is van een groter geheel en dus een groter proces. De planevaluatie kan dus iets zeggen over de effectiviteit van de interventie, maar in het grote geheel is het een stukje van het proces. Productevaluatie van een project kan dus gezien worden als een fase van een procesevaluatie van een globaal programma. Een derde opmerking bij het model heeft te maken met de volledigheid. Afhankelijk van de kennis over een interventie, kan een interventie op verschillende plaatsen in de cyclus beginnen.
Alle stappen?
Sommige stappen zijn niet nodig, omdat er al genoeg kennis is. De eerste twee stappen zijn echter niet over te slaan, omdat probleemanalyse van fundamenteel belang is. Wanneer de opdrachtgever en de onderzoeker goed willen communiceren in de loop van het proces, moet het probleem eerst helder zijn. De eerdergenoemde diagnostische voorfase moet helder zijn, zowel de bestaande als gewenste situatie. De doelstellingenanalyse is ook cruciaal voor verdere stappen in de cyclus. Als de interventie totaal nieuw is, moet er een goede planevaluatie komen. Dit is niet altijd noodzakelijk als de interventie veelvuldig wordt toegepast. Als er wel veel informatie is over de interventie, omdat deze bijvoorbeeld al lang bestaat, kan er worden volstaan met het beginnen bij de procesevaluatie en het overslaan van de planevaluatie. Als er heel veel kennis is, kan er volstaan worden met een productevaluatie.

Een evaluatieonderzoek is vaak niet één van de drie vormen van evaluatieonderzoek, maar een combinatie van deze afgestemd op de situatie. Een ander probleem is dat bepaalde vragen in meerdere fases van het evaluatieonderzoek een rol spelen: het is niet duidelijk afgebakend. Met sommige vragen kun je als onderzoeker niet pas aankomen in de laatste fase, maar die moeten dan al gesteld zijn. De laatste kanttekening bij de cyclus is de vraag of evaluatieonderzoek samenvalt met praktijkgericht onderzoek. In feite is dit zo, maar omdat het begrip evaluatie zo is ingeburgerd, wordt dit liever gebruikt in de volksmond.

C. Belanghebbenden

Bij interventies zijn verschillende mensen en partijen betrokken: de actoren. Dit worden ook wel stakeholders of belanghebbenden genoemd. Ze zijn ook betrokken bij het evaluatieonderzoek. De verschillende actoren hebben allemaal hun eigen belangen. Deze belangen kunnen conflicteren met elkaar. Ook hebben actoren vaak verschillende verwachtingen van de interventie.
Conflicterende belangen
Mensen hebben verschillende doelen en beoogde effecten van de interventie voor ogen. Dit is vergelijkbaar met een maatregel die getroffen wordt in het bedrijfsleven: de werkgever kijkt er waarschijnlijk anders tegenaan dan de werknemer. Verder zijn er vaak naast de officiële doeleinden specifieke belangen van de personen zelf. Het is niet altijd het geval dat doelstellingen of verwachtingen met elkaar conflicteren. Soms zijn bepaalde verwachtingen belangrijker dan andere, ook al zijn ze tegengesteld. Bij de evaluatie van onderzoek kunnen tegengestelde belangen wel doorwerken. Het kan bijvoorbeeld zo zijn dat de evaluatie van een bepaald beleid negatief uitpakt. Het is dan maar de vraag of de overheid dit daadwerkelijk wil horen, omdat het geen fijn idee is als beleid waar veel tijd en geld in is gestoken, negatief uitpakt. Hofstee pleit ervoor dat uitkomsten van een evaluatieonderzoek belangrijker worden in het veld waarin de beleidsmaker zich beweegt. Binnen alle politieke machten in het veld moet evaluatieonderzoek ook een belangrijke factor zijn.
Doelen bepalen
Zoals al eerder werd besproken, kunnen doelen van beleidsmakers vrij vaag zijn en soms zelfs ontbreken. De vraag is wie er bepaalt welke doelen van de interventie worden geëvalueerd. Meestal is de initiator, ook wel uitvoerder genoemd, van de interventie tegelijk de opdrachtgever. Als een gemeente een fietspad aanlegt, is de gemeente de opdrachtgever én de uitvoerder van de interventie. Een onderzoeker wil weten in hoeverre de doelstellingen van het programma bereikt worden. De opdrachtgever van het onderzoek kan ook een instantie zijn die de gebruikers van de interventie vertegenwoordigt. Een voorbeeld hiervan is een consumentenorganisatie die een vergelijkende warentest uitvoert, zoals de Consumentenbond. In dat geval staan de belangen van de gebruikers centraal. De doelen van de initiator of de opdrachtgever zijn dan niet van belang. Bij consumentenproducten komt het erop aan dat de criteria van de gebruiker voorop staat. Dit is ook zo bij het gebruik van openbare voorzieningen en diensten. Er worden bijvoorbeeld vergelijkende lijsten van scholen openbaar gemaakt, zodat de gebruiker van deze diensten zelf kan kiezen waar de kinderen op school komen.

Als interventies vaag zijn en niet specifiek één bepaalde interventie is toegepast, is een evaluatieonderzoek meestal meer een beschrijving. Dit is bijvoorbeeld het geval bij een onderzoek naar zelfmoord en de geestelijke gezondheidszorg: het wordt een beschrijving van pogingen tot zelfmoord en hoe de geestelijke gezondheidszorg hiermee omgaat. Een andere situatie doet zich voor als doelen van een interventie zijn geformuleerd door een derde. De onderzoeker kan ook deze ‘derde’ zijn als hij bij het evaluatieonderzoek zelf initiatief neemt tot onderzoek en zelf doelstellingen formuleert.
 

Actoren
In het boek worden drie doeleinden benadrukt:
1. De initiatoren van de interventie

2. Doelgroepen
3. Derden
Het is goed dat de onderzoeker vooral aandacht besteed aan deze drie punten. In de praktijk wordt er echter vaak druk op een onderzoeker uitgeoefend. Sommige partijen willen dat hij effecten versterkt of juist verdoezelt. Andere belangengroepen willen dat hun specifieke doelstellingen ook meegenomen worden in de evaluatie. Belanghebbenden willen meestal graag een onderzoek, maar wil iedereen een deel wat voor hun van toepassing is uit de resultaten halen. De onderzoeker moet dus ook de ‘geheime agenda’s’ van de betrokkenen in de gaten houden. Behalve de druk die uitgeoefend wordt op de onderzoeker in de praktijk, is er nog een andere moeilijkheid.
Monocentrisch sturingsparadigma?
Deze tweede moeilijkheid houdt in dat de overheid altijd wordt afgeschilderd als een enkelvoudige actor die het beleid formuleert en uitvoert. Daarna laat de overheid een evaluatieonderzoek doen. Als je de overheid zo ziet, is er sprake van een monocentrisch sturingsprogramma. In de praktijk is dit weer niet helemaal het geval: de overheid bestaat uit meerdere groeperingen die beïnvloed worden door de omgeving en pressiegroepen. De overheid is dus niet dé actor in het beleidsproces, maar een van de vele actoren. De overheid kan niet simpel als een geheel worden gezien, omdat het een moeilijk beheersbaar systeem is. Binnen de overheid zijn er allerlei groepen die hun eigen specifieke belangen hebben en die nastreven. De belangen van de actoren moeten onderling afgestemd worden om tot een goed beleid te komen.

De netwerkbenadering is hierbij erg belangrijk: het monocentrisch sturingsmodel wordt een polycentrisch besturingsmodel en de belanghebbenden zijn allemaal aan elkaar gekoppeld. Elke organisatie heeft ook zijn eigen systeem van denken. Hiermee moet rekening worden gehouden bij het formuleren van beleid. De actoren zijn ook afhankelijk van elkaar. Er zijn namelijk beperkte middelen, waarmee elke actor zijn doelen moet proberen te bereiken. Binnen interactieprocessen worden informatie, doeleinden en middelen uitgewisseld. Deze interactie vindt verschillende keren plaats. Als gevolg hiervan treedt institutionalisering op waardoor opvattingen en regels worden gedeeld. De doelstellingen die uiteindelijk geformuleerd zijn door de overheid zijn vaak het resultaat van compromissen tussen belangengroepen. Bij grote projecten wordt hier soms een persoon op gezet die de belangen van de belangengroepen in kaart moet brengen en de betrokkenen rond de tafel zet om tot een compromis te komen. Er moeten voldoende prikkels zijn om de betrokkenen te laten deelnemen aan dit proces: de belangengroepen moeten allemaal een kans krijgen om hun belangen uit te leggen.

Opdrachtgevers
Bij beleidsonderzoek gaat het vaak over de overheid. De opdrachtgever heeft belang bij het krijgen van informatie om zo het beleid beter te kunnen maken. Informatie verkrijgen is dus het belangrijkste. Daarnaast zijn er nog veel verschillende motieven voor onderzoek:

• Het moet-nu-eenmaal-motief: evaluatieonderzoek is wettelijk verplicht. De Algemene Rekenkamer wil dat er goede afspraken gemaakt zijn vooraf bij de financiering.

• Inspanningsverplichting: een actor heeft een interventie uitgevoerd omdat er iets gedaan moest worden, omdat het niet meer verder kon zonder interventie. Bij dit motief wordt er vaak niet geloofd in de interventie en is er minder interesse in evaluatie.

• Je-weet-het-maar-nooit-motief: bij dit motief zal de opdrachtgever vooral de positieve resultaten gebruiken en de negatieve wegmoffelen.

• Bescherming van eigen hobby’s en budget

• Legitimeringmotief: beslissingen worden gerechtvaardigd door achteraf onderzoeksresultaten te laten maken die de beslissingen rechtvaardigen. Dit gebeurt.bijvoorbeeld als er opeens een koersverandering is in het beleid.

• Koelkastmotief: uitstel van beleid, je zet het beleid als het ware in de koelkast om tijd te winnen.

• Alibimotief: afschuiven van verantwoordelijkheid voor een beslissing op de onderzoeker. Als mensen het oneens zijn over de voortzetting van een programma, wordt er een beslissing genomen op basis van een evaluatierapport en de verantwoordelijkheid wordt gezocht bij de onderzoeker in plaats van bij degene die de beslissing genomen heeft.

• Statusmotief: onderzoek laten doen verleent status aan de opdrachtgever.

Er zijn ook nog motieven die niet positief van aard zijn:

• Het-moet-mislukken-onderzoek: mensen hebben er belang bij als er een negatieve uitkomst is.

• Witwat-onderzoek: laten zien dat er niets aan de hand is, terwijl dat wel zo is.

• Het kleren-van-de-keizer-onderzoek: proberen te bewijzen door middel van onderzoek dat er goede resultaten bereikt zijn door de interventie, terwijl er in feite niets gebeurd is.

De betekenis die een opdrachtgever en onderzoeker hechten aan evaluatieonderzoek is soms verschillend. Er kan een verschil zitten in het tijdsperspectief. Opdrachtgevers willen vaak bij het geven van de opdracht tot evaluatie al een rapport hebben, terwijl ze tijdens het onderzoeksproces hun interesse verliezen. De onderzoeksresultaten komen veel later dan toen de opdracht tot evaluatie is gegeven. Voor de onderzoekers zijn de resultaten heel belangrijk.
Taken van financiers en managers
De opdrachtgevers zijn vaak de financiers, maar dat hoeft niet per se zo te zijn. Er zijn verschillende taken die een financierende instantie heeft:

• Het budget bewaken

• Regels handhaven bij inschaling medewerkers

• Tijdsoverschrijding vermijden
   

Managers hebben ook specifieke taken:

• Nagaan of het beleid past in de plannen

• Stimuleren en motiveren van uitvoerders

• Bevorderen van de groepsvorming

• Kennis vergroten bij de uitvoerders m.b.t. middelen, doelen, gevolgen en bewustwording

• Programmabudget beschermen

• Veranderingen aanbrengen
   

Uitvoerders
De uitvoerders die echt de praktijk van de interventie meemaken zijn meestal veel verschillende mensen. Voorbeelden zijn verpleegsters in het ziekenhuis, leerkrachten in het onderwijs of ouders die helpen bij een bepaald project. Ze hebben verschillende belangen: geld verdienen, goede taaklast en de wens om veranderingen aan te brengen zijn hier voorbeelden van.
Doelgroepen
De doelgroepen hebben meestal geen gezamenlijk belang, maar alleen het eigen belang telt. Vaak zijn deze belangen niet eenvoudig vast te stellen, vooral ook omdat doelgroepen soms zelf opdrachtgever voor een evaluatieonderzoek zijn. Als je als onderzoeker de tevredenheid van de doelgroep wil meten, ben je meestal aangewezen op subjectieve metingen. Hierbij zijn er allemaal problemen: wat waren de verwachtingen van mensen van te voren precies? Wat zijn de geuite behoeften en de werkelijke behoeften van de doelgroepen? Zijn mensen sowieso tevreden met veranderingen?

De aanvankelijke verwachtingen, ingewikkelde denkprocessen en attributies van mensen bemoeilijken het onderzoek, omdat deze subjectief zijn. Een andere doelgroep, die gemakkelijk uit het oog verloren kan worden, is de ‘afwezige groep’. Waarom kopen klanten niet? Waarom gaan studenten een bepaalde studie niet doen? Waarom gaan sommige patiënten niet naar het ziekenhuis in de buurt? Soms is deze groep nog belangrijker dan de andere belangengroepen, omdat antwoord op deze vragen veel informatie kan verschaffen over het eventueel aanpassen van een interventie.
Andere actoren
Inspecties hebben ook vaak met evaluatieonderzoek te maken. De onderzoekers moeten hun taken afstemmen met de inspecties, omdat sommige taken overeenkomen. Soms zijn er beroepsverenigingen betrokken bij de evaluatie. Deze behartigen de belangen van de leden. Koepelorganisaties dragen zorg voor hun eigen zuil of sector en kijken naar de andere sectoren. Bewindslieden hebben soms te maken met organisaties waarover de evaluatie gaat. Ze hebben belang bij de gevolgen voor de kiezers en willen zichzelf herkiesbaar hebben. Het publiek wil een goede besteding van de middelen. Tegenwoordig zijn ook de media belangrijke actoren: wat is het nieuws? Welke kritiek is er op politici? Is er sprake van goede besteding van de overheidsmiddelen? Verder zijn er nog de zogenaamde begeleidingscommissies: vertegenwoordigers van de belangengroepen. Dit kunnen deskundigen zijn, maar ook de opdrachtgever kan dit zijn. Zij willen de belangen van de groep die zij vertegenwoordigen zoveel mogelijk naar voren laten komen.
 

Onderzoekers
Degenen die het evaluatieonderzoek uitvoeren, hebben ook belangen.
 

• Inkomen

• Wetenschappelijke nieuwsgierigheid

• Verwerven van status in de wetenschap

• Zich houden aan wetenschappelijke kwaliteitseisen

Als een onderzoeker verkeerde resultaten levert, kan zijn reputatie geschaad worden. Als je een interne onderzoeker bent, bijvoorbeeld als je een op je werk een andere afdeling moet evalueren, is de kans op problemen groter.
Wat geeft de doorslag?
Er zijn al veel boeken geschreven over de vraag welk belang van welke partij de doorslag moet geven. Moet het het belang van de opdrachtgever zijn of het belang van de doelgroep? Misschien moet er wel naar een mix gestreefd worden. Volgens Swanborn is dit niet de belangrijkste vraag, maar in het evaluatieonderzoek gaat het om de vraag of de gekozen interventie goed genoeg was om de doeleinden te bereiken en wat de neveneffecten zijn. Succes en falen van het onderzoek wordt mede verklaard door de manier van samenwerken tussen de verschillende actoren. Als sommige groepen de interventie gaan tegenwerken, zal de interventie moeilijker de doelen die beoogd waren, bereiken. De verschillende soorten effecten hebben hier ook invloed op. Er zijn verwachte en feitelijke effecten. Een groep kan zich verzetten tegen een interventie, omdat de groep verwacht dat een belang geschaad kan worden. Of een groep verzet zich niet, omdat de groep verwacht dat het wel mee gaat vallen. Dit heeft dus invloed op falen of succes van de interventie. De feitelijke effecten kunnen pas bij de productevaluatie gemeten worden.

De onderzoeker wil ook het liefst de werking van de interventie verklaren en begrijpen. Het is hierbij nuttig om te weten welke verklaringen groepen geven van hun gedrag, de onderzoeker kan niet alleen afgaan op de formele verklaringen. Hij moet dus attituden, doelen, verwachte effecten en subjectieve verklaringen in kaart brengen. Actoren kunnen op veel gebieden van elkaar verschillen: doelen, verwachtingen, percepties en hun bevindingen over de resultaten van het evaluatieonderzoek. Op ethisch gebied zijn er ook verschillen: de ene actor heeft meer macht dan de andere of meer informatie dan de andere actoren.

D. Doelen

Het specificeren van doelen van opdrachtgevers, uitvoerders en onderzoekers is zinvol. Zo zijn conflicten te voorkomen en geeft het evaluatieonderzoek alle betrokkenen duidelijkheid. Bij het ontwerpen, begeleiden of evalueren van een interventie gaat het om de bestaande situatie te brengen naar een gewenste situatie. De gewenste situatie kan voor elke partij anders zijn: de kenmerken van de gewenste situatie moeten goed vast worden gesteld door middel van de doelen. De verschillen tussen de gewenste situatie en de uiteindelijke situatie moeten wel door de interventie komen, dit probeert de onderzoeker te bewijzen.
Criteria en de scores op criteria
Er zijn twee aspecten te onderscheiden bij doelstellingen: criteria en score op de criteria. Bij de criteria gaat het over de doelvariabele waarop de interventie gericht is. Deze doelvariabelen kunnen vaag omschreven zijn, maar ook heel concreet. Een voorbeeld van een criterium bij evaluatieonderzoek van de NS kan zijn: het percentage treinen dat op tijd vertrekt. Een ander aspect is de score op de criteria. Dit wordt ook wel standaard genoemd. Er wordt dan een standaard, een bepaalde score op een criterium vastgesteld, zodat daaraan gemeten kan worden of de interventie wel of niet geslaagd is. Een concreet criterium is dan wel een vereiste. In het geval van de NS is een interventie bijvoorbeeld geslaagd als tachtig procent van de treinen met minder dan vijf minuten vertraging vertrekt.
Info over criteria en standaarden
De meeste onderzoekers krijgen criteria en vereiste scores op de criteria in handen van de opdrachtgevers. De gebruikers hebben meestal ook duidelijke criteria en vereisten. In het vorige hoofdstuk was echter te zien dat er veel belangengroepen bij een interventie komen kijken. De onderzoeker zal meestal bij deze belangengroepen zelf de criteria moeten doorzoeken. Dit kan door middel van het opvragen va schriftelijke bronnen, zoals notulen van een vergadering. De onderzoeker kan er ook voor kiezen om een enquête voor te leggen aan alle actoren die betrokken zijn bij de interventie. Ook cliënten of patiënten kunnen belangen hebben bij een interventie. Seaberg en Gillespie (1977) hebben echter bewezen dat deze groepen zich onderling op verschillende dingen baseren. De individuele vergelijkbaarheid wordt hierdoor lastig. Een interview kan verhelderend werken om de voor- en tegenstanders van de interventie goed in kaart te brengen.
Criteria
Criteria kunnen op verschillende manieren worden onderscheiden. Als eerste is het verschil tussen abstract en operationeel van belang. Vaak hebben belangengroepen bepaalde abstracte principes en daaruit worden dan operationele variabelen afgeleid. Er is ook nog een andere manier om criteria te onderscheiden: het aggregatieniveau. Een criterium kan namelijk op verschillende niveaus in een organisatie of in de wereld betrekking hebben, zoals op een individuele patiënt, kenmerken van de verpleging, functioneren van een ziekenhuis of het Nederlandse gezondheidssysteem. In het Engels wordt deze manier van onderscheiden ook wel 'proximal' en 'distal goals' genoemd. Een derde manier om te onderscheiden is per type actor. Er kan bijvoorbeeld worden gekeken naar het verschil tussen cognities, attitudes en gedragingen. Dit zijn subjectieve maten, omdat er alleen in een interview duidelijkheid kan worden verkregen over deze aspecten. Er zijn ook meer objectieve maten: fysiologische en fysieke indicatoren. Met fysiologische indicatoren wordt bijvoorbeeld het meten van de hartslag bedoeld. Als er fysieke indicatoren moeten worden gemeten, kan dit bijvoorbeeld de lichaamshouding zijn of het bewegen van de pupillen in het oog. Het probleem bij subjectieve en objectieve indicatoren is dat ze vaak niet met elkaar correleren. Bij evaluatieonderzoek worden verschillende doelen en criteria naast elkaar gelegd, zodat ze met elkaar vergeleken kunnen worden.
Open-end criterium
Standaarden die het vereiste getal bij een criterium zetten, zijn niet altijd geformuleerd. Soms is er een zogenaamd open-end criterium. Hierbij is geen standaard geformuleerd, maar is elke verbetering door de interventie een positief punt. Dit gebeurt bijvoorbeeld als de onderzoeker en de beleidsinstantie allebei geen idee hebben in welke mate de interventie effect zal hebben. Elke verbetering is dus winst. Voor een onderzoeker houdt dat in dat hij een vergelijking moet maken tussen de voor- en nascores en dan moet kijken of die scores significant van elkaar verschillen. Hier zitten wel wat nadelen aan. Het kan bijvoorbeeld zo zijn dat de effecten van een interventie per fase nogal verschillen. In de eerste fase is de interventie dan heel effectief, terwijl later de wet van de afnemende meeropbrengst van toepassing is. Het nadeel van een open-end criterium ligt ook bij de opdrachtgever. Als je geen idee hebt hoeveel effect een bepaalde interventie zal hebben, zijn de kosten vooraf ook heel moeilijk te bepalen.
Standaard
Het tegenovergestelde van open-end doeleinden zijn de doeleinden die wel een standaard hebben. In plaats van norm-referenced measurement, waarbij de voor- en nascores worden vergeleken, is er dan sprake van criterion-referenced measurement, waar er wordt gekeken in welke mate de gewenste standaard is bereikt. Zulke standaarden worden niet willekeurig opgezet, maar zijn empirisch gefundeerd. Als standaarden niet empirisch gefundeerd zijn, kunnen evaluatieonderzoekers geen goede voorspellingen doen en niet effectief evalueren. De standaarden kunnen ook gebaseerd zijn op gewoonte. Dit gebeurt ook in het onderwijs: docenten hebben voor zichzelf een subjectieve standaard voor een percentage gezakte leerlingen of leerlingen die een onvoldoende hebben op hun rapport. Om te voorkomen dat standaarden te hoog of te laag worden gesteld, kunnen er experts ingeroepen worden.
Hoge standaarden
Als standaarden heel hoog zijn gesteld, is de kans dat de standaard niet bereikt groot. Als de standaard niet bereikt wordt, is dit frustrerend voor de uitvoerders en de bedenkers van de interventie. Bij de Deltawerken bijvoorbeeld, waren de gestelde doeleinden te ambitieus. Als eerste motief voor het opzettelijk geven van te hoge doeleinden geeft Herweijer (1985) aan dat het een traag, groot apparaat in beweging kan zetten. Als het doel ambitieus geformuleerd is kan dit tot enthousiasme en beweging leiden. Een tweede motief is van een andere aard. Opdrachtgevers kunnen de standaarden expres hoog zetten, omdat ze verwachten dat er toch maar een bepaald percentage gehaald gaat worden. Zo hebben ze een grotere kans dat ze toch hun ideale doel bereiken. Een laatste motief is het stellen van symbolische doeleinden waaraan zelfrespect en sociale status ontleend kan worden.
Lage standaarden
Het komt ook voor dat standaarden te laag worden gesteld. Hier zitten ook motieven achter. Een voorbeeld hiervan is dat het plezieriger is om iets te bereiken dan om falen toe te geven. Donker (1990) geeft aan dat de overheid haar doeleinden opzettelijk laag zet, om te voorkomen dat de burger afhankelijk wordt van de overheid. Bij opzettelijk te laag gestelde doelstellingen is het de vraag of de interventie hieraan is aangepast; misschien is er met opzet een te zwakke interventie ingezet. Als de interventie niet zwak is, is er de verwachting dat er meer wordt bereikt dan gestelde doeleinden.
Gebreken bij doelen
Soms ontbreken doeleinden. Dit lijkt vreemd, omdat er veel inspanningen worden gemaakt voor een interventie. Voor het ontbreken van doeleinden kunnen toch verschillende redenen zijn. Bij een koelkast- of een alibifunctie (zie hoofdstuk C) ligt het voor de hand dat een doelstelling niet geformuleerd wordt. Doelstellingen worden soms expres geheim gehouden omdat het openbaar maken soms tot negatieve gedragsreacties van actoren kan leiden.
Soms zijn doelstellingen verkeerd. Wanneer er bijvoorbeeld geen gegevens zijn over de doelgroep of hoe groot de doelgroep is, is het lastig om te formuleren hoeveel jongeren er geholpen kunnen worden. Soms is een doelstelling te hoog gegrepen, er bestaat dan geen mogelijkheid om het interventie-effect op de variabele te meten.

Het kan ook zo zijn dat doelstellingen een te hoog aggregatieniveau te hebben. Dit kan zo zijn als alleen gemiddeldes worden vergeleken. Als dan de groep met de interventie het gemiddeld een stuk beter doet dan de controlegroep, kan het ook zo zijn dat de meeste mensen binnen de groep met de interventie het helemaal niet beter doen, maar dat er een paar uitschieters zijn.

Vage doelstellingen komen onderzoekers ook regelmatig tegen. Soms is de relatie van de doelen en de middelen niet duidelijk of zijn de doelen niet 'meetbaar' gemaakt. Het kan zo zijn dat er expres vage doelstellingen zijn opgeschreven. Een compromis, na een onderhandeling met veel verschillende partijen, kan ook tot een vage doelstelling leiden. Beleidsinstanties hebben soms het doel om symbolische doeleinden te bedenken, zoals bijvoorbeeld een rechtvaardige samenleving. Dit is niet haalbaar, maar het laat zien naar wat de beleidsinstantie streeft. Dit noemen de Amerikanen 'window dressing'. Iedereen weet dat zulke doeleinden te hoog gesteld zijn en niet realistisch. Een ander rationeel motief naast window dressing is consensus bereiken tussen verschillende belangengroepen.

Een onderzoeker kan alleen werken met doelstellingen die duidelijk en openbaar zijn. Bij vage doelstellingen moeten de onderzoekers in de voorbereidingsfase de doelstellingen helder proberen te krijgen.

Meten van doelstellingen
Soms zijn doelstellingen moeilijk te meten, omdat de onderzoeksperiode te kort is. Het kan namelijk zo zijn dat het moment van onderzoek te vroeg gekozen wordt. Dan kan je namelijk als onderzoeker nog niet goed bepalen of veranderingen door de interventie komen. Het kan ook zo zijn dat dingen maar tijdelijk veranderen. Het kan ook voorkomen tijdens het evaluatieonderzoek dat doelen en domeinen niet goed onderzoekbaar zijn, omdat ze niet zijn afgebakend. Het kan nodig zijn om doelstellingen te veranderen, bijvoorbeeld als de onderzoeker alleen maar bepaalde doelstellingen onderzoekt of de manier van werken van de uitvoerders niet veranderd kan worden.
Lang lopende projecten
Vooral bij projecten die al lang lopen kunnen ingrijpende veranderingen komen. Dit kan zelfs nog in de fase van productevaluatie. Soms kan er bijvoorbeeld sprake zijn van een veranderend object. Dit was zo in het Project Onderwijs en Sociaal Milieu. Doelstellingen van dit project waren gericht op kinderen met een lage sociaal economische status. Tijdens het project werd duidelijk dat de omgeving veranderde: steeds meer immigranten kwamen in beeld. Het object is toen veranderd van een lage sociaal economische status naar specifiek allochtone kinderen. Het kan ook zo zijn dat het probleem verdwijnt. Dit was het geval toen er een langlopend onderzoek naar dienstplichtige Surinamers kwam. Halverwege werd de dienstplicht echter afgeschaft, dus het probleem was veranderd. Een andere oorzaak voor veranderende doelstellingen kan de verschuiving van achterliggende waardes zijn. Het kan ook zijn dat er een ander hoofddoel komt. Dit was het geval tijdens de oliecrisis in 1973. Toentertijd was er een maximumsnelheid ingevoerd met als doel energiebezuiniging. Er kwam later een ander hoofddoel: bescherming van milieu en verkeersveiligheid.
Niet acceptabel
Het is niet gewenst als er tijdens het onderzoek wordt ontdekt dat doelen niet haalbaar zijn en er daarom met doelen die makkelijker haalbaar zijn genoegen wordt genomen. Dit is natuurlijk niet expliciet gezegd, maar wordt wel impliciet gedaan. Onderzoekers, maar ook zeker de opdrachtgevers hebben soms de neiging om doelen te herzien tijdens het onderzoek, omdat blijkt dat het niet gehaald kan worden. Het kan zo zijn dat onderzoekers dingen gaan meten die makkelijk meetbaar zijn en wel effect lijken te hebben. Meestal hebben deze dingen die gemeten worden wel een link met de interventie, maar verklaren ze het effect van de interventie niet. Dit is terug te zien in het onderwijs. Hierin zijn de meeste interventies gericht op het verbeteren van de resultaten van leerlingen. Als dit te ambitieus lijkt te zijn of als de interventies niet genoeg effect geven, wordt er een ander criterium gehanteerd, zoals de attitude van de leerlingen. Het kan dus zo zijn dat er een verschuiving plaatsvindt: binnen het onderzoek is er dan een verschuiving van productevaluatie naar procesevaluatie. Het is dan te moeilijk om doelen te meten.

Doelen: voor alle eenheden of specifiek?
Doelstellingen kunnen voor alle eenheden binnen een domein gelden en zijn dan uniform, maar ze kunnen ook specifiek zijn. Binnen de overheid zijn er verschillen in niveaus. Het niveau van de gemeentes krijgt steeds meer taken toebedeeld, maar mag deze vaak zelf vormgeven. Dit zorgt ervoor dat elke gemeente zijn eigen doelen kan bepalen. Het gevolg hiervan is dat de doelen sterk van elkaar kunnen verschillen per gemeente. Zo worden er geen algemene conclusies op rijksniveau getrokken met betrekking tot haalbaarheid van doelen. Er moet dus maatwerk zijn. Soms is het juist handig dat verschillende gemeentes of provincies een ander beleid hebben, zoals bijvoorbeeld binnen de zorg. Zo kan er makkelijk worden getest welke interventies meer succesvol zijn dan anderen. De evaluatie van nationale programma's is gebaseerd op het succes op een lager niveau. De interventies hebben dan eigenlijk hun eigen manier van evolutie en 'survival of the fittest'.
Indirecte interventies
De overheid heeft de mogelijkheid tot indirecte interventies, omdat de overheid bedrijven of organisaties opdracht tot interventies kan geven. Dit heet vertical packaging. De overheid schrijft dan voorschriften voor die uiteindelijk de uitwerking moeten hebben op de consument, maar het wordt middels bedrijven en andere groepen toegepast. De nationale overheid kan zich beperken tot het formuleren van standaarden en de rest aan de lagere overheden overlaten. Dit gebeurt ook op EU-niveau: de EU schrijft richtlijnen voor die de lidstaten moeten omzetten in nationale wetgeving. De lagere organen krijgen dan de mogelijkheid om het beleid specifiek te maken. De aspecten die bij een planevaluatie komen kijken, worden vaak niet aan de lagere overheden overgelaten.
Goal Attainment Scaling
Binnen de klinische psychologie is er iets bijzonders ontwikkeld voor de geestelijke gezondheidszorg: Goal Attainment Scaling. Dit is een kwantitatieve evaluatie van effecten van een interventie op moeilijke terreinen. De doelen worden expliciet vastgesteld en toegespitst op het individu, de groep of de organisatie. De standaarden worden geformuleerd door degene die direct contact heeft met de consument, cliënt of patiënt, dus in samenwerking met de betrokkenen. Zo worden meer realistische doelen geformuleerd en kunnen ze specifieker voor de patiënt zijn.
Analyse
Op basis van een logische analyse worden de kenmerken van een interventie, maar ook de onderlinge relaties, weergegeven. Dit gebeurt vaak door een onderzoeker die gewoon achter zijn bureau zit. Het is een systematische analyse van doeleinden van verschillende groepen. Soms kunnen deze doeleinden, zoals eerder is uitgelegd, heel specifiek zijn. Een complete analyse van doelstellingen kan wel heel omvangrijk worden, omdat er meestal meerdere interventies zijn. Het is dan een optie om het evaluatieonderzoek in stukken te knippen en er meerdere onderzoeken van te maken. Herwijer (1981) heeft de doeleindenboom ontworpen. In deze boom beginnen onderin de middelen die met pijlen zijn verbonden met tussendoelen. Uiteindelijk, boven in de boom, zijn de einddoelen zichtbaar. Instrumentele doeleinden moeten specifiek zijn en doelen als 'rechtvaardigheid' moeten duidelijk meetbaar zijn met de middelen aan de voet van de boom. De vraag is: hoe verhouden de doelen van het beleid zich tot hogere doelen?
Starten van de analyse
Een doelstellingenanalyse kan op drie verschillende manieren van start komen:
1. Vanuit een algemeen, normatief uitgangspunt
2. Als de betrokkenen zijn gehoord met betrekking tot hun doelen en uitgangspunten.
3. Interventie en de effecten en gevolgen hiervan.
Normatief uitgangspunt
Bij een normatief uitgangspunt om de doelstellingenanalyse te starten, wordt er uitgegaan van een principe en daaraan worden gaandeweg de instrumentele doeleinden aan ontleend. Pas in een latere fase kom je bij de interventie met concrete doelen. De theorie van Rawls sluit hierbij aan. Bij verdeling van goederen moeten deze als eerste naar de mensen gaan die het minst gezegend zijn. Dit moet net zo lang gebeuren volgens Rawls tot het punt bereikt wordt waar de mensen die niet veel goederen hebben een groter welzijn zouden bereiken door de goederen die te verdelen zijn aan de mensen te geven die wel rijk zijn als aan de mensen die niet rijk zijn. Een bezwaar ten aanzien van een normatief uitgangspunt is dat het ene uitgangspunt niet per se beter is dan het andere. Er is altijd sprake van een trade-off situatie: woningbouw is bijvoorbeeld fijn voor de mens, maar weer niet voor het behoud van de natuur.
Descriptief uitgangspunt
Behalve een normatief uitgangspunt, bestaat er ook een descriptief uitgangspunt. Hierbij worden verschillende belangen en doelen van de belangengroepen in kaart gebracht door middel van interviews en documenten. Daaruit worden de algemene doelen bedacht. Het probleem hierbij is dat niet elke belangengroep de doelen helder en eerlijk verteld. Daarnaast is er ook sprake, zoals al eerder besproken is, van subjectiviteit. Er wordt ook niet bij nagedacht dat sommige doelen strijdig kunnen zijn als je naar de onderliggende waarden kijkt.

Praktisch uitgangspunt
Vanuit het praktische uitgangspunt een analyse naar de doeleinden beginnen, lijkt de meest logische. Hierbij wordt de theorie niet vergeten; eerst worden de verwachte gevolgen vanuit de theorie beschreven. Dit wordt aangevuld met de informatie die door middel van interviews van de betrokkenen komt. Hierbij wordt aan elke afzonderlijke actor gevraagd welke van hun doelstellingen ze het liefst gerealiseerd zien. Ook de verwachtingen worden uiteengezet. Als je vanuit het praktisch uitgangspunt aan een analyse begint, is de analyse een onderdeel van een planevaluatie, omdat hierbij ook de interventie uitgebreid wordt omschreven vanuit de theorie.
Voordelen doelstellingenanalyse
Er zijn verschillende voordelen bij doelstellingenanalyse:
1. Meer structuur in de vele verschillende doelen
2. Fouten in doelen ontdekken
3. Consistentie van de doeleinden beoordelen
4. Commentaar op belangengroepen
5. Verschillende middelen voor één doel
6. Kader voor effectenoverzicht
Als eerste voordeel van een analyse van de doelen is dat er structuur komt. De hiërarchie van de doelen wordt helder in kaart gebracht. Als de doelstellingen op elkaar lijken en dit geanalyseerd is, kan dit mogelijkheden bieden voor een verzameling onderzoeksprojecten. De ene interventie kan dan het doel zijn, terwijl de andere het middel is tot het doel. Een ander voordeel van de doelstellingenanalyse is dat bij veel interventies de relatie tussen doel en middel ontbreekt. Als de doelen impliciet zijn, moeten deze bijgesteld worden. Hierdoor kan er ook makkelijker een oorzaak-gevolg relatie worden gezien.

Nog een voordeel is dat de consistentie van doelen beter beoordeeld kan worden. Vaak zijn doeleinden namelijk niet consistent en moeten er grenzen gesteld worden. Dit zie je bijvoorbeeld terug in de hulpverlening: hulpverlening is mooi, maar mensen moeten niet te afhankelijk worden. Doelstellingenanalyse kan ook taboes onthullen. Dit is terug te zien bij het asielbeleid: een open asielbeleid is goed, maar het mag niet tot illegaal werk en meer criminaliteit leiden. Doeleinden van de overheid kunnen ook conflicteren. Een vierde voordeel van doelstellingenanalyse is dat er kritisch naar doelen wordt gekeken. De onderzoeker vraagt zich bijvoorbeeld af of de opdrachtgever wel de juiste doelen gesteld heeft en of dat wel of niet willekeurig is gegaan. In sommige sectoren, zoals de zorg, is er geen relatie tussen vraag en aanbod en zijn er veel verschillende belangen in het spel. Deze belangen zijn niet altijd verdedigbaar in het licht van de consequenties voor andere sectoren. De onderzoeker kan zich ook afvragen of de belangen van de verschillende actoren genoeg worden gedekt.

Als vijfde kan doelstellingenanalyse er toe leiden dat er inzicht wordt verkregen in het feit dat een doel op verschillende manieren bereikt kan worden. Een voorbeeld is het onderzoek naar klassegrootte en schoolprestaties. Er werd aangenomen dat schoolprestaties stijgen als de grootte van de klassen daalt. Andere middelen om een betere prestatie op school te verwezenlijken zijn er ook, zoals meer individuele begeleiding van de leerling. Als laatste voordeel geeft een analyse van doelen ook een kader voor een overzicht van de effecten van een interventie. Hierop wordt ingegaan in hoofdstuk H.

E. Ingrijpen: van de bestaande naar de gewenste situatie

De bedoeling van het ingrijpen door middel van een interventie is duidelijk: het welzijn van de mensen moet worden vergroot of aspecten die het welzijn verminderen of dreigen te verminderen moeten worden verminderd. Volgens Lindenberg (1984) streven mensen naar materieel welzijn en sociale waardering. Mensen maken ook keuzes die gebaseerd zijn op deze twee doelen die mensen hebben. Keuzegedrag is alleen niet onbeperkt, door verschillende omstandigheden heeft de mensen niet altijd keuze of een beperkte keuze.
Keuzevrijheid
Veel interventies willen de omstandigheden verbeteren, zodat mensen meer keuzes krijgen. Dit is terug te zien bij veiligheid: politietoezicht en brandpreventie zorgen ervoor dat mensen zich minder zorgen hoeven te maken om hun veiligheid en zich dus vrijer kunnen bewegen. Dit is ook het geval in de gezondheidszorg, zoals vaccins. De overheid of een andere instantie die opdracht geeft tot interventies gaat er vanuit dat het welzijn van de betrokkenen wordt vergroot. Dit geldt ook voor de afschaffing van de dienstplicht en huursubsidies. Op alle terreinen van het leven zijn er interventies. De keuzes van mensen worden door een interventie niet op een directe manier beïnvloed, maar de keuzevrijheid wordt vergroot. Dit houdt wel in dat mensen alsnog zelf moeten kiezen.
Gedragsverandering
Sommige interventies zijn er specifiek op gericht om het gedrag van mensen te beïnvloeden. Dit is bijvoorbeeld zo bij voorlichtingen over de gewenste rijstijl van mensen. Het kan ook iets meer indirect het geval zijn: interventies worden dan gericht op een tussenpersoon of een bedrijf of instantie die zo het gedrag van consumenten of cliënten veranderd. Hierbij kun je denken aan etiketteringvoorschriften die de overheid geeft aan bepaalde bedrijven. Het gevolg hiervan is, of in elk geval het beoogde gevolg, dat de consument zijn handelswijze verandert. Zo'n indirecte beïnvloeding is er ook als de rijksoverheid alleen richtlijnen geeft of standaarden die de lagere overheden moeten bereiken. De lagere overheden, zoals de gemeentes, mogen dan zelf bepalen op welke manier zij dit proberen te bereiken.
Gedragsruimtes
We gaan er van uit dat de keuze van gedrag van mensen kan worden beïnvloed door de verwachtingen over de gevolgen van dat gedrag. De mens heeft verschillende alternatieven en kan deze afwegen op basis van geschatte gevolgen en welke voor- en nadelen het gedrag heeft. Over het algemeen wordt er dus een soort kosten-batenanalyse gemaakt door mensen en kiezen ze op basis daarvan hun gedrag. Objectief gezien verschillen mensen en situaties in het aantal alternatieven voor gedrag. Soms zijn er gewoon geen alternatieven, bijvoorbeeld als een bepaalde ziekte alleen genezen kan worden door één specifiek medicijn. De gedragsruimte is dan klein, er zijn barrières. De gedragsruimte wordt ook wel gelegenheidsstructuur genoemd. Behalve een objectieve gedragsruimte is er ook een subjectieve gedragsruimte. Hierbij gaat het om de inschatting van de ruimte van de mensen zelf. Deze inschatting is niet objectief, omdat mensen bijvoorbeeld niet alle informatie hebben over de verschillende alternatieven voor een bepaald gedrag. Kennis van alternatieven en gevolgen is een belangrijk aspect bij het maken van een goede keuze.
Gevolgen
Sommige interventies leiden ertoe dat de objectieve gevolgen van bepaald gedrag worden veranderd. Dit is bijvoorbeeld zo bij de interventie van het verhogen van boetes voor te hard rijden. Als iemand dan het gedrag van te hard rijden vertoont, is de sanctie, wat het gevolg is, hoger. Mensen zouden hun gedrag kunnen aanpassen als er hele hoge boetes worden uitgedeeld. Deze gevolgen hebben meestal betrekking op fysieke kosten en sociale kosten. Fysieke kosten zijn bijvoorbeeld geld en vrije tijd. Sociale kosten hebben betrekking op mensen om je heen en sociale waardering.
Verwachtingen
De verwachtingen van gevolgen van gedrag zijn van verschillende dingen afhankelijk. Een voorbeeld hiervan is (on)zekerheid van het gevolg: Hoe waarschijnlijk is het dat het gedrag een bepaald gevolg veroorzaakt? Onzekerheid over de gevolgen kan leiden tot vermijden van alternatieven. Mensen zijn geneigd om bij grotere onzekerheid dingen te vermijden. Dit is wel afhankelijk van hoeveel risico je durft te nemen. Informatie is een belangrijk aspect bij de verwachting van gevolgen: de onzekerheid neemt af, omdat je meer over de gevolgen weet. Dit brengt echter kosten met zich mee en een mens kan nooit perfect geïnformeerd zijn en alles op een rijtje hebben: 'bounded rationallity'.

Er is een formule waarin de subjectieve verwachte nut (Subjectively Expected Utility) wordt berekend:
SEU = optreden van een bepaald gevolg van een gedraging * waardering van het gevolg. De verwachting en de waarderingen zouden dus gemeten moeten worden om te kijken of mensen het gedrag gaan uitvoeren. Dit is technisch gezien echter niet haalbaar. Er kan wel gekeken worden of de waardering van verschillende verwachtingen tussen de proefpersonen uiteenloopt.
Gedrag
Uiteindelijk is gedrag het resultaat van de objectieve en subjectieve gedragsruimte. Verder gaat het om de verwachtingen, zowel subjectief als objectief, van de gevolgen van de alternatieven van een bepaalde gedraging. De waarderingen van deze gevolgen moeten ook nog meegenomen worden om te kijken of het waarschijnlijk is dat iemand bepaald gedrag gaat vertonen. De gedragsruimte en de verwachtingen kunnen beïnvloed worden door variabelen. Dit is bijvoorbeeld een barrière of juist iets wat kan helpen. Het gedrag van mensen hangt dus samen met de achtergrondvariabelen. Zo kan de achtergrondvariabele leeftijd een grote rol spelen bij het meedoen aan bepaalde activiteiten.

Wat ook een grote rol speelt bij het gedrag van een bepaald persoon is zijn of haar omgeving. Mensen leven in groepen en verwachtingen kunnen dus beïnvloed worden door andere personen uit de groep. Als iedereen uit de groep meedoet aan een bepaalde activiteit, gaan de verwachtingen van mensen omhoog 'het moet wel leuk zijn, want iedereen gaat'. De verwachtingen over de gevolgen van wel of niet meegaan zijn ook duidelijk: 'Als ik niet meer meega, hoor ik niet bij de groep'. Het kan ook zo zijn dat iemand enthousiast begint met een bepaalde activiteit, maar dat het gaandeweg tegenvalt of dat er vervelende dingen bij komen kijken. Dat kan de verwachtingen van de activiteit natuurlijk beïnvloeden. Het effect van een interventie is vaak afhankelijk van de context. Statistische interacties zijn nauwelijks voorspelbaar. De elementen van een interventie zijn vaak niet optelbaar en onderling hebben ze ook weer invloed op elkaar. Kortom: het is lastig om verwachtingen en waarderingen te koppelen aan gedrag.
Typen interventies
In de literatuur zijn drie typen interventie genoemd, die Van der Doelen (1989) op een rijtje heeft gezet: het communicatieve sturingsmodel, het economische sturingsmodel en het juridische sturingsmodel. Populair wordt er ook wel gesproken van de preek, het voorhouden van een wortel en het hanteren van de knuppel. Met de preek wordt gedragsbeïnvloeding door middel van attitudes en waarden bedoeld. De wortel is een metafoor voor de financiële argumenten en de knuppel gaat op verbods- en strafbepalingen in. Er zijn verschillende auteurs die deze types interventies hebben uitgebreid of verder hebben gespecificeerd.
Gelegenheid om keuzes te maken
Een interventie heeft altijd betrekking op het maken van keuzes en op de gedragsruimte van mensen. Als er maar één keuzemogelijkheid is, zijn er twee opties: niets doen (wat ook een keuze is) of die keuzemogelijkheid kiezen. Interventies kunnen beperkend zijn of verruimend. Bij beperkende interventies wordt de gedragsruimte ingeperkt, terwijl bij verruimende interventies de mens juist meer keuzemogelijkheden krijgt. Gevangenissen worden zo ingericht, dat de mogelijkheden tot vluchten beperkt worden. De delinquenten worden dus zo beperkt in hun keuzemogelijkheden. De wetgeving is er ook op gericht om soms beperkend te zijn. Een voorbeeld hiervan is de Leerplichtwet.

Maatregelen die juist de keuze van mensen verruimen, zijn er ook. Natuurlijke barrières worden opgeheven of er worden hulpbronnen ingezet. Condooms beschikbaar stellen in een ontwikkelingsland is zo'n hulpbron: mensen hebben nu de mogelijkheid om te kiezen tussen veilig en niet-veilig vrijen. Subsidies maken keuzes mogelijk; zonder subsidie zou men andere keuzes gemaakt kunnen hebben. Het beïnvloeden van de objectieve gedragsruimte is een interventie in de fysieke omgeving van de mensen. De interventies die gedragsalternatieven mogelijk maken zijn minder 'hard' omdat mensen kunnen kiezen of ze er wel of geen gebruik van maken.
Waargenomen gedragsruimte
De gedragsruimte die mensen ervaren hoeft niet gelijk te zijn aan de gedragsruimte die er in het echt is. Mensen kunnen hun eigen mogelijkheden onderschatten of hebben te weinig kennis over andere mogelijkheden. Nieuwe interventies worden vaak in de publiciteit gebracht om mensen attent te maken op nieuwe mogelijkheden. Bij beperkende interventies is dit meestal niet zo, want daar komen mensen zelf wel achter als ze het gedrag gaan vertonen. Voorlichting die waarschuwingen bevat is een voorbeeld om de gedragsruimte, de perceptie daarvan, te beïnvloeden. Bij het invloed uitoefenen op de gedragsruimte wordt er niet zozeer gelet op achterliggende gedachtes of motieven. Het is dus een soort symptoombestrijding.
Objectieve gevolgen beïnvloeden
De mogelijkheden van gedragskeuzes wordt bij deze categorie interventies helemaal open gehouden. De interventie richt zich juist op de gevolgen van bepaalde gedragingen. Sommige gedragingen worden gestimuleerd, andere juist ontmoedigd. Prikkels en voorschriften worden aan gedrag verbonden. Weer het voorbeeld van de boetes: als boetes voor te hard rijden een stuk omhoog gaan, wordt het gedrag 'te hard rijden' ontmoedigd doordat de interventie zich richt op de gevolgen van deze gedraging, namelijk een hele hoge boete. Op een groter niveau gebeurt dit ook: prikkels zijn subsidies of heffingen, waardoor bepaald gedrag wordt aangemoedigd. Juridische interventies kunnen zowel verruimend zijn als beperkend: beloning en straf. Deze interventies zijn gericht op stimulering of beperking van het fysieke welzijn. Je zou je ook meer kunnen richten op sociale waardering, in plaats van alleen maar op het materiële welzijn. Als te hard rijden in een bepaalde groepering heel negatief wordt gezien, is de kans groter dat een lid van die bepaalde groep dat minder snel gaat doen, omdat hij bij de groep wil blijven horen.
Subjectieve gevolgen beïnvloeden
Gedrag proberen te veranderen kan alleen als iemand zich ook bewust is van de gevolgen van gedrag. De objectieve maatregelen, zoals hogere boetes voor te hard rijden, zijn natuurlijk duidelijk. Maar als iemand niet weet dat hij of zij hogere boetes krijgt bij te hard rijden, heeft het geen gevolgen voor het gedrag. Het beïnvloeden van de gevolgen van gedrag is dus niet alleen objectief, maar ook subjectief. Het geven van voorlichting over milieu is een goede manier om dingen onder de aandacht te brengen. Hierbij wordt echter maar een kleine groep bereikt: alleen de mensen die geïnteresseerd zijn.

Bij voorlichting en campagnes via de media probeert men de mensen bewust te maken van gevolgen van hun gedrag. Er zijn ook dreigingen van de kant van de overheid. Dit is bijvoorbeeld het geval als er gedreigd wordt subsidie in te trekken. De organisatie is dan genoodzaakt om een nieuw beleid te voeren, te reorganiseren of te bezuinigen. Dit kan ook een positief effect hebben: met minder subsidie is de organisatie meer aangewezen op creativiteit om toch goed rond te kunnen komen.
Waarden beïnvloeden
Deze vorm van interventies is gericht op het veranderen van de waarden die mensen hebben. Dit kan gebeuren op verschillende manieren, vaak wordt het gedaan door campagnes en voorlichtingen. In een voorlichting kan duidelijke, ongekleurde en zoveel mogelijk objectieve informatie worden gegeven. Er is ook een ander soort voorlichting: informatie en waarschuwingen. Dit is vaak terug te zien bij middelen waarop accijnzen zitten omdat de overheid het gebruik ervan wil ontmoedigen, zoals bij roken. De derde manier om voorlichting te geven richt zich meer op een discussie en is gericht op de persoonlijke keuze van een volwassen persoon. Pogingen tot het beïnvloeden van gedrag gaan dus vaak gepaard interventies die gericht zijn op gevolgen en op waarden.

De beïnvloeding van waarden is vaak moeilijker, omdat deze diepgeworteld in de persoon zelf zitten. Er is een zogenaamd Mattheus-effect: er bestaat een grote kans dat de kloof tussen wel en niet weten groter wordt. Dit zie je bijvoorbeeld terug in voorlichtingen: degenen die fel tegen roken zijn, luisteren aandachtig en krijgen meer kennis, terwijl degenen die roken niet aanwezig willen zijn. Zo wordt de kloof steeds breder. Een voorbeeld van een campagne die de waarden beïnvloedt is de campagne waarin wordt aangegeven dat sociale waardering niet voortkomt uit het type auto waarin de mensen rijden. Propaganda is ook een goed voorbeeld van het beïnvloeden van waarden van mensen.
Continuüm
Interventies kunnen gericht zijn op het gedrag van mensen. Deze interventies kunnen worden ingedeeld op een continuüm: van hard naar zacht.
1. Objectieve mogelijkheden
2. Subjectieve mogelijkheden
3. Objectieve gedragsgevolgen
4. Subjectieve gedragsgevolgen
5. Veranderingen in waarden
Een toepassing van een interventie is de maximumsnelheid. De keuze van een snelheid om te rijden hangt af van verschillende waarden, zoals tijdsbesparing, comfort, veiligheid en kosten. Een interventie die zich richt op de tijd is bijvoorbeeld het plaatsen van drempels of wegversmallingen; bestuurders moeten wel langzamer gaan rijden. Een andere mogelijkheid is dat er voorlichting wordt gegeven over het werkelijke verschil in tijd als mensen 130 km/u rijden in plaats van 120 km/u. Dit zou dan kunnen worden afgezet tegenover de hogere kosten die een versnelling van 10 km/u veroorzaken. Aan het aspect comfort zijn ook veel interventies gekoppeld: bijvoorbeeld hogere tolgelden voor auto's die heel hard kunnen rijden. Boetes zijn ook een voorbeeld van een interventie die het comfort verminderen bij te hard rijden. Bij het aspect van veiligheid zijn er geen objectieve interventies te maken. Er kan wel voorlichting worden gegeven over de gevolgen van te hard rijden.
 

F. Theorie in een planevaluatie

Een planevaluatie wordt vaak achter het bureau gedaan door de onderzoeker. Er wordt een doordachte en verantwoorde interventie ontworpen die effectief is. De bedoeling is om de bestaande situatie te veranderen naar de gewenste situatie. De kosten en de negatieve effecten moeten duidelijk in kaart gebracht worden. Het is belangrijk dat de interventie perfect past in de bepaalde situatie; de context moet meegenomen worden bij het nemen van beslissingen over de interventie. In deze evaluatie gaat het vooral over het ontwerpen van een interventie. Dit wordt gedaan aan de hand van rapporten en documenten, maar ook groepsgesprekken komen erbij kijken. Het maken van een plan staat voorop. Voordat je aan een planevaluatie kan beginnen, moet het probleem geanalyseerd zijn en er een diagnose zijn gesteld (zie hoofdstuk A).
Ingrediënten
De belangrijkste benodigdheden voor een planevaluatie zijn deze:

• Duidelijke formulering van het probleem

• Beschrijving van de bestaande situatie

• Beschrijving van de gewenste situatie

Deze aspecten zijn dus per se nodig voordat de evaluatie kan beginnen. Als ze niet aanwezig zijn, dienen ze onderzocht te worden voordat de eigenlijke planevaluatie begint. Een planevaluatie is niet altijd noodzakelijk, maar meestal wel. Als er een bestaande interventie is die perfect in het plaatje past met betrekking tot de bestaande en gewenste situatie, is een planevaluatie niet nodig. Je kunt dan rechtstreeks de hypothese toetsen. Meestal zijn contexten en andere variabelen echter verschillend van de situatie waar een succesvolle interventie is ingezet en de huidige situatie. Dan moet er toch een planevaluatie plaatsvinden. Het kan voorkomen dat een planevaluatie niets oplevert en er geen haalbare interventies zijn. Er hoeven dan geen andere vormen van evaluatie te zijn. Bij een hypothetisch geval, een perfecte interventie,zouden andere vormen van evaluatie ook achterwege kunnen blijven. In de situatie waarin een interventie niet terug te draaien is, zoals de bouw van de Noord-Zuidlijn, zijn vormen van proces- en productevaluatie niet wenselijk. Het kan toch niet meer teruggedraaid worden, dus een planevaluatie is voldoende.
Zes stappen in een planevaluatie
De eerste stap in een planevaluatie is het analyseren van bestaande interventies. Informatie wordt vooral gehaald uit documenten en interviews. Er wordt gekeken in welke mate de interventies succesvol zijn en wat precies de effecten van de interventies zijn. Dit past bij het principe van 'muddling through', waarbij geen compleet nieuwe interventie wordt bedacht, maar de overheid houdt er meer van om bestaande interventies wat aan te passen waar nodig.

Een tweede stap in de evaluatie is het analyseren van negatieve punten binnen interventies. Binnen deze stap staat het bedenken van betere interventies centraal. Ook worden er verbindingen gelegd tussen doelstellingen en interventies. De theorie is hierbij belangrijk: er wordt vanuit de theorie beredeneerd en bestudeerd. De algemene theorie wordt meer specifiek gemaakt naar de situatie. De onzekerheden bij de gevolgen van de interventies worden in kaart gebracht.

De derde stap in de planevaluatie is dat de onderzoeker een nieuwe interventie ontwerpt. De elementen waaruit een interventie bestaat worden op een rijtje gezet en tegen elkaar afgewogen. Het kan ook zijn dat de interventie bestaat uit dezelfde elementen, maar dat er een andere volgorde wordt gebruikt. De onderzoeker mag in eerste instantie niet te selectief zijn. Na de eerste inventarisatie worden interventies meer specifiek gekozen en de rest wordt weggedaan. Verschillende aspecten, zoals financiële en technische haalbaarheid, spelen een rol in de selectie van potentiële ideeën. Effecten van interventies worden uitgebreid bekeken en er wordt een effectenoverzicht gemaakt. De denkbare interventies zijn in dit overzicht de kolommen, de effecten zijn de rijen.

In de vierde stap van de planevaluatie wordt een kosten-batenanalyse of een kosten-effectiviteitsanalyse uitgevoerd. De alternatieven van de interventies worden goed tegen elkaar afgewogen. De kosten bestaan natuurlijk uit financiële kosten, maar ook sociale kosten spelen een rol in de analyse. Bij elke interventie die misschien toegepast gaat worden, wordt de kosten en de baten of de effecten tegen elkaar afgewogen. Hierbij komen opportunity costs kijken: interventies de je niet gaat uitvoeren en die misschien beter zijn dan nu, hadden betere effecten kunnen hebben.
De vijfde stap bestaat uit het maken van een lijstje met in de goede volgorde de interventies die het meest geschikt zijn. Van dit lijstje wordt een advies gemaakt en dit wordt aan de opdrachtgever gepresenteerd.
Stap zes is het beantwoorden van vragen. Swanborn beschrijft verschillende vragen die gesteld kunnen worden: Is er een proces- of een productevaluatie nodig? Hoe krijgt dit vorm? De onderzoeker moet een onderbouwd antwoord kunnen geven op deze vragen.
Theorie
Het woord 'theorie' wordt in heel veel contexten gebruikt. Er zijn twee soorten theorieën: een algemene theorie en een terreinspecifieke theorie. Bij een algemene theorie wordt op een abstract niveau menselijk gedrag beschreven en verklaart. Een terreinspecifieke theorie is afgeleid uit een algemene theorie, maar richt zich op één bepaald terrein. Hoogerwerf vervangt het woord theorie door 'beleidstheorie'. Hij bedoelt hiermee de theorie die de onderzoeker ontwerpt om interventies op te baseren.

Binnen het planonderzoek is er sprake van een analytische evaluatie. Dit houdt in dat de causale keten tussen interventies en doelen wordt geanalyseerd. Hierdoor kunnen mediërende of modererende variabelen aan het licht komen. Een voorbeeld is het verband tussen roken en hartafwijkingen. Dit verband is aangetoond door vele onderzoeken en studies. Om schakels te analyseren in dit causale verband is het wel nodig om het achterliggende mechanisme te ontdekken. Roken leidt tot een hoog gehalte koolmonoxide en dat leidt tot minder zuurstoftoevoer en dat weer tot een hogere bloeddruk. Als je de verschillende schakels weet, kan je een interventie toepassen die gericht is op één van die schakels. Zo doorbreek je eigenlijk de causale relatie tussen roken en hartfalen.
Model van Leeuw (1983)
Leeuw (1983) heeft een model ontwikkeld waarbij de theorie uiteindelijk leidt tot hypotheses van een interventie. De belangrijkste onderliggende gedachten zijn:

• Informatie kan invloed hebben op het niveau van kennis en op waarden van mensen

• Kennis en waarden kunnen de attitude van mensen veranderen

• Er is een interactie tussen kennis en attitude aan de ene kant en aanwezigheid en prijs aan de andere kant. Als je wel de kennis en attitude hebt, maar geen geld, kun je alsnog niets kopen. Als je wel de kennis en attitude hebt, maar het product is niet aanwezig, kun je het ook niet kopen. Denk hierbij aan het voorbeeld van condooms in ontwikkelingslanden.

Computersimulatie
Als een theorie duidelijk omschreven is, kan je een model maken van het systeem. Een computer kan hierbij helpen: je kunt ontwikkelingen onder verschillende omstandigheden simuleren. Hierbij kunnen de variabelen dus variëren. Alle actoren met de relaties er tussen moeten duidelijk vast worden gelegd voordat er een simulatie kan plaatsvinden. Met mathematische modellen kunnen de consequenties van een interventie precies worden vastgelegd. Zo'n model heeft verschillende voordelen: makkelijk manipuleerbaar en alles is vastgelegd. De moeilijkste taak is echter die van de onderzoeker: hij moet het model ontwerpen en de resultaten uiteindelijk interpreteren. Een nadeel van computermodellen is dat het nooit precies zo gaat in de praktijk. Het voordeel is duidelijk dat je kunt zien welke relaties er bestaan tussen de verschillende variabelen.

G. Experts in een planevaluatie

Zoals al eerder is aangegeven, vindt een planevaluatie vooral achter het bureau plaats. De kennis van de onderzoeker reikt echter bij bepaalde onderwerpen niet ver. De documenten en interviews die gebruikt worden zijn dan niet toereikend om een goede evaluatie te maken. Het gevolg hiervan is dat er informanten moeten zijn. Deskundigen kunnen de kennis aanreiken die we zelf niet hebben.

Deze experts hebben de volgende kenmerken: het zijn wetenschappers met specifieke kennis, vertegenwoordigers van allerlei actoren en vertegenwoordigers van de doelgroep. Bij een planevaluatie is veel nog onduidelijk: wat zijn de neveneffecten? Wat is de beste benadering? Hoe zeker kan je zijn van de gevolgen? Bij al deze vragen kunnen deskundigen helpen. Samen kunnen ze tot een gemeenschappelijk model komen. Informanten kunnen individueel benaderd worden, maar vaak wordt bij een planevaluatie met experts in groepsverband gewerkt.
Groepsinterviews
De onderzoeker probeert elementen van mentale modellen naar boven te krijgen: alle ideeën die experts hebben over een interventie, de problemen die hierbij komen kijken en de effecten ervan worden op een rijtje gezet. In een groep van deskundigen is het belangrijk dat ze onderling van elkaar verschillend zijn; dit zorgt er namelijk voor dat de onderzoeker veel verschillende ideeën en analyses te horen krijgt. Deelnemers aan een groepsinterview kunnen externe deskundigen zijn, maar ook vertegenwoordigers van belangengroepen. Soms komen de deskundigen bij elkaar, maar er kan ook interactie zijn via de mail. Deelnemers kunnen bekenden of onbekenden zijn van elkaar. Dit zijn allemaal verschillende criteria die vooraf door de onderzoeker moeten worden vastgesteld. Het ligt aan de situatie wat de wenselijke criteria zijn.

Groepen of individuen?
De onderzoeker zelf heeft een aantal assumpties. Als eerste is de assumptie 'eerlijkheid' belangrijk: de experts moeten bereid zijn om betrouwbare informatie te geven. De tweede assumptie is dat groepsinterviews meer opleveren dan individuele interviews. Dit hoeft niet alleen inhoudelijk te zijn, maar kan ook op niveau van kosten zijn: de kosten van een groepsinterview zijn uiteindelijk lager dan alle individuen die een apart gesprek hebben. Een kanttekening hierbij is dat er ook wel veel kosten gemaakt moeten worden om de groep bij elkaar te krijgen: zaalhuur, apparaten, reiskostenvergoeding, groepsleiding enzovoorts.

Mensen voelen zich betrekkelijk anoniem in groepsverband en durven meer te zeggen. Aan de andere kant zijn de experts ook geneigd om in een groep meer sociaal wenselijke antwoorden te geven. Een positief punt is het synergetisch effect: discussie in een groep leidt tot extra vragen, waardoor er meer informatie los komt. Een sneeuwbaleffect is ook vaak aanwezig: een deskundige doet een bewering en er komt een stroom van beweringen op van andere deskundigen. Het face-to-face contact is belangrijk: bij onduidelijkheden kan gelijk om opheldering worden gevraagd en er kan worden doorgevraagd. Een groepsdiscussie wordt uiteindelijk meer gewaardeerd dan een individueel interview. Voor de onderzoeker heeft een groepsdiscussie voordelen: er worden meer spontane reacties gegeven en er komt veel informatie vrij.
 

Er zijn verschillende werkwijzen, die achtereenvolgens besproken gaan worden:
1. Focusgroepen
2. Concept mapping
3. Delphi methode
4. Workshop-methode
5. Scenario-methode
6. Spelsimulatie/gaming
1. Focusgroepen
Focusgroepen is een speciale vorm van groepsgesprekken. De deelnemers worden verzocht door de groepsleider om een tot twee uur van gedachten te wisselen over een bepaald onderwerp. De groepen bestaan meestal uit 5-12 personen. Meestal zijn de groepen vrij homogeen, maar zijn er wel verschillen in inzichten bij problemen. Deskundigen worden gekozen op kennis en openheid. Bij de focusgroepen gaat het niet om consensus of beïnvloeding. Het organiseren van focusgroepen levert de onderzoeker veel kennis op. De begeleider luistert vooral en geeft de structuur aan. Hij moet duidelijk in zijn hoofd hebben wat relevant is en wat niet en wat interessant is en wat niet. De onduidelijkheden moeten tijdens die een tot twee uur worden opgehelderd. De interactie tussen de deelnemers staat centraal.

De discussieleider luistert naar de ervaringen en verschillende perspectieven van de deelnemers. Het gesprek wordt opgenomen en later helemaal uitgewerkt. Tijdens de sessie is het van belang om goed op te letten, ook op aspecten als lichaamstaal. Deze vorm van informatie verkrijging is kwalitatief van aard en niet kwantitatief. Je kunt dus niet zeggen 'zes van de tien deskundigen vinden ...'. De uitkomsten zijn vaak niet representatief, maar kunnen wel tot nieuwe inzichten leiden. Een voorbeeld van een focusgroep is een groep met bejaarden in een tehuis. Hieruit kwam naar voren dat ze de behandeling door de verzorgers heel persoonlijk opvatten: 'Hij helpt mij niet goed omdat ik ..' Het wordt als een persoonlijke belediging gezien als iemand niet goed geholpen wordt.

Bij marktonderzoek zijn focusgroepen van consumenten vaak populair: 'Zou u dit product kopen?' Binnen een procesevaluatie gaat het om de waardering en beleving van de interventie. Bij productevaluatie gaat het om onderzoek naar de beleving van interventies. Praktisch gezien is het handig om per belangengroep een focusgroep te organiseren, vooral tijdens de plan- en procesevaluatie. Zo wordt duidelijk wat mensen bedoelen en de onderzoeker kan de doelen en verwachtingen van verschillende groepen in kaart brengen. Het gaat er bij focusgroepen dus niet om dat er consensus is, maar het gaat puur om het verkrijgen van informatie.

2. Concept mapping
Concept mapping is veel meer gestructureerd dan de focusgroepen. De toepassingsmogelijkheden zijn ook beperkter. Swanborn definieert concept mapping als het maken, groeperen en beoordelen van verschillende aspecten, Dit wordt gedaan door deskundigen die deelnemen in een groep. De aspecten die besproken worden zijn vaak problemen of doelstellingen. De oorzaken van problemen worden achterhaald. Verwachtingen kunnen ook geanalyseerd worden door de groep. De groep heeft meestal een grootte van tien tot twintig deelnemers. Aan elk van de deelnemers wordt gevraagd om doelen op te stellen die zouden leiden tot hun gewenste, ideale situatie. Dit is de eerste stap. De tweede stap bij de groep die aan concept mapping doet, is het verzamelen en clusteren van de doelen die iedereen voor zichzelf heeft opgeschreven. In de derde stap worden deze clusters in een plaatje gezet en geanalyseerd. De vierde stap bestaat uit een groepsdiscussie: het plaatje wordt geanalyseerd en geïnterpreteerd en alle verbanden krijgen een naam. In de vijfde stap moeten de deelnemers de items beoordelen op een schaal. Dit wordt meestal gedaan naar de mate van belangrijkheid. Ook succesverwachting speelt hierbij een rol.
Concept mapping is dus veel meer gestructureerd dan focusgroepen. Een verschil is ook dat bij concept mapping de deelnemers eerst individueel dingen opschrijven en dat het daarna pas besproken wordt. De informatie die naar voren komt uit de sessie kan nog beter worden gemaakt. Je kunt bijvoorbeeld gaan letten op de attitudes die achter de beoordeling op belangrijkheid zitten. De samenstelling van de groep deskundigen of deelnemers is van cruciaal belang. Het ligt aan de situatie welke soort groep het best kan worden samengesteld.

Het resultaat van de sessie is dat er een duidelijk inzicht is verkregen in de structuur van de gewenste doelen en eigenschappen. Ook is er onderscheid in belangrijkheid van bepaalde aspecten, omdat de groep deze in stap vijf hebben beoordeeld. Inzicht in verschillen kan ook worden verkregen, omdat de deelnemers meestal verschillende belangengroepen representeren. Het concept mapping is niet alleen handig voor de onderzoeker of de leider van de groep, ook de deelnemers kunnen leren van elkaar. Door de verschillende achtergronden kan er heel anders tegen een probleem aangekeken worden door verschillende mensen. De individuen binnen de groep kunnen deze andere zienswijze meenemen om van te leren.
3. De Delphi-methode
De derde methode is de Delphi-methode. Deze is ontwikkeld, omdat er een nadeel zit aan het face-to-face ontmoeten van elkaar in groepen. Binnen een groep zijn er dominante en minder dominante mensen. Verder is er verschil in status en werk. Hierdoor hebben sommige mensen meer overwicht op de groep dan anderen en bestaat het risico dat bepaalde personen die iets meer op de achtergrond zijn, niet de kans krijgen om hun mening te uiten. De Delphi-methode is een techniek waarbij de deelnemers van de groep elkaar niet face-to-face ontmoeten.

Het begint allemaal met het afbakenen van een focus op een probleem. Een voorbeeld waarin de Delphi-methode gebruikt kan worden is de doorverwijzing van de huisarts naar een specialist. De onderzoeker weet dat hierbij allerlei belangen spelen en dat het hele systeem veranderd moet worden, wat veel gevolgen zal hebben. Een compleet systeem effectief veranderen vergt veel kennis, wat verkregen kan worden door deskundigen uit een groep. Als bij dit voorbeeld een Delphi-methode zou worden toegepast, moeten de volgende mensen in de groep zitten: huisartsen, specialisten en ziekenfondsdeskundigen.

Bij de Delphi-methode bestaat de groep dus uit verschillende mensen die verschillende belangen hebben. Doordat al deze vertegenwoordigers van belangengroepen bij elkaar worden gebracht, komt het complete plaatje van belangen naar voren. Deskundigen moeten wel zoveel mogelijk objectief zijn en geen dingen opschrijven die ze hopen. De onderzoeker heeft als taak om een schriftelijke vragenlijst op te stellen. Deze kan bijvoorbeeld een vraag naar voor- en nadelen van bepaalde oplossingen bevatten. Alle deelnemers krijgen de vragenlijst. Als de antwoorden zijn geanalyseerd wordt een samenvatting van de resultaten van de analyse naar de deelnemers gestuurd. Dit gebeurt volkomen anoniem: er worden geen namen gekoppeld aan uitspraken. De respondenten worden hierna gevraagd om de vragenlijst nog een keer in te vullen. Nu hebben ze dus de mogelijkheid om hun antwoorden te herzien; ze hebben veel informatie en andere inzichten gekregen door de samenvatting van de resultaten. Dit is vergelijkbaar met een discussie, al zien de leden van de groep elkaar niet echt, toch wordt er (uiteraard anoniem) op elkaar gereageerd.

Het hele proces kan nog een keer herhaald worden. Soms worden de vragen iets aangepast door de onderzoeker om de deelnemers meer te prikkelen tot nadenken. Na een aantal rondes zijn de antwoorden van de respondenten stabiel geworden. Globaal over de hele groep gezien, is men iets naar elkaar toegegroeid, omdat er bepaalde zaken van elkaar zijn overgenomen. Een nadeel van de methode is dat deskundigen vaak voorzichtig zijn: ze durven niet hard op elkaar te reageren. Op den duur komt er ook enquêtemoeheid, de deskundigen hebben geen zin meer om de vragen nogmaals in te vullen en te herzien.

Het is mooi als de Delphi-methode consensus oplevert over de te nemen maatregelen. Als dat niet zo is, is het niet erg, maar kan de methode in een bredere context worden geplaatst. Het is een methode om de belangengroepen te horen en dichter bij het evaluatieonderzoek te betrekken. Mensen voelen zich meer verantwoordelijk voor het beleid. De kern van de Delphi-methodee is dus dat de deelnemers volkomen anoniem zijn ten opzichte van elkaar en dat er herhaalde terugkoppeling van resultaten en argumenten is. Het uiteindelijke resultaat wordt vastgelegd in een onderzoeksrapport. Een nadeel van de methode is dat schriftelijke communicatie veel tijd kost, zowel voor de deelnemer als voor de onderzoeker. Het is voor de deelnemer ook makkelijker om weg te lopen.
4. De Workshop-methode
De minst gestructureerde methode is de workshop-methode. Het voordeel van deze methode is dat het voor veel verschillende doeleinden gebruikt kan worden. Een belangrijk verschil met de Delphi-methode is dat bij de workshop-methode de deelnemers geen anonimiteit genieten. Deelnemers worden op criteria geselecteerd en uitgenodigd voor een bijeenkomst die een halve dag tot enkele dagen kan duren. Iedereen moet zijn of haar visie over een bepaalde situatie geven. Hier wordt door de anderen op gereageerd en men krijgt de kans om de visie eventueel bij te stellen als er nieuwe inzichten verkregen zijn. Hierna volgen er nog veel meer rondes, bijvoorbeeld tot er overeenstemming is over de aard van de situatie.

Er is afwisseling in de structuur van de methode: af en toe wordt er gewerkt in kleine groepjes, dan weer plenair of juist individueel. De workshop kan in alle soorten evaluaties gebruikt worden. Uiteindelijk wordt er een rapport gemaakt. Dit rapport wordt weer aan de deelnemers voorgelegd, om er fouten uit te halen of dingen aan te vullen. In een planevaluatie is een workshop heel handig omdat zo de theoretische informatie wordt aangevuld met praktijkinformatie en eventuele kritiek. Een voorbeeld van een workshop-methode is dat studenten, bestuurders van de universiteit en docenten discussiëren over het behalen van een verplicht aantal studiepunten in het tweede jaar van de studie met een bindend studieadvies als gevolg.

Een voordeel van de workshop-methode is dat de snelheid van reacties op elkaar hoog is. Nadelen van de workshop-methode zijn er zeker:

• Er is minder tijd om goed op anderen te reageren

• Veel wordt er gesproken over belangen, minder over het oplossen van een probleem

• Dominante mensen in de groep krijgen meer te zeggen dan de stillere mensen in de groep

• Groepsdruk om zich te conformeren aan de meerderheid

• Kosten zijn hoog

5. Scenario-methode
Een scenario houdt een beschrijving van de bestaande situatie van de samenleving in. Soms worden ook interventies uitgebeeld en wordt er gekeken hoe de huidige situatie kan worden veranderd in de gewenste situatie. Dit kan overeenkomen met een planevaluatie die op theorie is gebaseerd. Maar de scenario-methode wordt vooral toegepast als er geen theorie beschikbaar is. De deskundigen worden ingeschakeld. Het doel is om vast te stellen wat de gewenste situatie is en de nadruk ligt op de doelstellingen. Bij lange-termijn ontwikkeling wordt de scenario-methode vaak toegepast.

Over het algemeen worden er meerdere scenario's geschetst, omdat er verschillende uitkomsten mogelijk zijn. De karakteristieke eigenschappen van een scenario worden samengevat in een synopsis. Het is geen verwachting voor de toekomst, maar het is een beeld dat gebaseerd is op duidelijke keuzes. Het gaat dus om het ontwerpen van mogelijke gevolgen; een scenario is geen voorspelling! Dataverzameling gaat vaak via het CPB of het SCP of het CBS. In principe is het ook mogelijk om de Delphi-methode eerst uit te voeren en naar aanleiding daarvan de scenario-methode in te zetten. Scenario's hebben een tweeledig doel: discussie-alternatieven en waarschuwing. Bij discussie-alternatieven wordt er de nadruk gelegd op de eigen keuze en de noodzaak om doelen goed te funderen. Bij het waarschuwen is het doel vooral educatief van aard.
6. Spelsimulatie (gaming)
De doeleinden van de spelsimulatie zijn grotendeels hetzelfde als bij de workshop-methode en de Delphi-methode. Bij spelsimulatie krijgt iedereen een rol, dit is dus anders dan bij de voorgaande methodes. Dit kan de rol zijn die de persoon in werkelijkheid ook vervult, maar het kan ook de tegenovergestelde rol zijn. Vanuit deze rol moet er gereageerd worden op een maatschappelijk probleem. Soms wordt daarbij een scenario geschetst. Als er sprake is van een vrij rollenspel, wordt de interactie helemaal aan de deelnemers overgelaten.

Gaming is meestal meer expressief dan de scenario-methode. Het stamt af uit de oorlogsspelen die geanalyseerd werden door de krijgskunde. Het doel is om veranderingen in het systeem te analyseren en te kunnen toepassen. Een voorbeeld waarbij gaming een goed middel is om duidelijkheid te krijgen, is bij het plannen van een stadswijk. Hierbij zijn veel rollen denkbaar: architecten, grondbezitters, toekomstige bewoners, gemeente en investeerders. Gemiddeld gezien wordt spelsimulatie in een halve dag gedaan. Het wordt vooral toegepast voor training en onderwijs.

Er zijn twee soorten spelsimulatie: conventioneel en interactief. Bij interactieve simulatie komen er computers bij kijken die resultaten doorrekenen en dat weer doorgeven aan de deelnemers. Het is dus deels computer, deels personen in de simulatie. Het voordeel van simulatie is dat deelnemers echt gedwongen worden om zich in elkaar te verdiepen, doordat ze een bepaalde rol moeten aannemen. Samenwerking en gemeenschappelijke doelen zijn punten waarop geleerd wordt door simulatie. Geurts en Vennix (1989) geven verschillende voordelen van simulatie aan:

• Experimenteren met de toekomst

• Overzichtelijke lange-termijn problemen

• Leren door ervaring

• Stimuleren van inbreng deskundigheid

• Variabelen in verband met elkaar zien

Er zijn ook nadelen verbonden aan simulatie: het is lastig om de precieze effecten aan te tonen. Het is niet goed te zeggen wat de deelnemers nou precies hebben geleerd van de simulatie. En gaat men, door de inzichten die men verkregen heeft, zich echt anders gedragen?
GAS
GAS staat voor Goal Attainment Scaling, waar kort iets over gezegd is in hoofdstuk D. Bij het GAS formuleert de onderzoeker in samenspraak met de cliënt wat deze van de interventie verwacht. Deze verwachtingen worden in kaart gebracht door middel van een vijfpuntsschaal. De post-interventiescore wordt meteen gelinkt aan de geformuleerde verwachting. Hierbij zijn er wel problemen. Mensen hebben een verschillende kijk op de wereld die varieert van optimistisch tot pessimistisch. De kijk op de wereld heeft invloed op de verwachtingen van een interventie.

H. Keuzes in een planevaluatie

Er moet gekozen worden tussen het wel of niet uitvoeren van de interventie. Vaak is er sprake van de aanwezigheid van meerdere interventies: in een planevaluatie moet er dan gekozen worden op basis van effecten welke interventie het beste is. Als er maar één gevolg zou zijn van de interventie, was het makkelijk kiezen. Of als elke interventie makkelijk te beoordelen is volgens een lijst met criteria. In de praktijk is het niet zo simpel: problemen ontstaan wanneer de rangorde van de interventies op verschillende criteria is gebaseerd. Als je dan toch een goede vergelijking wil maken, moeten de criteria in elkaar uitgedrukt worden. Aan elk criterium moet dan een gewichtsfactor komen te hangen. Op deze manier zou je als het ware kunnen berekenen welke interventie je het beste kunt kiezen. Probleem hierbij is dat de scores vaak ordinaal zijn; vermenigvuldiging is niet toegestaan. Met de scores op de criteria kan dus niet echt worden gerekend.

Verschillende scores
Weegt de ene doelvariabele zwaarder dan de andere? Hoe zit dat met de deelvariabelen? Welke indicatoren passen er het best bij? Dit zijn allemaal vragen die komen kijken bij het kiezen tussen verschillende interventies die niet perfect met elkaar te vergelijken zijn. Het weegprobleem komt naar voren als de ene interventie een totaal ander scorepatroon heeft als de andere. Het toneelbeleid van de Nederlandse overheid is hier een voorbeeld van: het beleid is succesvol ten aanzien van een productiedoelstelling, maar niet succesvol ten aanzien van de participatiedoelstelling. Welke doelstelling weegt er zwaarder? Als dat de participatiedoelstelling is, is het beleid grotendeels mislukt. Het is lastig om waardes toe te kennen aan doeleinden die niet goed vergelijkbaar zijn: het appels-en-perenprobleem.

Effectenoverzichten
Het handigst is een overzicht met eindscores en totaalscores van de verwachte effecten van de interventie. Het optellen van scores is echter gevaarlijk: kan je zomaar effecten optellen? Het combineren van deelscores tot een uiteindelijke eindscore kan namelijk overbodig of ongewenst zijn. Als er uit een effectenoverzicht blijkt dat er één interventie is die het beste is, hoeven we geen deelscores op te tellen. Soms is het ook onmogelijk om een totale score te berekenen uit deelscores: bij een ordinaal meetniveau of als er geen gewichtfactoren toegekend kunnen worden. Het kan ook ongewenst zijn om een totaalscore te berekenen. Dit is het geval bij het appels-en-perenprobleem: interventies kunnen totaal niet vergeleken worden met elkaar. In de Consumentengids worden vaak producten getest en daaraan wordt een cijfer gekoppeld. Per persoon is het echter verschillend welke criteria er belangrijker worden gevonden, de een vindt het gebruikersgemak heel belangrijk, de ander vindt het design belangrijker.

Er zijn verschillende manieren om de effecten toch in kaart te brengen. Dit kan bijvoorbeeld door de scorekaart. Dat is een effectenoverzicht waar met kleuren wordt aangegeven welke rangorde van interventies van toepassing is. Een andere methode is de community impact analyse. Hierbij wordt ook een effectenoverzicht gepresenteerd, maar wordt het verder uitgesplitst naar belangengroepen. Een voorwaarde hierbij is dat binnen een groep consensus bestaat over de belangen, want individuele belangen kunnen niet worden meegenomen in het overzicht.

We zagen net al dat het soms ongewenst of onmogelijk is om criteria van een interventie goed met elkaar te kunnen vergelijken. Desalniettemin moet er toch een beslissing worden genomen. Als je de interventies niet rangschikt, loop je weg van je verantwoordelijkheid.

Het is soms wel wenselijk om deelscores op te tellen tot een totaalscore. Een voorbeeld waarbij dat goed kan is het verbeteren van een weg. Er zijn vier effecten: kosten, reistijdwinst, verlies aan natuurgebied en daling van het aantal verkeersslachtoffers. Als je deze effecten met elkaar wilt vergelijken, moet je standaardiseren. Reistijd wordt met een andere eenheid gemeten dan de kosten. Standaardiseren is dus overbodig als alle criteria met dezelfde eenheden gemeten wordt. Daarna moet er gewicht aan de criteria worden toegekend. Dit kan bijvoorbeeld door middel van de GAS methode. Dit is echter wel subjectief. Je kunt ook gewichten toekennen aan criteria als je de respondenten goed ondervraagd hebt. Het eindresultaat bestaat uit een vector van gewichten voor de verschillende criteria. De gestandaardiseerde matrix moet je vermenigvuldigen met de vectoren om de interventiegewichten te krijgen. Deze vectoren kunnen ook per belangengroep worden vastgesteld. Hierdoor kan inzicht worden verkregen in de criteria waarop groepen van elkaar verschillen.
Kosten-batenanalyse (KBA)
Om een goede afweging te kunnen maken tussen de alternatieven, is een kosten-batenanalyse een middel daarvoor. De balans tussen de kosten en baten wordt opgemaakt. Hierbij wordt een nul-situatie in beschouwing genomen om te kunnen vergelijken. In de nul-situatie wordt de interventie niet uitgevoerd en blijft alles zoals de huidige situatie is. KBA kan gericht zijn op een interventie, maar ook op diverse interventies. De effecten van andere actoren dan het bedrijf worden ook meegenomen, zoals milieueffecten. KBA past niet goed bij de opvatting dat er verschillende weegfactoren zijn bij de criteria. Op het terrein van de gezondheidszorg wordt KBA toch veelvuldig toegepast.
Kosteneffectiviteitsanalyse (KEA)
De vraag die bij de KEA centraal staat is: Welk alternatief is het goedkoopst of levert het maximale effect op? KEA wordt vooral toegepast als er maar een belangrijk effect is of als de effecten een sterke relatie hebben met elkaar.

De KBA en de KEA zijn in deze situatie minder complex voorgesteld dan ze daadwerkelijk zijn: er moet nog rekening worden gehouden met opportunity costs, onzekerheid en de rentevoet. Het zijn allebei discrete methoden: ze veronderstellen dat de interventies onafhankelijk zijn van elkaar. Het tegenovergestelde van discrete methoden zijn de continue methoden: hierbij zijn de interventies afhankelijk van elkaar.
 

I. Begeleidingsonderzoek

Bij procesevaluatie wordt de invoering van de interventie goed in de gaten gehouden. Als het nodig is, wordt er bijgestuurd. De aandacht van de onderzoeker gaat naar de sociale processen die een rol spelen. Procesevaluatie van overheidsbeleid is lastig, omdat het complex is om oorzaak-gevolg duidelijk te kunnen aangeven.

Noodzakelijkheid van procesevaluatie
Een procesevaluatie is nodig omdat het niet zeker is dat de interventies wel goed ingevoerd worden. Een planevaluatie alleen is in de praktijk bijna onmogelijk, er moeten nog meer evaluaties komen. Het is ook noodzakelijk omdat de interventies vaak een andere vorm krijgen dan de bedoeling vooraf was. Het onderzoek richt zich dus vooral op het uitvoeringsproces van een interventie. Bovendien weet je nooit zeker of een interventie effect zal hebben, ook al is dat in de planevaluatie grondig onderzocht. Verder is het vaak niet bekend hoe een interventie nou precies werkt.

De uitvoering
Het ingevoerde beleid verschilt meestal wel wat van het vooraf bedachte beleid. Binnen de bestuurskunde wordt dan ook onderscheid gemaakt tussen het bedoelde beleid en de beleidsprestatie. De beleidsprestatie is het beleid dat uiteindelijk ingevoerd is, Een doel van een procesevaluatie is niet om definitief in te schatten in hoeverre de interventie heeft gewerkt, maar er kunnen wel voorlopige indrukken opgedaan worden. Het verschil tussen doelgroepen wordt hierbij ook in kaart gebracht. Sommige delen van de interventie zijn niet haalbaar.
Knelpunten
Bij elke procesevaluatie komen de knelpunten en de tegenvallers aan de orde. De meeste onderzoekers weten wel wat de aard van de knelpunten kunnen zijn: tijd, middelen, voorbereiding of de begeleiding. Neveneffecten die negatief of positief zijn, kunnen niet altijd worden voorzien. Als tijdens de procesevaluatie er duidelijk punten naar voren komen waarbij er dingen verbeterd kunnen worden, is er de mogelijkheid voor tussentijdse bijsturing. Eventueel kan de onderzoeker aangeven dat de doelen die gesteld zijn niet haalbaar zijn en dat er andere doelen geformuleerd moeten worden. Als er sprake was van ietwat vage doelstellingen aan het begin, kunnen deze wellicht bijgesteld worden.
Waarom werkt het?
Met een procesevaluatie wil je ontdekken welk element binnen een bepaalde context zorgt voor het causale verband. Je wilt dus de keten ontrafelen. Als een interventie niet op theorie gebaseerd is, is het helemaal lastig om de oorzaak van het causale verband te vinden.
Als je echt wilt weten hoe een bepaalde interventie tot bepaalde gevolgen leidt, moet je de volgende stappen doorlopen:

• Alle schakels in de causale keten op een rijtje zetten en dat verklaren

• Expliciet maken van condities

• Inzicht krijgen in wat 'tijd' doet

• Experimenteren met kleine veranderingen in interventies

Kenmerken van procesevaluatie
Procesevaluatie is vaak actiebegeleidend onderzoek. Dit komt omdat het onderzoek plaatsvindt tijdens het interventieproces. Alles wordt geobserveerd en geanalyseerd. Procesevaluatie is ook erg intensief. Dit komt doordat er veel variabelen onderzocht worden. De details worden uitgebreid onderzocht, omdat daar de verbeteringen in kunnen zitten. Meestal is procesevaluatie kwalitatief onderzoek. De onderzoeker gebruikt allerlei bronnen om data te verzamelen. De resultaten uit verschillende bronnen worden met elkaar vergeleken. Met de interpretatie van mensen wordt ook rekening gehouden. Een ander kenmerk van een procesevaluatie is dat het een explorerende benadering heeft: de onderzoeker heeft bijna geen hypothesen, maar een open opstelling ten aanzien van verschillende feiten. Van te voren wordt wel vermoet dat de geformuleerde interventie aanpassingen nodig heeft om perfect in de situatie te passen.

Monitoring
Monitoring wordt ook wel continu volgonderzoek genoemd, een periodieke peiling. Dit is echter niet hetzelfde als een procesevaluatie. Er zijn belangrijke verschillen:

• Monitoring is niet altijd gebonden aan een specifieke interventie, procesevaluatie wel.

• Monitoring is zelfonderzoek. De opdrachtgever is intern en de gegevens zijn bestemd voor intern gebruik.

• Monitoring is gebaseerd op de aangeleverde gegevens die van kwantitatieve aard zijn. Bij procesevaluatie hoeft dit niet zo te zijn en de onderzoeker kan ook zelf achter gegevens aangaan.

• Monitoring is periodiek, terwijl procesevaluatie incidenteel is.

Deze verschillen betekenen niet dat monitoring en procesevaluatie elkaar niet kunnen aanvullen. In procesevaluatie kan er snel gebruik gemaakt worden van de resultaten van monitoring.

Invloed op de uitvoerenden
Een procesevaluatie kan een grote invloed hebben op verschillende groepen actoren. Een neveneffect van procesevaluatie is dus eigenlijk het onderzoek zelf. Uitvoerders kunnen zich bijvoorbeeld aangetast voelen in hun autonomie. Donker (1990) besteedde aandacht aan de effecten van evaluatie-onderzoek op de uitvoerenden in de geestelijke gezondheidszorg. Sommige uitvoerenden krijgen een betere motivatie en zijn zich beter bewust van de doelstellingen. Aan de andere kant kan het ook negatief uitpakken: de uitvoerders krijgen weerstand tegen het onderzoek.

J. Effecten en power bij productevaluaties

Als er een effect is van een bepaalde interventie, willen onderzoekers dit effect graag vinden. Er zijn vijf criteria voor evaluatieonderzoek:

1. Gevoeligheid. De vraag is of het ontwerp van het onderzoek gevoelig genoeg is om de effecten van de interventie te ontdekken.
2. Causaliteit. Je moet andere interpretaties weerleggen om de causale validiteit aan te kunnen tonen.
3. Representativiteit. Gelden de conclusies wel voor het systeem?
4. Generaliseerbaarheid. Gelden conclusies ook voor andere, soortgelijke systemen?
5. Bruikbaarheid. Zijn de resultaten bruikbaar voor de opdrachtgever?

Deze criteria zijn niet onafhankelijk van elkaar. De causaliteit is bijvoorbeeld verbonden met generaliseerbaarheid.
Gevoeligheid
Onderzoekers moeten de gevolgen van de interventies in kaart brengen en de effecten analyseren. Om te kijken hoe effectief de interventie is, kan er naar verschillende getallen gekeken worden:

• Verschil tussen gemiddelden

• Verschil tussen percentages

• Gemiddelde verschil tussen voor- en nameting

• Verschil tussen regressiecoëfficiënten

• Correlatie

• Discriminant

Dit kan uiteraard allen als het materiaal kwantitatief is. Het algemene regressiemodel is dan van toepassing.
Effect ontdekken
Het effect van de interventie is soms lastig te ontdekken. Je kunt het effect op verschillende manieren groter maken:

1. Dosering van de interventie: soms wordt de interventie binnen grenzen gehouden en is het effect minder zichtbaar.

2. Minder variabelen die invloed hebben op de doelen. De andere variabelen worden dan meer gecontroleerd, waardoor de invloed die je meet puur door de interventie komt.

3. De uitvoering beter is. De uitvoering van het experiment moet helemaal goed verlopen, zodat er zo min mogelijk ruis is door fouten binnen het experiment.

4. Minder meetfouten. Meetfouten komen altijd voor, maar om de power te vergroten moeten de meetfouten geminimaliseerd worden.

Toetsen
Er zijn twee mogelijkheden bij het toetsen. De eerste is dat de populatiegemiddelden niet verschillen voor de controle en de experimentele groep. Dit houdt in dat de nulhypothese waar is. Idealiter wordt de nulhypothese niet verworpen. Toch kan het zo zijn dat door kleine verschillen de nulhypothese toch verworpen wordt: er is dan sprake van een Type I fout (zie tabel hieronder). De alpha staat standaard op 0.05. Dit houdt in dat we in 95 procent van de gevallen de goede conclusie trekken, maar in 5 procent van de gevallen dus niet. De andere mogelijkheid is dat de populatiegemiddelden wel van elkaar verschillen. De nulhypothese moet dan worden verworpen. Hierbij kan ook een fout worden gemaakt: de type II fout (zie tabel hieronder).

Power

De power is het onderscheidend vermogen van de test. Het is de kans op het ontdekken van een verband. Het is dus gunstig als de power van een test hoog is. De power wordt berekend door 1 - type II fout. Het is dus zaak om de type II fout zo klein mogelijk te houden. Type I fout wordt ook wel 'false positives' genoemd, terwijl de type II fout 'false negatives' genoemd wordt.

Bepalen van de power
Als eerste wordt de power bepaald door de effectgrootte. Als het effect groter is en de verdelingen van de nulhypothese en de alternatieve hypothese verder van elkaar liggen, is de power groter. De power wordt ook bepaald door het significantieniveau. Als de alpha kleiner wordt, wordt de power ook kleiner. Dit is logisch, omdat het steeds moeilijker wordt om een significant resultaat te krijgen naarmate de alpha kleiner wordt. Als alpha afneemt, stijgt bèta en zakt de power. Het een- of tweezijdig testen heeft ook invloed op de power. Eenzijdig toetsen zorgt voor een grotere power dan tweezijdig toetsen. Een vierde factor die invloed heeft op de power is de grootte van de steekproef: hoe groter de steekproef, hoe meer power.

Causale verbanden
De hoofdvraag bij productevaluatie is de vraag naar de effecten van de interventie. Het meten van de mate waarin het doel bereikt is, is een belangrijke stap binnen de productevaluatie. De tweede stap is de legitimering van de toeschrijving hiervan aan de interventie. Met een experiment is het beste te zien wat de effecten van een bepaalde interventie zijn, omdat alle andere variabelen gelijk worden gehouden. In de praktijk zijn er echter continu omgevingsvariabelen die veranderen. Als er bijvoorbeeld beleid wordt gemaakt om de jaarwisseling rustiger en veiliger te laten verlopen en de jaarwisseling verloopt rustig, is dit niet per se toe te schrijven aan het nieuwe beleid. Het kan ook zo zijn dat het de hele jaarwisseling regende, wat veel invloed heeft op de hoeveelheid overlast.
Ideale situatie
De ideale situatie om een interventie te testen, wordt door Swanborn als volgt omschreven: er is een controlegroep met een voormeting en een nameting. Alle aspecten die invloed kunnen hebben, worden tegen elkaar opgeheven, zodat je puur het effect van de interventie overhoudt. Het is hierbij wel belangrijk dat de selectie van de deelnemers in de groepen goed is, anders zijn de groepen niet goed met elkaar te vergelijken. Er is vaak bij een experiment uitval van deelnemers door ziekte of desinteresse: dit levert ook een bias op.

K. Causale verbanden bij productevaluaties

Praktijk versus laboratorium
In het vorige hoofdstuk werd de ideale situatie geschetst met een controlegroep en een duidelijke voor- en nameting. In de praktijk is zo'n setting niet aanwezig. Als een interventie wordt uitgevoerd in de praktijk, heeft de omgeving daar veel invloed op, terwijl in een laboratoriumsetting alle andere factoren dan de interventie constant worden gehouden. Er zijn verschillende problemen in de praktijk:

• Er kan vaak geen random toewijzing van de groepen plaatsvinden, omdat het bestaande groepen zijn.

• Sociale context speelt een belangrijke rol.

• Neveneffecten worden verwaarloosd.

Randomisering
Soms kan het gerealiseerd worden dat mensen random worden toegewezen aan de experimentele groep of de controle groep. Maar er zijn genoeg situaties waarin dit niet gebeurd. Globaal gezien zijn er drie situaties:

1. Het mag niet. Dit komt vaak voort uit ethische overwegingen. Een double-blind experiment is vaak ook niet te realiseren. Er gelden ook privacyoverwegingen en proefpersonen moeten hun toestemming geven.

2. Het kan niet. Bij sommige onderzoeker is het niet mogelijk om mensen random toe te wijzen. Als er een onderzoek is naar de invloed van huidskleur op de beoordeling van mensen, kan je mensen niet random toewijzen, omdat je rekening moet houden met de huidskleur. Het kan ook zo zijn dat de interventie in Nederland toegepast wordt, zoals boetes voor te hard rijden, daar ontkomt niemand aan.

3. Het is wel mogelijk, maar het heeft geen zin. Dit is bijvoorbeeld het geval als mensen reageren op het feit dat ze in verschillende groepen zitten. Deelnemers in de interventiegroep gaan bijvoorbeeld extra hun best doen. De controlegroep en de interventiegroep zijn dan niet meer vergelijkbaar door verschillend gedrag.

Missen van de context
Een interventie werkt alleen in een bepaalde context. Het experimentele model is dus niet altijd geschikt om beleidsinterventies te evalueren. Dit heeft vijf verschillende redenen:

1. Randomisering is vaak zinloos omdat een interventie alleen maar werkt door de bereidheid van mensen om medewerking te verlegen aan de interventie.

2. Sociale systemen waarin de interventie uiteindelijk wordt toegepast, zijn heel gecompliceerd. Met een betrekkelijk eenvoudig experiment, kan de werkelijkheid niet goed worden nagebootst.

3. De vraag is of evaluatie van maatregelen vraagt om een productevaluatie; is een procesevaluatie niet belangrijker?

4. Experimenten vereisten een tijdsperiode en zijn daardoor heel kostbaar.

5. Resultaten uit experimenten zijn niet generaliseerbaar naar de 'echte wereld'. De externe validiteit is dus laag.

Missen van neveneffecten
Het missen van neveneffecten is ook een belangrijk argument tegen het gebruik van experimenten. Bij de invoering van de studiefinanciering kwamen er opeens veel meer studenten, zodat de overheid een beleid moest bedenken waarin de studiefinanciering minder aantrekkelijk werd gemaakt. Ook het zogenaamde verdringingseffect speelt een rol. Als er bijvoorbeeld een programma wordt ontwikkeld om werkelozen aan een baan te helpen en dat werkt, nemen zij arbeidsplaatsen in die normaal door een andere groep zouden worden ingenomen. Dit kan dus een verschuiving van het probleem opleveren. Zulke effecten zijn er binnen experimenten niet te zien.

We zien dus dat een experiment ook niet altijd de ideale situatie is, omdat de externe validiteit over het algemeen lager is. Als gevolg hiervan is de vraag: Wat is dan een alternatief voor het random experiment? Als we deze alternatieven willen analyseren, moeten we met twee aspecten rekening houden. Het eerste aspect betreft de vraag of er een vergelijkingsgroep is of niet. Een tweede aspect is of de toewijzingsregel bekend is.
Vergelijkingsgroep
Als er geen vergelijkingsgroep is, kan de interventie nergens mee vergeleken worden. De interventie kan alleen met 'zichzelf' vergeleken worden. Dit kan gedaan worden door middel van een studie door de tijd heen. Er wordt dan gekeken naar de werking van de interventie naarmate de tijd vordert. Als er wel een vergelijkingsgroep is, kunnen er veel onderzoeksontwerpen zijn en moeten we kijken of er wel of geen toewijzingsregel bekend is.

Toewijzingsregel
Onder de toewijzingsregel wordt de manier van toewijzen verstaan. Bij toewijzing gaat het in dit geval over mensen die worden toegewezen aan een interventiegroep of juist een non-interventiegroep. Bij een experiment gebeurt toewijzing random. Als de toewijzingsregel niet random is (het is geen experiment), zijn er twee situaties mogelijk: een bekende of een onbekende toewijzingsregel.

Dit leidt tot drie verschillende groepen:

• Vergelijkingsgroep met bekende toewijzingsregel

• Vergelijkingsgroep met onbekende toewijzingsregel

• Geen vergelijkingsgroep

L. Validiteit van productevaluaties

Twee begrippen staan er in dit hoofdstuk centraal: representativiteit en generaliseerbaarheid. Bij het criterium van representativiteit gaat het vooral om de vraag of de causale conclusie van het onderzoek ook geldt voor bedoelde eenheden. Dit houdt in dat de getrokken steekproef een zo goed mogelijke afspiegeling moet zijn van de maatschappij die bij het systeem betrokken is. Het gaat om een universeel criterium. Bij generaliseerbaarheid gaat het over de vraag in hoeverre de conclusie van toepassing is op andere situaties (dus buiten het systeem). Dit is geen universeel criterium.

Inductieve statistiek
Met inductieve statistiek worden vanuit steekproefresultaten conclusies getrokken over de gehele populatie. Van deze statistiek kan gebruik worden gemaakt bij de vraag naar representativiteit. Dan kan echter alleen bij specifieke personen of groepen. Bij generalisatie kan er helemaal geen gebruik worden gemaakt van de inductieve statistiek, want er is geen sprake van random selectie.
Voorwaarden voor generalisering
Omdat er geen inductieve statistiek kan worden toegepast, moet er worden gezocht naar andere mogelijkheden. Er is geen één bepaalde oplossing, maar er zijn wel voorwaarden waaraan een generalisering moet voldoen:

• De variabelen, groepen en de context moeten nauwgezet omschreven worden.

• Het systeem waarnaar gegeneraliseerd moet worden, moet ook helemaal omschreven zijn.

• Patronen beschrijven die in de werkelijkheid aanwezig zijn.

Als er generalisatieonderzoek moet worden opgezet, terwijl er weinig theorie is, is het belangrijk om goed de beschikbare informatie te gebruiken. Je kunt met zes verschillende aspecten rekening houden voordat je begint:

1. Heterogene steekproeven trekken

2. Meten van tussenliggende schakels

3. Meten van andere interpretaties

4. Meervoudig operationaliseren

5. Diverse niveaus van variabelen

6. Meta-analyse toepassen

Meta-analyse
Bij het doen van onderzoek geldt: hoe meer data, hoe beter het is. Als er robuuste conclusies kunnen worden getrokken, kan er beter worden gegeneraliseerd. Tijdens het doen van een meta-analyse worden verschillende stappen doorlopen:

1. Het definiëren van het universum van onderzoekingen

2. Vaststellen van verschillende databases

3. Selectie van de publicaties die in aanmerking komen

4. Lijst van de selectie voorleggen aan experts

5. Codering van gegevens per publicatie

6. Bestudering van de frequentieverdeling

7. Keuze maken van de effectmaten die gebruikt gaan worden

8. Berekening van één bepaalde, samenvattende effectmaat

9. Toetsing als er vooraf hypotheses gesteld zijn via multiple regressieanalyse

10. Gevoeligheidsanalyses maken.

Shadish (1994)
Shadish (1994) geeft aan dat meta-analyse een goede ingang is om generaliseerbaarheid te kunnen onderzoeken. Generalisering is logischer en beter als de domeinen veel overeenkomst vertonen. Als de theorie erg gespecificeerd is, is het generaliseren ook sneller toegestaan. Als er duidelijkheid bestaat over de relevante en irrelevante variabelen, kan generalisatie ook duidelijker worden.
 

M. Geschiktheid van productevaluaties

De vraag naar de bruikbaarheid van productevaluaties staat in dit hoofdstuk centraal. Met bruikbaarheid wordt de mate waarin het onderzoek resultaten opleveren die de oplossing zijn voor problemen, bedoeld. Praktijkgericht onderzoek, wat evaluatieonderzoek uiteraard is, moet wetenschappelijk zijn maar een ander belangrijk aspect hiervan is dat het oplossingen moet bieden voor problemen. Is evaluatieonderzoek eigenlijk wel geschikt genoeg om er lessen uit te trekken?

Instrumenteel gebruik
Er zijn verschillende punten te noemen waarom instrumenteel gebruik van evaluatieonderzoek moeilijk is:

1. Onderzoek is soms uitgevoerd op oneigenlijke gronden. Onderzoeksresultaten zijn maar één van de vele aspecten van het beleid, er zijn nog veel meer factoren bij betrokken.

2. Politiek is belangrijker dan een rationele besluitvorming. Falend beleid is soms het gevolg van politieke beslissingen. De politiek maakt het moeilijk om resultaten van onderzoek direct toe te passen in de praktijk.

3. Verschillende groepen hebben allemaal hun eigen belangen en in andere situaties met andere problemen zijn er ook weer andere belangen.

4. Beleidsmakers gaan ervan uit dat ze goed doen.

5. Aanbevelingen uit onderzoek laten vaak een keuze toe, de beperkte hulpbronnen qua tijd en geld leiden meestal tot een minimum.

6. Verandering gaat in kleine stapjes, zoals Lindblom aangaf in zijn artikel over 'Muddling through'

7. Beslissingen om te stoppen of juist door te gaan worden niet vaak genomen.

8. Veel verschillende actoren zijn bij de besluitvorming betrokken, er zijn dan ook meerdere personen verantwoordelijk.

9. Niet alle onderzoeksfases worden doorgelopen, omdat daar meestal geen tijd en geld voor is.

Argumentatie
Er moet goed beargumenteerd kunnen worden waarom het evaluatieonderzoek van toepassing is bij een probleem. Pröpper (1989) heeft hiervoor regels opgesteld: Geen vrijblijvendheid, motivering, consistentie, relevantie, zakelijkheid en openheid zijn belangrijke aspecten bij het argumenteren.

Bruikbaarheid vergroten
De bruikbaarheid van evaluatieonderzoek kan op verschillende manieren vergroot worden.

1. Relevantie van geleverde informatie: hierbij moet rekening worden gehouden met het feit dat de probleemstelling goed moet aansluiten bij het bestaande probleem. De kwaliteit van het onderzoek moet goed zijn. Er moeten duidelijke aanwijzingen en aanbevelingen in het rapport staan op welke manier het probleem kan worden opgelost. De resultaten moeten op tijd beschikbaar zijn en aanvaardbaar.

2. De presentatie van de informatie is ook een belangrijk aspect. Als dit op een goede manier wordt gedaan, gaat de bruikbaarheid van de informatie omhoog. Bij dit punt moet je denken aan het feit dat de informatie moet aansluiten bij het begripsniveau van de gebruiker

3. Communicatie: hoe directer de communicatie tussen gebruiker en degene die evalueert is, hoe groter de kans is dat het evaluatieonderzoek gebruikt gaat worden.

4. Geloofwaardigheid van informatie speelt ook een belangrijke rol. Hoe hoger de geloofwaardigheid, hoe groter de bruikbaarheid.

5. Als laatste is ook de betrokkenheid van de gebruiker belangrijk. Als iemand zich persoonlijk betrokken voelt bij de evaluatie, wordt de bruikbaarheid hoger.

Interne onderzoekers
Het onderzoek doen kan door verschillende personen gebeuren, ook door personen die binnen de organisatie behoren, dus gewoon medewerker zijn. Dit heeft voordelen:

• Weinig inwerktijd

• Veel kennis over de organisatie

• Meer maatwerk mogelijk

• Organisatie heeft meer grip op het onderzoek.

Er zitten echter ook nadelen aan:
 

• Kennis kan een subjectief vooroordeel zijn

• Druk vanuit de organisatie voor een positief oordeel

• Status van de onderzoeker is laag

• Minder vergelijkende kennis

Er is al veel discussie geweest over hoe dicht onderzoekers bij het beleid moeten staan. In de laatste paragraaf van het boek wordt aangegeven dat onderzoekers zich dicht bij het beleid moeten bevinden, maar tegelijk hun onafhankelijkheid moeten bewaren. Dit is dus een dilemma waar de onderzoeker keer op keer mee te maken krijgt.