Hoe worden interventies geëvalueerd? - Chapter 9

Waarom is het van belang om interventies te evalueren?

Evaluatie vindt plaats omdat men wil leren voor de toekomst, verantwoording af moet leggen, een theorie wil vormen, en natuurlijk om te kijken of het programma datgene heeft bereikt dat men wilde bereiken. Vaak wordt er eerst een pilot uitgevoerd, aan de hand van de evaluatie wordt dan besloten of het programma op bredere schaal ingezet kan worden. Dit is een voorbeeld van leren voor de toekomst. Als men wil leren of interventies op bredere schaal ingezet kunnen worden en onder welke omstandigheden de interventies het best verspreid kunnen worden, dan is er sprake van een procesevaluatie. Tussentijdse evaluatie kan ook gebeuren met behulp van procesevaluatie. Om verantwoording af te kunnen leggen worden regelmatig economische en ethische evaluaties gedaan. Op deze manier wordt onderzocht of de kosten en baten in verhouding zijn en of de participanten niet onnodig veel belast worden of te maken krijgen met neveneffecten (ethische verantwoording).

Evaluaties moeten naast bovengenoemde punten vaak ook gericht zijn op het verder ontwikkelen van de interventietheorie. Dit betekent dat er onderzoek gedaan wordt naar de vraag welke interventiestrategieën en technieken effectief zijn om specifieke leerdoelen en gedragsdoelen te bereiken. Door ook de intermediaire leerdoelen (veranderingen in gedragsdeterminanten bijvoorbeeld) te meten, kan men nagaan of de verandering in de specifieke gedragsdeterminanten plaats heeft gevonden en kan uitgezocht worden waarom de interventie effectief is.

Wat is de RE-AIM procedure?

Dit hoofdstuk gaat niet alleen over stap 6 van het Intervention Mapping stappenplan, aangezien er eigenlijk na elke stap een evaluatie uitgevoerd zou moeten worden. Op deze manier kan nagegaan worden of de net afgeronde stap volgens plan verlopen is. Tegenwoordig is het van belang dat interventies evidence-based zijn, dit betekent dat de effectiviteit van de interventie onderzocht is onder goed gecontroleerde omstandigheden. Dit wordt ook wel efficacy genoemd. Het effect van de interventie in de praktijk kan echter verschillen van het effect dat gevonden is onder de goed gecontroleerde omstandigheden, omdat er verstoringen plaats kunnen vinden door omstandigheden. Het is van belang dat er een goede combinatie van effect- en procesevaluatie plaatsvindt, zodat men inzicht in het effect krijgt. Maar ook in andere voorwaarden, bijvoorbeeld of de interventie op de juiste manier is verlopen en de beoogde doelgroep bereikt is.

RE-AIM is een manier van evaluatie die zich richt op reeds ontwikkelde en uitgewerkte interventies. RE-AIM staat voor Reach, Efficacy, Adoption, Implementation, en Maintenance. Dit houdt respectievelijk in dat onderzocht wordt hoeveel en in welke mate mensen zijn blootgesteld aan het programma, de effectiviteit zoals getoetst onder gecontroleerde omstandigheden, de adoptie, de uitvoering, en de continuering van het programma. Dit raamwerk benadrukt de noodzaak van een combinatie van effect- en proces onderzoek en dat het effect van de interventie direct afhangt van de efficacy en het bereik. De efficacy en het bereik kunnen beïnvloed worden door voldoende gebruik te maken van de juiste intermediairs.

Waarom is het formuleren van het doel van de interventie van belang voor evaluatie?

Om te kunnen evalueren is het van belang dat er een duidelijk doel is opgesteld. Het protocol van Intervention Mapping levert door middel van de verschillende stappen informatie voor het stellen van specifieke doelen voor het ontwikkelen van een interventie, maar is dus ook een belangrijk hulpmiddel in de evaluatie. De evaluatie kan op verschillende niveaus plaatsvinden, namelijk de uitkomsten, tusseneffecten, procesmaten, en het relatieve effect. Maar ook de kosten zijn mogelijk onderwerp voor evaluatie. Bij sommige interventies is het lastig om te evalueren omdat het resultaat lang op zich kan laten wachten en het daardoor moeilijk en kostbaar is om te evalueren.

In deze situaties kan tegenwoordig gebruik gemaakt worden van epidemiologische simulatiemodellen die de ziektelast als gevolg van verschillende risicofactoren (o.a. gezondheidsgedrag) inschatten op een wetenschappelijk onderbouwde manier. Bij interventies die gericht zijn op het stimuleren van gezond gedrag, is er meestal sprake van een tussenevaluatie. Er wordt namelijk gekeken of de interventie effect heeft gehad op bepaald gedrag of op gedragsdeterminanten en niet zo zeer naar de gezondheidsuitkomsten. Dat is ook niet nodig als er een sterk verband gevonden wordt. Als er een zwak verband gevonden wordt, heeft het geen zin meer om nog door te gaan met de voorlichting, want het werkt duidelijk niet. Het kan ook gebeuren dat de procesmaten geëvalueerd worden. Ook dan is het van groot belang dat er duidelijke, toetsbare doelen zijn opgesteld.

De procesmaten omvatten: adoptie, bereik, uitvoering en of continuering. De onderzoeken die gedaan worden kunnen een verschillend karakter hebben, namelijk kwantitatief of kwalitatief. Bij kwantitatief onderzoek wordt gebruik gemaakt van getallen bij het weergeven van de onderzoeksresultaten, zoals hoeveel mensen er zijn bereikt of de mate waarin iets heeft gewerkt. Kwalitatief onderzoek beschrijft de uitkomsten, met ook meer de waarom van het al dan niet behalen van bepaalde doelen. Beide typen onderzoek zijn van belang voor procesevaluatie. Effectevaluatie is meestal kwantitatief, bij procesevaluaties wordt vaak juist aan kwalitatief onderzoek gedacht.

Wat zijn SMART-doelen en hoe worden ze toegepast?

Door middel van SMART kunnen doelen toetsbaar gemaakt worden. Een SMART-doel is Specifiek, Meetbaar, Acceptabel, Realistisch en Tijdgebonden, waardoor een evaluatie van dergelijke doelen goed mogelijk is. Een realistisch doel is daarnaast ook belangrijk omdat dit de grootte van de onderzoeksgrootte kan bepalen. Hoe kleiner het verwachte effect, hoe groter de onderzoeksgroep zal moeten zijn om het effect goed vast te kunnen stellen. Als men een te kleine groep gebruikt, dan kunnen de effecten niet aangetoond worden. Bij een te grote onderzoeksgroep is er sprake van inefficiënt onderzoek.

Welke drie centrale vragen zijn van belang tijdens een effectevaluatie?

Bij de effectevaluatie kunnen er 3 soorten fouten worden gemaakt:

1. Een type 1 fout betekent dat een ineffectieve interventie als effectief wordt beoordeeld.
2. Een type 2 fout daarentegen betekent dat een effectieve interventie als niet effectief beoordeeld wordt door het effectenonderzoek.
3. Het laatste type fout dat gemaakt kan worden is een type 3 fout. Dit type fout betekent dat een effectieve interventie wordt beoordeeld als niet effectief, als gevolg van het niet volgens plan uitvoeren van de interventie.

Bij het evaluatieonderzoek kan men drie vragen stellen om deze fouten te voorkomen:

1. De eerste vraag is: Hoe kan men een potentieel interventie-effect zichtbaar maken?
2. De tweede vraag is: in hoeverre is de mate van het effect dat geobserveerd is daadwerkelijk door de interventie veroorzaakt en niet door andere factoren?
3. De laatste vraag die gesteld kan worden is in welke mate zal de interventie bij een nieuwe implementatie de eerder vastgestelde effecten oproepen? 

De eerste vraag gaat over de betrouwbaarheid van de metingen en de maten die gebruikt worden, de tweede vraag gaat over causaliteit en de derde vraag gaat over de generaliseerbaarheid naar andere omstandigheden, oftewel de externe validiteit. Het is vaak niet mogelijk om de drie centrale vragen voldoende te beantwoorden in één onderzoek. Een stapsgewijze evaluatie is vaak noodzakelijk.

Hoe verloopt een stapsgewijze evaluatie van complexe interventies?

Omdat veel interventies complex zijn en meerdere (sub)doelen hebben met betrekking tot gedragverandering zou het ideaal zijn als elk onderdeel van het programma goed theoretisch onderbouwd is en afzonderlijk onderzocht wordt op hun effect. Dit zou een stapsgewijze evaluatie zijn, die het liefst op basis van de RE-AIM uitgevoerd wordt. Volgens de Britse Medical Research Council kunnen er vier globale evaluatiefasen onderscheiden worden:

1. De eerste fase is het ‘ontwikkel’-onderzoek: verkenning van al bestaand onderzoek en van de theorie.
2. De tweede fase is het haalbaarheids- en ‘pilot’-onderzoek: onderdelen van de interventie worden uitgetest.
3. In de derde fase wordt evaluatieonderzoek gedaan naar de blootstelling, waardering en effecten van de interventie. Er wordt hierin onderscheid gemaakt in onderzoek naar effictiviteit, bereik, uitvoering en adoptie van de interventie onder goed gecontroleerde omstandigheden en veldonderzoek naar de effectiviteit, bereik, uitvoering en adoptie van de interventie in de omstandigheden van de alledaagse realiteit.
4. De laatste fase van het evaluatieonderzoek is het implementatieonderzoek naar de adoptie, uitvoering, verspreiding en continuering van de interventie.

De eerste fase, dus die van literatuur en theorie onderzoek, is erop gericht om de kwaliteit van de interventie te vergroten, waardoor ook automatisch de kans op een groot effect toeneemt. Als we in deze fase antwoord proberen te geven op de drie centrale vragen die gesteld worden om fouten te voorkomen, dan kunnen we het volgende antwoorden. In deze fase wordt inzicht geboden in de effecten die we mogen verwachten, bij gebruik van een aantal effectmaten en procedures die passen bij deze interventie. Een antwoord op de tweede vraag kan in deze fase beantwoord worden op de volgende manier: als er effecten gevonden worden in de fase van veldonderzoek en onderzoek in het laboratorium, dan kan er gebruik gemaakt worden van de kennis uit deze fase om de mechanismen te verklaren die de effecten veroorzaakt hebben. De laatste vraag kan op de volgende manier beantwoord worden; op basis van de kennis over de werkzame mechanismen kan kennis opgedaan worden over de generaliseerbaarheid van de interventie.

Hoe werkt een randomised controlled trial?

Met het wetenschappelijke experiment onder zo goed mogelijk gecontroleerde omstandigheden, wordt gekeken of er een causaal verband is tussen de interventie en de verandering. Dit wordt ook wel een randomised controlled trial genoemd. Bij een gerandomiseerd onderzoek worden in de meest eenvoudige vorm twee groepen gemaakt: een controle en een experimentele groep. De mensen die in deze groepen terechtkomen worden aselect (random) gekozen. Op deze manier zijn de experimentele groep en de controle groep gelijk en worden veranderingen als gevolg van andere factoren (omstandigheden bijvoorbeeld) uitgesloten. Na de fase van randomisatie volgt de experimentele manipulatie. Als na deze manipulatie de groepen statistisch significant verschillen op de effectmaat, is er sprake van een interventie effect. Verder proberen de onderzoekers alternatieve verklaringen uit te sluiten (bijvoorbeeld door middel van randomisatie).

Voordelen van onderzoek in een laboratorium is dat er sprake is van experimentele controle en dat er op een betrouwbare en precieze manier gemeten kan worden. In de gewone wereld gaat dit toch lastiger. Een nadeel van deze manier van onderzoeken is dat de generaliseerbaarheid vaak slechts matig is, dit komt doordat de omstandigheden in het laboratorium heel kunstmatig zijn. Een voordeel wat betreft de externe validiteit (of generaliseerbaarheid) is dat precies beschreven kan worden van welke omstandigheden het effect afhankelijk is geweest. Hier kan men dan rekening mee houden bij de verdere ontwikkeling van de interventie.

Ook in deze fase is het goed uitvoeren van procesevaluaties van groot belang. Laboratoriumonderzoek heeft dus zeker voordelen, maar het geeft vaak maar weinig of geen ‘levensechte’ informatie over bereik, adoptie, uitvoering en continuering van de interventie. Goed gecontroleerde experimenten geven essentiële informatie over of en waarom interventies kunnen werken en zijn ze wel geschikt om interventie onderdelen te toetsen op de korte termijn. Met name voor de lange termijn worden effectevaluaties dus meestal ook buiten het laboratorium gedaan.

Wat zijn de voor- en nadelen van veldonderzoek?

Dit zijn de vier belangrijkste redenen voor veldonderzoek zijn:

1. De eerste reden betreft de duur, en de complexiteit van de interventie, interventies zijn vaak complex en bedoeld voor bepaalde situaties of settings. Ook duren de interventies vaak lang omdat langdurige blootstelling vereist is. Hierdoor kan er geen laboratoriumonderzoek uitgevoerd worden en wordt er gekozen voor veldonderzoek.
2. De tweede reden betreft de tijd tussen interventie en effect, vaak hebben interventies lange termijn effecten, zulke effecten zijn niet vast te stellen in laboratoriumonderzoek.
3. De derde reden betreft de externe validiteit, de effecten die in het laboratorium gevonden worden zijn vaak niet generaliseerbaar naar de buurt of gemeenschap waar de voorlichting gaat plaatsvinden. De situatie in die buurt of gemeenschap is veel complexer en er zijn allerlei andere factoren van invloed. Daarnaast hebben interventies vaak meerdere doelen en wordt de politiek bijvoorbeeld ook betrokken in het debat wat de interventie probeert op te roepen. Deze situatie kan in een laboratoriumonderzoek niet nagebootst worden, waardoor veldonderzoek meer op zijn plaats is. Daarnaast worden interventies vaak wat aangepast zodat deze goed aansluiten bij de doelgroep, deze doelgroep is specifiek en niet vergelijkbaar met participanten in een laboratoriumonderzoek.
4. De vierde en laatste reden om te kiezen voor veldonderzoek in plaats van laboratoriumonderzoek betreft de effectgrootte en omvang van de onderzoeksgroep. De effecten van gezondheidsvoorlichtingen zijn vaak klein, maar kunnen toch heel relevant zijn als het een grote onderzoeksgroep betreft. In een laboratorium is het niet mogelijk om met zulke grote groepen te werken als in het veldonderzoek gedaan wordt.

Er zijn echter ook nadelen van veldonderzoek. Deze nadelen betreffen de generaliseerbaarheid, het is namelijk vaak moeilijk om vast te stellen welke specifieke onderdelen van de interventie het effect veroorzaakt hebben en welke onderdelen weggelaten zouden mogen worden. 

Hoe kunnen de effecten van een interventie worden gemeten in een veldonderzoek?

Hoe kan een potentieel interventie-effect zichtbaar gemaakt worden in veldonderzoek, dat is de eerste vraag om type 1, 2, of 3 fouten te voorkomen. Het antwoord hierop is dat het moeilijk is omdat de effecten vaak klein zijn, waardoor er dus een grote onderzoeksgroep nodig zal zijn om te effecten zichtbaar te maken. Deze vraag kan beantwoord worden met behulp van de maat power. De power van een onderzoek kan tussen de 0 en 1 liggen, waarbij een hoge power betekent dat het makkelijk is om potentiële effecten aan te tonen, en een lage power betekent dat het moeilijk is om die effecten aan te tonen. Een zo hoog mogelijke power bereiken is het streven van evaluatieonderzoekers en kan bereikt worden door de volgende vijf stappen:

1. De eerste stap is zorgen dat de onderzoeksgroep groot genoeg is; hoe groter de groep, des te minder kans er is op variantie, en des te meer kans dat de steekproef de echte populatie representeert. Daarnaast is er bij grote steekproeven een kleiner effect nodig om deze significant te laten zijn. Een nadeel is dat onderzoeken met grote steekproeven erg duur zijn om uit te voeren.
2. De tweede stap is het kiezen van een geschikt significantieniveau. Meestal wordt een significatieniveau van 5% aangehouden. Wanneer het niveau verhoogd wordt, neemt de kans toe op een type 1 fout, oftewel dat de interventie als effectief wordt bestempeld, terwijl deze niet effectief is.
3. De derde stap is het kiezen van een juiste effectmaat.
4. De vierde stap is het kiezen van een adequate statistische toets. 
5. De laatste stap of factor is het streven om de effectgrootte optimaal te maken. De effectgrootte kan optimaal gemaakt worden door te zorgen voor een groot verschil tussen de experimentele groep en de controlegroep en een kleine spreiding. In de opzet van het evaluatieonderzoek kan hier rekening mee gehouden worden op de volgende manieren: door de interventie zo volledig mogelijk te implementeren in de onderzoeksgroep en de controle groep zo veel mogelijk hiervan te onthouden.

Onderzoekers kunnen als volgt invloed uitoefenen op de effectgrootte: Ten eerste door optimale condities te creëren door de interventie zo volledig mogelijk te implementeren in de interventiegroep en de controlegroep zo veel mogelijk te onthouden van de interventie.Daarnaast is het belangrijk dat er gevoelige effectmaten gebruikt worden om verschillen te kunnen oppikken. Een tweede manier is om de spreiding in de effectmaat zo klein mogelijk te houden. Dit wordt ook wel variantiecontrole genoemd door Lipsey (1990). Nog een manier om de spreiding zo klein mogelijk te laten zijn is het terugdringen van meetfouten. Hier kan naar gestreefd worden door gebruik te maken van heel precieze onderzoeksinstrumenten en door de omstandigheden van de onderzoekspersonen zo veel mogelijk gelijk te laten zijn. Dit is echter wel moeilijker bij veldonderzoek dan bij laboratorium onderzoek, doordat bij veldstudies vaak gebruik wordt gemaakt van vragenlijsten die respondenten onder zelf gekozen omstandigheden en op zelfgekozen tijdstippen mogen invullen.

De tweede vraag om type 1,2 of 3 fouten te voorkomen, gaat over de mate waarin een geobserveerd effect daadwerkelijk het gevolg is van de interventie, en niet veroorzaakt wordt door andere factoren. Het ontwerp, of design, van een onderzoek is erg belangrijk bij de beantwoording van deze vraag. Bij een laboratoriumonderzoek kan het gemakkelijkst een conclusie getrokken worden wat betreft deze vraag. Dat gaat lastiger bij veldonderzoek, omdat bij veldonderzoek het vaak moeilijker is een goede onbeïnvloede controlegroep te verkrijgen. Soms kan er niet individueel gerandomiseerd worden, als bijvoorbeeld een interventie in een hele wijk wordt geïmplementeerd of soms is het niet mogelijk om gebruik te maken van een controlegroep, bijvoorbeeld vanwege ethische bezwaren. In dat geval kan gebruik gemaakt worden van quasi-experimenteel onderzoek. Dit is een onderzoeksontwerp dat in meer of mindere mate afwijkt van de experimentele opzet.

Op welke manieren kan de interne validiteit van een onderzoek in gevaar komen?

Een nadeel van het gebruik van een quasi-experimentele opzet is dat de interne validiteit van het onderzoek bedreigd wordt. Deze bedreiging bestaat uit vijf factoren:

1. De eerste factor betreft geschiedenis/history welke inhoudt dat de gevonden resultaten een andere oorzaak kunnen hebben dan de interventie. Bijvoorbeeld dat toegenomen lichamelijke activiteit niet het gevolg is van de interventie, maar van het mooie weer.
2. De tweede factor is rijping/maturation. Deze factor houdt in dat een gevonden verschil, of een gevonden effect, het gevolg kan zijn van een trend die zich heeft ingezet in de bevolking en niet zo zeer het effect is van de interventie. Zonder de interventie zou het effect dan ook zijn opgetreden.
3. De derde factor is meting/testing en reactiviteit. Deze factor omvat het verschijnsel dat mensen zich bewust kunnen worden van hun gedrag doordat ze vragen moeten beantwoorden over wat ze eten bijvoorbeeld. Mensen kunnen dan besluiten iets aan dat gedrag te gaan doen. Een tweede verschijnsel dat deze factor omvat is dat mensen herinneren dat ze eerder zo’n test gemaakt hebben en dat ze bij de tweede test hun antwoorden proberen aan te passen aan de eerdere test. Verder is het natuurlijk ook mogelijk dat mensen sociaal wenselijke antwoorden geven. Als er geen gebruik gemaakt kan worden van een controlegroep, zijn deze drie bedreigingen de belangrijkste. Het is mogelijk om een trend vast te stellen ook al wordt er geen gebruik gemaakt van een controle groep. Dit kan opgevangen worden door meerdere meetmomenten in te lassen en dan te kijken wanneer de verandering zich heeft ingezet. Als dit samenvalt met de implementatie van de interventie, dan is dat een aanwijzing dat het toch om een effect van de interventie gaat. Wanneer wel gebruik gemaakt wordt van een interventie is de kans op selectiebias erg groot.
4. De vierde bedreiging is dan ook selectie/selection. Soms kan er in veldonderzoek wel een controlegroep opgenomen worden. Zo kan er gekozen worden om een vergelijkbare gemeente als controlegroep aan te houden. Een nadeel hiervan is dat er geen twee gemeenten of streken helemaal gelijk zijn, waardoor er een verschil in uitgangspositie kan zijn geweest. De ene streek kan bijvoorbeeld mee willen doen aan het onderzoek omdat de mensen daar al gemotiveerder zijn. Er bestaan twee mogelijkheden om een vertekening als deze te voorkomen of te verminderen. Een mogelijkheid is om, als er meerdere gemeenten of scholen meedoen, deze te randomiseren over de interventiegroep en de controlegroep. Er is op deze manier dus geen sprake van een individu als eenheid van randomisatie maar een hele gemeente, school of een organisatie is eenheid van randomisatie. Door middel van multilevelanalyse kan gecontroleerd worden voor de clustering van individuen en kan toch getoetst worden op effecten bij individuen. Een tweede manier om selectie bias te voorkomen is door gebruik te maken van regressie- en covariantieanalysen, deze corrigeren namelijk de gemeten effecten voor een verschil dat gevonden is bij de voormeting. Als randomisatie niet mogelijk blijkt te zijn dan is het belangrijk om goed procesonderzoek te doen, waarbij alles goed onderzocht wordt en mogelijke verbanden opgespoord worden.
5. De laatste bedreiging is uitval/attrition. Het is niet altijd mogelijk om iedereen te blijven volgen of te blijven betrekken in het onderzoek. Dit komt doordat mensen soms stoppen met de interventie, of niet meer in de controle groep willen zitten en daardoor uitvallen. De reden om uit te vallen kan verschillend zijn tussen mensen van de interventie groep en mensen van de controlegroep. Als hier sprake van is dan worden de uitkomsten beïnvloed door het uitvallen van participanten. Het is belangrijk dat er van de tevoren een voormeting is gedaan, op deze manier kan men namelijk nagaan of de uitval in beide groepen gelijk is. Verder kan men gebruik maken van de voormeting als er inderdaad een verschil in uitval blijkt te zijn. Er kan dan namelijk een intention to treat-analyse worden uitgevoerd, wat inhoudt dat de uitgevallen mensen gewoon meegenomen worden in het onderzoek en als onveranderlijk worden beschouwd.

De derde en laatste vraag om de verschillende type fouten te voorkomen gaat over de generaliseerbaarheid, oftewel in welke mate zal de interventie bij een nieuwe implementatie de eerder vastgestelde effecten oproepen? Dit kan nog best lastig zijn doordat interventies vaak complex zijn en uit meerdere onderdelen bestaan. Onderzoek in een laboratorium zou ideaal zijn omdat je dan kunt nagaan over er dosis-effect-relaties gevonden kunnen worden. In ieder geval is procesevaluatie weer van groot belang. Op deze manier kan onderzocht worden wie er is blootgesteld aan het interventiemateriaal en wanneer er een grootschalige en globale interventie is geweest. Vragen die dan opkomen zijn bijvoorbeeld: wie heeft de brochure gezien, wie heeft de spotjes op de televisie gezien etc. Daarna kan gekeken worden of het effect het grootst is bij de mensen die het meest zijn blootgesteld aan de interventie en of bepaalde onderdelen van de interventie meer effect hebben gehad dan andere onderdelen.

Hoe wordt een implementatieonderzoek uitgevoerd?

De implementatie kan plaatsvinden nadat de planmatige ontwikkeling is afgerond, de efficacy van onderdelen van de interventie is aangetoond onder gecontroleerde omstandigheden en nadat het interventie-effect is gebleken naar aanleiding van het veldonderzoek. Het implementatie onderzoek evalueert het bereik, de adoptie, de uitvoering/ implementatie en richt zich ook vooral op de continuatie of het behoud van de gedragsverandering. Dit onderzoek is dan belangrijk om na te gaan of de optimale niveaus bereikt zijn van de verschillende onderdelen en om na te gaan of er aanpassing nodig is. Dit soort onderzoek kan er ook op gericht om zijn de uitrol, spreiding van de interventie te onderzoeken. Gekeken kan worden of de uitrol- strategie (ofwel de uiteindelijke verspreiding) goed is of dat die verbeterd kan worden. Dit onderzoek kan op zo’n manier worden uitgevoerd (gefaseerd, met controlegroep), dat het op een zelfde manier opgezet kan worden als gewoon interventie-evaluatieonderzoek. De uitkomst is nu dan alleen niet gezondheid, gezondheidsgedrag of determinanten van gezond gedrag, maar de mate van implementatie of determinanten van implementatie.

Hoe verloopt een economische evaluatie?

De economische evaluatie vindt plaats om na te gaan of de investeringen en de effecten van de interventie in verhouding staan. Hiervoor worden vaak de kosten per eenheid effect berekend of andersom, het effect per eenheid investering. Meestal wordt gekeken wat de verhouding is tussen de bereikte winst voor de gezondheid en de kosten die daarvoor gemaakt zijn. Soms zijn hiervoor simulatiemodellen of veranderingen in intermediaire uitkomstmaten voor nodig omdat de gezondheidsuitkomsten meer op de lange termijn zijn. Het verschil tussen dit soort evaluaties en andere evaluatie is de nadruk die ligt op kosten. Er zijn directe en indirecte kosten te onderscheiden. De directe kosten komen linea recta uit de interventie die onderzocht wordt. Indirecte kosten worden gevormd doordat het nieuwe gedrag meer geld kost.

Er zijn ook indirecte baten, bijvoorbeeld dat mensen langer kunnen werken doordat ze langer leven. Er is sprake van een kosten/batenanalyse als de kosten en de effecten in geld worden uitgedrukt. Wanneer is een interventie dan kosteneffectief? Er is vastgesteld door de raad voor de Volksgezondheid en Zorg van de minister van Volksgezondheid dat een behandeling die meer dan 80 000 euro kost om één patiënt een extra levensjaar van goede kwaliteit te geven, niet vergoedt moet worden door een basisziektekostenverzekering. Verder wordt er vaak gekeken naar het belang dat gehecht wordt aan de verbetering van de volksgezondheid, soms is dit zo belangrijk, dat de kosten minder erg gevonden worden.

Hoe wordt een procesevaluatie uitgevoerd?

Het is gebleken dat de procesevaluatie van groot belang is om informatie te verkrijgen over de adoptie, uitvoering, continuering en de kosten van de interventie. Het is daarnaast belangrijk om onderscheid te maken tussen de verschillende niveaus van organisatie, intermediairs en doelgroep. Ook kunnen de drie vragen om type 1, 2, of 3 fouten te voorkomen beantwoord worden door middel van informatie uit de procesevaluatie. Door notulen van vergaderingen te bekijken kan onderzoek gedaan worden naar de adoptie en uitvoering van organisaties.

De intermediairs kunnen gecontroleerd worden wat betreft adoptie en uitvoering door na te gaan of de voorlichtingsfolders aanwezig zijn, of mensen attent gemaakt worden op brochures etc. Op het niveau van de doelgroep kan gekeken worden of mensen worden blootgesteld aan de interventie zoals bedoeld was, of ze ook gebruik gemaakt hebben van de interventie, wat de reacties zijn, etcetera. Om dit te onderzoeken, kan gebruik gemaakt worden van vragenlijsten of van interviews. Het is vaak belangrijk om te werken met een kwalitatieve manier van onderzoek, om zo ook onverwachte antwoorden te krijgen. Het is belangrijk om de participanten niet te overvragen en om ook een eventuele controle groep mee te nemen in het evaluatieonderzoek.

Ten slotte is het ook belangrijk om een eventuele controlegroep in de procesevaluatie op te nemen. Dit kan helpen bij het in kaart brengen van eventueel andere storende factoren tijdens het onderzoek.