Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel 1 van Veerman et al. - 2006 - Chapter 1

Wat is effectonderzoek en waarom is dit belangrijk?

Het wordt steeds belangrijker dat interventies effectief zijn, ook in de jeugdzorg. Alle belanghebbers willen dat psychosociale problemen van kinderen en jongeren de best mogelijke behandeling krijgen. In de nota Jeugd Terecht van het Ministerie van Justitie valt te lezen dat het ministerie van plan is om in de toekomst alleen nog maar effectieve of veelbelovende interventies te subsidiëren. Er is ook een erkenningscommissie opgericht, die gaat beoordelen welke gedragsinterventies mogelijk effectief kunnen zijn. Het inzetten van evidence-based behandelingen is hierbij het uitgangspunt. De kwaliteit van behandelingen moet ook blijken uit onder meer wetenschappelijk verantwoord effectonderzoek. De belangrijkste vraag is nu wat men eigenlijk verstaat onder effectiviteit en hoe deze aangetoond kan worden. Vanuit een praktijkperspectief betekent een effectieve interventie dat gestelde doelen worden gerealiseerd en dat cliënten tevreden zijn. Vanuit een strikt wetenschappelijk perspectief is een interventie pas effectief als is aangetoond dat er geen andere factoren in het spel zijn die het effect ook hadden kunnen veroorzaken. In een ideaal effectonderzoek krijgt een experimentele groep de interventie, waarvan het effect wordt onderzocht en krijgt een controlegroep geen interventie, een placebo-interventie of een alternatieve interventie. Ook is het gewenst dat cliënten willekeurig worden toegewezen aan de experimentele of de controlegroep. De interventie zelf moet helder omschreven zijn en bij voorkeur staat het ook vast wat bij welke sessies zal gebeuren. Ook moet het duidelijk zijn voor wie de interventie geschikt is en voor wie niet. Ten slotte wordt het effect bepaald aan de hand van het verschil tussen de experimentele en de controlegroep aan het eind van de interventie.

Wat is bekend over effectonderzoek binnen de jeugdzorg?

De onderzoeken die zijn uitgevoerd binnen de jeugdzorg tonen aan dat deze interventies gemiddeld genomen effectief zijn. Er worden middelgrote tot grote effecten gevonden, wat vergelijkbaar is met interventies voor soortgelijke problemen bij volwassenen. Dit lijkt goed nieuws, omdat er dus meerdere effectieve interventies zijn waar behandelaars uit kunnen kiezen. Echter zijn er een viertal kanttekeningen.

1. Het aantal experimenteel onderzochte interventies is maar een klein gedeelte van wat er gewoonlijk wordt aangeboden
2. Het aantal interventies dat is onderzocht bestaat voor het grootste deel uit interventies die in de praktijk nauwelijks voorkomen
3. De weinige wel in de praktijk uitgevoerde onderzoeken hebben maar een klein effect
4. Veel interventies zijn in de praktijk nog niet expliciet genoeg om aan een goed effectonderzoek te onderwerpen

Hoe moet men nu verder?

Er zijn twee manieren om meer kennis over de effecten van jeugdzorg te krijgen.

1. Men kan top down interventies implementeren waarvan het effect met behulp van onderzoek is bewezen.  Dit helpt voor punt 2, wat ging over dat interventies die aangetoond effectief zijn nog niet veel in de praktijk worden toegepast.
2. Men kan bottom up onderzoek doen naar interventies die in de praktijk worden uitgevoerd. 

Volgens de literatuur wordt de eerste manier aanbevolen. Dit houdt in dat men eerst op kleine schaal experimenteel onderzoek uitvoert en daarna op grotere schaal de interventies in de praktijk implementeert. Dit is een methodegestuurde benadering, waarbij de eisen van effectonderzoek vooraan staan. Het idee hierbij is dat er maximale zekerheid ontstaat over de effectiviteit van interventies. Zo informeert de wetenschap de praktijk over de beste interventies en het onderzoek draagt ook bij aan het ontwikkelen van evidence-based practice. De tweede manier is veel minder uitgewerkt en is meer een vorm van practice-based evidence, waarbij de definitie van het effect minder eenduidig is als men zou willen. Dat is dus een nadeel van deze manier. Echter is deze manier wel sneller dan de eerste. In dit boek wordt vooral de tweede manier behandeld en dit wordt praktijkgestuurd effectonderzoek genoemd.

Wat zijn de kenmerken van praktijkgestuurd effectonderzoek?

De definitie van praktijkgestuurd effectonderzoek verwijst naar onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk optrekken met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of  instellingen verbetert en tevens ten opzichte van buitenstaanders gelegitimeerd kan worden. Er zijn drie kenmerken die belangrijk zijn:

1. Aansluiting. Dit houdt in dat onderzoek naar het effect van interventies aan moet sluiten bij het ontwikkelingsniveau van die interventies. Het ontwikkelingsniveau wordt aangeduid door de mate waarin de te onderzoeken interventie onderbouwd is. Het heeft namelijk geen nut om onderzoek te doen naar interventies die niet voldoende onderbouwd zijn.
2. Inbedding. Onderzoek naar het effect van interventies dient ingebed te zijn in de uitvoering van de interventie. Dit houdt in dat het gebruik van onderzoeksinstrumenten onderdeel is van het hulpverlenend handelen en dat deze instrumenten passen bij de interventie. Er moet dus sprake zijn van operationaliseringen van concepten die men op de werkvloer hanteert.
3. Benutting. De verzamelde gegevens met betrekking tot effectonderzoek moeten worden benut. Deze benutting begint bij het primaire proces, bij individuele diagnostiek en behandelingsplanning en evaluatie van de voortgang. Van daaruit kunnen deze gegevens op hogere niveaus worden geanalyseerd en kan er bepaald worden wat de zicht is van een interventie, van een team, van een unit, een instelling, enzovoorts. Zo wordt onderzoek opgenomen in een cyclus dat gericht is o praktijkverbetering. Deze drie kenmerken zijn de werkzame principes van praktijkgestuurd effectonderzoek.

Wat zijn de verschillende niveaus van zekerheid binnen praktijkgestuurd effectonderzoek?

Praktijkgestuurd effectonderzoek gaat niet uit van één ideaal model. Het kan verschillende vormen aannemen en elke vorm kan bijdragen aan de ontwikkeling van kennis over de effectiviteit van de jeugdzorg. Wel is er een verschil in bewijskracht en bieden sommige onderzoeken meer zekerheid. Er zijn vier verschillende niveaus van zekerheid te onderscheiden.

Niveau 1: Specificeren onderdelen interventie

Op dit niveau is vooral de aard van de interventie belangrijk. De aandacht gaat hierbij uit naar het doel van de interventie, de doelgroep van de interventie, die aanpak en de randvoorwaarden.

Niveau 2: Theoretisch onderbouwen van de werking van de interventie

In niveau 2 is het belangrijk dat behandelaars van elke interventie die ze bieden aannemelijk maken dat deze werkt. Zo kan men zich afvragen hoe, door het inzetten van de interventie, de gewenste uitkomsten bij de beoogde doelgroep wordt bereikt, welke rol de algemeen werkzame ingrediënten om de doelen te bereiken spelen en welke specifieke werkzame ingrediënten de interventie hieraan toevoegt. Op deze manier wordt een interventietheorie opgesteld wat niet zozeer wetenschappelijk is, maar zowel praktijkervaringen als wetenschappelijke bevindingen integreert.

Niveau 3: Het aantonen van gewenste veranderingen bij een interventie

Een goede omschrijving zoals in Niveau 1 en een onderbouwing zoals in Niveau 2 tonen het wat en waarom van een interventie aan. Als men heeft voldaan aan Niveau 1 en Niveau 2, dan is de bewijsvoering van een effectieve interventie weer een stapje verder gebracht. Echter moet er gemeten kunnen worden. Dit gebeurt op het derde niveau, waar er wordt bekeken of de interventie wordt uitgevoerd zoals bedoeld, of de gewenste uitkomsten ook behaald worden en of de beoogde doelgroep bereikt wordt. Op dit niveau is de praktijk dus een soort meetlaboratorium. Om te kunnen meten, moet men bedenken welke kenmerken van de doelgroep, de interventies en de uitkomsten gemeten moeten worden en met welke instrumenten. Hierbij is vooral ook de interventietheorie belangrijk, want deze geeft aan welk concepten zijn gebruikt. Zo weet men wat er gemeten moet worden.

Niveau 4: Het aantonen van de causaliteit van een interventie

De vierde en de laatste stap is het aantonen van de causaliteit van de interventie. Veranderingen tonen namelijk niet per se de causaliteit van een interventie aan. Causaliteit gaat over een oorzakelijk verband, een bewijs dat de interventie en niet iets anders tot dit resultaat heeft geleid. Idealiter wordt er aangetoond dat de interventie beter is dan geen interventie of een andere interventie, een controlegroep dus. Als een controlegroep ontbreekt, dan zouden de oorzaken kunnen worden toegeschreven aan iets anders, zoals bijvoorbeeld het ontgroeien van de problematiek, een verhuizing, enzovoort. Echter is het in praktijkonderzoek vaak lastig om een controlegroep te verkrijgen.

Wat kan er worden geconcludeerd?

Het belang van het maken van deze onderscheidingen is dat effectiviteit niet zwart of wit is. Er is dus niet alles of niets, er zijn graden van effectiviteit te onderscheiden die de evidentie steeds overtuigender maken. Vanuit een wetenschappelijk perspectief wordt alleen het vierde niveau als ‘echt’ bewijs gezien, maar dit perspectief is erg beperkt. Veel interventies zullen hier de komende jaren niet aan toe komen en het is maar de vraag of er ooit een mogelijkheid is om hier aan toe te komen.

Bulletpoints

Wat is effectonderzoek en waarom is dit belangrijk?

• Het wordt steeds belangrijker dat interventies effectief zijn, ook in de jeugdzorg. Alle belanghebbers willen dat psychosociale problemen van kinderen en jongeren de best mogelijke behandeling krijgen. In de nota Jeugd Terecht van het Ministerie van Justitie valt te lezen dat het ministerie van plan is om in de toekomst alleen nog maar effectieve of veelbelovende interventies te subsidiëren. Er is ook een erkenningscommissie opgericht, die gaat beoordelen welke gedragsinterventies mogelijk effectief kunnen zijn. Het inzetten van evidence-based behandelingen is hierbij het uitgangspunt. De kwaliteit van behandelingen moet ook blijken uit onder meer wetenschappelijk verantwoord effectonderzoek. De belangrijkste vraag is nu wat men eigenlijk verstaat onder effectiviteit en hoe deze aangetoond kan worden. Vanuit een praktijkperspectief betekent een effectieve interventie dat gestelde doelen worden gerealiseerd en dat cliënten tevreden zijn. Vanuit een strikt wetenschappelijk perspectief is een interventie pas effectief als is aangetoond dat er geen andere factoren in het spel zijn die het effect ook hadden kunnen veroorzaken. In een ideaal effectonderzoek krijgt een experimentele groep de interventie, waarvan het effect wordt onderzocht en krijgt een controlegroep geen interventie, een placebo-interventie of een alternatieve interventie. Ook is het gewenst dat cliënten willekeurig worden toegewezen aan de experimentele of de controlegroep. De interventie zelf moet helder omschreven zijn en bij voorkeur staat het ook vast wat bij welke sessies zal gebeuren. Ook moet het duidelijk zijn voor wie de interventie geschikt is en voor wie niet. Ten slotte wordt het effect bepaald aan de hand van het verschil tussen de experimentele en de controlegroep aan het eind van de interventie.

Wat is bekend over effectonderzoek binnen de jeugdzorg?

• De onderzoeken die zijn uitgevoerd binnen de jeugdzorg tonen aan dat deze interventies gemiddeld genomen effectief zijn. Er worden middelgrote tot grote effecten gevonden, wat vergelijkbaar is met interventies voor soortgelijke problemen bij volwassenen. Dit lijkt goed nieuws, omdat er dus meerdere effectieve interventies zijn waar behandelaars uit kunnen kiezen. Echter zijn er een viertal kanttekeningen.
  1. Het aantal experimenteel onderzochte interventies is maar een klein gedeelte van wat er gewoonlijk wordt aangeboden
  2. Het aantal interventies dat is onderzocht bestaat voor het grootste deel uit interventies die in de praktijk nauwelijks voorkomen
  3. De weinige wel in de praktijk uitgevoerde onderzoeken hebben maar een klein effect
  4. Veel interventies zijn in de praktijk nog niet expliciet genoeg om aan een goed effectonderzoek te onderwerpen.

Wat zijn de kenmerken van praktijkgestuurd effectonderzoek?

• De definitie van praktijkgestuurd effectonderzoek verwijst naar onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk optrekken met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris, een groep van behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of  instellingen verbetert en tevens ten opzichte van buitenstaanders gelegitimeerd kan worden. Er zijn drie kenmerken die belangrijk zijn:
  1. Aansluiting. Dit houdt in dat onderzoek naar het effect van interventies aan moet sluiten bij het ontwikkelingsniveau van die interventies. Het ontwikkelingsniveau wordt aangeduid door de mate waarin de te onderzoeken interventie onderbouwd is. Het heeft namelijk geen nut om onderzoek te doen naar interventies die niet voldoende onderbouwd zijn.
  2. Inbedding. Onderzoek naar het effect van interventies dient ingebed te zijn in de uitvoering van de interventie. Dit houdt in dat het gebruik van onderzoeksinstrumenten onderdeel is van het hulpverlenend handelen en dat deze instrumenten passen bij de interventie. Er moet dus sprake zijn van operationaliseringen van concepten die men op de werkvloer hanteert.
  3. Benutting. De verzamelde gegevens met betrekking tot effectonderzoek moeten worden benut. Deze benutting begint bij het primaire proces, bij individuele diagnostiek en behandelingsplanning en evaluatie van de voortgang. Van daaruit kunnen deze gegevens op hogere niveaus worden geanalyseerd en kan er bepaald worden wat de zicht is van een interventie, van een team, van een unit, een instelling, enzovoorts. Zo wordt onderzoek opgenomen in een cyclus dat gericht is o praktijkverbetering. Deze drie kenmerken zijn de werkzame principes van praktijkgestuurd effectonderzoek.

Wat kan er worden geconcludeerd?

• Het belang van het maken van deze onderscheidingen is dat effectiviteit niet zwart of wit is. Er is dus niet alles of niets, er zijn graden van effectiviteit te onderscheiden die de evidentie steeds overtuigender maken. Vanuit een wetenschappelijk perspectief wordt alleen het vierde niveau als ‘echt’ bewijs gezien, maar dit perspectief is erg beperkt. Veel interventies zullen hier de komende jaren niet aan toe komen en het is maar de vraag of er ooit een mogelijkheid is om hier aan toe te komen.