Samenvatting Zicht op Effectiviteit & Aanbevolen Literatuur

Deze samenvatting is geschreven in studiejaar 2013-2014.

1. Wat is praktijkgestuurd effectonderzoek?

Vanuit het praktijkgestuurde perspectief is de praktijk van de zorg de plaats waar de zoektocht naar effecten begint en eindigt. Wetenschappelijk onderzoek is de weg om die zoektocht mee te helpen vormgeven.

Zorgaanbieders moeten hulp bieden die verantwoord kan worden vanuit het oogpunt van effectiviteit en efficiëntie. Het Ministerie zal in de toekomst ook alleen de effectieve of veelbelovende interventies subsidiëren.

Vanuit een praktijkperspectief kan een interventie als effectief gezien worden als de gestelde doelen worden gerealiseerd en de cliënten tevreden zijn. Vanuit een strikt wetenschappelijk perspectief is een interventie pas effectief als is aangetoond dat er geen andere factoren in het spel zijn die het effect ook hadden kunnen veroorzaken.

Een methodegestuurde aanpak is het tegenovergestelde van een praktijkgestuurde aanpak. Bij een methodegestuurde aanpak is de focus sterk gericht op de realisering van methodologische eisen waar het ideale effectonderzoek aan moet voldoen. Bij praktijkgestuurd effectonderzoek gaat het erom het type studie aan te passen aan de eisen van de praktijk.

Het aantal onderzochte interventies is maar een fractie van wat er in de dagelijkse praktijk wordt aangeboden (1-5%). Het kleine aantal interventies dat wel onderzocht is bestaat ook nog eens voor een groot deel uit interventies die in de praktijk van de jeugdzorg nauwelijks voorkomen.

Voorbeelden interventies waarvan uit onderzoek is gebleken dat zij effectief zijn:

• Systematische desensitisatie

• Cognitieve Gedragstherapie

• Oudertraining (PMT)

• Therapeutische aanpakken in de pleegzorg

• Intensieve Pedagogische Thuiszorg

• Multisysteem Therapie

De meeste onderzoeken naar effectiviteit van de interventies laten maar kleine tot matige effecten zien. Dit komt mede doordat veel interventies die in de praktijk van de jeugdzorg worden uitgevoerd onvoldoende geëxpliciteerd zijn om aan een goed effectonderzoek te onderwerpen.

Manieren om meer kennis over de effectiviteit van de jeugdzorg te krijgen:

• Het top down implementeren van de interventies waarvan uit onderzoek is gebleken dat zij effectief zijn (evidence-based practice).

• Het bottom-up onderzoeken van interventies die in de dagelijkse praktijk worden uitgevoerd (practice-based evidence).

Definitie van praktijkgestuurd onderzoek van Hermanns:

Onder praktijkgestuurd effectonderzoek verstaan we onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris, een groep behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of instellingen verbetert en tevens ten opzicht van buitenstanders gelegitimeerd kan worden.

Uit deze definitie kunnen 3 kenmerken van praktijkgestuurd effectonderzoek worden gehaald:

• Aansluiting
  Onderzoek naar het effect van interventies moet aansluiten bij het ontwikkelingsniveau van die interventies.

• Inbedding
  Onderzoek naar het effect van interventies moet procedureel ingebed zijn in de uitvoering van de interventie.

• Benutting
  Onderzoek naar het effect van interventies moet niet in de bureaulade blijven liggen, maar de verzamelde gegevens moeten benut worden.

Praktijkgestuurd effectonderzoek kent verschillende niveaus van zekerheid, die elk ook een bepaalde definitie van effect impliceren. Dit wordt ook wel de effectladder genoemd. Op deze manier kan de zorgpraktijk zich via het leveren van practice-based evidence gaandeweg ontwikkelen tot een evidence-based practice.

Niveau 1:

Op niveau 1 gaat de aandacht vooral uit naar:

• Het doel van de interventie

• De doelgroep van de interventie

• De aanpak

• De randvoorwaarden

Als helder is waar de interventie precies uit bestaat kan beoordeeld worden of dit goede dingen zijn. Hoe duidelijker de interventie in een stappenplan of handleiding uitgelegd kan worden, hoe meer potentie de interventie in zich heeft om effectief te zijn. Het soort onderzoek wat op dit niveau wordt gebruikt is vooral descriptief.

Niveau 2:

Op dit niveau wordt gekeken hoe het inzetten van de bedoelde interventie de gewenste uitkomst bij de beoogde doelgroep wordt bereikt. Hiermee wordt een interventietheorie geëxpliciteerd die intern een rationale en extern een legitimatie voor het uitvoeren van een interventie geeft.

Het formuleren van een goede interventietheorie maakt een interventie veelbelovend.

Niveau 3:

Op dit niveau wordt gekeken of de interventie ook zo wordt uitgevoerd zoals hij bedoeld was. Ook kijkt men er naar of de gewenste uitkomsten zijn behaald en de beoogde doelgroep wordt bereikt. Om dit te kunnen bereiken moet men bedenken welde kenmerken van de doelgroep, interventie en uitkomsten gemeten moeten worden en met welke instrumenten dat gedaan moet worden.

Door te gaan meten worden deze concepten (en daarmee de interventietheorie) geoperationaliseerd en worden gegevens verzameld die de houdbaarheid van de theorie mogelijk ondersteunen en zodoende het effectbewijs versterken.

Niveau 4:

Op dit niveau moet de causaliteit van de interventie aangetoond worden. Causaliteit impliceert een oorzakelijk verband, een bewijs dat de interventie en niet iets anders tot dit resultaat heeft geleid. Om dit te kunnen bewijzen moet er een vergelijking worden gemaakt met een controlegroep.

Conclusie:

Op het eerste niveau gaat het om de specificatie van de inhoud en de context. Het tweede niveau wordt bereikt als men een interventie met behulp van wetenschappelijke en/of klinische inzichten theoretisch weet te onderbouwen. Vanaf het derde niveau wordt er empirische bewijskracht aangevoerd voor de effectiviteit van de interventie. Op het vierde niveau worden de empirisch vastgestelde uitkomsten causaal gerelateerd aan de interventie.

Het is van belang dat het onderzoek aansluit bij het niveau van de interventie die het onderwerp is van het onderzoek (aansluitingsprincipe), dat het onderzoek deel uit gaat maken van de zorgpraktijk (inbeddingsprincipe), en dat men met de resultaten van onderzoek wat gaat doen (benuttingsprincipe).

Effectonderzoek dat aan deze principes voldoet wordt praktijkgestuurd effectonderzoek genoemd.

Het is niet onaannemelijk dat alleen al het doen van onderzoek naar de effectiviteit van de zorg diezelfde zorg ten goede komt.

2. Op weg naar veelbelovend

Basiselementen van een interventie met potentie

• Naam van de interventie
   

• Doel van de interventie
  Doelen moeten worden geformuleerd in eindtermen. De doelen moeten SMART geformuleerd worden:

Specifiek, Meetbaar, Aanvaardbaar, Realistisch, Tijdgebonden
 

• Doelgroep van de interventie
  Hierin moet worden beschreven voor wie de interventie vooral geschikt zal zijn en voor wie niet. Het is gebruikelijk om de doelgroep weer te geven in indicaties (welke typische kenmerken heeft de doelgroep) en contra-indicaties (welke kenmerken sluiten cliënten uit van de doelgroep).
   

• Aanpak:
  - beschrijving van de methodiek
  - uitvoeringseisen en kwaliteitsbewaking.
  Verder kan hier worden beschreven wat de belangrijkste kenmerken van het risico of probleem zijn waarop de interventie is gericht en welke mechanismen en factoren dat risico of probleem veroorzaken, in stand houden, verergeren of juist verminderen.
   

• Context / Overige (organisatorische) randvoorwaarden
   

• Uitvoerende organisaties
   

• Overeenkomsten met andere interventies
  Het vermelden van dit soort dwarsverbindingen legt ook een verband met de gemeenschappelijke kennis die er is over de toepassing, effectiviteit en beperkingen van interventies.
   

• Bronvermeldingen

Een goede uitleg van het waarom leidt tot het predikaat veelbelovend: met een helder betoog is aannemelijk gemaakt dat de interventie effectief zou kunnen zijn. Bij dat betoog zijn twee zaken van belang:

• Aanpak: theoretische onderbouwing (hoe, wat, waarom).
  Een goede theorie over een interventie biedt inzicht in twee zaken:

- de mechanismen en factoren die in het spel zijn (de ontstaanstheorie)
- de werkzame ingrediënten van de interventie (impact theorie)
 

• Onderzoek:
  - onderzoek dat directe aanwijzingen voor de effectiviteit levert.
  - beschrijving type en resultaten buitenlands effectonderzoek (indirect bewijs)
  - beschrijving type en resultaten Nederlands onderzoek naar soortgelijke interventie.

Directe aanwijzingen voor effectiviteit zijn een vereiste om een interventie op het niveau van doeltreffend of werkzaam te mogen plaatsen. Indirecte bewijsvoering kan van nut zijn om de geloofwaardigheid van een onderbouwing op het niveau van veelbelovend te versterken.

Bij elk probleem spelen meerdere factoren een rol. Dit kunnen risicofactoren of protectieve factoren zijn. De kunst is om hier orde in te scheppen en te zoeken naar aangrijpingspunten voor je interventie.

De orde kun je scheppen door de ontstaanstheorie. In deze theorie is aangegeven wat de belangrijkste factoren en mechanismen zijn die in het spel zijn. Deze ontstaanstheorie is om te zetten in de behandelingstheorie. Deze theorie geeft aan waar de aangrijpingspunten liggen voor de interventie en hoe die aangrijpingspunten aangesproken kunnen worden.

Beïnvloedbare mechanismen en factoren zijn risico-, oorzakelijke, instandhoudende of versterkende processen en factoren die in de interventie gebruikt kunnen worden om het probleem aan te pakken. Dit worden ook wel de dynamische factoren of de mediafactoren genoemd.

De niet-beïnvloedbare mechanismen en factoren betreffen risico-, oorzakelijke, instandhoudende of versterkende processen en factoren die niet via de interventie beïnvloedbaar zijn, maar die er wel voor zorgen dat de interventie bij de aanwezigheid van deze factoren gewoonlijk succesvoller of juist minder succesvol verloopt (moderatoren).

De focus ligt altijd eerst op de hulpvraag. Deze bepaalt wat er moet gebeuren en dus het uiteindelijke doel van de interventie.

Specifieke doelen kunnen betrekking hebben op de mechanismen en factoren die het probleem van de doelgroep veroorzaken, instandhouden, versterken of juist verminderen of die de gewenste situatie helpen bereiken. De doelen geven verantwoording van war belangrijk is om aan te pakken en soms ook in welke volgorde dat moet gebeuren.

Als de interventie onvoldoende berekend is op de werking van niet-beïnvloedbare of niet-benutte mechanismen en factoren, dan is de kans groot dat het uiteindelijke effect teleurstelt.
 

Eindresultaat = effect interventie beïnvloede factoren – werking niet-beïnvloede factoren

De aanwezigheid van bepaalde factoren kan een reden zijn om een interventie niet bij een cliënt toe te passen.

Algemeen (non-specifiek) werkzame ingrediënten zijn onderdelen van een interventie die tot het resultaat bijdragen ongeacht de soort behandeling en doelgroep. Bijvoorbeeld:

• Aansluiting bij de motivatie van de cliënt

• Goede kwaliteit van de relatie cliënt – behandelaar

• Een goede fit van het probleem en de hulpvraag enerzijds en de specifieke invulling van de interventie anderzijds

• Goede structurering van de interventie

• Uitvoering van de interventie zoals deze uitgevoerd hoort te worden

• Professionaliteit

• Goede werkomstandigheden van de behandelaar

Specifiek werkzame ingrediënten zijn de werkzame elementen die alleen gelden voor bepaalde typen interventies, in de context van bepaalde doelen en voor bepaalde doelgroepen. De algemeen werkzame factoren zijn de basis van een goede hulpverlening. Daarbovenop moet helder zijn welke specifiek werkzame ingrediënten in de interventie zitten. De keuze van de specifiek werkzame ingrediënten is niet vanzelfsprekend, maar afhankelijk van het type probleem dat aan de orde is en de beïnvloedbare mechanismen en factoren die bij de jeugdigen in de doelgroep het aangrijpingspunt vormen voor de interventie.

3. Een kwestie van bewijzen

Bij hulpverlening wordt er van buitenaf ingegrepen in een proces dat zich in ongewenste of ongunstige richting ontwikkelt of dreigt te ontwikkelen. Hulpverlening draait om verandering in de zin van

• verbetering

• oplossen van onbevredigende situaties

• stopzetten en ombuigen van negatieve ontwikkelingen,

• bevorderen van gewenst gedrag

• versterking van aanwezige krachten

Van oudsher hebben de experimentele onderzoeksmethoden van de natuurwetenschappen het oorzaak-gevolgdenken in de gedragswetenschappen sterk beïnvloed. Causaliteit had daarin een voornamelijk mechanistische betekenis. Inmiddels heeft dit denken plaats gemaakt voor meer genuanceerde en dynamische opvattingen over causaliteit, opvattingen die recht doen aan de grilligheid en de weerbarstigheid van de sociale werkelijkheid.

Kenmerkend voor het hedendaags denken over causaliteit:

• Degene die het effect nastreeft probeert door middel van de interventie, weloverwogen en doelbewust bepaalde gebeurtenissen en processen te beïnvloeden en te sturen. Zijn interventie is gebaseerd op specifieke verwachtingen over de causale relatie tussen zijn ingreep en de gevolgen daarvan.

• Multicausaal: de belangstelling voor het effect gaat verder dan één onafhankelijke variabele (de interventie) die de afhankelijke variabele (het effect) beïnvloed.

• Er wordt expliciet rekening gehouden met de context waarbinnen het onderzoek naar causale verbanden plaatsvindt (het causaal veld).

• Causaliteit heeft een probabilistische betekenis: uitspraken over de relatie tussen oorzaak en gevolg worden gedaan in termen van waarschijnlijkheid en voorwaardelijkheid.

Causale relatie is op te vatten als:

• Een weloverwogen en doelbewuste interventie (onafhankelijke variabele) die,

• met een zekere waarschijnlijkheid een bepaald effect op een afhankelijke variabele produceert, waarbij

• de context waarin de beïnvloeding wordt onderzocht exact gedefinieerd is (causaal veld), en waarbij

• nadrukkelijk rekening wordt gehouden met andere relevante variabelen die in het spel zijn.

Meten is een gestandaardiseerde en gesystematiseerde manier van observeren, waarbij de mate waarin het geobserveerde kenmerk of eigenschap zich openbaart, wordt uitgedrukt in een getalsmatige waarde op een indicator (een variabele). Indicatoren maken de gewenste uitkomsten zichtbaar of observeerbaar.

Een meetinstrument is betrouwbaar te noemen als het, bij herhaald gebruik en onder dezelfde omstandigheden, telkens dezelfde meetwaarden laat zien met betrekking tot hetzelfde aspect of kenmerk.

Het meten van doelrealisatie vereist dat per jeugdige wordt geregistreerd welke doelen er zijn gesteld en in hoeverre deze zijn bereikt. Het beste is het als aan elk doel een meetinstrument wordt gekoppeld dat de rubrieken 0 (onveranderde situatie), 1 (situatie verbeterd) en 2 (doel bereikt) operationaliseert in termen van gedrag, cognities, gevoelens of situaties.

Er zijn twee soorten validiteit:

• Interne validiteit
  Hierbij staat de geldigheid van de conclusies centraal die in het onderzoek worden getrokken over de relatie tussen interventie en effect.

• Externe validiteit
  Hierbij gaat het om de generaliseerbaarheid van onderzoeksbevindingen.

Als de interne validiteit van een onderzoek onvoldoende is (bijv. bij onbetrouwbare meetinstrumenten), dan is het aannemelijker dat de gemeten effecten moeten worden toegeschreven aan andere factoren (storende factoren) dan de interventie.

Voorbeelden van storende factoren:

• Geschiedenis

• Rijping

• Testgewenning

• Instrumentatie
  Hierbij gaat het om bewuste of onbewuste invloeden op de scores, die ervoor kunnen zorgen dat de tweede meting anders uitvalt en een verandering wordt vastgesteld die niets met de interventie te maken heeft.
  Onder deze noemer valt ook het hello-goodbye effect: cliënten geven zichzelf aan het begin hoge scores om maar te laten zien dat de problemen heftig zijn, en aan het eind lage scores omdat ze de hulpverlener niet willen teleurstellen.

• Statistische regressie

• Selectieve uitval

• Cliëntselectie

• Behandelaarselectie

Naarmate de onderzoeksresultaten beter passen op de interventietheorie, dan is dat een ondersteuning van de veronderstelling dat de interventie voor het resultaat verantwoordelijk is. De interventietheorie legt een consistente, logische en onderbouwde verbinding tussen het te behandelen probleem en de factoren die dat in stand houden enerzijds, en anderzijds de activiteiten die hierin verandering zouden moeten brengen en de resultaten die daarvan, op korte en langere termijn, het gevolg zouden moeten zijn.

Met behulp van een interventietheorie is goed te bepalen met welke factoren men bij de opzet van een onderzoek rekening moet houden.

Factoren die de interne validiteit van het onderzoek bedreigen zijn door middel van twee methoden onder controle te brengen:

• Designcontrole (vooraf)

• Statistische controle (achteraf)

Het design van het onderzoek bepaald voor een grote mate de mate van interne validiteit. Er kan ook meer zekerheid verkregen worden door het onderzoek te herhalen in een andere context. De interventie zou dan identieke resultaten moeten geven.

Verschillende designs:

• Het experimenteel design
  RCT wordt over het algemeen beschouwd als het design dat de beste waarborgen biedt voor de interne validiteit. Storende variabelen worden op grond van dit design het meest overtuigend geneutraliseerd.
  Bij RCT worden de deelnemers aan het onderzoek willekeurig toegewezen aan één van in totaal twee groepen. De experimentele groep ontvangt de interventie waarvan men het effect wil vaststellen. De deelnemers zijn, als het kan, onwetend over de onderzoeksgroep waaraan ze zijn toegewezen. Veranderingen die tussen de meetmomenten plaatsvinden worden exclusief toegeschreven aan de interventie.
   

• Het quasi-experimenteel design
  Bij dit design worden de deelnemers aan het onderzoek niet willekeurig aan de onderscheiden experimentele condities toegewezen.
   

• Het pre-experimenteel design
  Bij non-experimentele designs ontbreekt een controle- of vergelijkingsgroep.

Reynolds heeft een werkwijze uitgewerkt om de interne validiteit te beoordelen aan de hand van zes criteria. Naarmate een onderzoek aan meer van deze criteria voldoet, wordt het waarschijnlijker dat de relatie tussen interventie en effect een causale is.

• Consistentie van de relatie

• Volgorde van gebeurtenissen (in tijd)

• Statistische relatie

• Dosis-respons relatie

• Specificiteit van de relatie

• Samenhangend patroon van bevindingen (coherentie)
  Dit criterium kijkt of de onderzoeksbevindingen passen op de interventietheorie (goodness of fit).

Opvattingen over nut en noodzaak van het onderzoek bepalen voor een belangrijk deel hoeveel men wil investeren in het onderzoek. Experimenteel onderzoek heeft een grote potentiële bewijskracht, maar heeft als bezwaar dat het een groot beslag legt op mensen en middelen. Ook inhoudelijk zijn er twee bezwaren:

• Ethische overwegingen

• Het realiseren van een zo hoog mogelijke interne validiteit gaat vaak ten koste van de generaliseerbaarheid. Dit wordt ook wel het maxmincon-principe genoemd: het maximaliseren van de effecten door het minimaliseren van storende factoren en het controleren van de interventie.

13. De opzet van praktijkgestuurd onderzoek

Het is belangrijk om te focussen op een zodanige inrichting van je onderzoek, dat er een zo groot mogelijke bewijskracht uit kan ontstaan.

In het begin is er op zijn minst een bepaald besef van wat men met de interventie wil bereiken, bij wie en met welke middelen. Verder is er een idee of opvatting hoe de interventie aangrijpt op de factoren die de klachten of het probleem veroorzaken of in stand houden, zodanig dat de situatie van de cliënten verbetert.

Deze twee stappen geven nog geen zekerheid over de feitelijke werkzaamheid van een interventie. Toch zijn ze noodzakelijk bij de opbouw van practice-based evidence.

De methoden hebben hoofdzakelijk een beschrijvend karakter en worden vaak gebruikt in het kader van procesevaluaties. Hieronder vallen verschillende soorten evaluaties die onderling een grote mate van overeenkomst vertonen. Voorbeelden van soorten evaluaties zijn de planevaluatie, formatieve evaluatie en de sterkte-zwakte analyse.

De onderzoeksresultaten van de beschrijving van de interventie en onderbouwing daarvan zijn minder hard en eenduidig dan het meer toetsende onderzoek op niveau 3 en 4. Verder is het zo dat sommige beschrijvende, kwalitatieve methoden van onderzoek niet eenvoudig uitvoerbaar zijn.

Onderzoek van de eerste twee niveaus van de effectladder kent een aantal valkuilen:

• Dit onderzoek heeft vooral een intern doel (zicht op de interventie verbeteren). Als deze informatie tegelijkertijd wordt gebruikt voor externe doeleinden, zoals de verantwoording aan de financier, kan dat contraproductief werken voor de verdere ontwikkeling van de interventie.
  Onder druk van externe partijen kan dat een reden zijn om zich te gaan oriënteren op een andere interventie.
   

• Kenmerken van de interventie worden in beschrijvend onderzoek nogal eens verward met de kenmerken van de daadwerkelijke gebruikers. Het ligt er vaak maar net aan voor welke doelgroep de interventie bedoeld is.
   

• Onderzoek op de eerste twee niveaus kan worden aangegrepen om te snel conclusies te trekken over de effectiviteit van een interventie.

Omdat op de eerste twee niveaus het fundament wordt gelegd van praktijkgestuurd onderzoek, is het aan te raden om in de uitvoering van deze stappen te investeren. Voor een herkenbare en geaccepteerde interventietheorie is het nodig om diverse invalshoeken in dit proces te betrekken. Een praktisch bruikbare interventietheorie komt voort uit een collectief, en is niet het product van een studeerkameranalyse.

Cliënttevredenheidsonderzoek

De meest eenvoudige vorm van effectonderzoek is cliënttevredenheidsonderzoek. Kenmerk van dit soort onderzoek is dat er meestal bij een cliënt een eenmalige meting plaatsvindt aan het einde van de hulp.

Het heeft geen zien om heel vaak de tevredenheid te rapporteren, omdat er op een bepaald moment verzadiging optreedt. De resultaten bieden dan weinig nieuws meer. Dit verzadigingseffect is te voorkomen door het doel van de informatieverzameling nader te specificeren en de verdere wijze van informatieverzameling daarop af te stemmen.

Varianten hiervoor zijn:

• Men stelt als doel om de mate van tevredenheid over een langere periode te bewaken (periodiek en steekproefsgewijs). Deze aanpak wordt ook wel de hygiënische monitoring genoemd.

• Opzet waarbij het de bedoeling is om ontwikkelingen in de cliënttevredenheid te volgen in trajecten die gericht zijn op kwaliteitsverbetering.
   

Cliënttevredenheidsonderzoek kent een aantal valkuilen:

• Het gaat om retrospectief onderzoek.
  Cliënten krijgen alleen na de interventie vragen en moeten terugkijken. De vraag is in hoeverre zij dit kunnen.

• Hello-goodbye-effect.
  Dit betreft de ervaring dat mensen het over het algemeen moeilijk vinden om bij de kennismaking en afscheid negatieve dingen te moeten zeggen.

• Halo-effect.
  Cliënten die tevreden zijn over één aspect van de hulp generaliseren dit vaak over allerlei aspecten van de hulp.

• Positieve of negatieve vertekening die cliënten systematisch in hun antwoorden stoppen.

• Selectieve uitval van cliënten.

Het verband tussen behandelingsuitkomsten en tevredenheid is niet volledig. Daarom mag uit tevredenheid niet automatisch worden geconcludeerd dar de hulp adequaat is geweest.

Doelrealisatie-onderzoek

Bij onderzoek naar doelrealisatie staat de vraag centraal of de hulpverleningsdoelen die met de ouders en/of jeugdige zijn gesteld zijn bereikt. Het bereiken van de doelen van de hulp vormt een cruciale factor om al dan niet van geslaagde hulp te spreken.

De meest simpele vorm van doelrealisatie-onderzoek gaat na in welke mate de doelen die voorafgaande aan de hulpverlening in het hulpverleningsplan zijn opgesteld zijn bereikt. Een bekende vorm daarvan is de Goal Attainment Scaling (GAS):

• -1 : Het eerder gestelde doel is helemaal niet gehaald; de situatie is slechter dan in het begin.

• 0 : Het eerder gestelde doel is niet gehaald, de situatie is hetzelfde als in het begin.

• 1 : Het eerder gestelde doel is deels gehaald, de situatie is beter maar nog niet conform doel.

• 2 : Het eerder gestelde doel is gehaald, de situatie is conform doel.

Het stellen van een hulpverleningsdoel en het plannen van de hulp aan het begin van het traject is te zien als het opwerpen van een hypothese of het doen van een voorspelling: als we deze hulp toepassen bij dit type van problemen, zullen we deze doelen bereiken.

In de literatuur wordt het hulpverleningsproces vaak voorgesteld als een hypothese toetsend proces, analoog aan de empirische cyclus in het wetenschappelijk onderzoek.

Bij onderzoek naar doelrealisatie wordt systematisch getoetst of vooraf gestelde doelen daadwerkelijk worden gehaald. Hierin ligt dan ook het belangrijkste verschil met niveau 1 en 2 van de effectladder.

Door vooraf doelen te stellen, bouwt men een voorspelling in van de effectiviteit van de interventie. Het toetsende element is hier alleen nog wel basaal.

De bruikbaarheid van doelrealisatie-onderzoek hangt sterk af van de vaardigheden van hulpverleners om goede doelen te stellen. Problemen van doelrealisatie-onderzoek zijn selectieve uitval en het kwalitatieve karakter. Er is namelijk veel subjectiviteit mogelijk bij de vraag wanneer een doel nu wel of niet is gerealiseerd.

Naarmate de doelen van cliënten inhoudelijk scherper en in meer geoperationaliseerde termen zijn geformuleerd, hoe krachtiger dit type onderzoek wordt.

Doelrealisatie-onderzoek legt een sterk accent op de evaluatie aan het einde van de hulp. Effectonderzoek wint aan zeggingskracht als er minstens aan het begin en het einde van de hulp (en eventueel ook tussentijds) metingen plaatsvinden die meer kwantitatief van aard zijn.

Veranderingsonderzoek

Hoofdkenmerk van veranderingsonderzoek is dat er aan het begin en aan het eind van de hulp wordt gemeten met behulp van gestandaardiseerde interviews, observatie-instrumenten of vragenlijsten. Deze vorm van effectmeting (pre-posttest design) is in de praktijk populair.

Door de verschillen te berekenen tussen de scores van de beginmeting en de eindmeting, is te bepalen in welke mate er sprake is van een probleemafname. Aan de hand van die gegevens zijn de effectgroottes te berekenen:

• .00 = geen effect

• .20 = klein effect

• .50 = middelmatig effect

• .80 = groot effect

De gemeten verandering kan ook veroorzaakt worden door andere factoren, zoals rijping, selectieve uitval, cliëntselectie en behandelaarsselectie.

Als er een serie studies wordt uitgevoerd, is een zekerder beeld te krijgen van de effectiviteit van een interventie. Een gunstige uitkomst van één veranderingsonderzoek rechtvaardigt immers niet zo gauw een investering van duizenden euro’s voor een gecontroleerde effectstudie. Een gunstige uitkomst uit vele veranderingsonderzoeken op verschillende locaties maakt zo’n investering meer dan logisch.

Valkuilen van veranderingsonderzoek:

• Een vastgestelde verandering zegt niets over de effectiviteit van de interventie. De vraag is of het om een bedoelde verandering gaat. Veranderingsonderzoek is altijd gericht op het evalueren van interventiedoelen.

• De kwaliteit van de instrumenten. Het instrument moet inhoudelijk een goede operationalisering zijn van de doelen die expliciet met de hulp zijn nagestreefd.

• Selectie-effecten door uitval en non-respons.

Het risico op overhaaste conclusies is te verkleinen door kritisch alternatieve verklaringen op een rij te zetten en te bespreken.

Normgerelateerd onderzoek en benchmarkstudies

Bij dit type onderzoek wordt er een expliciete norm gesteld ten aanzoen van wat als een goede uitkomst van het onderzoek te beschouwen is. Door expliciet aan te geven wat men wel en niet als een betekenisvolle uitkomst beschouwt, wordt de causale relatie tussen de interventie en het gemeten effect versterkt. Die betekenisvolle uitkomst reikt daarbij verder dan alleen het voorspellen van de richting van de verandering en vaststellen van de statistische significantie van de uitkomsten. Hier gaat het erom dat men aangeeft hoe groot die verandering moet zijn om er waarde aan te hechten.

In normgerelateerd onderzoek zijn de normen door de directe belanghebbenden gesteld. Bij benchmarkstudies wordt de norm ontleend aan eerdere of elders behaalde successen. Het voordeel hiervan is dat er van te voren een streefniveau vast ligt. Dat kan motiverend werken.

Dit type onderzoek is een mengeling van de hulpverleningscyclus, de PDSA-cyclus en de empirische cyclus. De behandelaars proberen in de hulpverleningscyclus met de cliënten toe te werken naar een bepaalde kwaliteit van de hulp. Dit weerspiegelt zich in de PDSA-cyclus in een prestatie-indicator en een norm die op het niveau van het behandelprogramma is vastgelegd. In de wetenschappelijk-empirische cyclus is de norm te zien als een hypothese die men denkt te kunnen waarmaken met de interventie.

Bij dit type onderzoek zijn dezelfde valkuilen te noemen als bij de andere typen onderzoek. Verder is het bij dit onderzoek van belang om een realistische norm te stellen. Om een goede norm op te stellen kan een pilotstudie gebruikt worden om te verkennen wat een haalbare norm is.

Veranderingstheoretisch onderzoek

Veranderingstheoretisch onderzoek is erop gericht de effectiviteit van specifieke ingrediënten van de interventie te exploreren. Een voorbeeld is de dosis-respons studie of onderzoek naar het verband tussen kenmerken van de doelgroep en de behandeling en de mate waarin er een bepaald doel wordt bereikt.

Interessant aan dit type analyse is dat theoretisch veronderstelde relaties tussen interventiecomponenten en uitkomsten in de resultaten (als het goed is) terug zijn te herkennen. De werkzaamheid van de interventie zou minder aannemelijk zijn als de interventiecomponenten in het geheel geen relatie zouden vertonen met de uitkomsten.

Dit type onderzoek vereist een goed uitgewerkte interventietheorie, met een heldere specificatie van de specifiek werkzame factoren. Deze specifiek werkzame ingrediënten moeten een logische relatie hebben met de beoogde uitkomst van de behandeling.

Valkuilen van dit type onderzoek:

• Een hoge correlatie tussen twee variabelen wil niet automatisch zeggen dat die relatie betekenisvol is.

• Correlaties zoeken naar lineaire verbanden. Sommige verbanden zijn echter niet lineair. De speurtocht naar niet-lineaire verbanden vereist theoretisch vernuft en een gedegen statistische analyse van de gegevens op het voorkomen van curve-lineaire / kromlijnige verbanden.

• Een correlatie is niet zonder meer te zien als een causaal verband.

Veranderingstheoretisch onderzoek vergt een goed uitgewerkte interventietheorie en een gedegen manier van interpretatie. Daarnaast is het belangrijk om een passende analysetechniek te vinden. Als men zorgvuldig te werk gaat, dan is dit type onderzoek een bijzonder nuttige en spannende vorm van onderzoek.

Quasi-experimenteel onderzoek

Quasi-experimenteel onderzoek bestaat uit een opzet waarin een groep cliënten die een specifieke interventie krijgt vergeleken wordt met een groep die deze interventie niet krijgt. Er vindt geen willekeurige toewijzing plaats aan de groepen. De wijze waarop de controlegroep is samengesteld, is afhankelijk van wat men te weten wil komen:

• Cliënten die geen interventie krijgen:
  - cliënten die vroegtijdig zijn afgehaakt
  - die op de wachtlijst staan
  - die een nep-interventie krijgen

• Controlegroep bestaat uit een andere interventie:
  - de gebruikelijke behandeling
  - een andere gespecificeerde interventie

De wijze waarop de groepen samengesteld worden kan ook verschillen:

• Post hoc experimentele en controlegroepen
  Hiervan is sprake als men achteraf groepen formeert waarvan men de uitkomstgegevens vergelijkt om te achterhalen of de ene interventie beter lijkt dat de andere.

• Gematchte opzet.

• Multicentrumstudies
  Bij deze studie worden de resultaten op verschillende instellingen met elkaar vergeleken.

• Gekruiste opzet
  Eerst krijgt de ene groep de interventie, daarna de andere groep.

• Cohortstudies

Veranderingsonderzoek en quasi-experimentele studies kunnen in elkaars verlengde liggen. Ook heeft dit type onderzoek raakvlakken met benchmarkstudies.

Valkuilen bij quasi-experimenteel onderzoek:

• Dat de groepen onvoldoende vergelijkbaar zijn en daarmee de uitkomsten systematisch vertekenen.

• Uitval van cliënten.

• Overhaaste conclusies trekken.

Experimenteel onderzoek

Experimenteel onderzoek verschilt van quasi-experimenteel onderzoek in de wijze van toewijzing van cliënten aan de experimentele en controlegroep. Het toeval bepaalt vooraf of een cliënt de experimentele behandeling krijgt of niet. De toewijzing aan de verschillende groepen is op de volgende manieren te realiseren:

• Met behulp van verzegelde enveloppen

• Aan de hand van random tabellen

• Computerprogramma

Als de cliënt niet weet welke behandeling hij krijgt, spreekt met van een blind onderzoek. Als ook de behandelaar niet weet in welke conditie de cliënt zit, gaat het om een dubbelblinde opzet.

Valkuilen bij dit type onderzoek:

• Dat men denkt dat met de experimentele opzet vertekeningen automatisch zijn uitgesloten.

• Ook hier is de uitval selectief.

• Kracht van herhaling (er zijn minstens twee onderzoeken nodig).

Herhaalde case studies

Studies op het N=1 niveau kunnen bijzonder bruikbaar zijn. Kenmerk van herhaalde case studies is dat de klachten, het probleemgedrag of de problematische gedachten of gevoelens van de cliënten zorgvuldig worden geobserveerd en geregistreerd voorafgaand aan de behandeling (A-periode). Vanaf het moment dat de behandeling start, wordt gekeken of er in het patroon van de klachten of probleem een positieve ontwikkeling is (B-periode).

Deze procedure kan herhaald worden. Dat heet dan ook wel het ABAB-design.

Bij een voldoende aantal case studies op een rij (meer dan 8) vormt deze bewijsvoering volgens de American Psychological Association een volwaardig alternatief voor het uitvoeren van een aantal randomized trials.

De principes van de case study zijn ook toe te passen op het niveau van de organisatie.

Valkuilen bij herhaalde case studies:

• Case studies zeggen weinig over de effectiviteit van de dagelijkse praktijk. Voorwaarde om van representatieve cases te kunnen spreken, is dat men voldoende zicht heeft op de kenmerken van de doelgroep.

• De gemeten uitkomstvariabele moet voldoende dekkend zijn voor wat men met de behandeling beoogt.

• De uitkomstvariabele moet ook voldoende objectief te meten zijn.

• Het aantal meetpunten dat men hanteert kan te laag zijn om het verloop van de behandeling goed te monitoren.

• Het probleem dat men bestudeert kan in zichzelf een geringe stabiliteit hebben.

• Sommige effecten treden niet snel genoeg op om in case studies goed te kunnen meten.

A. 55 vragen effectiviteit: antwoorden voor de jeugdzorg

1. Wat zijn interventies in de jeugdzorg?

De term interventies verwijst naar projecten, trainingsmethoden, behandel- en begeleidingsvormen en sancties. Het gaat dan om aanpakken die risico's of problemen in de ontwikkeling van de jeugdige verminderen, compenseren of draaglijk maken. Deze zijn bestemd voor een doelgroep met een of meer van de risico’s of problemen die gericht zijn op de jeugdige zelf, zijn opvoeders en/of opvoedingsomgeving die geleid worden door een weldoordachte, doelgerichte en systematische werkwijze met een nader omschreven tijdsduur en frequentie.

Interventies worden ook wel aangeduid als methodieken (bepaalde leer voor het handelen), modules (relatief homogene eenheid van zorg), zorgprogramma (samenstel van modules die op een planmatige, samenhangende en gecoördineerde manier worden ingezet bij een doelgroep).

2. Is het beter om te spreken over effectieve professionals of effectieve interventies?

Het gaat het Nederlands Jeugdinstituut om allebei.

3. Waarom zo veel aandacht voor effectiviteit van interventies?

Dit komt door vier dingen:

• Tijdgeest. Volgens de tijdgeest moet de kwaliteit van diensten transparant zijn. Ook moet er evidence-based gewerkt worden.

• Visie op kwaliteit. Veel organisaties hebben met kwaliteitskaders zoals die van instituut Nederlandse Kwaliteit (INK) een visie op Nederlandse kwaliteit ontwikkeld. Aandacht voor kwaliteit betekent automatisch aandacht voor effectiviteit. Iets is effectief als het bijdraagt aan de realisatie van een gesteld doel.

• Financiële krapte.

• Professionalisering: jeugdzorg werkt aan een grote slag in professionalisering.

We zien een hoge ambitie in de sector: het transparant maken en verder verbeteren van de effectiviteit van jeugdzorg.

4. Wat verstaan we onder een effectieve interventie?

Een interventie is effectief als deze bij een bepaalde doelgroep leidt tot de realisatie van gestelde doelen. Hierbij is het doel, de doelgroep, de aanpak belangrijk. Ook moeten gedragsproblemen zijn afgenomen. Men moet altijd de vraag stellen: effectief voor wat?

5. Wat is evidence-based werken?

Evidence-based werken is niets anders dan werken met behulp van kennis over wat werkt in de praktijk. Deze kennis kan verschillende bronnen hebben (wetenschappelijk onderzoek en praktijkervaring).

6. Zijn alle interventies evidence-based?

Nee. Evidence- based werken houdt niet in dat alle handelen van professionals theoretisch en empirisch door de wetenschap goed onderbouwd moet zijn.

7. Is evidence-based werken niet hetzelfde als buitenland-based werken?

Soms lijkt het er wel op. Om effectiever te werken worden er vaak buitenlandse programma’s geïmporteerd. Voordeel is dat er in het buitenland veel onderzoek gedaan is naar de aanpak van een bepaalde doelgroep. Maar het kan zijn dat die programma’s in Nederland tegenvallen.

8. Welke vernieuwingstrajecten lopen er op het gebied van effectiviteit van de jeugdzorg?

Het Nederlands Jeugdinstituut beschouwt de jeugdzorg als een werkveld dat in een snel tempo een vergaande professionalisering doorvoert. Vijf trajecten waaruit dit blijkt:

Intensievering praktijkontwikkeling, erkenning van jeugdinterventies, prestatie-indicatoren, onderzoeksprogramma Zorg voor jeugd (onderzoek naar ontwikkeling, implementatie, effectiviteit en kosten van jeugdinterventies) en actieprogramma Professionalisering.

9. Gaat het om effectieve jeugdzorg of om een effectief stelsel?

Het gaat erom dat er een effectief stelsel komt. Dit betekent dat:

1. Opvoeders weten hoe ze gewone problemen van kinderen kunnen opvangen, waar nodig worden ze in eenvoudige voorzieningen ondersteund.

2. Voor vroege interventie in de eerste lijn zijn er effectieve voorzieningen, zodat problemen niet escaleren.

3. Een pakket van effectieve, gespecialiseerde zorgarrangementen is aanwezig.

4. Na gespecialiseerde zorg is er goede nazorg die voorkomt dat jeugdigen en ouders opnieuw in de problemen komen.

5. Er zijn voor veel voorkomende problemen goede ketens geregeld van lichte ondersteuning, zwaardere zorgarrangementen en goede nazorg.

10. Wat zijn de ingrediënten van een effectieve interventie?

Werkzame interventies omvatten twee soorten ingrediënten:

1. Algemeen werkzame factoren.

2. Specifiek werkzame factoren: specifiek werkzame factoren voor de werksoort en specifiek werkzame factoren voor de doelgroep.

11. Gaat het om een effectieve interventie, een effectieve professional of een effectieve organisatie?

Ze zijn alle drie belangrijk voor effectieve zorg. Hulpverlening aan cliënten kan verbeterd worden door organisaties te veranderen, hulpverleners in de toepassing van algemene principes van goede hulp te trainen of te ondersteunen. Het helpt ook om goede interventies te implementeren. Veel interventies zijn verpakkingen van algemeen en specifiek werkzame ingrediënten die van betekenis zijn voor alle drie de factoren. Door de interventies te implementeren is er niet alleen een effect op het niveau van de specifieke methodiek, maar heeft dit ook impact op de effectiviteit van hulpverlener en de organisatie. Implementatie van interventies is niet de enige weg om de hulp te verbeteren.

12. Levert ingebruikname van een interventie altijd veel effectwinst op?

Nee. Er zijn verschillende redenen waarom de effectwinst als gevolg van de implementatie van een interventie kan tegenvallen.

13. Welke andere aandachtspunten zijn van belang voor kwaliteit van zorg?

Kwaliteit van hulpverlening betreft niet alleen factoren die effectiviteit bepalen. Er kunnen nog meer dingen van belang zijn zoals: de transparantie waarmee besluiten worden genomen, de snelheid waarmee de resultaten worden geboekt, de mate waarin de cliënt zich goed bejegend voelt etc.

De verschillende aspecten aan kwaliteit van hulp zijn terug te vinden in:

Wet- en regelgeving, kwaliteitsmodellen, beroepsstandaarden.

Effectiviteit is belangrijk, maar het is geen exclusief criterium om de kwaliteit van de hulpverlening aan te toetsen.

14. Wat is een effect size of effectgrootte?

Effectiviteit van hulp wordt meestal uitgedrukt in effect size (ES)/ effectgrootte. Men gebruikt hierbij de Cohen’s d als index.

15. Hoe moet de effectgrootte worden geïnterpreteerd?

1. 0,21 of lager staat voor een negatief effect.

2. 0,20 t/m 0,19 staat voor een verwaarloosbaar effect.

3. 0,20 t/m 0,49 staat voor een klein effect.

4. 0,50 t/m 0,79 staat voor een middelmatig effect.

5. 0,80 of meer staat voor een groot effect.

16. Wat weten we over de effectiviteit van de huidige jeugdzorgpraktijk?

De effectgrootte in de meeste onderzoeken naar jeugdzorg liggen tussen de 0,40 en 0,80. Met een totaal gemiddelde van 0,70. Maar veel studies hebben geen betrekking op de hulpverlening in de dagelijkse praktijk. De studies zouden niet de normale praktijk weergeven. De schatting van de auteurs is dat de effectiviteit rond de 0,40 zal liggen.

17. In welke mate bepaalt de interventie het resultaat?

Dit wordt flink onderschat. Meestal wordt er naar Lambert gerefereerd. Hij zegt dat maar ongeveer 15% door de interventie wordt bepaald. Dit is volgens het Nederlands Jeugdinstituut niet juist, omdat:

• Lambert baseerde percentages op kwalitatieve impressie van literatuur niet op kwantitatieve analyse. Dus percentages zijn een ruwe schatting.

• Percentages hebben betrekking op in het verleden behaalde resultaten, ze zijn gebaseerd op een review uit 1986.

De invloed van specifieke methoden op de effectiviteit worden mogelijk onderschat.

18. Waar vind ik goede overzichten van effectieve interventies?

• De databank Effectieve Jeugdinterventies.

• ‘Wat werkt?’ – overzichten.

• Internationale databanken.

Deze overzichten kun je vinden via www.nji.nl/jeugdinterventies.

19. Wat weten we over de effectieve behandelingen bij de meest voorkomende problemen?

Op de website www.nji.nl zijn dossiers beschikbaar over meest voorkomende problemen zoals: ADHD, angststoornissen, delinquentie, depressie, gedragsproblemen en gedragsstoornissen, kindermishandeling, multiprobleemgezinnen, onderwijsachterstanden, voortijdig schoolverlaten en overgewicht.

20. Wat weten we over de effectiviteit van de verschillende werksoorten?

Jeugdzorg is ingedeeld in ambulante jeugdzorg, residentiële jeugdzorg, crisisinterventie, gezinsvoogdij, justitiële jeugdzorg en jeugdreclassering.

Er zijn drie interventietypen mogelijk: cognitieve gedragstherapie, motiverende gespreksvoering en oudertrainingen.

Er is nog weinig goed effectonderzoek beschikbaar over werkzame ingrediënten van de verschillende werksoorten. Beschikbare effectonderzoeken lijden onder gebrek aan inzicht wat precies de toegepaste werkwijzen zijn. Effectieve hulp bestaat niet zelden uit een combinatie van werksoorten. De werkzame ingrediënten van één bepaalde werksoort moeten in deze context worden beschouwd.

21. Wat kenmerkt een goede professional?

De professional kenmerkt zich door zijn kennis (alledaagse kennis, expliciete vakkennis en deels geëxpliciteerde en impliciete ervaringskennis) en vaardigheden die hem in staat stellen zijn taken goed uit te voeren. Kennis en vaardigheden geven de professional macht over de cliënt (hij weet en kan meer op zijn vakgebied).

22. Wat is een effectieve professional?

Een goede professional werkt effectief als hij optimaal bijdraagt aan realisatie van doelen van de hulpverlening. Hierbuiten zijn er nog algemeen werkzame factoren (in staat goede relatie met cliënt te onderhouden, aansluiten bij motivatie van cliënt en dit weten te activeren etc) en specifieke werkzame factoren (goede kennis hebben over specifieke doelgroep, vaardig zijn in de toepassing van de aangewezen specifieke hulpvormen etc). Kenmerk van een professional moet ook zijn dat hij zich richt op kwaliteitsverhoging van de hulp, van zowel uit zijn persoonlijke situatie als vanuit zijn vak.

23. Moeten professionals zich aan methoden houden?

Als professionals effectief willen zijn is het verstandig om methoden goed te volgen. Ook wel behandelintegriteit/treatment integrity (treatment adherence): een interventie wordt toegepast zoals deze uitgevoerd hoort te worden.

24. Hoe om te gaan met de spanning tussen methoden en professionals?

Spanning is niet per se negatief. Als de volgende zaken goed zijn geregeld kan hier goed mee worden omgegaan:

• Collectieve ambitie (deze ambitie maakt het noodzakelijk kennis te delen, die verpakt zit in methoden).

• Beroepsstandaarden. Beroepsverenigingen geven via beroepsrichtlijnen aan wat de beste manier van handelen is.

• Discretionaire ruimte: van de professional wordt verwacht dat hij effectief gebleken methoden goed toepast. Dit impliceert dus dat de hulpverlener zijn handelen toesnijdt op de cliënt en zijn situatie. Daarvoor beschikt de professional over discretionaire ruimte. Hij zoekt daarbij een match tussen collectieve kennis en het individuele geval.

• Samenwerking. Professionals werken vaak samen. Dit vraagt om voorspelbaarheid in het functioneren. Hier sluit een expliciete werkwijze en een routine bij aan.

• Monitoring. Het is belangrijk dat resultaten worden gemonitord in supervisie. Zo signaleert de professional of de effectiviteit van zijn hulp tekortschiet, voldoende is of zeer goed uitpakt.

25. Hoe om te gaan met de spanning tussen methoden en individuele cliënten?

Effectieve hulp bestaat uit een goede matching tussen wat een methode voorschrijft en wat een cliënt behoeft. Werken volgens een bepaalde methode is niet bedoeld als keurslijf, maar als keuze dat bij een bepaalde groep cliënten de betreffende methode de meeste kans geeft op effectiviteit.

26. Wat is de rol van beroepsverenigingen en richtlijnen?

Beroepsverenigingen waken in een optimale situatie over de kwaliteit van een professie. Ze registreren de leden als bevoegd als deze voldoen aan eisen ten aanzien van kennis en ervaring.

Zonder het delen van kennis is er geen basis voor de professie. Daarom stellen beroepsverenigingen ook eisen met betrekking tot scholing, supervisie, intervisie en geregelde bijscholing.

27. Wat is de rol van andere partijen in verbetering van de effectiviteit?

In een ideale situatie neemt iedere partij zijn verantwoordelijkheid als het gaat om verbetering van de effectiviteit.

28. Moet een financier eisen dat er alleen nog maar evidence-based wordt gewerkt?

Nee. Dit is niet reëel. Er is namelijk een praktisch bezwaar: niet voor alle groepen zijn dergelijke interventies voorhanden. En er is een principieel bezwaar: het is de professional die beslist of en in welke mate hij gebruik maakt van evidence-based interventies. Alleen in dit geval kan hij verantwoordelijk worden gesteld voor zijn handelen.

29. Hoe kunnen opleidingen het beste op de ontwikkeling rond effectiviteit insteken?

Er wordt op een landelijk gecoördineerde manier gewerkt aan het actualiseren van hbo-opleidingen. De basis hiervoor wordt gevormd door het competentieprofiel voor de jeugdzorgwerker. Dit profiel maakt duidelijk over welke competenties beroepskrachten in de jeugdzorg moeten beschikken om het vak goed te kunnen uitvoeren. Hierbij zijn de attitude van professionals belangrijk, de kennis over werkzame principes, kennis over richtlijnen en interventies, vaardigheden in de toepassing van de kennis, kennis en vaardigheden in het stellen van doelen en het meten van resultaten in de praktijk.

30. Waar is de databank Effectieve Jeugdinterventies voor bedoeld?

De databank geeft een overzicht van theoretisch goed onderbouwde interventies en het toont ook welke van deze interventies ook als ‘bewezen effectief zijn aan te merken.

De databank is niet geschikt als selectiemiddel. De kennis over wat wel werkt en wat niet is hiervoor te onvolledig.

31. Wat is het nut van de effectladder?

De databank Effectieve Jeugdinterventies is opgebouwd volgens de effectladder. Een interventie ontwikkelt zich in stadia. Elks stadium draagt bij aan de effectiviteit van een interventie.

32. Wat is het belang van de Erkenningscommissie interventies?

Het nut van deze commissie is te beoordelen of interventies als effectief aan te merken zijn. Een onafhankelijke groep experts voorziet interventies van een keurmerk als ze goed zijn onderbouwd en onderzocht. Het belang is: het toont ontwikkelaars voor het neerzetten van een gedegen interventie en de interventies kunnen dienen als een goed voorbeeld en een inspiratiebron voor anderen.

Erkenning kent vier niveaus: theoretisch goed onderbouwd, waarschijnlijk effectief, bewezen effectief en kosteneffectief.

33. Hoe komt de Erkenningscommissie Interventies aan te hanteren criteria?

Een deel van de criteria wordt gebaseerd op het werk van voorgaande panels en in de periode 2007-2008 is er gewerkt aan de opbouw van criteria voor de ‘bewezen effectiviteit’.

34. Is het niet heel moeilijk om een interventie erkend te krijgen?

Ja en nee. Het is niet moeilijk om een interventie erkend te krijgen door de Erkenningscommissie Interventies, maar dan moet de interventie wel aan bepaalde eisen voldoen.

Aan de andere kant is het wel moeilijk. We zien dat het voor de praktijkinstellingen moeilijk is om hun aanbod ten aanzien van de basiseisen te expliciteren. In veel gevallen blijkt dat de doelgroep niet duidelijk afgebakend is en zo kan ook niet bepaald worden of het aanbod kan leiden tot effectieve zorg.

35. Wat moet de praktijk met de erkenning en de databank?

De afstand tussen de erkenning van interventies en de hulpverlening in de praktijk is groot.

Sluiten erkenning en de databank dan wel genoeg aan bij de praktijk? Ze hebben in twee opzichten nut voor de praktijk:

In de eerste plaats heeft de databank Effectieve Jeugdinterventies een etalagefunctie. De praktijk kan zien welke onderbouwde en bewezen effectieve interventies er zijn.

Ten tweede spelen de erkenning van interventies en de databank een rol voor kwaliteitsbevordering van de zorg. De vraag die steeds naar boven komt: hoe zit het met onze interventies? Voldoen deze aan de criteria? Moeten we hier iets mee? De erkenning en de databank leveren dan een druk op de kwaliteitsontwikkeling van de sector.

36. Zijn de erkenning en de databank het enige wat van belang is?

Nee. De gedachte kan zijn dat werken met interventies uit de databank effectieve zorg garandeert. Dit is onjuist. De databank is bedoeld als inspiratiebron waarvan gebruik wordt gemaakt voor het verbeteren van de zorg.

37. Moeten we niet een beperkte set interventies erkennen en in de databank opnemen?

Nee, voorlopig niet. Er gaat een sterke opwaartse druk uit van de databank. Men ziet graag dat de eigen interventie in de databank komt. Zo worden zorgaanbieders gedwongen om over de kwaliteit van hun aanbod na te denken. Dit is belangrijk. Het leidt tot een beter aanbod. Een risico is wel dat er een wirwar van interventies kan ontstaan. Deze kans is niet groot, omdat het praktisch en financieel gezien nooit zal lukken alle interventies met voldoende effectonderzoek te onderbouwen.

38. Wat is er nodig om een interventie goed te beschrijven en te onderbouwen?

Een goede beschrijving bestaat uit:

• De naam van de interventie en toelichting daarop.

• Doel van interventie

• Doelgroep van interventie

• Aanpak: beschrijving van methodiek, uitvoeringseisen en kwaliteitsbewaking.

• Context/overige randvoorwaarden voor toepassing.

• Uitvoerende organisaties.

• Overeenkomsten met andere interventies.

• Bronvermelding.

Een goede onderbouwing bestaat uit:

• Een theoretische onderbouwing van de aanpak (het wat, hoe, waarom).

• Empirische onderbouwing van de aanpak: beschrijving van type en resultaten buitenlands effectonderzoek naar deze interventie (indirect bewijs) en beschrijving van type en resultaten Nederlands onderzoek naar soortgelijke interventies (indirect bewijs).

• Bronvermelding.

39. Wat verstaan wij onder een goede doel- en doelgroepbeschrijving?

Een goede doel- en doelgroepbeschrijving begint met het beantwoorden van de vraag op welke problemen de interventie is gericht. Wat probeert de interventie te verminderen of op te lossen?

Als er duidelijkheid is over de problemen of risicofactoren is het mogelijk om doelen van de interventie zo SMART mogelijk te formuleren. Om de doelgroep te bepalen is er het Classificatiesysteem voor de Aard van de Problematiek van cliënten in de Jeugdzorg

(CAP-J). Hiermee kunnen problemen op een uniforme wijze beschreven worden.

40. Waarom is theoretische onderbouwing van interventies zo belangrijk?

Een theoretische onderbouw is voor veel interventies het maximaal haalbare niveau van verantwoording. Empirisch onderzoek naar effectiviteit ontbreekt vaak nog. Bij een goede onderbouwing geeft het aan dat de interventie zou kunnen werken. Ook is het zo dat onderbouwing een voorwaarde is voor goed effectonderzoek.

41. Wat voor onderzoek is nodig voor bewezen effectiviteit?

Hier is hoogstaand onderzoek nodig. Dit is voor de praktijk moeilijk te realiseren. Daarom kan het bewijs voor effectiviteit beter stapgewijs worden opgebouwd. Dit kan met de effectladder. De effectladder bestaat uit verschillende niveaus, met elk weer hun eigen onderzoek. Niveau 4 is bijvoorbeeld: Is de interventie werkzaam? Hier zijn verschillende soorten onderzoeken voor zoals: experimenteel onderzoek, herhaalde casestudies, veranderingstheoretisch onderzoek etc.

42. Is de werkzaamheid van een interventie alleen met een RCT te testen?

Nee, dat kan ook met andere onderzoeksmethoden. Soms is het niet mogelijk een RCT te realiseren omdat dat praktisch of principieel gezien niet mogelijk is. In dat geval kun je een herhaald N=1 onderzoek doen of een structural equation modeling (SEM). Over het algemeen hebben deze alternatieven minder bewijskracht dan RCT.

43. Welke andere aandachtspunten zijn van belang voor bewezen effectiviteit?

Bij de beoordeling van effectiviteit moet naar vier aandachtspunten worden gekeken:

• De kwaliteit van het onderzoek (hoe hoger op effectladder, hoe sterker de bewijskracht).

• Aard van het effect. Het primaire doen moet bijdragen aan het verder gelegen doel. Het primaire doel van de interventie moet worden bereikt.

• Grootte van het effect.

• Aantal studies.

44. Laten effecten zich vooral bepalen bij enkelvoudige of ook bij meervoudige problemen?

Vaak bestaat de indruk dat effecten zich laten bepalen bij enkelvoudige problemen, maar ook bij complexe problemen is effectbepaling mogelijk.

45. Zijn er ook interventies (basismethodieken) voor niet–specifieke problemen?

Ja. De meest basale methoden voor effectief werken bestaan uit de toepassing van algemeen werkzame factoren in de hulpverlening. Het gaat dan om de aanpak van de totale doelgroep van de jeugdzorg. Dit wordt ook wel de basismethodiek voor goed hulpverlenen genoemd. Deze methodiek bestaat bijvoorbeeld uit een goede cliënt-hulpverlener relatie bevorderen, duidelijke structuur in de hulpverlening aanbrengen etc.

46. Hoe moeten we ‘cure’ en ‘care’ zien in relatie tot effectiviteit?

Het NJI stelt dat het onterecht is uit te gaan van een strikte scheiding tussen care en cure.

Verschillende elementen van zorg lopen in de residentiële hulp in elkaar over:

• Basisvoorwaarden: rust, reinheid, regelmaat, veiligheid en ontspanning.

• Opvoeding

• Behandeling, die bestaat uit therapeutisch klimaat en aanvullende interventies.

De eerst twee gaan vooral over care en de laatste over cure. In de jeugdzorg kan niet alleen sprake zijn van care. Indien dit wel het geval is, is er geen sprake meer van jeugdzorg, maar van vervangende opvoeding en verzorging. Zoals een directeur van een jeugdzorginstelling ooit zei: ‘No care without cure’.

De gewone basisvoorwaarden, opvoeding en behandeling zijn altijd aanwezig, maar wel in uiteenlopende doseringen. De effectvraag spitst zich toe op het element van de behandeling, maar het is net zo gerechtvaardigd deze te stellen ten aanzien van de opvoeding: de beroepsopvoeders in de (semi) residentiële zorg moeten effectieve opvoeders zijn.

47. Hoe wordt een interventie het best ontwikkeld?

Volgens het NJI komen methodieken langs twee wegen tot ontwikkeling.

1. Gaat uit van een theorie. Hiervan wordt een handelingswijze afgeleid. Interventies kunnen vervolgens in wetenschappelijke centra of in kleine projecten worden ontwikkeld, op effectiviteit worden onderzocht en bij gebleken kwaliteit breder worden ingevoerd. Bij de invoering heeft men het over de implementatie van evidence based practice.

2. In route twee worden in praktijk gegroeide en soms op brede schaal toegepaste werkwijzen verder uitgewerkt en onderzocht op effectiviteit. Zo worden practice based, in de praktijk gewortelde interventies stapgewijs verder ontwikkeld tot aan het niveau van bewezen effectiviteit.

De routes sluiten elkaar niet uit. Er is een wisselwerking tussen evidence-based practice en practice based evidence.

48. Hoe wordt een interventie het best geïmplementeerd?

Dit is niet makkelijk. Er onstaat wel steeds meer kennis over de factoren die de kans op succes vergroten. Er moet meer bekendheid aan gegeven worden om de jeugdzorg ermee te kunnen ondersteunen. De kans op succesvolle implementatie kan op verschillende manieren vergroot worden:

• Heldere doelstelling en doelgroepformulering voor de implementatie.

• Goede determinantenanalyse (belemmerende en bevorderende factoren voor een goede implementatie).

• Gebruik van verschillende strategieën.

• Borgen (de interventie moet ‘gewoon’ worden ook wel ‘duurzame implementatie’).

• Eigendom (borging en implementatie verloopt beter als de interventie een ‘eigenaar’ heeft die zich verantwoordelijk stelt voor de juiste implementatie, kwaliteitscontrole etc).

49. Innovatie en de professional: top-down en/of bottom-up?

Zowel top-down als bottom-up bewegingen spelen een rol in innovatie. Professionals zijn consumenten van evidence-based interventies, maar ook producenten (practice-based) van succesvolle praktijken. Als een hulpverlener bottom-up een werkwijze heeft ontwikkeld die effectiever blijkt dan de gebruikelijke werkwijze in de praktijk, dan is het wenselijk dat dit door veel meer hulpverleners wordt toegepast. Maar, dit zou betekenen dat andere hulpverleners die werkwijze moeten overnemen. Dit kunnen ze ervaren als iets wat top-down wordt opgedrongen. Als zij het dan om die reden niet willen doorvoeren komt de sector moeizaam vooruit. Om deze reden is het daarom ook de kunst om zowel bottom-up als top-downbeweging te benutten.

Bottom-up: private kennis en ervaring van een hulpverlener of van enkele hulpverleners wordt naar een collectief kennisniveau gebracht.

Top-down: een hulpverlener past de collectief beschikbare kennis in zijn eigen praktijk toe.

50. Wat heeft evidence-based practice te maken met practice-based evidence?

Evidence-based practice: als er in de praktijk wordt gewerkt met kennis over wat werkt. De kennis is gebaseerd op wetenschappelijk onderziek en geëxpliciteerde praktijkervaring. Wetenschappelijk onderzoek leidt tot gegevens die research-based evidence worden genoemd, en praktijkervaring tot gegevens die practice-based evidence worden genoemd.

Evidence-based: niet alleen het top-down implementeren van interventies die wetenschappelijk zijn onderbouwd. Hier is ook het verzamelen van gegevens over de effectiviteit van belang. Het verzamelen van practice based evidence wordt ook wel praktijkmonitoring, Routine Outcome Monitoring (ROM) of praktijkgestuurd onderzoek genoemd.

51. Wat zijn kenmerken van goede praktijkmonitoring?

Praktijkmonitoring: het verzamelen van gegevens over het effect van het praktisch handelen van een hulpverlener, team of instelling. Dit heeft drie kenmerken:

• Aansluiting (bij het ontwikkelingsniveau van interventie).

• Inbedding (de monitor is procedureel ingebed in de uitvoering van de interventie).

• Benutting (effectgegevens worden benut, dit begint op uitvoeringsniveau).

52. Is praktijkmonitoring wetenschappelijk verantwoord?

Ja. Zolang men één basisregel niet schendt: men hecht niet meer waarde aan de gegevens dan de gegevens toestaan. Het verzamelen en interpreteren van gegevens kent een aantal valkuilen:

• De zeggingskracht van cijfers is principieel beperkt van aard (zonder controlegroep is het lastig uitspraken te doen).

• Er spelen psychometrische kwesties, zoals betrouwbaarheid en validiteit van gebruikte instrumenten.

• Het aggregeren van resultaatgegevens van cliëntniveau naar een algemener niveau vertoont soms hiaten (percentages zeggen weinig als ze betrekking hebben op kleine deelgroepen).

Er moet rekening worden gehouden met de mate van bewijskracht van de gegevens en waar nodig moet een flinke foutmarge ingecalculeerd worden.

53. Wat zijn prestatie-indicatoren?

Dit is een meetlat om de prestaties van een persoon of organisatie in beeld te brengen. Dit is een belangrijk aspect van praktijkmonitoring. Je kunt dit gebruiken om na te gaan of het doel dat men wil bereiken ook gerealiseerd wordt of dat er verbetering in de prestaties wenselijk is.

Er zijn procesindicatoren (langs welke weg worden doelen gerealiseerd) en resultaatindicatoren (bijvoorbeeld het aantal tevreden cliënten).

54. Leidt het werken met prestatie- indicatoren niet tot calculerend gedrag?

Ja, dat is mogelijk. Zo zouden zorgaanbieders moeilijke groepen ontwijken om in de cijfers over effectiviteit beter te scoren. Het zou zo moeten zijn dat monitoring van de resultaten een functionele plek heeft in een gezamenlijke ambitie om de zorg te verbeteren. Er moeten worden nagegaan: herkennen we de cijfers? Kunnen we ze verklaren? Zijn ze te verbeteren?

55. Waar kan ik meer informatie vinden?

www.nji.nl/jeugdinterventies.

B. Algemeen en specifiek werkzame factoren in de jeugdzorg

Algemene hulpverleningsprincipes versus specifieke methodieken

Tegenwoordig is er veel discussie over effectief werken in de jeugdzorg. Hierbij staan twee standpunten tegenover elkaar. Het eerste is het standpunt dat hulpverleners meer moeten werken met evidence-based interventies, waarvan de effectiviteit wetenschappelijk bewezen is. Het tweede standpunt stelt dat het vooral draait om de deskundigheid van de hulpverlener, en niet zozeer om de specifieke interventie. In dit standpunt is de Amerikaanse onderzoeker Lambert belangrijk. Hij stelt dat algemene hulpverleningsprincipes, zoals een goede cliënt-hulpverlener relatie en een gestructureerde manier van werken, meer van belang zijn voor de effectiviteit van hulpverlener.

In de volgende literatuurstudie staan drie thema’s centraal:

1. Het verband tussen de werking van algemene hulpverleningsprincipes en specifieke methodieken.

2. De stand van de discussie over de weging van algemene hulpverleningsprincipes en specifieke methodieken.

3. Het beste advies aan hulpverleners: algemene hulpverleningsprincipes versus specifieke methodieken.

De effectiviteit van hulpverlening wordt vaak uitgedrukt in termen van effectgrootte met als index de Cohen’s d. Hierbij geldt dat onder de 0.5 een klein effect is, boven de 0.5 een middelmatig effect, en boven de 0.8 een groot effect. Studies naar de effecten laten zien dat de effecten van therapie meestal middelmatig tot groot zijn. Critici wijzen er echter op dat veel studies niet over de dagelijkse praktijk gaan, maar over gevallen met enkelvoudige problemen en therapie, waarin de behandelaars erg goed getraind zijn. In studies naar het effect van therapie in de dagelijkse praktijk ligt die ergens rond de d=0,40. Dit vraagt om verbetering van de effectiviteit van hulpverlening.

Het model van Lambert

In de discussie over algemene hulpverleningsprincipes versus specifieke methodieken wordt vaak verwezen naar het model van Lambert. Lambert stelt dat maar 15 procent van het effect van een interventie toe te schrijven is aan de methodiek. Resultaten worden voornamelijk bepaald door extratherapeutische factoren, zoals cliënt- en omgevingskenmerken (40%), en algemeen werkzame factoren, zoals de cliënt-hulpverlener relatie of de mate waarin de hulp gestructureerd is (30%). Ook nog van invloed is het placebo-effect, oftewel ‘hoop en verwachting’ (15%), dit wil zeggen dat een cliënt die hoop heeft op een goede uitkomst, beter meewerkt aan de behandeling.

De consequenties van dit model zouden zijn dat veel onderzoek naar de effectiviteit van specifieke methodieken weinig nut heeft, dat de informatie voor hulpverleners over effectieve methodieken weinig relevant is, en dat de noodzakelijke verbetering van hulpverlening moet zitten in het verbeteren van algemeen werkzame factoren.

Na een analyse van de percentages van het model van Lambert blijkt dat er geen betrouwbare uitspraken gedaan kunnen worden over de verdeling van de percentages. Hier zijn een aantal redenen voor. De eerste reden is dat deze percentages kwalitatieve schattingen zijn en bovendien verouderd, omdat ze gebaseerd zijn op gedateerd onderzoek. In dit onderzoek wordt ook gefocust op de vraag wat de verschillen zijn tussen grote ‘therapiestromingen’, zoals cognitieve gedragstherapie of psychodynamische therapie, en niet op wat de beste therapie is bij een specifieke doelgroep.

De tweede reden is dat er verwarring heerst in de literatuur over het onderwerp. Deze verwarring is te danken aan verschillen in de terminologie die gebruikt wordt. De factor extratherapeutische invloed krijgt verschillende benamingen, en omvat ook steeds verschillende dingen (soms horen bijvoorbeeld de cliëntfactoren er wel bij, en soms worden deze apart genoemd).

Ten slotte is de factorverdeling van de percentages niet consistent, deze verschilt ook per onderzoek, dit komt door verschillende manieren van factorberekening die onderzoekers gebruiken. Het lijkt erop dat in de werking van therapie de algemene factoren een grote invloed hebben, maar de invloed van de specifieke technieken is nog niet duidelijk te bepalen.

Voorbeelden van algemeen werkzame factoren zijn het aansluiten bij motivatie van de cliënt, een goede kwaliteit van de cliënt-hulpverlener relatie, een goede structuur van de interventie, en professionaliteit van de hulpverlener. Door onderzoekers wordt vaak veel belang gehecht aan de cliënt-hulpverlener relatie, zij constateren dat er weinig verschil is in therapeutische benaderingen, zolang deze maar positief bijdragen aan de relatie met de cliënt. Dit onderzoek gaat echter meestal over therapie bij volwassenen, bij jongeren zit dit iets ingewikkelder in elkaar.

Het verband hangt af van een aantal factoren:

• Het type probleem, bij bijvoorbeeld externaliserende problemen is het verband sterker.

• Het tijdstip van meten, later in de therapie (bij langdurige therapie) is het verband sterker.

• Het type informant, bij de therapeut als informant is het verband sterker.

• Ook ontwikkelingsfactoren (zoals de cognitieve en psychosociale rijpheid) van kinderen spelen mee.

De relatie tussen cliënt en hulpverlener blijkt dus belangrijk te zijn, maar moet ook niet overdreven worden. Hierbij zijn twee relativeringen op zijn plaats. De eerste is dat de relatie bij kortdurende hulp dus minder van belang lijkt dan bij langdurende hulp. Ten tweede zijn er aanwijzingen dat ook hulp via internet en begeleide zelfhulp effectief kan zijn, dit maakt duidelijk dat de cliënt zelf ook een belangrijke werkzame factor is.

Toch hebben ook de specifieke methodieken invloed op het proces. Onder methodiek wordt verstaan de leer hoe te handelen, deze specificeert ook de technieken die worden toegepast. De technieken zijn de specifieke handelswijzen die een bepaald effect als doel hebben. Er bestaat een bepaalde verwevenheid tussen technieken en algemene factoren, deze verwevenheid bestaat op twee terreinen. Ten eerste zijn er basistechnieken die het karakter hebben van algemene factoren (bijvoorbeeld gestructureerd werken), en basistechnieken die een uitwerking hebben op algemene factoren (zo is reflectie op thema’s, een techniek, bevorderend voor de cliënt-hulpverlener relatie, een algemene factor). Ten tweede werken ook de specifieke technieken door in de kwaliteit van algemene factoren. Volgens onderzoek ontstaat mede door hulpverlening die specifiek op het probleem is toegesneden een goede relatie tussen hulpverlener en cliënt.

Maar er zijn ook aanwijzingen voor een eigenstandig effect van specifieke methodieken. Ten eerste blijkt uit onderzoek dat specifieke methodieken wel degelijk een aparte rol spelen, dit blijkt vooral bij specifieke methodieken die vooral werkzaam lijken bij bepaalde symptomen of stoornissen. Ook blijkt uit onderzoek dat het effect van hulpverlening ook afhankelijk is van de mate waarin deze goed geïmplementeerd wordt. Dit geeft aan dat specifieke methodieken het handelen van hulpverleners zo beïnvloeden dat dit apart van algemene factoren invloed uitoefent. Ten derde zijn er ook aanwijzingen dat specifieke methodieken ertoe leiden dat averechtse effecten of negatieve bijwerkingen worden voorkomen, door aan hulpverleners kennis te geven over hoe wel of niet in een bepaalde situatie of bij een bepaald probleem gehandeld moet worden.

Het model van Lambert blijkt dus tegenwoordig niet meer van toepassing te zijn. Dit komt omdat de implementatie van specifieke methodieken verbeterd is, dit verhoogt de effectiviteit en ook het aandeel van de specifieke methodiek in het totale effect. Het gaat er dus om dat een specifieke methodiek binnen een verband van algemene factoren uitgevoerd wordt en dat de methodiek ook goed en consequent wordt toegepast. Er moet dus niet alleen geïnvesteerd worden in het verbeteren van de algemene factoren in de hulpverlening, maar ook in het verbeteren van (de implementatie van) specifieke methodieken.