Naar meer effect: resultaatgerichte ontwikkeling van interventies - Van Yperen - Universiteit Utrecht

Van Yperen

Naar meer effect: resultaatgerichte ontwikkeling van interventies

Inleiding

Evidence-based:

• Praktijkperspectief: het effect van een aanpak is bewezen als gestelde doelen worden gerealiseerd en cliënten tevreden zijn.
• Wetenschappelijk perspectief: interventie is bewezen effectief als het effect door onderzoek is aangetoond, waarbij aannemelijk is gemaakt dat er geen andere factoren in het spel zijn die het effect ook hadden kunnen veroorzaken.

Samenwerking tussen praktijkwerkers, cliënten en onderzoekers etc. is nodig om een beweging van meten, spreken en verbeteren in gang te zetten > betere resultaten in de praktijk.

• Meten: de in de praktijk uitgevoerde activiteiten en de resultaten ervan zichtbaar maken.
• Spreken: het gevormde beeld in dialoog met de betrokken partijen krijgt betekenis: herkennen, verklaren, wat vinden we ervan?
• Verbeteren: verdere vernieuwing > maakt interventie beter toepasbaar/effectiever/goedkoper.

De onderzoeker onderzoeksmethoden inzetten die passen bij het ontwikkelingsstadium van de interventie > transparante, lerende praktijk.

Een interventie is ‘effectief’ als deze aan het doel van de inzet beantwoordt. Ontwikkelingspad: van impliciet geloof dat interventie effectief is, naar empirisch bewijs daarvoor. Een interventie is ‘evidence-based’ als het beeld over de werkzaamheid is gebaseerd op kennis over wat werkt. Drie bekendste bronnen: bewijs uit wetenschappelijk onderzoek (research-based-kennis), ervaringskennis van praktijkwerkers (expert-based/practice-based-kennis) en client-based-kennis. (bij jeugdzorg ook nog kennis over ethische overwegingen en waarden in het opgroeien en opvoeden van jeugdigen).

Kosteneffectiviteit: de mate waarin de interventie en de daarmee gemoeide kosten in een acceptabele verhouding staan tot de mate van doelbereik.

Samenwerkingsverband resultaatgerichte ontwikkeling van interventies.

Wat weten we uit effectonderzoek?

Databanken geven de stand van zaken (zoals NJI). In de meeste van de databanken geldt het experimentele onderzoek als aanpak om het sterkste bewijs voor effectiviteit aan te dragen.

              Effectonderzoek preventie

Er zijn redelijk veel studies gedaan naar preventieve interventies. Deze interventies blijken over het algemeen te werken, lijken ook kostenbesparend te werken. Maar: het is internationaal onderzoek (welzijn van jeugdigen is afhankelijk van algemene economische niveau in land, voorzieningenniveau, kwaliteit onderwijs etc.> hoe hoger dit niveau, hoe lastiger om extra effect te boeken). Ten tweede voldoet onderzoek dat in Nederland is uitgevoerd vaak niet aan de onderzoeksopzet die hiervoor is beschreven. Ten derde zijn de kosten van een paar Nederlandse preventieprogramma’s vrij helder > schatting kosteneffectiviteit preventie te optimistisch.

              Effectonderzoek jeugdhulp

Ook jeugdhulpinterventies, vrij veel en experimenteel onderzocht, lijken gemiddeld genomen effectief. Vergeleken met interventies voor soortgelijke problemen bij volwassenen zijn middelgrote-grote effecten gevonden. Recente overzichten laten zien dat de implementatie van evidence-based interventies een verbetering van de effectiviteit van de gebruikelijke zorg oplevert. Maar: veel interventies die in het buitenland zijn onderzocht, bevatten enkelvoudige problemen. Ten tweede is het aantal in de praktijk uitgevoerde interventies dat bewezen effectief is veel kleiner dan het aantal interventies dat niet bewezen effectief is (implementatie van bewezen effectieve interventies blijft achter en er is weinig sprake van doorontwikkeling). Ten derde leidt de implementatie van evidence-based interventies tot effectievere zorg t.o.v. gebruikelijke zorg, maar de winst is niet groot (vooral bij groepen met lichte problemen). Ten vierde zijn voor de uitvoering van goed effectonderzoek verregaande specificaties nodig van doelgroep, interventie en gewenste uitkomsten. Dit is vaak nog te algemeen.

Naar Resultaatgerichte Ontwikkeling van interventies (RGOi)

Dit model laat twee dingen zien m.b.t. vullen van kennislacune:

• Deze kennis moet leiden tot betere uitkomsten voor cliënten en tot het realiseren van de beoogde maatschappelijke resultaten.
• De kennis over effectieve interventies is geen statistisch gegeven, maar een voortdurende ontwikkeling in een cyclus waarin bestaande kennis wordt ingebracht en waaraan via de meet-, spreek- en verbeterbeweging nieuwe kennis wordt toegevoegd.

Twee manieren om kennislacune op te vullen:

• Top-down implementeren van evidence-based interventies
  • Nadeel: practice-based, client-based en values raken uit beeld + interventies in de jeugdsector zijn vaak nog niet zo ver uitgekristalliseerd dat ze onderzoekbaar zijn.
• Bottom-up ontwikkelen van praktijkinterventies (practice-based, patient-focused, practice-driven)
  
  • Nadeel: de definitie van effect is minder eenduidig en de bewijsvoering is minder hard (maar bewijzen zijn minder zacht dan critici soms doen geloven).

Leidende principes van RGOi:

1. Aansluiting

Het ontwikkelingsniveau (mate waarin het een te onderscheiden ding is) van de interventie bepaalt voor een belangrijk deel de te ondernemen activiteiten in het zoekproces.

2. Inbedding

Het bepalen van het resultaat is geen ‘ding’ van de onderzoeker, maar is als een onlosmakelijk onderdeel ingebed in de professionele praktijk. Het komt er niet nog eens bij.

3. Benutting

De resultaatbepaling (verzamelde gegevens) dienen benut te worden. Dit begint op uitvoeringsniveau. De verkregen gegevens hebben een functie in de dialoog:

• • Zijn de resultaten te plaatsen (herkenbaar)?
  • Kunnen we ze verklaren (begrijpen)?
  • Zijn de resultaten goed genoeg (waarderen)?
  • Welke verbeteracties zijn nodig (verbeteren)?

Daarnaast kunnen de gegevens gebruikt worden op instellings- en beleidsniveau: functionarissen kunnen resultaten benutten in een cyclus gericht op de praktijk-, organisatie- en beleidsverbetering.

4. Samenwerking

Niveaus versterken elkaar door samen te werken.

Praktijkgestuurd onderzoek ondersteunt RGOi: de effectladder als methodisch kader

De activiteiten van de onderzoeker bestaan uit de inbreng van inhoudelijke kennis, methodologische expertise, en de uitvoering van onderzoeksactiviteiten.

Effectladder (gaat om het verzamelen van practice-based evidence):

0. Intuition-based: we weten nog weinig, maar er is de overtuiging dat de interventie zou kunnen werken.
1. Voorwaardelijk: kernelementen beschreven
   
   1. Doel, doelgroep, aanpak (inhoudelijke elementen en structuurkenmerken), context;
   2. Relevantie: de basis van maatschappelijk verantwoord en doeltreffend beleid en ondernemen.
2. Veelbelovend: geloofwaardige interventiemethode
   
   1. Waarom zou door de interventie de gewenste uitkomst bij de beoogde doelgroep worden bereikt? De interventietheorie geeft intern een rationale en extern een legitimering voor het uitvoeren van een interventie. De theorie integreert ervaringen van cliënten en praktijkwerkers met wetenschappelijke theorie. De interventietheorie moet mogelijk gebruikmaken van reeds bestaande kennis over wat wel/niet werkt > onderzoek moet laten zien of een theorie ook echt klopt.
3. Doeltreffend: doelen zijn bereikt (cliënten tevreden, problemen afgenomen etc.)
   
   1. Interventietheorie biedt steun door gebruikte concepten. Door te meten vergen deze concepten een verdere operationalisering en vindt gegevensverzameling plaats om de houdbaarheid van de interventietheorie aan een eerste toets te kunnen onderwerpen.
   2. Onderzoeksvormen:
      
      1. Studie naar reden waarom cliënten niet meer aan interventie willen deelnemen;
      2. Vaststellen van tevredenheid van cliënten over resultaten interventie;
      3. Evalueren van de mate waarin gestelde doelen zijn bereikt;
      4. Verrichten van begin- en eindmetingen om veranderingen op te sporen;
   3. Uitkomstenmonitoring (ROM):
      
      1. In het primaire proces volgt men systematisch de mate waarin problematiek van cliënten afneemt tijdens behandeling (kan positief effect hebben op doelgerichtheid en uitkomsten).
      2. Teams en instellingen kunnen monitoring van het primaire proces ook op geaggregeerd niveau benutten: outcome management > de uitkomsten van diensten voor meerdere cliënten van een team/instelling over een bepaalde tijdsperiode worden gecombineerd en besproken.
      3. Beleid: uitkomstenmonitoring is belangrijk voor beleid.
4. Plausibel: enigszins aannemelijk dat uitkomsten zijn veroorzaakt door interventie
   
   1. In de onderzoeksopzet wordt een norm- of een vergelijkingsgroep geïntroduceerd die meer bewijskracht geeft dan alleen een onderzoeksopzet met begin- en eindmetingen.
   2. Op basis van een veranderingstheorie stelt men hypothesen op die een voorspelling impliceren. Als deze voorspelling uitkomt, is de effectiviteit van de onderzochte interventie plausibel gemaakt.
5. Werkzaam: zeer aannemelijk dat uitkomsten zijn veroorzaakt door interventie
   
   1. Bij de (quasi-)experimentele studie gebruikt men een controlegroep om de causaliteit van een interventie aan te tonen. Met die controlegroep zijn alternatieve verklaringen voor gevonden effecten te weerleggen.
   2. Zeer sterke bewijskracht wanneer gebruik wordt gemaakt van follow-up metingen. Dit uitvoeren is niet eenvoudig, kost veel inspanning en resultaten zijn soms moeilijk te interpreteren.

Kenmerken effectlader:

• Geen hiërarchisch model maar een ontwikkelingsmodel: het ene niveau is niet belangrijk dan het andere.
• Niet het design, maar de uitvoering ervan bepaalt de bewijskracht.
• Eens beschreven is niet altijd zo bedreven.
• De ladder wordt niet altijd sport voor sport beklommen.
• Onderzoek in eerdere ontwikkelingsfasen kan ook later van dienst blijven.

Tot slot: goede samenvatting