Erkenning van interventies; criteria voor gezamenlijke kwaliteitsbeoordeling - RIVM - Universiteit Utrecht

RIVM

Erkenning van interventies; criteria voor gezamenlijke kwaliteitsbeoordeling

Introductie

Steeds meer behoefte aan inzicht in effectiviteit interventies > NJi en CGL ontwikkelden eerste concept gezamenlijk erkenningstraject voor interventies. Basis: effectladder.

Het erkenningstraject richt zich van welzijn en preventie tot aan langdurende zorg. Een interventie komt pas in aanmerking voor beoordeling binnen het erkenningstraject als deze voldoet aan de omschrijving ‘een planmatige en doelgerichte aanpak’. Het erkenningstraject bestaat uit het hele traject van beschrijven, indienen, beoordelen, erkennen en publicatie dat eigenaren van interventies kunnen doorlopen.

Algemene doel erkenningstraject: kwaliteitsverbetering van interventies in betrokken werkvelden.

• Specifiekere doelen:
  • Inzicht bieden in de kwaliteit, uitvoerbaarheid en effectiviteit van interventies.
  • Opwaartse druk creëren in de kwaliteitsontwikkeling.
  • Accumulatie en uitwisseling van kennis over (theoretisch) werkzame principes of elementen.
  • Harmonisatie van verschillende erkenningstrajecten.

Typen beoordelingen:

1. Goed beschreven: Beoordeling van beschrijving van doel, doelgroep, aanpak en randvoorwaarden door professionals uit de praktijk en/of andere experts van de desbetreffende sector.
2. Goed onderbouwd: Beoordeling van de onderbouwing en/of effectiviteit van de interventie door een erkenningscommissie bestaande uit vertegenwoordigers uit wetenschap, praktijk en beleid.
3. Effectief: beoordeling door erkenningscommissie van effecten o.b.v. bewijskracht.
4. Uitvoerbaar: Beoordeling van uitvoerbaarheid o.b.v. beschreven uitvoeringsaspecten en eventueel aanvullend onderzoek.

Om tot deze beoordelingen te komen zijn er criteria (bijlage). Deze criteria zijn echter niet tot in de finesses geoperationaliseerd: praktijkpanels en erkenningscommissies die interventies beoordelen binnen de marges van de criteria hebben ruimte nodig om o.b.v. hun expertise een weging te maken van aspecten die bij beoordeling van belang zijn + tussen betrokken werkvelden bestaan inhoudelijke verschillen.

1. Goed Beschreven: beoordeling door praktijkpanels

Door te beschrijven welke interventies er zijn, wat het doel is, de doelgroep, de aanpak en de randvoorwaarden voor uitvoering krijgen professionals een inzicht op de kwaliteit van interventies. Hierdoor kunnen professionals leren van bestaande interventies en krijgen ze zicht op wat er in de sector gebeurt. Een belangrijk onderdeel van de eerste stap is de toetsing met de praktijk: er moet inzicht zijn in het bereik, de waardering van gebruikers en uitvoerders en de succes- en faalfactoren. Er wordt beoordeeld a.d.h.v. de beschrijving, handleiding en procesevaluatie. Dit wordt gedaan door professionals uit de praktijk, omdat zij kunnen beoordelen of het een kansrijke interventie is voor uitvoering.

Doel van de beoordeling:

• Een eerste scheiding in het grote aanbod aan interventies (op het gebied van sport en bewegen, gezondheidsbevordering en sociale sector).
• Expliciet maken van (impliciete) praktijkkennis.
• Opstap naar verdere kwaliteitsontwikkeling.

Opzet van beoordeling:

• In een peerreview: panel van professionals op betreffende domeinen.
• Per interventie drie onafhankelijke beoordelaars: twee uit praktijk en één die interventie op verschillende onderdelen schriftelijk beoordelen a.d.h.v. vaste criteria.
• Geen overleg tussen professionals. Na eindoordeel mogen zij hun beoordeling nog wel bijstellen.

Geldigheidstermijn van Goed Beschreven is drie jaar.

Criteria voor Goed Beschreven:

• Duidelijke beschrijving van doelen, doelgroep, aanpak, randvoorwaarden, overdraagbaarheid, ervaring met uitvoering en beschikbare materialen.
• Inzicht in uitvoeringsaspecten zoals beschikbaarheid van handleiding, procesevaluatie en inzicht in kosten en tijdsbesteding.

Uitwerking criteria Goed Beschreven

Zie pagina 10.

2. Goed Onderbouwd en Effectief: beoordeling door de Erkenningscommissie Interventies

Na inzicht geboden te hebben, is de volgende stap de inhoudelijke basis. Het oordeel ‘Goed onderbouwd’ geeft aan dat een interventie theoretisch goed in elkaar zit en gebaseerd is op bestaande (empirische) kennis, maar dat er nog geen of onvoldoende onderzoek naar de effectiviteit ervan beschikbaar is. Het oordeel ‘Effectief’ wordt gegeven indien uit effectonderzoek blijkt dat de interventie haar doelen bereikt. Beoordeling wordt gegeven door de Erkenningscommissie Interventies: een onafhankelijke commissie van vertegenwoordigers uit de wetenschap, praktijk en beleid.

Opzet beoordeling:

• Erkenningscommissie Interventies bestaat uit negen deelcommissies met elk expertise op een specifiek werkterrein.
• Beoordeling wordt inhoudelijk voorbereid door drie of vier leden van een deelcommissie > over alle criteria een voorbeoordeling > dit wordt voorgelegd aan de hele deelcommissie > vergadering waarin voorbeoordelingen worden besproken > uiteindelijke oordeel: gebaseerd op consensus binnen gehele deelcommissie.

Doel van de beoordeling sluit aan op het algemene doel van het erkenningstraject: het leveren van een bijdrage aan de (verdere) kwaliteitsverbetering van interventies in de betrokken werkvelden.

Aanpassingen in 2013-2014:

• Betere stimulans richting effectiviteit
  • Een extra niveau voor effectiviteit: eerste aanwijzingen voor effectiviteit. Zo kan een goed onderbouwde interventie naar een erkenning als effectief doorgroeien.
• Ruimte bij beoordelen van complexe interventies
  
  • Meer ruimte voor alternatieve designs: sterk gecontroleerde designs zijn lang niet altijd haalbaar > het uitgevoerde design als best passende bewijs te beoordelen.
• Werkzame elementen
  
  • Duidelijk moet zijn wat de werkzame elementen zijn en de belangrijke randvoorwaarden voor uitvoering en samenhang daartussen. Duidelijk moet zijn welke onderdelen van het programma meer/minder flexibel zijn.
• Kwalitatief onderzoek
  
  • Kwalitatief onderzoek verder integreren in het erkenningstraject. Het kan bijdragen aan het onderbouwen van de aannemelijkheid van de werkzaamheid en inzicht geven in de werking en daadwerkelijke uitvoering en in het effect zoals ervaren door doelgroep en uitvoerders.
• Diversiteit binnen de doelgroepen en verkleinen van verschillen
  
  • Nadrukkelijke vraag in welke mate rekening wordt gehouden met diversiteit.

Criteria

• Goed Onderbouwd: maakt aannemelijk dat de interventie zou kunnen werken. Met een theorie is te specificeren welke uitkomsten te voorspellen zijn, welke mediatoren en moderatoren er zijn en welke concepten relevant zijn om te meten. Praktisch nut theorie: voorkomt dat interventie als ‘black box’ geldt. Aannemelijk maken waarom en hoe dit wel/niet bij andere doelgroepen, situaties zou kunnen werken.
• Effectief: de interventie levert met een onderzoek aangetoonde bijdrage aan de oplossing van het geformuleerde probleem. Gecombineerde benadering: enerzijds accent op effectonderzoek via RCT’s en quasi-experimenteel onderzoek en anderzijds ruimte voor andere designs. Bij beoordeling van effectiviteit beoordeelt commissie eerst:
  
  • Of de meest relevante uitkomstmaten in de studie zijn meegenomen;
  • Hoe groot de gevonden effecten zijn;
  • Het design en de kwaliteit van het onderzoek;

Verschillende niveaus van effectiviteit:

• • Eerste aanwijzingen voor effectiviteit: o.b.v. observationeel onderzoek, monitorgegevens. Resultaten waaruit blijkt dat gedrag etc. in voldoende mate conform het doel van de interventie zijn veranderd.
  • Goede aanwijzingen voor effectiviteit: quasi-experimentele designs, observationele onderzoeken die zeer goed zijn uitgevoerd, timeseries-onderzoeken > het doel wordt in voldoende mate bereikt, terwijl dat doel niet (of significant minder) wordt bereikt zonder interventie/gebruikelijke situatie.
  • Sterke aanwijzingen effectiviteit: gecontroleerd onderzoek > voldoende onderzoek van voldoende kwaliteit om aan te mogen nemen dat interventie bij doelgroep effectief is en beter werkt dan gebruikelijke situatie/handelswijze, en dat dit toe te wijzen is aan interventie.

Criteria voor Goed Onderbouwd en Effectief

Zie pagina 16-19

Erkenning onder voorbehoud: voorlopige erkenning > ontwikkelaar/eigenaar moet ontbrekende informatie nog aanvullen of gevraagde aanpassingen nog doorvoeren.

Geldigheidsduur van erkenning: 5 jaar. 2 redenen: erkenningstraject moet actualiteit weerspiegelen en het systeem moet zorgen voor opwaartse druk.

3. Uitvoerbaarheid: beoordeling door praktijkpanels of erkenningscommissies

Met Uitvoerbaarheid kan de professional inschatten of de interventie ook geschikt is om uit te voeren in eigen setting/context. Hiervoor is informatie nodig over de concrete uitvoering van de interventie (wie wat moet doen, deskundigheid, tijd, toepassing). Uitgebreide handleidingen en veel hulp bij de implementatie van de interventie in de eigen organisatie maken de interventie beter overdraagbaar. Een andere belangrijke vraag bij uitvoerbaarheid is: zijn condities voor de ingebruikname van interventie in de praktijk wel aanwezig? Wat zijn de randvoorwaarden die nodig zijn voor uitvoering en is er iets te zeggen over (minder) gunstige factoren in de context van de interventie.

Bij de beoordeling van de uitvoerbaarheid gaat het om een volledige en duidelijke beschrijving van de aspecten die van belang zijn voor de uitvoering van een interventie. Aanvullend onderzoek kan de conclusies versterken.

              Criteria voor Uitvoerbaarheid

Zie pagina 21

4. Communicatie

Communicatie over kwaliteit en effectiviteit van beoordeelde interventies, in de databanken maar ook via andere communicatiemiddelen. Communiceren over de oordelen:

1. Goed Beschreven (inclusief aspecten van uitvoerbaarheid);
2. Goed Onderbouwd (inclusief oordeel over uitvoerbaarheid);
3. Effectief (inclusief het niveau en oordeel over uitvoerbaarheid);

Pagina 24: criteria voor de (causale) bewijskracht van empirische studies