Artikelsamenvatting van Erkenning van interventies en criteria voor gezamenlijke kwaliteitsbeoordeling 2019-2022

Wat is het Erkenningstraject? 

De sectoren bewegen & sport, gezondheidsbevordering, jeugdgezondheidszorg, jeugdzorg/brede jeugdhulp, ontwikkelingsstimulering, langdurende geestelijke gezondheidszorg, ouderenzorg, gehandicaptenzorg en de sociale sector wilden aan het begin van deze eeuw meer inzicht in de effectiviteit van interventies. In 2008 werd het gezamenlijke erkenningstraject voor interventies gestart. 

Dit traject werd gestart om de kwaliteit van bestaande interventies en programma's in praktijk te verbeteren. De kennisinstituten NJi, NCJ, RIVM, Kenniscentrum Sport & Bewegen, Movisie, Vilans en het Trimbos-instituut gingen samenwerken om een eenduidig beoordelingssysteem voor interventies te maken. 

De kennisinstituten presenteren hun beoordeling van het erkenningstraject van 2019 tot 2022. 

Definitie van interventie 

Hoewel de kennisinstituten hun eigen invulling van de doelgroepen en doelen geven bij een interventie, komen ze overeen dat een interventie een systematische of planmatige aanpak en een doelgericht karakter heeft. 

Doel van het Erkenningstraject 

Het algemene doel van het erkenningstraject is het verbeteren van de kwaliteit van interventies, maar specifieker is het doel:

• om inzicht te krijgen in de kwaliteit, uitvoerbaarheid en effectiviteit van interventies, zodat er een overzicht is van welke interventies wel en niet werken;
• om opwaartse druk te creëren in de kwaliteitsontwikkeling, zodat ontwikkelaars de kwaliteit nog meer kunnen verbeteren;
• om kennis over de effectiviteit van verschillende interventies samen te voegen, zodat die kennis makkelijker binnen de verschillende werkvelden uitgewisseld kan worden;
• om verschillende erkenningstrajecten op elkaar af te stemmen, zodat er eenheid van taal en criterie ontstaat waardoor gebruikers meer overzicht hebben. 

Wat zijn de verschillende erkenningsniveaus?

Eigenaren van interventies kunnen verschillende erkenningsniveaus doorlopen:

• Uitvoerbaarheid. Een interventie moet goed uitvoerbaar zijn om in aanmerking te komen voor erkenning. Dit is een onderdeel van alle erkenningsniveaus. 
• Erkenningsniveau Goed beschreven. Professionals uit de praktijk en experts uit dezelfde sector beoordelen de beschrijving van het doel, de doelgroep, aanpak en randvoorwaarden, zodat interventies een erkenning als 'Goed Beschreven' kunnen krijgen. 
• Erkenningsniveau Goed onderbouwd en Effectief. Een erkenningscommissie die bestaat uit wetenschappers, praktijk- en beleidsmedewerkers beoordelen de onderbouwing en/of effectiviteit van de interventie, zodat interventies een erkenning als 'Goed Onderbouwd' of 'Effectief' kunnen krijgen. 

Wat was de evaluatie van de erkenning van interventies in 2018? 

Vragen die centraal stonden in het rapport van de evaluatie van 2018 waren: 

1. In hoeverre bereikt het erkenningstraject haal doelen? 
2. In welke mate vindt de doelgroep het erkenningstraject bruikbaar? 
3. Wat zijn de sterke en zwakke punten van het erkenningstraject? 

De resultaten van de evaluatie leidden tot een aantal aanbevelingen die in 2019 uitgewerkt zijn in concrete acties. Voor de aanbevelingen zijn verschillende werkgroepen gevormd die de aanbevelingen uitwerken:

1. Werkgroep Stimuleren bekendheid en gebruik van erkende interventies. Deze werkgroep onderzoekt wat er mogelijk is om erkende interventies nog meer onder de aandacht te brengen. 
2. Werkgroep Vereenvoudiging procedure met behoud van kwaliteit. Verschillende mogelijkheden om de procedure te vereenvoudigen zijn door met materiaal beoordelen, door het aanbieden van een workshop, door indieners bij commissievergadering aanwezig te laten zijn voor toelichting en door commissieleden op locatie van de interventie aanwezig te laten zijn.  
3. Werkgroep Complexe interventies. Deze werkgroep onderzoekt complexe interventies en stelt aanpassingen voor. 
4. Opdracht Ontwikkeling van instrumentarium voor kwalitatief onderzoek. 
5. Werkzame elementen. Deze werkgroep zorgt voor formulering van werkzame elementen, ontwikkelt een werkwijze, model en communicatie- en implementatie plan. 
6. Herformulering doelen 

Wat zijn de criteria van Uitvoerbaarheid? 

Uitvoerbaarheid van interventies is belangrijk om in aanmerking te komen voor erkenning. Bij de beoordeling zijn overdraagbaarheid en randvoorwaarden van belang. Het is namelijk belangrijk dat een interventie overdraagbaar is en randvoorwaarden heeft zodat de context waarbinnen de interventie uitgevoerd gaat worden duidelijk is. 

Dit zijn de criteria van 'Uitvoerbaarheid':

• De benodigde materialen zijn verkrijgbaar en duidelijk beschreven. 
• De interventie is overdraagbaar, want er is een handleiding of protocol en een implementatieplan. 
• De gegevens over onderhoud en bewaking van de kwaliteit zijn gespecificeerd. 
• De randvoorwaarden van de interventie, de uitvoerende professionals, de organisatie en de context zijn gespecificeerd. 
• De doelen zijn haalbaar. 
• De interventie is flexibel. 
• De uitvoering is onderzocht en de resultaten zijn vastgelegd en beschikbaar. 

Wat zijn de criteria van het niveau Goed beschreven? 

Interventies kunnen een erkenning als 'Goed beschreven' krijgen als het doel, de doelgroep, aanpak, randvoorwaarden en overdraagbaarheid goed beschreven zijn. Professionals uit de praktijk en andere experts beoordelen de interventies in de vorm van peerreview. De doelen van de erkenning van interventies als 'Goed beschreven' zijn om de waardevolle interventies van de waardeloze te scheiden, om impliciete praktijkkennis expliciet te maken, voor verdere kwaliteitsontwikkeling en om procesevaluatie te stimuleren.  

Dit zijn de criteria van 'Goed beschreven': 

• Voldoen aan de criteria van Uitvoerbaarheid. 
• De doelgroep, het doel (SMART geformuleerd), de opzet en inhoud zijn helder beschreven
• De aanzet en het verband tussen aanleiding, doelen, doelgroep en aanpak zijn beschreven en er is een logische samenhang daartussen. 

Wat zijn de criteria van de niveaus Goed onderbouwd en Effectief? 

Ten eerste kunnen interventies een erkenning als 'Goed onderbouwd' krijgen als ze theoretisch onderbouwd zijn en gebaseerd op empirische kennis. Daarnaast kan een interventie een erkenning als 'Effectief' krijgen als blijkt dat ze haar doelen bereikt. De Erkenningscommissie Interventies bestaat uit negen deelcommissies en hun doel is het vaststellen van de kwaliteit en effectiviteit van interventies. Dit zijn de negen deelcommissies met bijbehorende kennisinstituten: 

1. Jeugdzorg en psychosociale/pedagogische preventie (NJi)
2. Jeugdgezondheidszorg, preventie en gezondheidsbevordering (voor jeugd) (RIVM en NCJ) 
3. Ontwikkelingsstimulering, onderwijs-gerelateerd aanbod en jeugdwelzijn (NJi) 
4. Gezondheidsbevordering en preventie voor volwassenen en ouderen (RIVM)
5. Sport en bewegen voor alle leeftijden (Kenniscentrum Sport & Bewegen)
6. Maatschappelijke ondersteuning, participatie en veiligheid (Movisie)
7. Ouderenzorg (Vilans)
8. Gehandicaptenzorg (Vilans)
9. Justitiële interventies (NJi, Trimbos-instituut en Movisie)

Goed onderbouwd

Dit zijn de criteria van 'Goed onderbouwd':

• Voldoen aan de criteria van Uitvoerbaarheid. 
• Het probleem, risico of thema is duidelijk omschreven. 
• Het ontstaan van het probleem is geanalyseerd. 
• Het doel wordt verantwoord. 
• Doelgroep, doelen en werkwijze sluiten op elkaar aan en dat is verantwoord. 
• Bronvermeldingen zijn gegeven waar relevant. 
• Succes- en faalfactoren zijn benoemd en verantwoord. 

Effectief

Een interventie is effectief als de interventie een bijdrage levert aan de oplossing van het probleem. Effectivieit heeft binnen het erkenningstraject drie niveaus met respectievelijk een steeds sterke bewijs- en overtuigingskracht:

1. Eerste aanwijzingen voor effectiviteit. Hierbij is er bijvoorbeeld gebruik gemaakt van observationeel onderzoek, casestudies, voor- en nameting en cohortstudies. Voor dit niveau gelden er ook nog criteria. 
2. Goede aanwijzingen voor effectiviteit. Hierbij is er bijvoorbeeld gebruik gemaakt van quasi-experimentele designs, observationele onderzoeken of timeseries-onderzoeken. Voor dit niveau gelden er ook nog criteria. 
3. Sterke aanwijzingen voor effectiviteit. Hierbij is er bijvoorbeeld gebruik gemaakt van RCT's, quasi-experimentele studies met een follow-up, meerdere N=1 studies en timeseries. Voor dit niveau gelden er ook nog criteria. 

Dit zijn de criteria van 'Effectief':

• Voldoen aan de criteria van Uitvoerbaarheid. 
• De gevonden resultaten zijn relevant. 
• De veranderingen verhouden zich met het doel en de doelgroep van de interventie. 
• Bij kwantitatief onderzoek zijn de effecten beschreven en passen ze bij de interventie. 
• Eventuele negatieve effecten zijn weergegeven.
• Replicatie van het onderzoek is mogelijk. 
• De interventie is uitgevoerd volgens de aanpak en onderbouwing. 
• Er zijn voldoende veranderingen opgetreden. 

Wat houdt de Erkenning onder voorbehoud in?

Als een interventie nog niet voldoende beschreven of theoretisch onderbouwd is, kan er een voorlopige erkenning gehanteerd worden met 'Erkenning onder voorbehoud'. 

Wat is de geldigheidsduur van de erkenning?

• 'Goed beschreven': drie tot vijf jaar geldig. 
• 'Goed onderbouwd' en 'Effectief': vijf jaar geldig. 

De erkenningen hebben een geldigheidsduur omdat het erkenningstraject de actualiteit moet weerspiegelen. Een interventie kan namelijk kracht verliezen of winnen. Ook moet het systeem voor opwaartse druk zorgen, zodat er voortdurend in de ontwikkeling van de kwaliteit wordt geïnvesteerd.  

Hoe wordt de kwaliteit en effectiviteit van interventies gecommuniceerd?

De samenwerkende instituten beheren databanken en communiceren de erkende interventies via internetsites. 

Samenvatting

Het erkenningstraject werd gestart om inzicht te krijgen van de kwaliteit en effectiviteit van interventies. Verschillende instituten werken samen. De interventies worden op drie niveaus beoordeeld:

1. Goed beschreven 
2. Goed onderbouwd
3. Effectief
   1. Eerste aanwijzingen voor effectiviteit
   2. Goede aanwijzingen voor effectiviteit
   3. Sterke aanwijzingen voor effectiviteit
4. (Uitvoerbaarheid)