Samenvatting bij Zicht op Effectiviteit: Handboek voor praktijk Gestuurd effectonderzoek in de jeugdzorg - Veerman & van Yperen - 2008

Wat is praktijkgestuurd effectonderzoek? - Chapter 1

Vanuit het praktijkgestuurde perspectief is de praktijk van de zorg de plaats waar de zoektocht naar effecten begint en eindigt. Wetenschappelijk onderzoek is de weg om die zoektocht mee te helpen vormgeven. Zorgaanbieders moeten hulp bieden die verantwoord kan worden vanuit het oogpunt van effectiviteit en efficiëntie. Het Ministerie zal in de toekomst ook alleen de effectieve of veelbelovende interventies subsidiëren.

Vanuit een praktijkperspectief kan een interventie als effectief gezien worden als de gestelde doelen worden gerealiseerd en de cliënten tevreden zijn. Vanuit een strikt wetenschappelijk perspectief is een interventie pas effectief als is aangetoond dat er geen andere factoren in het spel zijn die het effect ook hadden kunnen veroorzaken. Een methodegestuurde aanpak is het tegenovergestelde van een praktijkgestuurde aanpak. Bij een methodegestuurde aanpak is de focus sterk gericht op de realisering van methodologische eisen waar het ideale effectonderzoek aan moet voldoen. Bij praktijkgestuurd effectonderzoek gaat het erom het type studie aan te passen aan de eisen van de praktijk.

Het aantal onderzochte interventies is maar een fractie van wat er in de dagelijkse praktijk wordt aangeboden (1-5%). Het kleine aantal interventies dat wel onderzocht is bestaat ook nog eens voor een groot deel uit interventies die in de praktijk van de jeugdzorg nauwelijks voorkomen.

Voorbeelden interventies waarvan uit onderzoek is gebleken dat zij effectief zijn:

• Systematische desensitisatie

• Cognitieve Gedragstherapie

• Oudertraining (PMT)

• Therapeutische aanpakken in de pleegzorg

• Intensieve Pedagogische Thuiszorg

• Multisysteem Therapie

De meeste onderzoeken naar effectiviteit van de interventies laten maar kleine tot matige effecten zien. Dit komt mede doordat veel interventies die in de praktijk van de jeugdzorg worden uitgevoerd onvoldoende geëxpliciteerd zijn om aan een goed effectonderzoek te onderwerpen.

Manieren om meer kennis over de effectiviteit van de jeugdzorg te krijgen:

• Het top down implementeren van de interventies waarvan uit onderzoek is gebleken dat zij effectief zijn (evidence-based practice).

• Het bottom-up onderzoeken van interventies die in de dagelijkse praktijk worden uitgevoerd (practice-based evidence).

Definitie van praktijkgestuurd onderzoek van Hermanns:

Onder praktijkgestuurd effectonderzoek verstaan we onderzoek waarin onderzoekers en behandelingsfunctionarissen gezamenlijk optrekken, met het doel informatie te verzamelen waarmee het effect van het praktisch handelen van een individuele behandelingsfunctionaris, een groep behandelingsfunctionarissen, een instelling of groep van instellingen nader verhelderd en getoetst wordt, waardoor vervolgens het werk van de betrokken behandelfunctionarissen of instellingen verbetert en tevens ten opzicht van buitenstanders gelegitimeerd kan worden.

Uit deze definitie kunnen 3 kenmerken van praktijkgestuurd effectonderzoek worden gehaald:

• Aansluiting

Onderzoek naar het effect van interventies moet aansluiten bij het ontwikkelingsniveau van die interventies.

• Inbedding

Onderzoek naar het effect van interventies moet procedureel ingebed zijn in de uitvoering van de interventie.

• Benutting

Onderzoek naar het effect van interventies moet niet in de bureaulade blijven liggen, maar de verzamelde gegevens moeten benut worden.

Praktijkgestuurd effectonderzoek kent verschillende niveaus van zekerheid, die elk ook een bepaalde definitie van effect impliceren. Dit wordt ook wel de effectladder genoemd. Op deze manier kan de zorgpraktijk zich via het leveren van practice-based evidence gaandeweg ontwikkelen tot een evidence-based practice.

Niveau 1

Op niveau 1 gaat de aandacht vooral uit naar:

• Het doel van de interventie

• De doelgroep van de interventie

• De aanpak

• De randvoorwaarden

Als helder is waar de interventie precies uit bestaat kan beoordeeld worden of dit goede dingen zijn. Hoe duidelijker de interventie in een stappenplan of handleiding uitgelegd kan worden, hoe meer potentie de interventie in zich heeft om effectief te zijn. Het soort onderzoek wat op dit niveau wordt gebruikt is vooral descriptief.

Niveau 2

Op dit niveau wordt gekeken hoe het inzetten van de bedoelde interventie de gewenste uitkomst bij de beoogde doelgroep wordt bereikt. Hiermee wordt een interventietheorie geëxpliciteerd die intern een rationale en extern een legitimatie voor het uitvoeren van een interventie geeft. Het formuleren van een goede interventietheorie maakt een interventie veelbelovend.

Niveau 3

Op dit niveau wordt gekeken of de interventie ook zo wordt uitgevoerd zoals hij bedoeld was. Ook kijkt men er naar of de gewenste uitkomsten zijn behaald en de beoogde doelgroep wordt bereikt. Om dit te kunnen bereiken moet men bedenken welde kenmerken van de doelgroep, interventie en uitkomsten gemeten moeten worden en met welke instrumenten dat gedaan moet worden. Door te gaan meten worden deze concepten (en daarmee de interventietheorie) geoperationaliseerd en worden gegevens verzameld die de houdbaarheid van de theorie mogelijk ondersteunen en zodoende het effectbewijs versterken.

Niveau 4

Op dit niveau moet de causaliteit van de interventie aangetoond worden. Causaliteit impliceert een oorzakelijk verband, een bewijs dat de interventie en niet iets anders tot dit resultaat heeft geleid. Om dit te kunnen bewijzen moet er een vergelijking worden gemaakt met een controlegroep.

Conclusie

Op het eerste niveau gaat het om de specificatie van de inhoud en de context. Het tweede niveau wordt bereikt als men een interventie met behulp van wetenschappelijke en/of klinische inzichten theoretisch weet te onderbouwen. Vanaf het derde niveau wordt er empirische bewijskracht aangevoerd voor de effectiviteit van de interventie. Op het vierde niveau worden de empirisch vastgestelde uitkomsten causaal gerelateerd aan de interventie.

Het is van belang dat het onderzoek aansluit bij het niveau van de interventie die het onderwerp is van het onderzoek (aansluitingsprincipe), dat het onderzoek deel uit gaat maken van de zorgpraktijk (inbeddingsprincipe), en dat men met de resultaten van onderzoek wat gaat doen (benuttingsprincipe).

Effectonderzoek dat aan deze principes voldoet wordt praktijkgestuurd effectonderzoek genoemd. Het is niet onaannemelijk dat alleen al het doen van onderzoek naar de effectiviteit van de zorg diezelfde zorg ten goede komt.

Op weg naar veelbelovende interventies - Chapter 2

Basiselementen van een interventie met potentie

• Naam van de interventie

• Doel van de interventie

Doelen moeten worden geformuleerd in eindtermen. De doelen moeten SMART geformuleerd worden:

• Specifiek, Meetbaar, Aanvaardbaar, Realistisch, Tijdgebonden

Doelgroep van de interventie

Hierin moet worden beschreven voor wie de interventie vooral geschikt zal zijn en voor wie niet. Het is gebruikelijk om de doelgroep weer te geven in indicaties (welke typische kenmerken heeft de doelgroep) en contra-indicaties (welke kenmerken sluiten cliënten uit van de doelgroep).

Aanpak

• Beschrijving van de methodiek: uitvoeringseisen en kwaliteitsbewaking. Verder kan hier worden beschreven wat de belangrijkste kenmerken van het risico of probleem zijn waarop de interventie is gericht en welke mechanismen en factoren dat risico of probleem veroorzaken, in stand houden, verergeren of juist verminderen.

• Context / Overige (organisatorische) randvoorwaarden: uitvoerende organisaties en overeenkomsten met andere interventies. Het vermelden van dit soort dwarsverbindingen legt ook een verband met de gemeenschappelijke kennis die er is over de toepassing, effectiviteit en beperkingen van interventies.

• Bronvermeldingen: een goede uitleg van het waarom leidt tot het predicaat veelbelovend: met een helder betoog is aannemelijk gemaakt dat de interventie effectief zou kunnen zijn. Bij dat betoog zijn twee zaken van belang:

• Aanpak: theoretische onderbouwing (hoe, wat, waarom).

Een goede theorie over een interventie biedt inzicht in twee zaken:

1. de mechanismen en factoren die in het spel zijn (de ontstaanstheorie)

2. de werkzame ingrediënten van de interventie (impact theorie)

Onderzoek

• onderzoek dat directe aanwijzingen voor de effectiviteit levert.

• beschrijving type en resultaten buitenlands effectonderzoek (indirect bewijs)

• beschrijving type en resultaten Nederlands onderzoek naar soortgelijke interventie.

Directe aanwijzingen voor effectiviteit zijn een vereiste om een interventie op het niveau van doeltreffend of werkzaam te mogen plaatsen. Indirecte bewijsvoering kan van nut zijn om de geloofwaardigheid van een onderbouwing op het niveau van veelbelovend te versterken. Bij elk probleem spelen meerdere factoren een rol. Dit kunnen risicofactoren of protectieve factoren zijn. De kunst is om hier orde in te scheppen en te zoeken naar aangrijpingspunten voor je interventie.

De orde kun je scheppen door de ontstaanstheorie. In deze theorie is aangegeven wat de belangrijkste factoren en mechanismen zijn die in het spel zijn. Deze ontstaanstheorie is om te zetten in de behandelingstheorie. Deze theorie geeft aan waar de aangrijpingspunten liggen voor de interventie en hoe die aangrijpingspunten aangesproken kunnen worden.

Beïnvloedbare mechanismen en factoren zijn risico-, oorzakelijke, instandhoudende of versterkende processen en factoren die in de interventie gebruikt kunnen worden om het probleem aan te pakken. Dit worden ook wel de dynamische factoren of de mediafactoren genoemd. De niet-beïnvloedbare mechanismen en factoren betreffen risico-, oorzakelijke, instandhoudende of versterkende processen en factoren die niet via de interventie beïnvloedbaar zijn, maar die er wel voor zorgen dat de interventie bij de aanwezigheid van deze factoren gewoonlijk succesvoller of juist minder succesvol verloopt (moderatoren).

De focus ligt altijd eerst op de hulpvraag. Deze bepaalt wat er moet gebeuren en dus het uiteindelijke doel van de interventie. Specifieke doelen kunnen betrekking hebben op de mechanismen en factoren die het probleem van de doelgroep veroorzaken, instandhouden, versterken of juist verminderen of die de gewenste situatie helpen bereiken. De doelen geven verantwoording van war belangrijk is om aan te pakken en soms ook in welke volgorde dat moet gebeuren. Doelen kunnen op een verschillende manier met elkaar samen hangen:

Als de interventie onvoldoende berekend is op de werking van niet-beïnvloedbare of niet-benutte mechanismen en factoren, dan is de kans groot dat het uiteindelijke effect teleurstelt.

Eindresultaat = effect interventie beïnvloede factoren – werking niet-beïnvloede factoren

De aanwezigheid van bepaalde factoren kan een reden zijn om een interventie niet bij een cliënt toe te passen.

Algemeen (non-specifiek) werkzame ingrediënten zijn onderdelen van een interventie die tot het resultaat bijdragen ongeacht de soort behandeling en doelgroep. Bijvoorbeeld:

• Aansluiting bij de motivatie van de cliënt

• Goede kwaliteit van de relatie cliënt – behandelaar

• Een goede fit van het probleem en de hulpvraag enerzijds en de specifieke invulling van de interventie anderzijds

• Goede structurering van de interventie

• Uitvoering van de interventie zoals deze uitgevoerd hoort te worden

• Professionaliteit

• Goede werkomstandigheden van de behandelaar

Specifiek werkzame ingrediënten zijn de werkzame elementen die alleen gelden voor bepaalde typen interventies, in de context van bepaalde doelen en voor bepaalde doelgroepen. De algemeen werkzame factoren zijn de basis van een goede hulpverlening. Daarbovenop moet helder zijn welke specifiek werkzame ingrediënten in de interventie zitten. De keuze van de specifiek werkzame ingrediënten is niet vanzelfsprekend, maar afhankelijk van het type probleem dat aan de orde is en de beïnvloedbare mechanismen en factoren die bij de jeugdigen in de doelgroep het aangrijpingspunt vormen voor de interventie.

Bewijsvoering van het veronderstelde causale verband - Chapter 3

Bij hulpverlening wordt er van buitenaf ingegrepen in een proces dat zich in ongewenste of ongunstige richting ontwikkelt of dreigt te ontwikkelen. Hulpverlening draait om verandering in de zin van:

• verbetering

• oplossen van onbevredigende situaties

• stopzetten en ombuigen van negatieve ontwikkelingen,

• bevorderen van gewenst gedrag

• versterking van aanwezige krachten

Van oudsher hebben de experimentele onderzoeksmethoden van de natuurwetenschappen het oorzaak-gevolgdenken in de gedragswetenschappen sterk beïnvloed. Causaliteit had daarin een voornamelijk mechanistische betekenis. Inmiddels heeft dit denken plaats gemaakt voor meer genuanceerde en dynamische opvattingen over causaliteit, opvattingen die recht doen aan de grilligheid en de weerbarstigheid van de sociale werkelijkheid.

Hedendaags denken over causaliteit

Kenmerkend voor het hedendaags denken over causaliteit:

• Degene die het effect nastreeft probeert door middel van de interventie, weloverwogen en doelbewust bepaalde gebeurtenissen en processen te beïnvloeden en te sturen. Zijn interventie is gebaseerd op specifieke verwachtingen over de causale relatie tussen zijn ingreep en de gevolgen daarvan.

• Multicausaal: de belangstelling voor het effect gaat verder dan één onafhankelijke variabele (de interventie) die de afhankelijke variabele (het effect) beïnvloed.

• Er wordt expliciet rekening gehouden met de context waarbinnen het onderzoek naar causale verbanden plaatsvindt (het causaal veld).

• Causaliteit heeft een probabilistische betekenis: uitspraken over de relatie tussen oorzaak en gevolg worden gedaan in termen van waarschijnlijkheid en voorwaardelijkheid.

Causale relatie

Causale relatie is op te vatten als:

• Een weloverwogen en doelbewuste interventie (onafhankelijke variabele) die,

• met een zekere waarschijnlijkheid een bepaald effect op een afhankelijke variabele produceert, waarbij

• de context waarin de beïnvloeding wordt onderzocht exact gedefinieerd is (causaal veld), en waarbij

• nadrukkelijk rekening wordt gehouden met andere relevante variabelen die in het spel zijn.

Meten & validiteit

Meten is een gestandaardiseerde en gesystematiseerde manier van observeren, waarbij de mate waarin het geobserveerde kenmerk of eigenschap zich openbaart, wordt uitgedrukt in een getalsmatige waarde op een indicator (een variabele). Indicatoren maken de gewenste uitkomsten zichtbaar of observeerbaar. Een meetinstrument is betrouwbaar te noemen als het, bij herhaald gebruik en onder dezelfde omstandigheden, telkens dezelfde meetwaarden laat zien met betrekking tot hetzelfde aspect of kenmerk.

Het meten van doelrealisatie vereist dat per jeugdige wordt geregistreerd welke doelen er zijn gesteld en in hoeverre deze zijn bereikt. Het beste is het als aan elk doel een meetinstrument wordt gekoppeld dat de rubrieken 0 (onveranderde situatie), 1 (situatie verbeterd) en 2 (doel bereikt) operationaliseert in termen van gedrag, cognities, gevoelens of situaties.

Er zijn twee soorten validiteit:

• Interne validiteit

Hierbij staat de geldigheid van de conclusies centraal die in het onderzoek worden getrokken over de relatie tussen interventie en effect.

• Externe validiteit

Hierbij gaat het om de generaliseerbaarheid van onderzoeksbevindingen.

Als de interne validiteit van een onderzoek onvoldoende is (bijv. bij onbetrouwbare meetinstrumenten), dan is het aannemelijker dat de gemeten effecten moeten worden toegeschreven aan andere factoren (storende factoren) dan de interventie.

Voorbeelden van storende factoren:

• Geschiedenis

• Rijping

• Testgewenning

• Instrumentatie

Hierbij gaat het om bewuste of onbewuste invloeden op de scores, die ervoor kunnen zorgen dat de tweede meting anders uitvalt en een verandering wordt vastgesteld die niets met de interventie te maken heeft. Onder deze noemer valt ook het hello-goodbye effect: cliënten geven zichzelf aan het begin hoge scores om maar te laten zien dat de problemen heftig zijn, en aan het eind lage scores omdat ze de hulpverlener niet willen teleurstellen.

• Statistische regressie

• Selectieve uitval

• Cliëntselectie

• Behandelaarselectie

Interventietheorie

Naarmate de onderzoeksresultaten beter passen op de interventietheorie, dan is dat een ondersteuning van de veronderstelling dat de interventie voor het resultaat verantwoordelijk is. De interventietheorie legt een consistente, logische en onderbouwde verbinding tussen het te behandelen probleem en de factoren die dat in stand houden enerzijds, en anderzijds de activiteiten die hierin verandering zouden moeten brengen en de resultaten die daarvan, op korte en langere termijn, het gevolg zouden moeten zijn.

Met behulp van een interventietheorie is goed te bepalen met welke factoren men bij de opzet van een onderzoek rekening moet houden.

Factoren die de interne validiteit van het onderzoek bedreigen zijn door middel van twee methoden onder controle te brengen:

• Designcontrole (vooraf)

• Statistische controle (achteraf)

Onderzoeksdesign

Het design van het onderzoek bepaald voor een grote mate de mate van interne validiteit. Er kan ook meer zekerheid verkregen worden door het onderzoek te herhalen in een andere context. De interventie zou dan identieke resultaten moeten geven.

Verschillende designs:

• Het experimenteel design

RCT wordt over het algemeen beschouwd als het design dat de beste waarborgen biedt voor de interne validiteit. Storende variabelen worden op grond van dit design het meest overtuigend geneutraliseerd.

Bij RCT worden de deelnemers aan het onderzoek willekeurig toegewezen aan één van in totaal twee groepen. De experimentele groep ontvangt de interventie waarvan men het effect wil vaststellen. De deelnemers zijn, als het kan, onwetend over de onderzoeksgroep waaraan ze zijn toegewezen. Veranderingen die tussen de meetmomenten plaatsvinden worden exclusief toegeschreven aan de interventie.

• Het quasi-experimenteel design

Bij dit design worden de deelnemers aan het onderzoek niet willekeurig aan de onderscheiden experimentele condities toegewezen.

• Het pre-experimenteel design

Bij non-experimentele designs ontbreekt een controle- of vergelijkingsgroep.

Reynolds heeft een werkwijze uitgewerkt om de interne validiteit te beoordelen aan de hand van zes criteria. Naarmate een onderzoek aan meer van deze criteria voldoet, wordt het waarschijnlijker dat de relatie tussen interventie en effect een causale is.

• Consistentie van de relatie

• Volgorde van gebeurtenissen (in tijd)

• Statistische relatie

• Dosis-respons relatie

• Specificiteit van de relatie

• Samenhangend patroon van bevindingen (coherentie)

Dit criterium kijkt of de onderzoeksbevindingen passen op de interventietheorie (goodness of fit).

Opvattingen over nut en noodzaak van het onderzoek bepalen voor een belangrijk deel hoeveel men wil investeren in het onderzoek. Experimenteel onderzoek heeft een grote potentiële bewijskracht, maar heeft als bezwaar dat het een groot beslag legt op mensen en middelen. Ook inhoudelijk zijn er twee bezwaren:

• Ethische overwegingen

• Het realiseren van een zo hoog mogelijke interne validiteit gaat vaak ten koste van de generaliseerbaarheid. Dit wordt ook wel het maxmincon-principe genoemd: het maximaliseren van de effecten door het minimaliseren van storende factoren en het controleren van de interventie.

Praktijk, beleid en wetenschap verbinden - Chapter 4

Bij praktijkgestuurd onderzoek zijn vaak drie partijen in het spel: praktijkwerkers, beleidsmakers en onderzoekers. Elke partij heeft zijn eigen belangen en interesses die kenmerkend zijn voor het circuit waar ze toe behoren. Het is van belang om de belangen en mogelijkheden binnen elk circuit te expliciteren.

Praktijk

In het primaire proces staat de concrete hulpverlening aan cliënten centraal. Deze wordt gekenmerkt door een interactie tussen hulpverlener en cliënt. Kenmerken van het proces:

• Het belang van de hulpverlener is cliënten goed te helpen.

• De focus van de hulpverlener is sterk gericht op zijn cliënten.

• Evaluatie maakt een vast onderdeel uit van de dagelijkse praktijk van de hulpverlening.

• De hulpverlener is gewend zijn werkwijze te evalueren in een cyclus waarin de casuïstiek centraal staat. Deze cyclus wordt ook wel de regulatieve cyclus genoemd.

In de jeugdzorg wordt de diagnostische cyclus ook veel gebruikt. Deze bestaat uit de volgende stappen:

• Analyse

• Conclusie

• Vaststellen benodigde zorg

• De maatstaf om te bepalen of de hulp effectief is, ligt bij de hulpvragen van de cliënten en bij de doelen van de hulpverleningsplannen. Ook is een criterium de mate van tevredenheid van de cliënt.

• De hulpverlener is bij het bepalen van effecten niet geneigd tests en vragenlijsten als meetinstrumenten te gebruiken. Er wordt vaak gebruik gemaakt van het kwalitatieve en subjectieve oordeel.

• Reflecties worden gebruikt voor de verbetering van het concrete hulpverleningsproces.

Het primaire proces kenmerkt zich vooral door een sterke en directe oriëntatie op de concrete casuïstiek en de vragen en behoeften die bij de hulpverleners in dat verband leven.

Beleid

Een belangrijke doelstelling van beleid is de kwaliteit van de hulpverlening vast te stellen, daarover verantwoording af te leggen en de kwaliteit via maatregelen te verbeteren.

Kenmerken van het beleid:

• Het primaire belang ligt erin te bezien of de hulpverleningsorganisatie aan de belangrijkste kwaliteitseisen voldoet. Die eisen gelden ten aanzien van het resultaat van de hulp en de context waarin het resultaat tot stand komt.

• De focus van de beleidsmaker is gericht op de sector of organisatie als geheel.

• De beleidsmaker wil de hulpverlening optimaliseren.

• De maatstaven om al dan niet van goede kwaliteit te spreken, worden bepaald door de doelen die de financier, de politiek, de cliënten- of beroepsorganisaties voorhebben met de instellingen.

• Scores op prestatie-indicatoren worden bepaald aan de hand van registraties.

• Een prestatie-indicator is een onderwerp waarop gemeten wordt in welke mate een prestatie wordt geleverd. Belangrijk uitgangspunt daarbij is dat de prestatie-indicator is ingebed in een systeem van evaluatie en verbetering van de organisatie.

De kern daarvan komt neer op:

• een organisatie heeft een visie of een missie

• deze missie/visie leidt tot de benoeming van factoren die het succes van de organisatie op korte en langere termijn bepalen.

• een prestatie-indicator is een meetbare eenheid die aangeeft in welke mate een succesbepalende factor aanwezig is.

• een doel wordt opgevat als een te bereiken waarde op de prestatie-indicator.

• uitgangspunt is dat de prestatie-indicatoren iemand of iets in de organisatie moeten aanspreken op een verantwoordelijkheid en een bevoegdheid.

• om de prestaties te realiseren, worden er verbeteracties gekozen en ingezet.

• Prestaties worden periodiek opgemaakt.

Wetenschap

Het wetenschappelijk circuit heeft de volgende kenmerken:

• Het primaire belang van de wetenschapper is kennis vergaren, theorieën opbouwen, theorieën toetsen en over de bevindingen publiceren in wetenschappelijke tijdschriften.

• Evaluaties worden benut voor verbetering van de theorieën. Hierbij wordt gebruik gemaakt van de empirische cyclus.

• De focus van de wetenschappelijk onderzoeker is gericht op het kunnen generaliseren; de kennis en theorie moet daarom zo algemeen mogelijk geldig zijn.

• De mate waarin het onderzoek en de resultaten geaccepteerd worden door het wetenschappelijk forum speelt een belangrijke rol. Belangrijk is daarbij dat de resultaten van het onderzoek is toevoegen aan de theorievorming of het kennisbestand.

• De wetenschapper verzamelt gegevens aan de hand van tests en vragenlijsten die op betrouwbaarheid en validiteit zijn getest.

• Voor het onderzoek is veel tijd nodig.

Wetenschappers hechten veel belang aan overzichtsstudies, om daaruit af te leiden wat de globale trends zijn in de resultaten van effectonderzoek, en welke factoren met een hoge of lage uitkomst samen lijken te hangen.

Samenvattend

Evaluaties in het primaire proces leveren de benodigde practice-based evidence. De wetenschappelijke cyclus kan die kennis verder ordenen, er een theorie op bouwen over wat werkt en dit aan verder toetsing onderwerpen. Dat levert weer belangrijke gegeneraliseerde kennis die nodig is voor de evidence-based practice. Het beleid neemt daarbij een belangrijke sleutelpositie in.

De werkvloer is het afzetgebied voor goed ontwikkelde en op effectiviteit getoetste hulpvormen. Verbeteracties die vanuit het praktijkgestuurd onderzoek worden ingezet, kunnen daarop inspelen.

In het kader van het beleid is het mogelijk om op een wat algemener niveau te kijken naar de kwaliteit van het eigen werk en te zoeken naar manieren om verbeteringen in het dagelijkse werk door te voeren. In de wetenschap zoekt men naar fundamentele kennis en theorie die helpt de werkzame principes van de hulpverlening te ontdekken.

Praktijkgestuurd onderzoek heeft ook beperkingen door de verschillende belangen die met elkaar in strijd zijn. Deze beperkingen zijn te verminderen door een zo klein mogelijke belasting van de betrokkenen, door goede afspraken te maken en door een training en ondersteuning van de betrokkenen om de vereiste discipline op te brengen de gegevens te leveren en te gebruiken. Niet alle beperkingen zijn te voorkomen. Deze moeten gesignaleerd worden om te voorkomen dat het onderzoek contraproductief gaat werken.

In essentie doet de hulpverlener in de praktijk altijd aan effectonderzoek. Net als de wetenschapper is de hulpverlener nieuwsgierig naar wat werkt bij de doelgroepen waarmee hij werkt. Het is belangrijk om te realiseren dat hulpverleners in de eerste plaats hulpverlener zijn en geen wetenschappelijk onderzoeker. Verder draait het in de praktijk primair om de hulpverlening en niet om wetenschappelijk onderzoek.

Het is belangrijk om je te realiseren dat iedereen vanuit zijn eigen kader kijkt naar de resultaten van onderzoek.

• Praktijkwerkers kijken vooral naar de kwalitatieve normen (bijv. cliënttevredenheid).

• Beleidsmakers kijken vooral naar de absolute en kwantitatieve normen.

• Wetenschappers zijn vooral geïnteresseerd in de relatieve, kwantitatieve normen.

Hoe werkt het organiseren van onderzoek? - Chapter 5

Praktijkgestuurd effectonderzoek veronderstelt een nauwe samenwerking tussen praktijkfunctionarissen en wetenschappers. Aansluiten bij wat er is, inbedden in het hulpverlenend handelen en benutten van resultaten worden als de drie werkzame principes van dit type onderzoek gezien. Door het gebruik van steeds sterkere onderzoeksdesigns ontstaat er op hogere niveaus steeds meer bewijskracht voor de effectiviteit van een interventie.

Best (research) practice

De criteria voor een best (research) practice zijn:

Gebruik van onderzoeksuitkomsten

• Individuele uitkomsten worden besproken met cliënten.

• Individuele uitkomsten spelen een rol bij diagnostiek en behandelplanning.

• Uitkomsten van een team komen in teambesprekingen aan de orde en zetten aan tot reflectie en verbeteracties ten aanzien van methodisch handelen.

• Uitkomsten van meerdere teams worden door het management zichtbaar benut in het sturen van hun beleid, uitkomsten spelen een rol in de kwaliteitscyclus.

• Uitkomsten worden gebruikt voor verdere wetenschappelijke theorievorming.

Dataverzameling

• Er wordt gebruik gemaakt van gestandaardiseerde en valide instrumenten.

• Werkers zijn gemotiveerd om onderzoeksinstrumenten in te (laten) vullen.

• Er is sprake van een voormeting en een nameting.

• Er is sprake van een follow-up meting.

• Er is een respons van minimaal 80% op één meetmoment en minimaal 70% op twee meetmomenten.

• Er is een voor iedereen duidelijk protocol voor de dataverzameling.

• Er is goede software aanwezig om de gegevens op te slaan en aan onderzoekers aan te leveren.

Randvoorwaarden

• Er is een (pro)actief secretariaat.

• Er is een (pro)actieve procesbewaker aanwezig.

• Er is een (pro)actieve functionaris voor het vertalen van onderzoeksuitkomsten in verbeteracties voor de module.

• Er is een (pro)actieve belangstelling vanuit directie en management.

• De omgeving is op de hoogte van het onderzoek en werkt hier eventueel aan mee.

• Er is een programma voor scholing en bijscholing ten aanzien van het gebruik van onderzoeksinstrumenten.

• De financiering van de onderzoeksactiviteiten is structureel verankerd in het instellingsbudget.

• Er is een goede inhoudelijke en procesmatige modulebeschrijving.

Aandachtspunten voor het organiseren van praktijkgestuurd onderzoek

• Zorg dat het project gedurende de gehele looptijd expliciet gedragen wordt en blijft door directie en management.

• Zoek contact en afstemming met gelijke projecten bij andere instellingen.

• Neem de financier en beleidsverantwoordelijke overheid mee in de ontwikkeling en uitvoering van het project.

De belangrijkste stappen in het onderzoek zijn

1. Veranker het doen van praktijkgestuurd effectonderzoek in de visie van de instelling.

2. Stel een projectleider aan die op basis van de visie een plan van aanpak maakt. De opdracht moet gericht zijn op het ontwikkelen (en daarna verankeren) in de reguliere structuur van de instelling.

3. Benoem binnen de instelling aandachtsfunctionarissen voor de volgende processen:

• het technische proces
• het logistieke proces
• het methodische proces
• het statistische proces

4. Organiseer binnen de instelling een periodiek overleg van aandachtsfunctionarissen onder leiding van de projectleider.

5. Zorg ervoor dat elke aandachtsfunctionaris zijn kernaspect uitwerkt, op gang brengt en laat functioneren.

6. Herhaal stap 5, maar nu voor de benutting van de gegevens in de beleidscyclus en de empirische cyclus.

De overheid mag en moet instellingen en professionals verplichten zich op een transparante en navolgbare wijze te verantwoorden over de resultaten van de geleverde zorg. De overheid kan een prikkel inbouwen die instellingen beweegt om steeds beter te worden in het afleggen van de gevraagde verantwoording. De instellingen hebben de taak om effectieve hulp te verstrekken en om ruimte te bieden voor vakmanschap. Het scheelt een heleboel als instellingen gezamenlijk (bijvoorbeeld via hun brancheorganisaties) hierbij een aantal richtinggevende kaders ontwikkelen.

Praktijkvoorbeelden van succesvolle jeugdzorginterventies - Chapter 6

Soorten reacties n.a.v. vraag aan hulpverleners over de theoretische onderbouwing van de interventie (basis onder hun dagelijkse werk) die ze routinematig toepassen:

1. Professionals die de interventie bij de naam noemen en in een paar zinnen kunnen aangeven wat de interventie inhoudt, waarom het werkt en waarop de bewezen effectiviteit gestoeld is. Deze groep is in de minderheid, maar neemt gelukkig toe.

2. Professionals die desgevraagd refereren aan bekende theorieën, aanpakken of meer algemene mensvisies. Onder hen zullen velen aangeven eclectisch te werken. Er ligt maar zelden een heldere en toetsbare rationele ten grondslag à grotere groep dan 1.

3. Professionals die het antwoord op de vraag naar de theoretische onderbouwing doorgaans schuldig moeten blijven. Het is niet duidelijk/bekend hoe de methode van werken tot stand is gekomen en waarop zij gebaseerd zijn: black box à even grote groep als 2.

Dit betekent niet dat professionals in de Jeugdzorg onkundig zijn, want er is een grote kans dat de hulpverleners uit categorie 2 en 3 een geloofwaardig/samenhangend verhaal kunnen vertellen waarom zij doen wat ze doen. Blijkbaar zit hun verhaal enkel in het hoofd en niet op schrift. Het is dus belangrijk dat impliciete kennis naar boven wordt gebracht à upgrading naar hogere niveaus van nauwkeurigheid, zekerheid en wetenschappelijke relevantie. Het verhaal ‘in het hoofd’ wordt een toetsbare theorie.

De doelstelling van praktijkgestuurd onderzoek is om evidentie vanuit de dagelijkse praktijk aan te dragen voor de werkzaamheid van jeugdzorginterventies. Hierbij is het belangrijk dat interventies zijn geëxpliciteerd en gefundeerd. In dit hoofdstuk worden 3 voorbeelden uit de praktijk besproken. De bedoeling van deze beschrijvingen is te laten zien dat er verschillende mogelijkheden zijn om interventies van onderop te onderbouwen, dus te voorzien van een basis van praktijkkennis. Het zijn aansporingen tot een interventietheorie. De theorie wordt daarna verder verstevigd m.b.v. kennis uit de wetenschappelijke internationale vakliteratuur.

Voorbeeld 1: Kwadrant, de professional centraal

Bij de start van het project ‘Resultaat Gericht Behandelen’ (sluit aan bij de uitgangspunten en ambities van praktijkgestuurd onderzoek) bleek dat in de instelling Kwadrant (behandelt kinderen/jeugdigen met licht verstandelijke beperkingen en gedragsstoornissen) nauwelijks geëxpliciteerde interventietheorieën ter beschikking waren. Zelfs aanzetten hiertoe waren in feite niet voorhanden. Het bleek ook dat de gezochte theorieën vaak in de ‘hoofden’ van de professionals zaten.

Uitgangspunten totstandkoming interventietheorie:

• Professional staat centraal; werkvloer is belangrijk.

• Formulering van interventietheorie is een gangbaar onderdeel van het professionele handelen. Dit hoeft geen aanvullende taak te zijn als het is ingebed in de wijze van werken.

• Construeren + onderhouden van een interventietheorie is ingebed in het reguliere programma van kwaliteitszorg. Het is een terugkerend thema in allerlei vormen van overleg.

• Voor de interventietheorie worden verschillende bronnen gebruikt:

• Schriftelijke documentatie (folders, brochures, modulebeschrijvingen)

• Deskundigheid en ervaring van professionals.

• Wetenschappelijke literatuur

BIK (Beschrijving Interventies Kwadrant) formats: een hulpmiddel voor de verzameling van de benodigde informatie. De formats helpen de beschrijvers/ reconstructeurs bij de rubricering en opslag van de verzamelde informatie.

• BIK 1: Bevat vragen over de interventie die naar verhouding eenvoudig zijn te beantwoorden à W-vragen: wie (doelgroep), wat (doel), waar, welke (frequentie) etc.

• BIK 2: Gaat in op de achtergrond van de interventie. Aan bod komen het hoe en waarom van de ingreep en waarom het in theorie zou moeten werken.

• M.b.v. de formats wordt hierna een aantal stappen doorlopen die uiteindelijk de ingrediënten moeten opleveren voor een solide interventietheorie.

Ervaringen: uit een tussentijdse evaluatie blijkt dat professionals o.h.a. enthousiast meewerken aan de interviews, maar dat men vooral de vragen van BIK 2 lastig en soms ook confronterend vonden. Echter werd de systematische bevraging ook als stimulerend ervaren t.a.v. de reflectie. De ontwikkelde aanpak lijkt al met al vruchtbaar!

Voorbeeld 2: Jeugdzorg Drenthe, praktijkkennis ontlokken om te werken zoals bedoeld

Jeugdzorg Drenthe streeft ernaar om eind 2008 haar interventies in beginsel op behandelintegriteit te kunnen monitoren. De geboden hulp moet overeenkomen met de hulp zoals die op papier staat. Om dit te verwezenlijken moeten alle interventies worden voorzien van een theoretische onderbouwing. Voorgaande is geformuleerd in het project ‘Werken zoals Bedoeld’. Eén van de doelen is het bewerkstelligen van goede modulebeschrijvingen.

Het beschrijfproces wordt ten uitvoer gebracht door Jeugdzorg Drenthe in samenwerking met het NJi (Nederlands Jeugdinstituut). Vanuit Jeugdzorg Drenthe en NJi is één medewerker als projectuitvoerder aansprakelijk voor het beschrijfproces. De manier van werken sluit aan op de eisen van praktijkgestuurd onderzoek. De medewerkers van Jeugdzorg Drenthe zijn nauw bij genoemd project betrokken. Zij zijn de conceptdragers: hun praktijkkennis is leidend in de beschrijving en onderbouwing van de interventie.

Stappen beschrijfproces

1. Het bleek dat de meeste beschrijvingen van modules zich op niveau 1 van de effectladder bevonden. Sommige interventies waren nog niet beschreven.

2. Bestaande beschrijvingen werden inhoudelijk beoordeeld in nauw overleg met de conceptdragers. Hierdoor werd het helder waar in het vervolg de klemtoon van de beschrijving op moet komen te liggen. Vooral behandelcoördinatoren en gedragswetenschappers waren hierbij betrokken.

3. Beschrijvingen werden aangevuld met ontbrekende praktijkkennis.

4. Projectuitvoerders vulden de praktijkkennis aan met gegevens uit wetenschappelijke literatuur en onderzoek over de theoretische achtergrond en uit effectonderzoek.

5. De conceptbeschrijving onderging een omvangrijk revisieproces. Alleen als alle stakeholders (van hulpverlening – clustermanager) zich konden vinden in de beschrijving, kon er sprake zijn van een juiste beschrijving.

6. Beschrijving werd aangeboden aan de interne stuurgroep voor kwaliteit (directeur, afdelingshoofd kwaliteit en onderzoek, projectleider). De stuurgroep nam ook het besluit op welke manier de interventiebeschrijving gepubliceerd werd.

7. Vastleggen van de stappen van behandeling in een methodiekbeschrijving.

Ervaringen

• Het is gelukt om conceptdragers enthousiast te maken en te stimuleren hun kennis te delen. Hierdoor ontstaat bij de conceptdragers het gevoel mede-eigenaar te zijn van de beschrijving en onderbouwing van de interventies. Hiermee krijgen grip op het eigen aanbod .

• De taak van projectuitvoerders is het ontlokken van kennis van conceptdragers d.m.v. luisteren, aansluiten en doorvragen. Dit loont: er ontstaat een dialoog tussen medewerkers onderling en tussen medewerkers en projectuitvoerders. Tevens draagt het bij aan kritisch naar het eigen werk kijken.

• Beschrijven van interventies is geen eenmalig proces, maar een cyclisch proces. Het proces moet o.a. cyclisch zijn voor de eis van wetenschappelijkheid. Tevens draagt het bij aan kritisch naar het eigen werk kijken.

• Er moet een juiste balans gevonden worden tussen aansluiting op de agenda van de praktijk en het bewaken van de voortgang van het beschrijfproces. Er is een besef dat interventies beschreven moeten worden, toch is het zo dat de uitvoering van de hulpverlening voorrang heeft op de beschrijving.

Voorbeeld 3: Spirit, aanwijzingen opsporen voor verbeterde en effectieve hulp

In 2005 lichtten het NJi en Adviesbureau Van Montfoort 3 interventies van de zorgaanbieder Spirit door: Beter met Thuis, RAT’s (Regionaal Ambulante Teams) en Nieuwe Perspectieven. Genoemde doorlichting maakte deel uit van een groter project en gaf de stand van zaken aan betreffende de effectiviteit van de 3 Amsterdamse interventies.

Spirit streeft ernaar om effectieve interventies te koppelen aan de praktische ontwikkeling van de interventies. Het was de bedoeling om gebruik te maken van wetenschappelijke kennis en kennis uit de praktijk, dit naar boven halen en te expliciteren.

Stappen:

• Er werd bepaald in hoeverre de interventie werkzame elementen bevatte. Dit zijn aspecten van interventies waarvan uit onderzoek is gebleken dat ze de kans op effectieve hulp vergroten. Uit de literatuur werden zoveel mogelijk werkzame elementen o.b.v. experimenteel onderzoek gehaald.

• De literatuur werd per doelgroep op een rij gezet: jeugdige, ouders, leerkracht.

• Per interventie werd een compacte beschrijving van de aanpak gemaakt die naast het overzicht van de werkzame elementen voor de betreffende doelgroep werd gelegd. Deze vergelijking maakte als 1^ste zichtbaar welke werkzame elementen de verschillende interventies al bevatten en dus bewaard moesten blijven.

• De werkzame elementen kunnen gebruikt worden om de interventie effectiever te maken en te voorzien van een theoretische onderbouwing.

Een beschrijving van een interventie is meestal niet hetzelfde als de uitvoering van de interventie in de praktijk. Aandacht voor de behandelingsintegriteit (uitvoeren zoals bedoeld) maakt hulp meer effectief. Om de mate van integriteit van de Amsterdamse interventies te bepalen, werd per interventie een groepsinterview gehouden met uitvoerende hulpverleners. Deze interviews werden vergeleken met de beschikbare beschrijving van de interventie. Uit de interviews blijkt:

• Hulpverleners kunnen helder aangeven met welke drijfveer ze iets doen en welke rationele achter de inzet van een middel of actie zit.

• Geeft zicht op de relevantie en bruikbaarheid van werkzame elementen in de praktijk.

• Over het algemeen is de methodiek wel herkenbaar; hulpverleners blijken alleen niet alle onderdelen te gebruiken of maken gebruik van nieuwe technieken die niet in de beschrijving staan.

• Hulpverleners laten zich bij de inzet van een actie vaker leiden door eigen ervaring, hun affiniteit met een bepaalde manier van werken en wensen van een cliënt, dan door de kennis over wat werkt.

• Bij de meeste interventies vergt het monitoren van de behandelingsintegriteit nog de nodige aandacht.

De gegeven 3 praktijkvoorbeelden verschillen in aanpak, maar in het proces van verhelderen en onderbouwen zijn enkele gemeenschappelijke lijnen te onderkennen:

1. Verankeren = Aandacht voor de interventietheorie wordt ingebed in praktijkgestuurd onderzoek. Onderzoek is namelijk meer dan enkel informatie verzamelen over de verleende zorg.

2. Verbinden = Heeft betrekking op de relatie tussen praktijk- en wetenschappelijke kennis. Deze werelden moeten elkaar ontmoeten, bevragen, stimuleren, uitdagen .

3. Vernieuwen = Belangrijke implicatie van het cyclische proces. De PSDA-cyclus houdt een continue toetsing in van en reflectie op de houdbaarheid van de interventietheorie.

Bouwstenenmethode voor evidence based interventies in de jeugdzorg- Chapter 7

In dit hoofdstuk wordt de bouwstenenmethode door Bas Vogelzang en Baukje Vermeiden beschreven als een manier om evidence based interventies in de jeugdzorg verder te ontwikkelen. Het gaat daarbij om interventies die al op minimaal niveau 2 van de effectladder staan. De methode ondersteunt de wisselwerking tussen het opdoen van practice based evidence en het inrichten van evidence based practice.

Kennisintensief

Hulpverleners in de praktijk moeten leren om evidence based competenties toe te passen, wat niet altijd gemakkelijk is door de complexe praktijk. Voor leren in instellingen en bedrijven die dienst verlenen, geldt dat het meest relevante leren gebeurt tijdens het werk, niet in een klaslokaal. Daarnaast is de meest effectieve vorm van leren sociaal en actief en zijn de belangrijkste zaken dingen als intuïtie, expertise, beoordelingsvermogen en gezond verstand, dingen die ontstaan uit de ervaring op het werk.

Een interventie verandert nog tijdens het implementeren. Dan is het nodig om veel zorg te besteden aan de kwaliteit van kennisontwikkeling en -deling door de mensen die de interventie in de praktijk uitvoeren. Hierbij past het idee van kennisintensief werken. Dit concept gaat ervan uit dat het implementatieproces en de uitvoering van de interventie altijd aanvullende impliciete kennis (tacit knowledge) bij de hulpverleners tot gevolg heeft. Deze kennis is van groot belang, wordt goed onderzocht en eventueel gestandaardiseerd tot practice based evidence. Hier is dus geen sprake van eerst leren en dan doen.

Kennisintensief werken vereist ook een ander beleid, waarbij een investering in een cultuur van leren en een bepaalde vrijheid van handelen en zelfsturing nodig is. Er is geen sprake meer van vaste cursussen met standaardkennis maar het gaat om circulair alle kennis gebruiken. Dan is er een kennisintensieve (intelligente/lerende) organisatie. De hulpverleners in de praktijk worden expert. Hun keuzes en de resultaten daarvan worden wel gevolgd en sommige kennis wordt bewust niet verder meegenomen.

Dit heeft de volgende rollen tot gevolg:

• Uitvoerend werkers: Zij werken een jaar binnen het kader van de startversie van de interventie. Practice based evidence wordt ontwikkeld en ze proberen eigen oplossingen voor problemen in de uitvoering uit.

• Teamleiders en gedragsdeskundigen: Ze bewaken het kader en verzamelen de practice based evidence. Zij meten de eigen oplossingen van de werkers af aan het idee/de visie van de interventie. Zij ontwikkelen eisen met betrekking tot inhoud, procedure, facilitering en controle. Hiermee wordt ook door hen practice based evidence ontwikkeld.

• Hoger management: Dit management geeft mandaat voor het kennisintensief werken (de visie van kennisintensief werken wordt uitgedragen) en biedt de ruimte zodat iedereen kennisintensief kan werken. Daarnaast verbinden zij de kennisontwikkeling met de positionering naar buiten toe (t.o.v. financiers bijvoorbeeld).

Bouwstenenmethode

Deze methode is een uitwerking van het concept kennisintensief werken en is al op meerdere plaatsen in Nederland ingezet. Het is een pakket dat de ontwikkeling van een methode ondersteunt in de richting van een evidence based interventie, die zich heeft genesteld in de praktijk. Men neemt hiervoor 12-15 maanden en de methode kent onderstaande onderdelen:

• projectstructuur en draaiboek voor (door)ontwikkeling

• startversie van interventie

• training gedragsdeskundigen en teamleiders in grondslagen van de startversie en in het voeren van casuïstiekbesprekingen

• trainen van werkers in de startversie

• casuïstiekrondes: begeleiding van casuïstiekbespreking in teams

• werken met bouwstenen: samen verder ontwikkelen van de startversie op basis van de casuïstiek

• intervisie door teamleiders en gedragsdeskundigen

• nieuwsbrieven en studiedagen

• interne opleiding van gedragswetenschappers tot trainers van interventie

• interne opleiding medewerkers Onderzoek en Ontwikkeling van de instelling in het toepassen van de bouwstenenmethode

• neerslag van de doorontwikkeling in tweede versie van interventie en aanvullende training op maat voor werkers

• volgen van situatie in teams

Bij het onderdeel startversie van de interventie wordt deze beschreven aan de hand van handleidingen etc. Er moet wel al sprake zijn van niveau 2 op de effectladder. De missie, visie en het theoretisch kader worden namelijk gebruikt om practice based elementen aan te toetsen. Het is wel van belang dat de integere toepassing van deze startversie goed wordt bewaakt. Het blijft een evidence based interventie, waarbij bijvoorbeeld niet zomaar van de specifieke technieken mag worden afgeweken. De casuïstiekrondes en de intervisiebijeenkomsten kunnen ook gebruikt worden voor deze bewaking. De situatie in de teams wordt gevolgd door middel van nul-, tussen- en eindmetingen bij teamleiders met betrekking tot: teamfunctioneren, werkervaring van werkers en middenkader, kwaliteit van begeleiding en aansturing met betrekking tot methodisch werken en draagvlak en inzet voor de bouwstenenmethode in het team. Als blijkt dat iets niet goed gaat, kan dat aangepakt worden; bijvoorbeeld wanneer hulpverleners moeite hebben met methodisch handelen.

Werken met bouwstenen

Een bouwsteen is 'een melding uit de praktijk over een ervaring met de uitvoering van (de startversie van) een interventie' (p. 128). Casuïstiekbesprekingen, intervisie en organisatieoverleg dienen onder andere om deze meldingen op te vangen. Om de ervaringen te bundelen krijgt iedereen een portfolio, met daarin verschillende formulieren voor de doorontwikkeling van de interventie: Een formulier voor de casuïstiekbespreking, een formulier voor eigen bouwstenen, een formulier voor afspraken van het team over de bouwstenen en tenslotte een formulier voor afspraken van het ontwikkelingsoverleg over al getoetste bouwstenen. Bouwstenen kunnen vier soorten meldingen zijn; ofwel treffers of missers (aanwijzingen die al wel in de beschrijving van de interventie staan, en wel of niet goed hebben gewerkt) ofwel vondsten of knelpunten (aanwijzingen die nog geen onderdeel van de startversie van de interventie waren en eventueel een goede toevoeging aan de interventie vormen of een probleem betreffen waar de beschrijving niets over zegt). Er wordt overlegd over eventuele vondsten of oplossingen voor knelpunten: een dialoog ontstaat, welke leidt tot gedeelde kennis. Deze dialoog is van groot belang en moet aan enkele voorwaarden voldoen:

• feiten moeten kloppen en helder zijn

• verklaringen moeten geldig zijn in de betreffende situatie

• belevingen moeten congrueren met de feiten en verklaringen

• dialoog moet begrijpelijk zijn voor allen

Een van de formulieren geeft duidelijke aanwijzingen voor de opbouw van de dialoog. Eventuele vondsten kunnen nog eens getoetst worden in andere situaties. Dan is er sprake van een tweede soort bouwsteen: 'het resultaat van toetsen van een afspraak naar aanleiding van een nieuwe bouwsteen' (p. 131). Het resultaat van de toetsing kan een treffer of een misser zijn.

Treffers hoeven niet getoetst te worden, deze kunnen direct door naar het ontwikkelingsoverleg. Bij het ontwikkelingsoverleg worden de verschillende voorstellen bekeken. Methode spoedhulp is een voorbeeld van het werken met de bouwstenenmethode, zie boek p. 131.

Prestatie indicatoren

Een mogelijke volgende stap in het door ontwikkelen van een interventie is het formuleren en vervolgens meten van prestatie indicatoren. Een voorbeeld is dat men afspreekt dat de hulp afgesloten moet zijn binnen een bepaalde termijn. De norm kan dan zijn dat dit bij 90% van de gezinnen zo moet zijn. De bouwstenenmethode heeft bij het voorbeeld van Spoedhulp goed gewerkt, een struikelblok waren echter de formulieren en het invullen ervan.

Hoenderloo groep: residentiële behandeling voor jongeren met opvoedings- en gedragsproblemen - Chapter 8

Dit hoofdstuk is geschreven door Coleta van Dam en Gert Kroes. De Hoenderloo Groep betreft een instelling die een residentiële behandeling biedt aan jongeren waarbij sprake is van ernstige opvoedings- en gedragsproblemen. De Hoenderloo Groep biedt verschillende programma's/groepen. Bij de Hoenderloo Groep was behoefte aan onderzoek naar de resultaten van de behandeling via een follow up. Dit hoofdstuk behandelt dit onderzoek, het verloop en de resultaten ervan.

Er was sprake van drie redenen voor het effectiviteitsonderzoek (naar Veerman, 2004); professionaliseren, profileren en profiteren. Met profileren wordt gedoeld op het afleggen van verantwoording naar binnen en buiten toe. Daarnaast kan er geprofiteerd worden van de kennis die wordt opgedaan uit literatuur en eerder onderzoek. De twee onderzoeksvragen komen voort uit de missie van de Hoenderloo Groep en de nieuwsgierigheid van medewerkers:

• 'Zijn de jongeren van de Hoenderloo Groep bij vertrek, na een half jaar en na anderhalf jaar in staat om te functioneren in de samenleving?' (p. 141).

• 'Hoe waarderen jongeren en hun ouders of verzorgers de hulp die zij hebben gehad van de Hoenderloo Groep: Heeft het geholpen?' (p. 141).

In samenwerking met de organisatie Praktikon kwam men tot het idee van een zo groot mogelijke participatie van medewerkers bij het gehele onderzoek. Dit brengt wel een dynamiek met zich mee met aspecten als nieuwe ideeën die tijdens het proces naar boven komen en veranderingen teweeg brengen, het vinden van evenwicht tussen tijd nemen en het onderzoek binnen een bepaald tijdspad af ronden en het handelen op meerdere fronten tegelijk.

Aan verschillende groepen mensen (medewerkers, jongerenraad) is gevraagd na te denken over wat ze willen weten en wat het betekent als een jongere weer functioneert in de samenleving. Daaruit zijn 10 thema's onttrokken, die in het interview naar voren komen. De thema's passen bij de missie van de Hoenderloo Groep. Vervolgens werden de thema's omgezet naar prestatie indicatoren, waarbij een criterium en een norm werden gesteld.

Vervolgens werd het interview ontwikkeld dat vier onderdelen kent: demografische gegevens, vragen over tevredenheid over verblijf en behandeling, de Nederlandse versie van de Strengths and Difficulties Questionnaire en de situatie van de jongere m.b.t. gezin, wonen, werk/school, vrije tijd, geld, middelengebruik etc. Jongeren en ouders werden in hun eigen omgeving onderzocht door middel van een standaardinterview door iemand van de Hoenderloo Groep die niet met het betreffende gezin gewerkt had, dit alles om de respons zo hoog mogelijk te krijgen. De betreffende medewerkers zijn getraind in het interviewen. Een procesbewaker werd aangesteld voor alle organisatorische dingen met betrekking tot het onderzoek.

In 2003 werd gestart met het onderzoek, waarbij jongeren werden onderzocht kort nadat ze weg zijn gegaan, een half jaar daarop en anderhalf jaar na vertrek. Enkele interviewers vielen in de loop van het eerste jaar af. Vanwege de toch grote belasting van de interviewers werden na een jaar enkele veranderingen doorgevoerd:

• Interviewers kunnen aangeven hoeveel gezinnen ze willen bezoeken (caseload).

• Interviewers kunnen een voorkeursregio aangeven.

• Interview mag onder werktijd worden uitgevoerd.

• De interviews na een half jaar mogen ook telefonisch worden afgenomen.

Aan de hand van meldingen van interviewers is het interview op sommige punten aangepast.

Resultaten

111 gezinnen participeerden uiteindelijk (responspercentage van 63%). De grootste oorzaak van non respons is het geen contact kunnen leggen met het gezin. Daarnaast wordt soms de toestemming ingetrokken of kan er geen afspraak gemaakt worden. Jongeren van gezinnen die niet participeerden in het onderzoek zijn vaker naar een andere residentiële instelling gegaan. Voor de resultaten, zie tabel p. 149. De scores van verschillende vragen zijn samengesteld en de scores zijn vervolgens omgevormd tot een tienpuntsschaal, waarbij geldt dat hoe hoger de score is, hoe beter het is. Jongeren scoren bij de eerste meting op gemiddeld 6 van de 10 indicatoren voldoende en voor ouders was dat gemiddeld 5 van de 10. De gestelde norm van 7 van de 10 is dus volgens de ouders en de jongeren niet gered. Opvallend zijn de lage scores op sociaal netwerk en het feit dat de scores van ouders en jongeren op de meeste gebieden redelijk bij elkaar in de buurt liggen. Een half jaar na vertrek is het aantal behaalde prestatie indicatoren nog steeds onder de norm.

De tevredenheid is redelijk hoog (rond de 71-76%), de tevredenheid over het behandeleffect daalt echter tussen de eerste en de tweede meting.

Tijdens raadpleegronden zijn de resultaten binnen de organisatie getoond waarna betrokkenen mee konden denken over verbeteracties. De raadpleegronden werden op verschillende manieren georganiseerd om zo de beste werkwijze te vinden. Raadpleegronden met grote groepen werken het best wanneer er met een kleiner groepje door gepraat kan worden. De raadpleegronden hebben veel verklaringen en verbeteracties gegeven; aanbevelingen waren onder andere dat er prioriteiten gesteld moesten worden en dat de organisatie moest weten wat er met het rapport zou gebeuren en welke afspraken er gemaakt waren.

De resultaten van het tweede onderzoeksjaar zijn niet meer zo uitgebreid doorgenomen omdat deze leken op de eerdere resultaten en omdat met de eerdere resultaten weinig structureels was gedaan. Op de werkvloer bleek er echter wel degelijk gebruik te zijn gemaakt van de informatie; zo wordt er meer aandacht besteed aan het sociaal netwerk. Aangezien deze verbeteracties niet structureel van aard waren, zijn ze niet toetsbaar. Binnen de organisatie is men nieuwsgieriger geworden naar de effecten van de hulp.

Tot slot

De doelen omtrent het onderzoek zijn behaald; het ontwikkelen en implementeren van effectonderzoek en daarnaast het inbedden van het onderzoek in de organisatie. De draagkracht van het onderzoek was groot doordat er werd gewerkt met de nieuwsgierigheid van de medewerkers. Het is erg nuttig gebleken de interviewers binnen de organisatie te werven; dit leidde tot een grote bekendheid en betrokkenheid binnen de organisatie. De interviewers en de geïnterviewden zijn tevreden. De betrokkenheid moet echter goed worden vast gehouden over het verloop van de jaren. De aandacht voor het onderzoek wordt minder na enkele jaren, wat te maken kan hebben met het feit dat de verbeteracties niet erg duidelijk te zien zijn. Het doel is nu dus om de cyclus van plan-do-study-act cyclus rond te krijgen door door middel van verbeteracties de kwaliteit van de zorg te verbeteren.

Effectmeting bij de Bellenbergh: psychiatrische behandelafdeling voor multiproblemgezinnen - Chapter 9

Dit hoofdstuk is geschreven door Henry Gritter en Gert Kroes en betreft onderzoek bij de Bellenbergh, een psychiatrische behandelafdeling voor multiproblemgezinnen. Sinds 2001 wordt hier en in 4 andere klinieken effectiviteitsonderzoek uitgevoerd. De Bellenbergh kent verschillende behandelingen. Het onderzoek werd uitgevoerd in een gezamenlijke opzet van de Bellenbergh en GGZ Drenthe, zodat deze twee met elkaar vergeleken konden worden. Er was sprake van drie onderzoeksvragen:

• Wat is de beoogde doelgroep en wordt deze bereikt?

• Welke interventies worden ingezet en worden deze uitgevoerd zoals bedoeld?

• Welke uitkomsten zijn er en zijn deze zoals gewenst?

Dergelijk onderzoek leidt uiteindelijk tot een meer evidence based praktijk, welke weer leidt tot een hogere effectiviteit en efficiëntie.

Dit hoofdstuk betreft de uitkomsten van het effectiviteitsonderzoek, dus de derde vraag. De resultaten zullen vergeleken worden met vergelijkbare behandelingen.

Opzet

Uitgangspunten van het onderzoek zijn het zorgevaluatiemodel van Veerman, het gebruik van voornamelijk gestandaardiseerde meetinstrumenten, het benutten van de onderzoeksgegevens in de praktijk en daarmee een inbedding van het onderzoek in de praktijk en ten slotte het laten aansluiten van het onderzoek bij vergelijkbaar onderzoek in jeugdzorg.

Er is sprake van 3 metingen; één aan het begin van de behandeling, één aan het einde en een follow up na zes maanden. Er is geen controlegroep en geen random toewijzing aan hulpvormen. Hierdoor is niet met zekerheid te zeggen dat de effecten door de behandeling veroorzaakt zijn. Daarom is dit onderzoek gericht op het verkrijgen van inzicht, praktijkverheldering en zo mogelijk toetsing. Verder kan de behandeling worden vergeleken met andere gezinsbehandelingen.

De gebruikte instrumenten zijn de volgende;

• De Nederlandse versie van de CBCL: Gedragsvragenlijst voor kinderen van 4-18 jaar.

• De Nijmeegse Ouderlijke Stress Index (NOSI).

• De Symptom Checklist meet psychopathologie bij volwassenen.

Al deze instrumenten kennen (Nederlandse) populatienormen. Hierdoor kan de deviatiescore berekend worden. Per deviatiescore is aan te geven hoeveel procent van de bevolking lager of hoger scoort. De uitkomsten van alle mogelijke vragenlijsten zijn onderling te vergelijken. Verder zijn effectgroottes berekend.

Resultaten

Het streven van een responspercentage van 70% is niet behaald; bij de kliniek was er sprake van een responspercentage van 43% en bij de deeltijdbehandeling van 46%. De opvoedingsstress en de gedragsproblemen nemen significant af gedurende de behandeling in de kliniek en de deeltijdbehandeling. Toch is er na behandeling vaak nog sprake van gedragsproblemen en opvoedingsstress die aandacht nodig hebben. Dit heeft te maken met het feit dat er sprake is van multiproblem gezinnen.

De resultaten zijn vergeleken met referentiegroepen, waarbij de behandelingen van multiproblemgezinnen vergelijkbaar is met de behandeling bij de Bellenbergh. Alle behandelingen laten minimaal kleine effecten zien in de positieve richting. De verschillen tussen de methodieken op de verscheidene domeinen zijn klein. Wel bestaan er verschillen in ernst van de problemen op verschillende gebieden aan het begin van de behandeling.

Onderzoek doen in de Bellenbergh

Aan het begin van het onderzoek was voornamelijk het management betrokken bij het onderzoek, wat tegenstrijdig is met een eerder genoemd uitgangspunt. Anderen bij de afdeling waren sceptisch en de dataverzameling werd naar een stagiaire geschoven. Hierdoor was er geen sprake van inbedding. Behandelaars hadden veelal een negatieve houding t.o.v. het onderzoek. De eerste resultaten waren een bevestiging van wat bekend was en het feit dat er een hoge effectgrootte gevonden werd, was een bevestiging van goed werk. Het tweede jaar werd het onderzoek beter ingebed in de behandeling. Het management wilde de resultaten beter terugkoppelen naar de behandelaars. Dit was weer een bevestiging van wat bekend was. Vervolgens ging men door met het onderzoek om de effecten echt aan te tonen, zodat de hoge kosten te verantwoorden waren. De effectgroottes waren bevredigend.

Nadat bij een congres bleek dat de Bellenbergh voorop liep met dergelijke metingen van effect, ontstond meer enthousiasme. Er zijn ook verbeteracties doorgevoerd om de praktijk maar ook het effectiviteitsonderzoek te verbeteren:

• De onderzoeksgegevens worden beter gebruikt binnen de behandeling. Er wordt beter teruggekoppeld naar ouders.

• Men kijkt bij het terugkoppelen of er verbeteracties mogelijk zijn. De verbeteracties leidden tot een grotere betrokkenheid.

• Eerst werden nieuwe medewerkers niet geschoold, later wel. Ze worden voorgelicht over het onderzoek en leren de gegevens te interpreteren en te gebruiken.

• Verschillende onderdelen van de methodiek zijn opnieuw beschreven, om zo meer duidelijkheid te krijgen over de werkzame factoren.

Het onderzoek levert nuttige gegevens op om terug te koppelen naar de cliënt en om in evaluatiebesprekingen binnen een team aan de orde te laten komen. Daarnaast dienen de gegevens als feedback op de behandeling en de effecten ervan. De behandeling kan verbeterd worden en diens hoge kosten kunnen verantwoord worden.

Verder heeft het onderzoek inzicht gegeven in factoren die meespelen in een goede inbedding en benutting van de informatie: Het onderzoek moet gedragen worden door het management, maar daarnaast is betrokkenheid van de medewerkers van groot belang. Het eens per jaar terugkoppelen van resultaten in een presentatie is niet genoeg.

Bij de Bellenbergh zijn meerdere onderzoeken gedaan, waarbij een combinatie werd gemaakt van literatuur/dossier onderzoek en het effectiviteitsonderzoek.

Onderzoek bij Hulp aan Huis: intensieve ambulante gezinsbehandeling - Chapter 10

Dit hoofdstuk is geschreven door Dries Roosma en Hans Tönjes en betreft praktijkgestuurd effectiviteitsonderzoek naar Hulp aan Huis. Hulp aan Huis is intensieve ambulante gezinsbehandeling en is onder andere gericht op het voorkomen van uithuisplaatsingen.

In de loop der tijd is de beschrijving van Hulp aan Huis goed uitgewerkt. De doelgroep betreft multiproblemgezinnen, gezinnen met ernstige opvoedingsproblemen en gezinnen waarbij sprake is van crisis. Voor een verdere beschrijving van de doelgroep, zie p. 170. Hulp aan Huis gaat uit van de wens van ouders en kind om het kind thuis te houden en de wens van ouders, kind en hulpverlening om resultaat te bereiken. Daarom is de focus van de hulp de hele breedte van problemen, waarbij de opvoedingstaak en de ontwikkeling van het kind het belangrijkst zijn. De werkwijze die past bij deze doelen kent een uitgewerkt methodisch handelingskader en een methodisch ondersteuningsmodel voor de hulpverleners. Kenmerken van de hulpverleners en hun handelen zijn bijvoorbeeld het aansluiten bij de goede kwaliteiten van het gezin en diens leden (zie het boek p. 171 voor verdere beschrijving). De hulpverleners worden ondersteund door middel van:

• Wekelijkse teambegeleiding en individuele werkbegeleiding

• Uniform begrippenkader

• Methodiekhandleiding per module

• Functiegericht deskundigheidsbevorderingstraject

• Duidelijke behandelstructuur, afgebakend in tijd en fasen

• Functionele en duidelijke samenwerking met aanmelder

• Goed secretariaat

• Evaluatieonderzoeksprotocol

• Geautomatiseerd zorgondersteunend systeem

• Beperkte betrokkenheid bij vervolghulp door middel van een knipkaart waarmee het gezin nog een aantal keren Hulp aan Huis in kan schakelen.

• Aanvullende expertise

De methodische manier van werken en de methodische vorm van begeleiding en ondersteuning is van groot belang. Hulp aan Huis kent drie hoofdbehandelvormen.

Uit onderzoek naar Hulp aan Huis blijkt dat meer dan 95% van de kinderen na de behandeling nog thuis woont, ervaren gedragsproblemen en opvoedingsstress zijn verminderd. Toch bestaan er nog aanzienlijke problemen. Een belangrijke motivatie om de methodiek te blijven verbeteren is een groep gezinnen die geen vooruitgang boekt. Belangrijke succesfactoren van de hulpprogramma’s vallen onder het professionaliteitsprincipe, het programma-integriteitsprincipe, het behoefteprincipe, het risicoprincipe en het responsiviteitsprincipe.

Bij Hulp aan Huis is het normaal om onderzoeksgegevens te verzamelen. Het onderzoek naar Hulp aan Huis is gestart om aan financiers de kosten te kunnen verantwoorden door effecten aan te tonen. Men probeerde het invullen van de vragenlijsten ook zinnig te maken voor het gezin door gebruiksmogelijkheden in de directe hulpverlening te zoeken. Zo werden de gegevens gebruikt om werkdoelen op te stellen en de resultaten te evalueren. Ook de jaarlijkse onderzoeksresultaten werden steeds meer gebruikt voor doelen als professionalisering. Kortom: het onderzoek is begonnen vanwege externe verantwoording maar het doel ervan ligt nu meer binnen de organisatie. De onderzoeksvragen betreffen:

• Wat zijn de kenmerken van jeugdigen/gezinnen die deelnemen aan de intensieve gezinsbehandeling en wordt de beoogde doelgroep wel bereikt?

• Hoe ziet de hulpverlening eruit (wat zijn de kenmerken) en wordt de hulpverlening uitgevoerd zoals deze bedoeld is?

• Wat zijn de resultaten van de hulp? (uitkomsten)

De gebruikte instrumenten zijn de CBCL en de NOSI. Deze worden afgenomen aan het begin van de hulp, aan het eind van de hulp en na zes maanden wordt een follow up gedaan. Ook wordt de ouders, aanmelders en hulpverleners gevraagd een vragenlijst in te vullen met betrekking tot tevredenheid en verandering (de C-toets). Doelen zijn onder andere dat de hulpverleners zicht hebben op hoe de behandeling verloopt en dat de teamleiders beschikken over sturingsinformatie. Daarmee kan het behandelplan worden opgezet. Het management kan met de data kijken naar bijvoorbeeld effecten en behandelduur, zodat de behandelingen verantwoord kunnen worden naar buiten toe. Ten slotte kunnen ook wetenschappers de gegevens gebruiken. In bovenstaande doelen zijn verschillende cycli te herkennen, die van de hulpverlening, die van kwaliteit en de empirische cyclus.

Onderzoek inbedden

De resultaten van de bij aanvang afgenomen CBCL en NOSI worden met het gezin besproken, waarna naar aanknopingspunten voor werkdoelen wordt gezocht. Van te voren zijn de resultaten doorgenomen met een teamleider. Over de concrete activiteiten binnen de hulpverlening wordt gerapporteerd door deze in te voeren in een computerprogramma, waarna deze gelezen kunnen worden door de teamleider om vervolgens weer besproken te worden. Vlak voor het einde van de hulp worden de CBCL en de NOSI weer afgenomen en ook nu worden de resultaten besproken met het gezin door de hulpverlener. Ook de mogelijkheid van vervolghulp kan op basis hiervan bekeken worden.

De cliëntsecretariaten zorgen voor de dataverzameling/verwerking/verzending en kunnen hierbij de ‘datamonitoringslijst’ gebruiken. Er wordt ook informatie verzameld over de non-respons. De onderzoekers krijgen na elk jaar de data, waar zij over gaan rapporteren. In deze rapportage zijn de tabellen cumulatief, zodat ook gegevens van eerdere jaren te zien zijn. De programmaleider/manager rapporteert nu aan financiers/overheid en formuleert conclusies en adviezen voor de teams.

Verankering + financiering

Organisatorische randvoorwaarden zijn van groot belang. Denk aan goede software en functiescholing. Het in stand houden van de verschillende randvoorwaarden blijft geld kosten. Daarom is een jaarlijks terugkerende financiering nodig (in tegenstelling tot projectfinanciering). Hiervoor moet aan de financiers getoond worden dat het onderzoek verankerd is in de methodiek en dat de gegevens hun nut kennen voor professionalisering. Dit blijkt het meest belangrijk te zijn voor de financiers, terwijl de externe verantwoording als een goede extra wordt beschouwd. Hiernaast is het onderzoek verankerd in de productprijs van de hulp. Hier is een interne kostprijsberekening voor gemaakt, waarin de kosten van de verschillende onderdelen te zien zijn.

Belangrijke aspecten

Een grote voorwaarde voor de dataverzameling is motivatie; zonder motivatie kan de respons snel dalen, waardoor de waarde van de gegevens dubieus wordt. Het streven is een respons van minimaal 80%. De vragenlijsten moeten dus van nut zijn voor het behandelen en ze moeten gepast zijn voor de doelgroep. Daarnaast moet op basis van de gegevens een behandelplan opgezet kunnen worden en moet ook het management er wat aan hebben op het gebied van bewijs voor effectiviteit.

Onderzoek naar effecten moet vanzelfsprekend zijn en onderdeel uit maken van het methodische handelen. Eventuele tijdelijke onderzoeksvragen kunnen bijvoorbeeld betrekking hebben op de doelgroep. Het hebben van goede software is van belang; hoewel het goed functioneert, zijn er nog verbeteringen mogelijk.

Tot slot

Het is gebleken dat wetenschap en praktijk samen gaan. Op verschillende plaatsen in Nederland wordt gezocht naar manieren om op een gezonde en positieve manier met andere organisaties te concurreren, zonder kennis voor zichzelf te houden. Zo is de monitor Resultaatgericht Meten ingevoerd en is er een kwaliteitskeurmerk ontwikkeld.

Omgaan met onderzoeksinstrumenten: werken met vragenlijsten in de ambulante gezinszorgverlening - Chapter 11

Dit hoofdstuk is geschreven door Ger Kerkstra en gaat over de ondersteuning en scholing van hulpverleners in de ambulante gezinszorgverlening in het werken met vragenlijsten. Het gaat uit van de praktijk van Hulp aan Huis. Vanwege het in het vorige hoofdstuk besproken praktijkgestuurde onderzoek was het nodig de hulpverleners te scholen en ondersteunen. De gebruikte vragenlijsten zijn de CBCL en de NOSI.

De hulpverleners volgen een specifieke opleiding voor bijvoorbeeld Families First. Daarna kunnen de hulpverleners mee doen aan een programma voor deskundigheidsbevordering waarin ook een training werken met vragenlijsten gegeven wordt. Verder is er teamoverleg en individuele werkbegeleiding.

Bij intensieve ambulante gezinsbegeleiding is de structuur van de observatie, diagnostiek en behandeling anders doordat de hulpverlener alles alleen doet. Dan zijn vragenlijsten een belangrijke bron van informatie. In het hulpverleningsplan wordt informatie samengevoegd uit de gesprekken, de observaties, de wensen van de cliënt, de analyse van de hulpverlener en de kennis uit de vragenlijsten. Zo kunnen de gegevens van een vragenlijst helpen bij een goede onderbouwing en evaluatie van het plan. De gedragswetenschapper heeft ook inzicht en kan de hulpverlener goed begeleiden. De vragenlijsten bleken een handig middel voor communicatie met ouders; ouders konden zien dat er ook positieve punten zijn en profielen werden opgesteld. Het profiel van het begin van de behandeling en het profiel van het eind van de behandeling werden vergeleken. Dit alles vergroot de betrokkenheid van ouders.

Vragenlijsten kennen meerdere voordelen: ze bieden een goede manier om informatie te verzamelen en geven informatie over de ernst en complexiteit van de problemen. Daarnaast geven ouders informatie af in vragenlijsten die anders niet of moeilijk te krijgen is en bieden vragenlijsten een systematiek in de informatieverzameling. Verder zijn zoals eerder genoemd de uitkomsten nuttig om doelen mee te formuleren en te onderbouwen. Ten slotte wordt de communicatie met ouders en collega's bevorderd en laten de vragenlijsten zien of er een verbetering heeft plaats gevonden.

Aangezien lang niet alle hulpverleners een opleiding hebben gehad in het werken met vragenlijsten is een ondersteunende context nodig. In de vacaturebeschrijving wordt al aangegeven dat er sprake is van het werken met vragenlijsten en ook tijdens sollicitatiegesprekken komt het onderwerp aan de orde. Het programma waarmee hulpverleners worden ingewerkt, kent ook een onderdeel voor het werken met vragenlijsten en het onderzoek. De informatie moet eerst kort en helder zijn, verdieping is later mogelijk. De hulpverleners moeten vanaf begin af aan gemotiveerd worden, dit kan onder andere door profielen van de CBCL en de NOSI en resultaten van de laatste jaren te laten zien. Nadat de hulpverlener geschoold is in de methodiek, is er sprake van consolidatie, verdieping en verbreding van vaardigheden, kennis en houding. Dit is de periode waarin de hulpverlener de training ‘werken met vragenlijsten’ volgt.

Training

De training is bedoeld om hulpverleners te leren de CBCL en NOSI profielen te gebruiken bij het ophelderen van de hulpvraag en het onderbouwen of opstellen van werkdoelen. De training begint met een warming up aan de hand van kaartjes met uitspraken erop die besproken kunnen worden. De kaartjes worden aan het einde van de trainingsdag opnieuw gebruikt. Vervolgens leren de hulpverleners hoe ze de CBCL en de NOSI kunnen introduceren bij ouders. Het derde onderdeel heeft betrekking op het analyseren van de CBCL en NOSI profielen. Hulpverleners leren dat eerst de ernst van de problemen en de krachten van het profiel op een rijtje gezet moeten worden. Vervolgens worden deze gegevens vergeleken met de aanmeldingsgegevens en worden hypothesen opgesteld. Ten slotte wordt gekeken naar welke aspecten met de ouders besproken zullen worden.

Als laatste onderdeel van de training voor de evaluatie leren de hulpverleners hoe de uitkomsten van de vragenlijsten besproken moeten worden met de ouders. Hiervoor bestaan verschillende aandachtspunten (p. 191), waaronder het aansluiten bij de ouders en in gesprek met hen de resultaten te bespreken. Als allerlaatst worden vragen besproken en wordt de training geëvalueerd door middel van formulieren.

De vragenlijsten waren in eerste instantie onderzoeksinstrumenten maar zijn nu prakijkinstrumenten. Ze waren een ondersteuning voor de gezinshulpverleners die niet meer in residentiële instellingen werkten, maar ver van de organisatie bij mensen thuis informatie moesten verzamelen. Vragenlijsten boden ouders de kans om aan het woord te komen, wat na interpretatie weer naar hen teruggekoppeld werd. Hierbij is (bij)scholing, bijvoorbeeld zoals in dit hoofdstuk beschreven, van groot belang.

Gegevens als sturingsinformatie: bij Intensieve Orthopedagogische Gezinsbehandeling Drenthe - Chapter 12

Dit hoofdstuk is geschreven door Marion Leijsen en heeft betrekking op het gebruiken van onderzoeksgegevens specifiek bij Intensieve Orthopedagogische Gezinsbehandeling Drenthe, vooral op micro en mesoniveau.

Microniveau

Binnen een week na het begin van de hulp worden de CBCL en de NOSI afgenomen, wat direct zorgt voor gesprek over de specifieke problemen van het gezin. De resultaten worden geanalyseerd, profielen worden vergeleken met elkaar en met eerder verkregen informatie en hypothesen worden opgesteld. De hulpverlener gaat na of de uitkomsten van de testen overeenkomen met zijn klinische ervaring in het gezin. De uitkomsten worden met het gezin besproken en werkdoelen worden opgesteld. Nadat de hulp vier maanden bezig is, wordt een evaluatiegesprek gehouden. Aan het eind van de hulp worden de CBCL en de NOSI nogmaals ingevuld, geanalyseerd (wat zijn de verschillen tussen begin en eindmeting) en met de ouders besproken. De hulpverlener en de ouders geven aan of de veranderingen herkend worden en of er nog vervolghulp nodig is.

Mesoniveau

Elk jaar worden de onderzoeksgegevens van het jaar ervoor geordend in een tabellenboek en een presentatie, die bij een bijeenkomst besproken worden. Hierbij wordt gekeken naar de respons, veranderingen in probleemgedrag en opvoedingsbelasting, effecten van de hulp, tevredenheid etc.

Het is nuttig om de gegevens te vergelijken met eerdere jaren en met vergelijkbare behandelingen/andere modules binnen Hulp aan Huis. De hulpverleners kunnen aangeven of ze hun klinische ervaring terug zien in de gegevens. De aannames en verbeterpunten van vorig jaar worden bekeken in verband met de uitkomsten van dit jaar. Zo komt men tot bouwstenen voor vervolgonderzoek en verbeteracties. Men spreekt af hoe de effecten te behouden zijn en wat er verbeterd kan worden.

Tijdens de jaarlijkse presentatie bespreken de gedragswetenschapper, teamleider en clustermanager samen de uitkomsten, die naast resultaten van eerdere jaren worden gelegd. Het team doet van te voren een voorspelling en deelt de redenen voor deze verwachting. De resultaten worden getoond en samen wordt besproken wat eventuele verklaringen voor de veranderingen zijn. Men probeert trends af te leiden en nieuwe verbeterpunten op te stellen.

Voorbeelden van hypothesen en verbeteracties voor 2006 zijn het werken met vragenlijsten, waarbij de combinatie van IAG methodiek en het oplossingsgericht werken wordt opgenomen in de methodiekhandleiding, en blijven denken aan het nog meer verminderen van het probleemgedrag. Een derde voorbeeld betreft de vraag wat de meest effectieve vervolghulp is, wanneer er nog steeds sprake is van problemen bij het aflopen van de hulp.

Tot slot

Noodzakelijk is een goede onderbouwde methodiekbeschrijving, uitgevoerd zoals aangeleerd en ondersteund door trainingen voor herhaling of verdere training. Ten tweede is het gebruiken van scores van de vragenlijsten als sturingsinformatie van belang. Ten derde mag men aannemen dat intensieve werk- en teambegeleiding van de individuele hulpverleners, met nadruk op methodisch werken, nut heeft. Ten vierde is het belangrijk dat aan de hand van de resultaten van de CBCL en de NOSI duidelijke doelen opgesteld worden, die te behalen zijn en waar het gezin aan wil werken. Ten slotte dienen de hulpverleningsplannen opgesteld te worden als een soort instructieboek voor de leden van het gezin, zodat zij deze ook nog kunnen gebruiken nadat de hulp is afgelopen.

De opzet van praktijkgestuurd onderzoek - Chapter 13

Het is belangrijk om te focussen op een zodanige inrichting van je onderzoek, dat er een zo groot mogelijke bewijskracht uit kan ontstaan. In het begin is er op zijn minst een bepaald besef van wat men met de interventie wil bereiken, bij wie en met welke middelen. Verder is er een idee of opvatting hoe de interventie aangrijpt op de factoren die de klachten of het probleem veroorzaken of in stand houden, zodanig dat de situatie van de cliënten verbetert. Deze twee stappen geven nog geen zekerheid over de feitelijke werkzaamheid van een interventie. Toch zijn ze noodzakelijk bij de opbouw van practice-based evidence.

De methoden hebben hoofdzakelijk een beschrijvend karakter en worden vaak gebruikt in het kader van procesevaluaties. Hieronder vallen verschillende soorten evaluaties die onderling een grote mate van overeenkomst vertonen. Voorbeelden van soorten evaluaties zijn de planevaluatie, formatieve evaluatie en de sterkte-zwakte analyse.

De onderzoeksresultaten van de beschrijving van de interventie en onderbouwing daarvan zijn minder hard en eenduidig dan het meer toetsende onderzoek op niveau 3 en 4. Verder is het zo dat sommige beschrijvende, kwalitatieve methoden van onderzoek niet eenvoudig uitvoerbaar zijn.

Onderzoek van de eerste twee niveaus van de effectladder kent een aantal valkuilen:

• Dit onderzoek heeft vooral een intern doel (zicht op de interventie verbeteren). Als deze informatie tegelijkertijd wordt gebruikt voor externe doeleinden, zoals de verantwoording aan de financier, kan dat contraproductief werken voor de verdere ontwikkeling van de interventie.

Onder druk van externe partijen kan dat een reden zijn om zich te gaan oriënteren op een andere interventie.

• Kenmerken van de interventie worden in beschrijvend onderzoek nogal eens verward met de kenmerken van de daadwerkelijke gebruikers. Het ligt er vaak maar net aan voor welke doelgroep de interventie bedoeld is.

• Onderzoek op de eerste twee niveaus kan worden aangegrepen om te snel conclusies te trekken over de effectiviteit van een interventie.

Omdat op de eerste twee niveaus het fundament wordt gelegd van praktijkgestuurd onderzoek, is het aan te raden om in de uitvoering van deze stappen te investeren. Voor een herkenbare en geaccepteerde interventietheorie is het nodig om diverse invalshoeken in dit proces te betrekken. Een praktisch bruikbare interventietheorie komt voort uit een collectief, en is niet het product van een studeerkameranalyse.

Cliënttevredenheidsonderzoek

De meest eenvoudige vorm van effectonderzoek is cliënttevredenheidsonderzoek. Kenmerk van dit soort onderzoek is dat er meestal bij een cliënt een eenmalige meting plaatsvindt aan het einde van de hulp. Het heeft geen zien om heel vaak de tevredenheid te rapporteren, omdat er op een bepaald moment verzadiging optreedt. De resultaten bieden dan weinig nieuws meer. Dit verzadigingseffect is te voorkomen door het doel van de informatieverzameling nader te specificeren en de verdere wijze van informatieverzameling daarop af te stemmen.

Varianten hiervoor zijn:

• Men stelt als doel om de mate van tevredenheid over een langere periode te bewaken (periodiek en steekproefsgewijs). Deze aanpak wordt ook wel de hygiënische monitoring genoemd.

• Opzet waarbij het de bedoeling is om ontwikkelingen in de cliënttevredenheid te volgen in trajecten die gericht zijn op kwaliteitsverbetering.

Cliënttevredenheidsonderzoek kent een aantal valkuilen:

• Het gaat om retrospectief onderzoek.

Cliënten krijgen alleen na de interventie vragen en moeten terugkijken. De vraag is in hoeverre zij dit kunnen.

• Hello-goodbye-effect.

Dit betreft de ervaring dat mensen het over het algemeen moeilijk vinden om bij de kennismaking en afscheid negatieve dingen te moeten zeggen.

• Halo-effect.

Cliënten die tevreden zijn over één aspect van de hulp generaliseren dit vaak over allerlei aspecten van de hulp.

• Positieve of negatieve vertekening die cliënten systematisch in hun antwoorden stoppen.

• Selectieve uitval van cliënten.

Het verband tussen behandelingsuitkomsten en tevredenheid is niet volledig. Daarom mag uit tevredenheid niet automatisch worden geconcludeerd dar de hulp adequaat is geweest.

Doelrealisatie-onderzoek

Bij onderzoek naar doelrealisatie staat de vraag centraal of de hulpverleningsdoelen die met de ouders en/of jeugdige zijn gesteld zijn bereikt. Het bereiken van de doelen van de hulp vormt een cruciale factor om al dan niet van geslaagde hulp te spreken.

De meest simpele vorm van doelrealisatie-onderzoek gaat na in welke mate de doelen die voorafgaande aan de hulpverlening in het hulpverleningsplan zijn opgesteld zijn bereikt. Een bekende vorm daarvan is de Goal Attainment Scaling (GAS):

• -1 : Het eerder gestelde doel is helemaal niet gehaald; de situatie is slechter dan in het begin.

• 0 : Het eerder gestelde doel is niet gehaald, de situatie is hetzelfde als in het begin.

• 1 : Het eerder gestelde doel is deels gehaald, de situatie is beter maar nog niet conform doel.

• 2 : Het eerder gestelde doel is gehaald, de situatie is conform doel.

Het stellen van een hulpverleningsdoel en het plannen van de hulp aan het begin van het traject is te zien als het opwerpen van een hypothese of het doen van een voorspelling: als we deze hulp toepassen bij dit type van problemen, zullen we deze doelen bereiken.

In de literatuur wordt het hulpverleningsproces vaak voorgesteld als een hypothese toetsend proces, analoog aan de empirische cyclus in het wetenschappelijk onderzoek.

Bij onderzoek naar doelrealisatie wordt systematisch getoetst of vooraf gestelde doelen daadwerkelijk worden gehaald. Hierin ligt dan ook het belangrijkste verschil met niveau 1 en 2 van de effectladder.

Door vooraf doelen te stellen, bouwt men een voorspelling in van de effectiviteit van de interventie. Het toetsende element is hier alleen nog wel basaal.

De bruikbaarheid van doelrealisatie-onderzoek hangt sterk af van de vaardigheden van hulpverleners om goede doelen te stellen. Problemen van doelrealisatie-onderzoek zijn selectieve uitval en het kwalitatieve karakter. Er is namelijk veel subjectiviteit mogelijk bij de vraag wanneer een doel nu wel of niet is gerealiseerd.

Naarmate de doelen van cliënten inhoudelijk scherper en in meer geoperationaliseerde termen zijn geformuleerd, hoe krachtiger dit type onderzoek wordt.

Doelrealisatie-onderzoek legt een sterk accent op de evaluatie aan het einde van de hulp. Effectonderzoek wint aan zeggingskracht als er minstens aan het begin en het einde van de hulp (en eventueel ook tussentijds) metingen plaatsvinden die meer kwantitatief van aard zijn.

Veranderingsonderzoek

Hoofdkenmerk van veranderingsonderzoek is dat er aan het begin en aan het eind van de hulp wordt gemeten met behulp van gestandaardiseerde interviews, observatie-instrumenten of vragenlijsten. Deze vorm van effectmeting (pre-posttest design) is in de praktijk populair.

Door de verschillen te berekenen tussen de scores van de beginmeting en de eindmeting, is te bepalen in welke mate er sprake is van een probleemafname. Aan de hand van die gegevens zijn de effectgroottes te berekenen:

• .00 = geen effect

• .20 = klein effect

• .50 = middelmatig effect

• .80 = groot effect

De gemeten verandering kan ook veroorzaakt worden door andere factoren, zoals rijping, selectieve uitval, cliëntselectie en behandelaarsselectie.

Als er een serie studies wordt uitgevoerd, is een zekerder beeld te krijgen van de effectiviteit van een interventie. Een gunstige uitkomst van één veranderingsonderzoek rechtvaardigt immers niet zo gauw een investering van duizenden euro’s voor een gecontroleerde effectstudie. Een gunstige uitkomst uit vele veranderingsonderzoeken op verschillende locaties maakt zo’n investering meer dan logisch.

Valkuilen van veranderingsonderzoek:

• Een vastgestelde verandering zegt niets over de effectiviteit van de interventie. De vraag is of het om een bedoelde verandering gaat. Veranderingsonderzoek is altijd gericht op het evalueren van interventiedoelen.

• De kwaliteit van de instrumenten. Het instrument moet inhoudelijk een goede operationalisering zijn van de doelen die expliciet met de hulp zijn nagestreefd.

• Selectie-effecten door uitval en non-respons.

Het risico op overhaaste conclusies is te verkleinen door kritisch alternatieve verklaringen op een rij te zetten en te bespreken.

Normgerelateerd onderzoek en benchmarkstudies

Bij dit type onderzoek wordt er een expliciete norm gesteld ten aanzien van wat als een goede uitkomst van het onderzoek te beschouwen is. Door expliciet aan te geven wat men wel en niet als een betekenisvolle uitkomst beschouwt, wordt de causale relatie tussen de interventie en het gemeten effect versterkt. Die betekenisvolle uitkomst reikt daarbij verder dan alleen het voorspellen van de richting van de verandering en vaststellen van de statistische significantie van de uitkomsten. Hier gaat het erom dat men aangeeft hoe groot die verandering moet zijn om er waarde aan te hechten.

In normgerelateerd onderzoek zijn de normen door de directe belanghebbenden gesteld. Bij benchmarkstudies wordt de norm ontleend aan eerdere of elders behaalde successen. Het voordeel hiervan is dat er van te voren een streefniveau vast ligt. Dat kan motiverend werken.

Dit type onderzoek is een mengeling van de hulpverleningscyclus, de PDSA-cyclus en de empirische cyclus. De behandelaars proberen in de hulpverleningscyclus met de cliënten toe te werken naar een bepaalde kwaliteit van de hulp. Dit weerspiegelt zich in de PDSA-cyclus in een prestatie-indicator en een norm die op het niveau van het behandelprogramma is vastgelegd. In de wetenschappelijk-empirische cyclus is de norm te zien als een hypothese die men denkt te kunnen waarmaken met de interventie.

Bij dit type onderzoek zijn dezelfde valkuilen te noemen als bij de andere typen onderzoek. Verder is het bij dit onderzoek van belang om een realistische norm te stellen. Om een goede norm op te stellen kan een pilotstudie gebruikt worden om te verkennen wat een haalbare norm is.

Veranderingstheoretisch onderzoek

Veranderingstheoretisch onderzoek is erop gericht de effectiviteit van specifieke ingrediënten van de interventie te exploreren. Een voorbeeld is de dosis-respons studie of onderzoek naar het verband tussen kenmerken van de doelgroep en de behandeling en de mate waarin er een bepaald doel wordt bereikt.

Interessant aan dit type analyse is dat theoretisch veronderstelde relaties tussen interventiecomponenten en uitkomsten in de resultaten (als het goed is) terug zijn te herkennen. De werkzaamheid van de interventie zou minder aannemelijk zijn als de interventiecomponenten in het geheel geen relatie zouden vertonen met de uitkomsten.

Dit type onderzoek vereist een goed uitgewerkte interventietheorie, met een heldere specificatie van de specifiek werkzame factoren. Deze specifiek werkzame ingrediënten moeten een logische relatie hebben met de beoogde uitkomst van de behandeling.

Valkuilen van dit type onderzoek:

• Een hoge correlatie tussen twee variabelen wil niet automatisch zeggen dat die relatie betekenisvol is.

• Correlaties zoeken naar lineaire verbanden. Sommige verbanden zijn echter niet lineair. De speurtocht naar niet-lineaire verbanden vereist theoretisch vernuft en een gedegen statistische analyse van de gegevens op het voorkomen van curve-lineaire / kromlijnige verbanden.

• Een correlatie is niet zonder meer te zien als een causaal verband.

Veranderingstheoretisch onderzoek vergt een goed uitgewerkte interventietheorie en een gedegen manier van interpretatie. Daarnaast is het belangrijk om een passende analysetechniek te vinden. Als men zorgvuldig te werk gaat, dan is dit type onderzoek een bijzonder nuttige en spannende vorm van onderzoek.

Quasi-experimenteel onderzoek

Quasi-experimenteel onderzoek bestaat uit een opzet waarin een groep cliënten die een specifieke interventie krijgt vergeleken wordt met een groep die deze interventie niet krijgt. Er vindt geen willekeurige toewijzing plaats aan de groepen. De wijze waarop de controlegroep is samengesteld, is afhankelijk van wat men te weten wil komen:

• Cliënten die geen interventie krijgen:

  • cliënten die vroegtijdig zijn afgehaakt
  • die op de wachtlijst staan
  • die een nep-interventie krijgen

• Controlegroep bestaat uit een andere interventie:

  • de gebruikelijke behandeling
  • een andere gespecificeerde interventie

De wijze waarop de groepen samengesteld worden kan ook verschillen:

• Post hoc experimentele en controlegroepen

Hiervan is sprake als men achteraf groepen formeert waarvan men de uitkomstgegevens vergelijkt om te achterhalen of de ene interventie beter lijkt dat de andere.

• Gematchte opzet.

• Multicentrumstudies

Bij deze studie worden de resultaten op verschillende instellingen met elkaar vergeleken.

• Gekruiste opzet

Eerst krijgt de ene groep de interventie, daarna de andere groep.

• Cohortstudies

Veranderingsonderzoek en quasi-experimentele studies kunnen in elkaars verlengde liggen. Ook heeft dit type onderzoek raakvlakken met benchmarkstudies.

Valkuilen bij quasi-experimenteel onderzoek:

• Dat de groepen onvoldoende vergelijkbaar zijn en daarmee de uitkomsten systematisch vertekenen.

• Uitval van cliënten.

• Overhaaste conclusies trekken.

Experimenteel onderzoek

Experimenteel onderzoek verschilt van quasi-experimenteel onderzoek in de wijze van toewijzing van cliënten aan de experimentele en controlegroep. Het toeval bepaalt vooraf of een cliënt de experimentele behandeling krijgt of niet. De toewijzing aan de verschillende groepen is op de volgende manieren te realiseren:

• Met behulp van verzegelde enveloppen

• Aan de hand van random tabellen

• Computerprogramma

Als de cliënt niet weet welke behandeling hij krijgt, spreekt met van een blind onderzoek. Als ook de behandelaar niet weet in welke conditie de cliënt zit, gaat het om een dubbelblinde opzet.

Valkuilen bij dit type onderzoek:

• Dat men denkt dat met de experimentele opzet vertekeningen automatisch zijn uitgesloten.

• Ook hier is de uitval selectief.

• Kracht van herhaling (er zijn minstens twee onderzoeken nodig).

Herhaalde case studies

Studies op het N=1 niveau kunnen bijzonder bruikbaar zijn. Kenmerk van herhaalde case studies is dat de klachten, het probleemgedrag of de problematische gedachten of gevoelens van de cliënten zorgvuldig worden geobserveerd en geregistreerd voorafgaand aan de behandeling (A-periode). Vanaf het moment dat de behandeling start, wordt gekeken of er in het patroon van de klachten of probleem een positieve ontwikkeling is (B-periode). Deze procedure kan herhaald worden. Dat heet dan ook wel het ABAB-design.

Bij een voldoende aantal case studies op een rij (meer dan 8) vormt deze bewijsvoering volgens de American Psychological Association een volwaardig alternatief voor het uitvoeren van een aantal randomized trials. De principes van de case study zijn ook toe te passen op het niveau van de organisatie.

Valkuilen bij herhaalde case studies:

• Case studies zeggen weinig over de effectiviteit van de dagelijkse praktijk. Voorwaarde om van representatieve cases te kunnen spreken, is dat men voldoende zicht heeft op de kenmerken van de doelgroep.

• De gemeten uitkomstvariabele moet voldoende dekkend zijn voor wat men met de behandeling beoogt.

• De uitkomstvariabele moet ook voldoende objectief te meten zijn.

• Het aantal meetpunten dat men hanteert kan te laag zijn om het verloop van de behandeling goed te monitoren.

• Het probleem dat men bestudeert kan in zichzelf een geringe stabiliteit hebben.

• Sommige effecten treden niet snel genoeg op om in case studies goed te kunnen meten.

Instrumenten voor meten van uitkomsten en uitvoering van de zorg - Chapter 14

Drie perspectieven voor het kiezen van instrumenten

Maatschappelijk perspectief

Ondersteuning van en hulp aan jeugdigen, hun ouders, stiefouders of anderen, die een jeugdige als behorende tot hun gezin verzorgen en opvoeden, bij opgroei- en opvoedingsproblemen of dreigende zodanige problemen. Gestart wordt met de formulering van een heldere visie op wat men bij de cliënten wil bereiken. Deze visie wordt in relatie gebracht met de doelen die zowel voor de cliënten als voor de samenleving van belang zijn. Het is noodzakelijk om de resultaten op een (kosten)efficiënte wijze te bereiken en dit naar de samenleving te verantwoorden.

Maatschappelijke missie van werkgroep prestatie-indicatoren jeugdzorg:

• belemmeringen (risico’s, problemen) in de ontwikkeling van jeugdigen en hun opvoeding oplossen, verminderen of compenseren,

• zodat een gezonde, evenwichtige uitgroei van jeugdigen tot volwassenen plaatsvindt,

• die zij zelfstandig of met steun van basisvoorzieningen kunnen volbrengen.

Wetenschappelijk perspectief

Wetenschappers zijn vooral benieuwd naar het vergaren van kennis over “wat werkt bij welke wie” en wat precies de werkzame ingrediënten van een interventie zijn. Vanuit het wetenschappelijk perspectief is in de eerste plaats de theoretische achtergrond van de interventie van belang voor het kiezen van meetinstrumenten en spelen in de tweede plaats de psychometrische kwaliteiten een belangrijke rol. Voor onderzoek naar de werkzaamheid van de interventie geeft de theorie richting aan de keuze van de instrumenten. Betrouwbaarheid en validiteit van de instrumenten die gekozen worden zijn belangrijk.

Praktijkperspectief

Praktijkgestuurd effectonderzoek is een middel om gewenste uitkomsten aan te tonen van een bedoelde interventie bij een beoogde doelgroep. Ouders en kinderen die hulp zoeken bij opgroei- en opvoedingsproblemen willen vooral weten van wie ze de beste hulp bij deze problemen kunnen krijgen en of die hen ook werkelijk verder helpt. Hulpverleners willen weten of de hulpverlening die zij dagelijks aan alle ouders en kinderen leveren ook effectief is. Directie en management van jeugdzorginstellingen zijn voornamelijk benieuwd of hun totale jeugdzorgaanbod doeltreffend en doelmatig genoeg is voor die ouders en kinderen die zich als cliënt bij hun instellingen aanmelden.

Er zijn drie soorten afwegingen of argumenten die voor het kiezen van meetinstrumenten van belang zijn:

1. Het maatschappelijke perspectief leert ons dat instrumenten moeten aansluiten bij de opdracht van de jeugdzorg.

2. Het wetenschappelijk perspectief leert ons dat instrumenten een relatie moeten hebben met een theorie over de factoren die in het spel zijn bij de realisatie van die doelen en dat ze die factoren op een betrouwbare en valide manier moeten meten.

3. Het praktijkperspectief wijst ons op het feit dat hulpverleners zowel consumenten als producenten van antwoorden op de effectvraag zijn.

Van items spreken we als het gaat om vragen of stellingen die door cliënten of hulpverleners dienen te worden beantwoord. De items zijn vaak te groeperen in een aantal categorieën of clusters.

Kwaliteitscriteria

Voor het bepalen van de kwaliteit van een instrument gelden 6 criteria:

1. Uitgangspunten van de constructie van het instrument: basisvragen die de COTAN bij dit criterium stelt zijn of het gebruiksdoel van het instrument duidelijk omschreven is, of de theorie voldoende omschreven wordt en of de keuze van de items duidelijk is.

2. Kwaliteit van het materiaal en de handleiding: een instrument moet door de gebruikers op een eenduidige en gelijke manier worden gehanteerd. Volgens de COTAN gaat het hierbij om vragen als: zijn de items voldoende gestandaardiseerd? Is er sprake van een objectief scoringssysteem?

3. Normen: hierbij gaat het om de vraag wat een score op een instrument betekend. Een score krijgt pas betekenis als men deze vergelijkt met scores van anderen. COTAN kijkt of er bij het instrument normen worden verstrekt. Er zijn verschillende soorten normen:

• Algemene, kwantitatieve normen: deze normen relateren kenmerken aan de doorsnee Nederlandse bevolking. De mate waarin de score van de cliënt negatief afwijkt van deze algemene norm, vormt een indicatie van de aard en ernst van de problematiek.

• Klinische, kwantitatieve nomen: deze normen relateren kenmerken aan de doorsnee populatie van de jeugdzorg. Dit is de klinische normering. De score geeft een beeld van de afwijking van het voor de jeugdzorg normale beeld.

• Klinische, kwalitatieve criteria: kenmerkend voor de DSM is de dichotome beoordeling van de aanwezigheid van problemen: een probleem is wel of niet aanwezig. Men gaat daarbij uit van het aantal en de intensiteit van de symptomen, van de klachten die de cliënt heeft en van de beperkingen die de cliënt als gevolg van zijn klachten laat zien in beroepsmatig of sociaal opzicht. Bij de kwantitatieve normen krijgt men een beeld van de mate van afwijking ten opzichte van het gemiddelde van de normgroep. Bij de kwalitatieve normen spreekt men van een ernstig probleem als er bijvoorbeeld drie of meer kenmerken van dat probleem aanwezig zijn.

4. Betrouwbaarheid: bij de betrouwbaarheid van een instrument gaat het om de vraag in welke mate de gegevens die men met een instrument verzamelt, vertekend kunnen worden door toevallige invloeden. Er zijn drie verschillende vormen van betrouwbaarheid:

• Test-hertest-betrouwbaarheid (stabiliteit): een goede test-hertest-betrouwbaarheid geeft aan dat de cijfers die men met het instrument verzamelt niet gevoelig zijn voor toevallige fluctuaties in de tijd. Metingen hoeven in de loop der tijd geen stabiel beeld te geven, zonder dat dit op echte onbetrouwbaarheid wijst. Waar het om gaat is dat men bij een veranderingsscore ervan op aan moet kunnen dat een verschil in cijfers wijst op echte groei, verandering van gedrag of verandering van zienswijze en niet op een instabiliteit van het instrument op zich.
• Interne consistentie: de interne consistentie geeft aan in welke mate de items ter zake zijn en er gezamenlijk in slagen het probleem in kaart te brengen. Dit wordt ook wel homogeniteit genoemd. Een zeer hoge interne consistentie wijst erop dat de items over het algemeen sterk hetzelfde meten. Als er te veel items worden afgenomen die allemaal op hetzelfde neerkomen, wordt het instrument inefficiënt of redundant genoemd.
• Interbeoordelaar-overeenstemming of interbeoordelaar-betrouwbaarheid: hier gaat het om de mate waarin verschillende beoordelaars het eens zijn over de kenmerken. De mate van overeenstemming wordt meestal uitgedrukt in een percentage, een correlatie of een ongewogen kappa. Een lage interbeoordelaar-overeenstemming hoeft niet noodzakelijk op een onbetrouwbaar instrument te wijzen. De stabiliteitscoëfficiënt is een belangrijke maat (als er een korte tijd tussen twee afnames zit).

Je kunt haast niet spreken over de betrouwbaarheid van een instrument. Bij het onderzoek moet altijd worden vermeld over wat voor soort betrouwbaarheid men het heeft.

5. Validiteit: validiteit is de mate waarin een instrument aan zijn doel beantwoordt. Er zijn een aantal soorten validiteit:

• Begripsvaliditeit: bij begripsvaliditeit gaat het om de vraag of het instrument het bedoelde begrip goed meet.

• Criteriumvaliditeit: bij criteriumvaliditeit onderzoekt men volgens de COTAN in hoeverre de testscore een goede voorspeller is van gedrag buiten de testsituatie. Het gaat om de mate waarin de scores op een instrument het mogelijk maakt om consequenties te trekken voor gedrag in de werkelijkheid. Dit wordt ook wel predictieve validiteit genoemd. Het verschil met begripsvaliditeit is dat het daar om een voorspelling gaat die afgeleid is uit een theorie, bij criteriumvaliditeit hoeft dit niet het geval te zijn.

• Discriminante validiteit: discriminante validiteit wordt ook wel het onderscheidend vermogen van een instrument genoemd.

Hoe meer juiste positieve en juiste negatieve identificaties het instrument oplevert, hoe beter de validiteit is. Sensitiviteit staat voor de proportie van de cliënten waarbij het instrument wijst op een effect, ten opzichte van het totaal aantal cliënten waarbij in werkelijkheid een effect is te constateren. De specificiteit staat voor de proportie van de cliënten waarbij het instrument niet wijst op een effect, ten opzicht van het totaal aantal cliënten waarbij in werkelijkheid ook geen effect is te constateren. Het soort beslissing dat het instrument moet ondersteunen bepaalt welke soort fout men in ieder geval zo veel mogelijk moet voorkomen.

6. Bruikbaarheid: bij de beoordeling van een instrument op het criterium bruikbaarheid heeft de professional een grote rol. Bruikbaarheid gaat over het nut en de hanteerbaarheid van het instrument in het dagelijks hulpverlenend handelen van de professional met zijn/haar cliënten. Een hulpverlener bespreekt het profiel van de ingevulde vragenlijst met de cliënt. Het instrument geeft richting aan de probleemanalyse met de cliënt, beslissingen worden samen met cliënten in een veel korter tijdbestek genomen en er wordt meer gericht gekeken naar de resultaten van de hulp.

De toepassing van de instrumenten in een praktijkgestuurde onderzoekscontext stelt hoge eisen aan de bruikbaarheid. Het houdt in dat het instrument in elk geval de volgende kwaliteiten moet bezitten:

• Het heeft nut voor de onderbouwing van het nemen van beslissingen in het hulpverleningsproces.

• Het heeft een duidelijke methodiek / handleiding

• Het is efficiënt en gemakkelijk te hanteren

• Het is gemakkelijk om de gegevens te verwerken

Belangrijke criteria die deze professionals bij hun keuze voor de basisset instrumenten gehanteerd hebben zijn:

• De mate waarbij het gebruik van het instrument de kwaliteit en snelheid van de beslissing verbetert in verhouding tot de tijd en inspanning die het goed (leren) toepassen van het instrument de professionals (en de instelling) kost.

• De inschatting in welke mate het methodisch gebruik van het instrument ter onderbouwing van de beslissing als een algemeen werkzame factor wordt gezien.

• De mate waarin instrumenten zinvol gebruikt kunnen worden door medewerkers met een HBO opleiding.

Er zijn twee soorten instrumenten te onderscheiden:

• Zelfgemaakte schalen

Kenmerk van deze schalen is dat ze goed passen bij het doel van de interventie en de motivatie van de cliënten. Het nadeel van deze instrumenten is het sterk geïndividualiseerde vorm van meten.

• Zelfgemaakte schalen kunnen gebruikt worden:

  • Voor het meten van de mate waar het probleem van de jeugdige vermindert is:

* Feel-good schaal

* Koele Kop ladder

• Voor het meten van de kwaliteit van de opvoeding:

* Goede opvoeder schaal

* De compliment-mopper weegschaal

• Voor het monitoren van veranderingen in het gezinsfunctioneren:

* Ruzieschaal van Richter

• Algemeen beschikbare instrumenten

Kenmerk hiervan is dat ze gemaakt zijn voor de toepassing bij een brede(re) doelgroep. Daarnaast is er een groot aantal meetinstrumenten beschikbaar voor specifieke doelgroepen of voor bepaalde aspecten van het functioneren. Voor instrumenten kun je de volgende bronnen raadplegen:

• COTAN

• Studies naar de toepassing van instrumenten in de jeugdzorg

• NIZW Jeugd

Het meten van de uitvoering van de interventie is eveneens noodzakelijk om zicht op effectiviteit te verkrijgen. Het meten of de interventie wordt uitgevoerd zoals bedoeld is belangrijk om goed zicht op effectiviteit te krijgen. Dit wordt wel behandelvaliditeit, behandelintegriteit of behandelingsgetrouwheid genoemd.

Een interventie om opgroei- en opvoedingsproblemen van kinderen te verhelpen is te beschouwen als een aanpak die:

• gericht is op de vermindering, de compensatie of het draaglijk maken van een risico of een probleem in de ontwikkeling van een jeugdige dat een gezonde, evenwichtige uitgroei tot volwassenheid (mogelijk) belemmert;

• bestemd is voor een doelgroep die wordt gekenmerkt door de aanwezigheid van een of meerdere van deze risico’s of problemen;

• geleid wordt door een theoretisch en praktisch weldoordachte, doelgerichte en systematische werkwijze (een methodiek);

• gericht is op de jeugdige zelf, zijn opvoeders en/of zijn opvoedingsomgeving;

• afgebakend is in de tijd, met een nader omschreven tijdsduur en frequentie.

Idealiter is de interventie gebaseerd op een interventietheorie. De inhoud van de interventie wordt bepaald door de aard van de problematiek van de doelgroep en de veronderstelde risicofactoren die deze problematiek in stand houden.

Bij uitvoering van een interventie komen verschillende zaken aan bod. In de kern, op het meest concrete niveau, bestaat een interventie uit gedragingen van hulpverleners (de activiteiten), die op een hoger niveau een techniek vormen. Een verzameling technieken vormt op weer een hoger niveau de methodiek van de interventie. Samen met uitvoeringseisen als duur, frequentie en intensiteit vormt de methodiek het totale pakket van de interventie.

De bij de interventie behorende technieken worden altijd uitgevoerd in een interpersoonlijke context. Dit wordt bejegening genoemd. Ook de bejegening bestaat uit hulpverlenergedrag. Daarnaast zal de hulpverlener de relatie op een professionele manier structureren door doelgericht en planmatig te werken, deskundigheid in te brengen en de voortgang te bewaken.

De bejegening vindt ook plaats in een organisatorische context (scholing, supervisie, onderlinge communicatie tussen hulpverleners, aanwezigheid van apparatuur).

Meten impliceert een nadere specificatie van onderdelen van de interventie, hiermee wordt deze ‘beschreven’, waarna operationalisatie in instrumenten plaatsvindt waarmee het ‘bedreven’ kan worden vastgesteld.

Bij het meten van de inhoud kan het gaan om het registreren van de concrete behandelactiviteiten, de technieken of de concrete toepassing van principes. Ten aanzien van de inhoud wordt gecodeerd in hoeverre een behandelaar specifieke, voor de betreffende sessie voorgeschreven gedragingen vertoont.

Bij het meten van bejegening is het van belang na te gaan welke aspecten hieraan onderscheiden kunnen worden en hoe die te herleiden zijn tot concreet gedrag van de hulpverlener. Dit gedrag kan dan weer via video-opnames of vragenlijsten gescoord worden. Het gaat er hier om in hoeverre de hulpverlener inhoud of principes overbrengt. Het gaat dan om het aansluiten bij positieve krachten, respect hebben voor de cliënt, duidelijk zijn, etc.

Het meten van organisatorische randvoorwaarden wordt niet veel gedaan, maar is wel de basis voor het correct uitvoeren van interventietechnieken en het bieden van een goede bejegening.

De hulpverlener is bij het bepalen van de resultaten van de hulp niet geneigd tests en vragenlijsten als meetinstrumenten te gebruiken. Kennelijk is er sprake van een gebrek aan kruisbestuiving tussen enerzijds het voorhanden zijnde arsenaal aan via onderzoek tot stand gekomen tests en vragenlijsten en de behoefte in de praktijk aan structurering van de oordeelsvorming.

Bij de keuze van geschikte instrumenten zorgen de verschillende perspectieven voor een gezond spanningsveld, waarin enerzijds wetenschappers geneigd zijn om het belang van goede psychometrische kwaliteit, goede normering en vergelijkbaarheid over instellingen en over de jaren heen te benadrukken, en anderzijds praktijkwerkers de toepasbaarheid in de individuele relatie met de cliënt centraal stellen.

Meten van doelrealisatie - Chapter 15

Doelgericht werken is een belangrijk onderwerp in de Jeugdzorg. De afgelopen jaren is veel aandacht uitgegaan naar het samen met de cliënt formuleren en evalueren van concrete behandeldoelen.

Doelrealisatie

Doelrealisatie vormt samen met vermindering van de ernst van de klachten en de cliënttevredenheid een belangrijke indicator voor de uitkomsten van behandelingen. De vraag staat centraal of de hulpverleningsdoelen die samen met de ouders en jeugdige zijn geformuleerd ook werkelijk bereikt worden. Het is een belangrijk onderdeel van effectonderzoek: als de beoogde doelen zijn bereikt, is de hulp geslaagd.

In de praktijk spelen voornamelijk 3 typen problemen:

1. Psychometrische kwesties (betrouwbaarheid, validiteit)

2. Problemen rond het aantal en de verscheidenheid van de gestelde doelen

3. Complicaties bij het bundelen van doelrealisatiegegevens naar een hoger aggregatieniveau.

De aandacht is vooral gericht op het meten en het gebruik van gegevens in het kader van verbetering van de kwaliteit van de hulpverlening.

Belangrijke overeenkomst tussen een individuele behandeling en een interventie in het algemeen: Aan allebei ligt een meer/minder expliciete theorie ten grondslag over de aard van de problematiek en een geslaagde aanpak daarvan.

Er worden voorbeelden gegeven van doelen op (zie compleet overzicht schema blz. 275):

• Cliëntniveau, bvb: ‘Ik ben van mijn gedragsprobleem af.’ of ‘Wij kunnen M. beter aan.’

• Interventieniveau (module, programma, training), bvb ‘Doelen van de training: Gedragsproblemen zijn teruggebracht tot een voor de leeftijd normaal niveau en de kans dat opnieuw gedragsproblemen ontstaan is sterk verkleind.’ Met behulp van doelenkaarten stelt de cliënt voor zichzelf specifieke doelen en werkpunten die hier bij aansluiten.

• Instellingsniveau: De instelling heeft een missie met daaraan gekoppelde organisatiedoelen, bvb: ‘Problemen van de jeugdige zijn tot, voor de leeftijd, normale proporties teruggebracht’ of ‘de veiligheid van de jeugdige is gewaarborgd.’ Dikwijls hebben instellingen verschillende domeinen genoemd waarop zij hulp bieden om de problemen te verminderen, vaardigheden te vergroten en de veiligheid te waarborgen, bvb: gedrag, opvoeding, sociaal netwerk.

De op verschillende niveaus geformuleerde doelen sluiten als het goed is op elkaar aan. Ze hebben een logische correspondentie met elkaar en zijn op een duidelijke manier met elkaar verbonden. In de praktijk wordt echter vaak gezien dat deze verbanden nog niet helder zijn.

Voor een instelling geldt dat een duidelijk geformuleerde missie leidt tot een aantal instellingsdoelen en in het verlengde daarvan tot een reeks modules om genoemde doelen te verwezenlijken.

Meten van doelrealisatie op cliëntniveau

Evalueren van behandeldoelen kan op de volgende manier: GAS (Goal Attainment Scaling):

1. Methode start met het bepalen van de beginsituatie. Dit is gebaseerd op de probleemanalyse en verwoordt de wenselijke situatie.

2. Geboden hulp wordt na verloop van tijd geëvalueerd a.d.h.v. een aantal categorieën. Hier is aan te geven in hoeverre een doel is behaald. Een scoremogelijkheid:

• -1 = Eerder gestelde doel is helemaal niet gehaald; situatie is verslechterd.

• 0 = Doel is niet gehaald; situatie is onveranderd.

• +1 = Doel is deels gehaald; situatie is beter, maar nog niet conform het doel.

• +2 = Doel is gehaald; situatie is conform het doel.

• (-2 = Doel niet gehaald; situatie is veel slechter dan in het begin à wordt in de praktijk niet veel toegepast.)

De beoordeling of een doel behaald is vindt altijd na afloop plaats. Regelmatig wordt er ook tussentijds geëvalueerd, bijvoorbeeld bij elke behandelplanbespreking. In dat geval geldt de laatste beoordeling als de uiteindelijke evaluatie van het doel.

Cruciaal bij deze aanpak is dat zo concreet mogelijk wordt aangegeven wanneer aan het einde van de hulp een -1, 0, +1, +2 is te scoren. Dit kan bvb in concrete gedragstermen (zie figuur 15.2 blz. 277). Beoordeling GAS-scores, dus het toekennen van een score aan de doelen, kan door: jongere, ouders, hulpverlener.

Psychometrische problemen

GAS is feitelijk een meetinstrument à moet voldoen aan betrouwbaarheid, hanteerbaarheid en validiteit. Aandachtspunten:

• De bij aanvang geformuleerde doelen moeten betrouwbare richtsnoeren zijn voor de uitvoering van de hulp. Doelen moeten de ene dag niet anders luiden dan de andere dag. Verder moeten deelnemers het eens zijn dat dit de belangrijkste doelen zijn.

• 42119650. en uitvoering van de hulp moeten goed op elkaar aansluiten. Er moet een heldere relatie zijn tussen de doelen die op papier staan en de doelen die in de uitvoering expliciet/impliciet aan de orde komen. Onder deze conditie kunnen cijfers over doelrealisatie gebruikt worden als een valide graadmeter voor het succes van de uitgevoerde hulp.

• Mate van doelrealisatie moet op een betrouwbare manier te bepalen zijn. Het oordeel moet niet te zeer afhankelijk zijn van de dag waarop dit wordt geveld. Het is goed om de evaluatie voor te bereiden en de deelnemers van te voren hun oordelen te laten opmaken. Men moet verder rekening houden met de mate van overeenstemming tussen de beoordelaars. Vaak zijn er verschillende informanten die elk een eigen doelrealisatiescore mogen toekennen. Deze oordelen wijken geregeld van elkaar af = informantenprobleem:

• Richtsnoer is dat discrepanties in oordelen wel worden vastgelegd, maar niet zomaar worden aanvaard. Eindoordeel is bepalend voor de vraag of de hulp wel/niet klaar is.

• Proberen om tot consensus te komen over de vraag of een doel wel/niet bereikt is.

• Er wordt een duidelijke regel gehanteerd wiens score in de uiteindelijke registratie komt te staan als er geen consensus te bereiken is. Deze informant is ook bepalend bij de verantwoording van de vraag of de hulp al dan niet klaar is (vrijwillige hulpverlening: stem cliënt weegt zwaar + gedwongen hulpverlening: bvb gezinsvoogd of jeugdreclasseerder hakt knoop door).

• Deel van de consensusproblemen is op te lossen wanneer bij het begin van de hulp zo duidelijk mogelijk wordt afgesproken aan welke concrete gedragingen, gevoelens of cognities is te zien of de situatie conform het doel is veranderd. Gebruik van vragenlijsten en berekening van deviatiescores kunnen hierbij verder helpen. Maar garantie biedt dit niet.

Aantal en verscheidenheid van doelen

Het laten scoren van doelen door een jongere (en/of zijn ouders + hulpverlener) kan al een vrij ingewikkeld beeld opleveren. Het wordt nog lastiger als alle mogelijke behandelaars in beeld worden gebracht, bvb: mentor, gezinswerker, gedragswetenschapper, therapeut(en), casemanager BJZ etc. Veel van deze betrokken hulpverleners stellen doelen met en voor de jongere en/of zijn ouders, die in het behandelplan terug zijn te vinden.

Voor het verzamelen van cijfers over doelrealisatie is deze gevarieerdheid van doelen een groot probleem. Er ontstaat al snel een brij aan gegevens waar moeilijk een eenduidige conclusie aan te verbinden is. Er is dus niet alleen sprake van een meetprobleem. De verschillende hulpverleners en doelen zijn ook inhoudelijk voor de betrokken cliënten en hulpverleners een probleem. Hoe hiermee om te gaan?

• Hoe meer betrokkenen, hoe zuiniger het aantal doelen. Er moeten heldere afspraken zijn over de focus van hulp. De cliënt moet het overzicht kunnen houden; het gaat om zijn/haar traject.

• Selectief in het stellen van doelen. Formuleer bvb niet meer dan 4 à 5 einddoelen.

• Werken met doelenkaarten of andere voorgestructureerde kaders. Overzichtelijk als het stellen van doelen gebeurt a.d.h.v. gestructureerde voorbeelden, ontleend aan soortgelijke cliënten. Betrokkenen mogen hieraan morrelen om het tot hun eigen doelen te maken. Dit zorgt voor focus in de hulp.

• Afspreken met alle betrokkenen welke doelen het allerbelangrijkst zijn. Als de doelen bepaald zijn, is het zinvol om een top 5 van de belangrijkste doelen op te stellen. Hier wordt de focus op gericht.

Aggregatieproblemen

Vaststellen of de hulpverlening aan zijn doelen heeft beantwoord, vereist dat er informatie wordt samengebald tot 1 eindoordeel. Aandachtspunten:

• Informantenprobleem vertalen in een poging om tot consensus te komen. Het is niet raadzaam om een eindscore te maken die bvb bestaat uit het gemiddelde van de afzonderlijke scores. Daarbij gaat vaak informatie verloren. Het is beter om elke informant scores te laten geven. Achteraf kunnen er vragen beantwoord worden. De consensusscore wordt als index gebruikt voor het over de informanten geaggregeerd oordeel over de doelrealisatie.

• Einddoelen zijn geen optelsom van specifieke doelen; apart evalueren. Specifieke doelen zijn meestal de mediatoren waarvan men aanneemt dat deze leiden tot succes op het einddoel. Die aanname hoeft niet uit te komen, bvb door onverwachte ontwikkelingen. Daarom is het aan te raden om de score op het einddoel apart te formuleren. Langs deze weg wordt getracht om tot een samenvattend oordeel over resultaten te komen.

Meten van doelrealisatie op niveau van de interventie:

Hierbij gaat het om de vraag bij hoeveel cliënten die de interventie krijgen de doelen worden gehaald. In een pleidooi voor evidence-based assessment wordt het gebruik van de GAS-methodiek door Kazdin (2005) beschouwd als een voorbeeld van effectmeting tijdens en na de behandeling.

Hierbij gelden in belangrijke mate dezelfde principes als op cliëntniveau, met 1 cruciaal verschil: De meeteenheid is hier niet de set van GAS-scores van een specifiek cliëntsysteem, maar die van verschillende cliëntsystemen. De doelen van cliëntsystemen kunnen onderling lichtelijk verschillen.

Overzichten die gemaakt kunnen worden n.a.v. figuur 15.4 (blz. 283):

• Het % cliënten dat 1 of meerdere einddoelen heeft onder de doelstellingen van de module zijn te scharen. Dit kan een indicatie geven in hoeverre de module bij cliënten juist wordt ingezet of van de mate waarin de doelen van de module een juiste weerspiegeling geven van de doelen die in de praktijk worden gesteld.

• Bij de cliënten met einddoelen die onder de module te scharen zijn, kijkt men naar het % cliënten waarvan de einddoelen zijn verwezenlijkt.

• Aantal specifieke doelen dat binnen de module is gesteld en het % dat hiervan is gerealiseerd.

De verkregen cijfers zijn te vergelijken met uitkomsten van andere modules, met cijfers uit voorgaande periodes of met gegevens van andere instellingen.

Psychometrische problemen

Het gaat om een meetniveau (cliëntsystemen) waarbij gebruik gemaakt wordt van gegevens op een gedetailleerder niveau (afzonderlijke cliënten). Gegevens worden gestapeld. Hierdoor worden ook de meetfouten gestapeld.

Problemen die, naast genoemde problemen op cliëntniveau, extra kunnen optreden:

• Betrouwbaarheid van de doelenclassificatie. Dit probleem heeft te maken met het feit dat de doelen op het cliëntniveau geclassificeerd moet worden in termen van doelen die wel of niet duidelijk bij de module thuishoren. Dit is van belang om uitzonderingen/ fouten die bij de individuele doelformulering zijn gemaakt te elimineren.

• Vergelijkbaarheid van de scores. De vraag hierbij is of bij iedereen dezelfde normen zijn gehanteerd om de doelen te behalen, wordt de één bijvoorbeeld niet strenger beoordeeld dan de ander? Verschillen kunnen beperkt worden door zo concreet mogelijk te benoemen welke gevoelens, gedragingen of cognities tot de gewenste situatie behoren. Verder is het van belang dat cijfers op de juiste manier geïnterpreteerd worden om een vergelijking te maken tussen cliëntsystemen.

• Dekken de scores de module? In hoeverre zeggen de getallen daadwerkelijk iets over de werkzaamheid van de module?

Aantal en verscheidenheid van de doelen

Per cliënt kan het aantal doelen en inhoud verschillen. Aandachtspunten:

• Evaluatie richten op de primaire doelgroep. Deze groep omvat cliënten waarvan de doelen duidelijk onder de module thuishoren. Dit kan eventueel gecheckt worden door een andere beoordelaar. Het resultaat is een zuiver beeld van de koppeling cliëntniveau-moduleniveau.

• Evalueren van module door ook apart naar de secundaire groep te kijken. Hierbij komt men bvb een foute toepassing van de module op het spoor of juist een succesvolle inzet van de module bij andere doelen dan waarvoor deze hulpvorm aanvankelijk is ontwikkeld.

• Einddoelen en specifieke doelen van de module apart evalueren. In de praktijk is veelvuldig te zien dat de specifieke doelen een nauwere relatie hebben met de module dan de einddoelen. Voor de realisatie van de einddoelen worden meestal meerdere hulpvormen ingezet.

Aggregatieproblemen

Bij het opschalen van de doelrealisatiegegevens van cliëntniveau naar moduleniveau zijn de volgende aggregatievormen aan de orde:

1. Classificatie van de individuele doelen naar doelen van de module.

2. Presentatie van samenvattende cijfers.

Adviezen:

• Gebruik maken van percentages (N > 20): Cijfers zijn gemakkelijk te interpreteren zijn en blijven dicht bij de oorspronkelijke getallen. Percentages N

• Voorzichtig met gemiddelden. GAS-scores hebben een vrij laag meetniveau. Het berekenen van gemiddelden kan dan een indruk van exactheid wekken. Cijfers moeten niet meer voorstellen dan ze waard zijn.

Doelrealisatiegegevens hebben een lage zekerheidsgraad. Ze geven vanwege deze reden niet zo snel uitsluitsel over de effectiviteit van een module. De gegevens kunnen bovendien nogal wat ruis bevatten. Cijfers op moduleniveau zijn alleen met een slag om de arm te gebruiken.

Meten van doelrealisatie op instellingsniveau

Kan op verschillende manieren gebeuren:

• Overzicht maken van percentage cliënten waarvan einddoelen goed onder de module te classificeren waren. Dat geeft informatie in hoeverre het aanbod lijkt te passen bij de doelgroep en de hulpvragen waar de instelling voor staat.

• Doelrealisatiecijfers over de modules kunnen samengevat worden, bvb het gemiddelde percentage cliënten dat in de module +2 scoort is 65%.

• Individuele cliëntgegevens worden als directe basis gezien voor het genereren van gegevens van instellingen. Voor de indeling in categorieën wordt vaak het KWIS-schema gehanteerd:

• 29 verschillende doelgebieden die op hun beurt weer zijn geordend in 7 zorgdomeinen: lichaam, cognitie, emotie, persoonlijkheid, gedrag, gezin, omgeving.

• M.b.v. dit schema is het mogelijk om de scores voor behandeldoelen per doelgebied te ordenen en uiteindelijk totaalscores per doelgebied te berekenen.

• Door middel van de rangschikking komt er specifieke informatie beschikbaar over de inhoud en resultaten van de interventies, bvb dat er te weinig of teveel doelen worden gesteld op een bepaald domein.

• Nadeel: Het systeem is nooit goed op de kwaliteit en toepasbaarheid in de Jeugdzorg onderzocht.

• Bij Stichting Jeugdformaat ontwikkelde indeling van doelen is het verst ontwikkeld:

• De Doelenboom is geconstrueerd volgens de Delphi-methode. Hierbij werden zowel de meest gestelde doelen van cliënten als de in het hulpverleningsaanbod beschreven doelen als uitgangspunt gehanteerd.

• Resultaat is een classificatie in 12 subcategorieën die op hun beurt gerangschikt zijn in 4 hoofdcategorieën en een 13^de hoofd/subcategorie ‘Overig’ (zie blz. 288).

• Tabel 15.1 op blz. 289 geeft een illustratie van de toepassing van het systeem.

• Als meerdere instellingen dezelfde scoringsmethoden en doelencategorieën zouden hanteren, maakt het een vergelijking van gegevens over instellingen heen mogelijk.

De problemen en oplossingen die bij de doelen per module naar voren zijn gekomen, gelden ook bij het verzamelen en gebruik van doelrealisatiegegevens per instelling. De extra bijzonderheden voor het instellingsniveau komen nu aan bod:

Psychometrische problemen

• Doelenclassificaties voor de Jeugdzorg zijn weinig ontwikkeld.

• Er wordt door Reith et al. (2007) vraagtekens gezet bij de validiteit en betrouwbaarheid van het KWIS-systeem. De interbeoordelaarbetrouwbaarheid van de Doelenboom blijkt na een 1^ste onderzoek voldoende. Wel verder onderzoek nodig.

• De classificaties bieden bruikbare kaders om doelen te rangschikken, maar er is nog niet sprake van ‘harde’ cijfers.

Aantal en verscheidenheid van de doelen

• De categorie ‘Overig’ in de doelenclassificatie is een goed middel om de differentiatie van doelen op te vangen. Hier kan men alles kwijt wat niet in de andere categorieën past. Echter dit kan ook nadelig zijn, bvb dat de andere categorieën niet voldoende dekkend zijn.

• Ervaringen in de toekomst zullen duidelijkheid geven op welke wijze het systeem het beste vorm is te geven.

Aggregatieproblemen

• Er moet voorzichtig worden omgegaan met percentages en gemiddelden.

• Een voordeel van het instellingsniveau is dat het doorgaans over voldoende gegevens van cliënten beschikt om getallen te kunnen genereren.

• Een nadeel is de non-respons. Het is belangrijk om deze groep goed in kaart te brengen, zowel qua omvang als kenmerken. Het gaat immers om de hele instelling.

Waarom zijn doelrealisatiegegevens nuttig?

1. Classificaties van cliëntdoelen laten zien welke soorten doelen er worden gesteld en of het aanbod van de instelling hierbij past.

2. Doelrealisatiegegevens bieden een 1^ste indicatie van de effectiviteit van het aanbod.

Doelrealisatiegegevens hebben een beperkte bewijskracht. Tevens is de ‘hardheid’ van de gegevens beperkt. Doelrealisatiegegevens kunnen wel belangrijke informatie opleveren, op alle niveaus. Ze geven in elk geval een aanzet tot het stellen van kritische vragen en het inzetten van verbeteracties.

Onderzoekslogistiek in de praktijk - Chapter 16

Eén van de belangrijkste kenmerken van het doen van alle onderzoek is dat de informatie die nodig is om de onderzoeksvragen te beantwoorden op een systematische, eenduidige, controleerbare en navolgbare wijze verzameld en verwerkt wordt. Dit wordt ook wel de onderzoekslogistiek genoemd. Als in de uitvoering van de interventie niet expliciet duidelijk is wie waarvoor verantwoordelijk is en wanneer welke activiteit door wie moet worden uitgevoerd, zal het onderzoek onherroepelijk stranden in mooie bedoelingen zonder resultaat.

Praktijkgestuurd effectonderzoek start met nieuwsgierigheid. Welke onderzoeksopzet gekozen wordt hangt af van de ambitie die praktijkfunctionarissen hebben. Op niveau 3 wordt het meest gebruik gemaakt van veranderingsonderzoek. Hierbij wordt minimaal bij aanvang en beëindiging van de interventie met gestandaardiseerde vragenlijsten nagegaan hoe de jeugdige en het gezin functioneren ten aanzien van de opgroei- en opvoedingsproblemen die aanleiding voor aanmelding bij de jeugdzorg waren.

Het kan handig zijn om dit schematisch voor te stellen. Dit vergemakkelijkt de communicatie.

De stappen 1 tot en met 4 van de onderzoeksactiviteiten worden idealiter uitgevoerd door de uitvoeringslocatie. De stappen 6 en 7 worden idealiter uitgevoerd door een (onafhankelijke) onderzoeksinstantie. Stap 5 is een tussenstap die in de regel deels wordt uitgevoerd door de uitvoeringslocatie en deels door de onderzoeker.

De producten ‘profiel’ en ‘onderzoeksrapport’ zijn de belangrijkste resultaten van een succesvol uitgevoerd praktijkgestuurd effectonderzoek. De profielen zijn de uitkomsten op individueel niveau. Het onderzoeksrapport is de uitkomst op tem / instellingsniveau.

Activiteit 1 Verzamelen gegevens

Gegevens worden verzameld door praktijkfunctionarissen die direct contact met cliënten hebben. Het is wenselijk dat praktijkfunctionarissen hierin getraind zijn en de benodigde kennis en vaardigheden bezitten.

Activiteit 2 Invoeren gegevens

De gegevens worden ingevoerd in een scoringsprogramma. Hiermee kunnen de profielen die het product zijn van deze fase geprint worden.

Zie bijlage

Activiteit 3 Feedback gegevens op individueel niveau

Het gebruik van het profiel vergt voor de praktijkfunctionaris kennis en vaardigheden om in dialoog met de cliënt de uitkomsten te bespreken en te benutten bij het stellen van doelen. Het product is een verslag.

Activiteit 4 Monitoren gegevensverzameling

Een functionaris moet toezicht houden op het proces van de dataverzameling. Dit wordt ook wel de procesbewaker genoemd.

Activiteit 5 Aggregeren verzamelde gegevens

De ruwe onderzoeksgegevens dienen periodiek opgestuurd te worden naar de onderzoeker.

Activiteit 6 Analyseren geaggregeerde gegevens

In deze fase staan de activiteiten in het teken van de statistiek.

Activiteit 7 Rapporteren over geanalyseerde gegevens

Centraal staat het optekenen van de bevindingen, het verschaffen van interpretaties en het afleggen van wetenschappelijke verantwoording. Het product van deze fase is het onderzoeksrapport.

Activiteit 8 Bespreken van gerapporteerde gegevens

Bij deze stap gaat het om het bespreken van de verzamelde gegevens op teamniveau.

Een procesbewaker is een functionaris die op een onderzoekslocatie alle relevante aspecten van het onderzoeksproces in de gaten houden en daarover intern (op de locatie) en extern met de onderzoekers communiceert. Binnen de organisatie heeft de procesbewaker de volgende functies:

• Aanspreekpunt zijn over de uitvoering van het onderzoek.

• Zelf medewerkers aanspreken op hun verantwoordelijkheden bij de gegevensverzameling.

• Zelf actief signaleren waar knelpunten liggen en die helpen oplossen.

• Betrokkenheid en enthousiasme uitstralen.

Naar buiten toe is de procesbewaker:

• Contactpersoon voor de onderzoekers.

• Deelnemer aan externe overleggen over het onderzoek.

• Deelnemer aan verder scholing.

De procesbewaker heeft de volgende specifieke taken:

• Zorg dragen voor heldere uitwerking van de protocollen binnen de organisatie.

• Bewaken van de protocollen.

• Signaleren en oplossen van knelpunten.

• Contact houden met praktijkleiders, teamleiders en verantwoordelijke functionarissen binnen de organisatie.

• Contact houden met onderzoekers over de gegevensstroom, de protocollen, enz.

Non-respons houdt in dat bij een onderzoekscasus één of meerdere van de afgesproken gegevens niet verzameld zijn. Non-respons kan veroorzaakt worden door cliëntfactoren, hulpverlenerfactoren, organisatiefactoren en onderzoeksfactoren.

De belangrijkste hulpverlenerfactor is motivatie.

Bij organisatiefactoren voor non-respons kan gedacht worden aan:

• Hoe hebben directie en management het onderzoek bij medewerkers geïntroduceerd?

• Zijn medewerkers getraind?

• Wordt het onderzoek goed gemonitord?

• Wordt er regelmatig feedback gegeven over de respons?

• Worden vragenlijsten snel verwerkt?

Onderzoeksfactoren die non-respons veroorzaken kunnen te maken hebben met ongemotiveerdheid bij onderzoekers.

Het probleem van een hoge non-respons is dat de onderzoeksuitkomsten niet meer representatief kunnen zijn voor de interventie die geëvalueerd wordt. Dit is met name het geval als de uitval niet willekeurig is.

Het responscijfer is een index voor de kwaliteit van de gegevensverzameling:

Het bestrijden van non-respons kan op verschillende manieren:

• Motiveren van uitvoerend werkers.

• Terugkoppelen naar uitvoerend werkers.

• Voorlichten van cliënten.

• Terugkoppelen naar cliënten.

• Belonen van cliënten.

• Trainen in gebruik van vragenlijsten.

• Monitoren van de respons.

• Lik op stuk communicatie door procesbewaker.

• Redenen non-respons noteren.

• Opzetten goede onderzoeksinfrastructuur.

• Betrekken directie en management.

• Het onderzoek regelmatig terug laten komen.

De onderzoekslogistiek omvat de hele keten van activiteiten die uitgevoerd cliënt te worden om de informatie van de bron (normaal gesproken de cliënt) in de onderzoeksrapportage te krijgen, waarvan de uitkomsten uiteindelijk in de instelling besproken kunnen worden.

Methoden voor kwantificeren en toetsen van effecten - Chapter 17

Het percentage jeugdigen dat ondanks een substantiële verbetering na afloop van een interventie nog met ernstige problemen kampt, kan wel oplopen tot boven 60 procent. Bij het bepalen van effecten moet dus ook gelet worden op veranderingen en de nog aanwezig problemen. Dit wordt ook wel de probleemstatus genoemd.

Het gemiddelde van een verzameling scores is de som van deze scores gedeeld door het aantal scores. Dit aantal wordt meestal aangeduid met de letter N:

Gem = Som van de scores
____________________________

N

Een manier om de spreiding weer te geven is de standaarddeviatie (SD). Hierbij wordt niet alleen de afwijking van de hoogste en laagste score tot het gemiddelde berekend, maar wordt de afwijking van alle scores tot het gemiddelde berekend. De afzonderlijke afwijkingen worden gekwadrateerd en opgeteld. Daarna worden ze gedeeld door het aantal afwijkingsscores en daar wordt weer de wortel uit getrokken. Om statistische redenen wordt er niet door N gedeeld maar door N-1: Zie bijlage

Wanneer de verdeling van de scores zo is dat er in het midden veel scores liggen en steeds minder naar de uiteinden, wordt de verdeling een ‘normaalverdeling’ genoemd. Ook de normaalverdeling heeft een gemiddelde en standaarddeviatie. Ruim 68 procent van de scores ligt tussen + 1 SD en – 1 SD.

Elke normaalverdeling kan gestandaardiseerd worden met een gemiddelde van 0 en een SD van 1. De scores in zo’n verdeling worden ook wel gestandaardiseerde scores of z-scores genoemd. Een z-score zegt dan hoeveel standaarddeviaties een bepaald individuele score van het gemiddelde af ligt.

Bij de probleemstatus gaat het erom een inschatting te hebben over de ernst van de problematiek, dus om de vraag hoe ‘erg’ het is. Om die inschatting te maken, moet er eerst een ijkpunt vast gesteld worden dat een indicatie geeft voor ‘geen problemen’. De gemiddelde score is vaak het ijkpunt. Dit wordt ook wel de norm genoemd. Veel instrumenten hebben een schaalverdeling om aan te geven in welke mate iemand boven of onder de norm scoort.

Een normatieve deviatiescore (NDS) zegt iets over de afwijking (deviatie) van een score op een vragenlijst ten opzichte van een norm. In ons geval is de norm afgeleid van het gemiddelde in de normaalverdeling. De NDS wordt per individu berekend door van de individuele score op de vragenlijst de waarde van de norm af te trekken en het resultaat daarvan te delen door de standaarddeviatie van de norm:

NDS = Score – Norm
__________________________

SD_norm

Door de normatieve deviatiescores van een groep te middelen krijgt men een gemiddelde normatieve deviatiescore die zegt hoeveel deze groep gemiddeld van de norm afwijkt.

Iemand die precies één standaarddeviatie van de norm scoort, krijgt een NDS van 1.

Bij het meten van problemen geldt dat hoe groter de afwijking, des te ernstiger de problemen. Een NDS van 1 betekent dat 84 procent lager scoort. Dit percentage wordt ook wel aangeduid als een percentielscore: P₈₄. Een NDS van 1,29 ligt op P_90.

We spreken bij een NDS van 1,29 of hoger van aanzienlijke problemen.

In klinisch onderzoek kan de afwijking van de norm op gedragsproblemen (gemeten met bijvoorbeeld de CBCL) vergeleken worden met de afwijking van de norm ten aanzien van opvoedingsbelasting.

NDS’s van individuele kinderen of gezinnen kunnen gemiddeld worden. Dat geeft een indruk van de ernst van de problemen in een groep kinderen of gezinnen.

Om na te gaan of in een onderzoek bij een behandelde groep een verschil tussen de gemiddelde score op de meting bij aanvang en de gemiddelde score bij afsluiting niet op toeval berust, maar ook echt wat voorstelt, dient men een statistische test uit te voeren. Hierbij wordt de gestandaardiseerde gemiddelde verschilscore van de groep cliënten berekend. Vervolgens wordt gekeken hoe groot de statistische kans is dat in een dergelijke groep de berekende verschilscore optreedt.

De gemiddelde normatieve deviatiescores lijken iets gevoeliger dan percentages jeugdigen in het probleemgebied: trends vallen eerder op en statistische berekeningen worden eerder significant.

De weergave in percentages jeugdigen die in het probleemgebied scoren heeft als voordeel dat het om aantallen jeugdigen gaat.

Het nadeel van de percentages in het probleemgebied is de wat mindere gevoeligheid, schommelingen vallen minder op en statistische toetsingen zijn minder vaak significant.

Er is ook een index beschikbaar om een verschil in gemiddelde scores zichtbaar te maken. Dit wordt ook wel de effectgrootte genoemd. Ook is er een index die de individuele vooruitgang kan berekenen. Dit wordt de betrouwbare veranderingsindex genoemd.

Index voor de effectgrootte

Deze wordt berekend door de score op de nameting af te trekken van de score op de voormeting. Dit verschil wordt gedeeld door de gepoolde standaarddeviatie van de voor- en nameting (een soort gewogen gemiddelde standaarddeviatie van de twee metingen):

ES = (score voormeting – score nameting)
________________________

gepoolde SD_{voor – na}

Omdat er maar één groep is waarvan de scores voor- en na de interventie worden vergeleken, noemen we dit de ‘binnengroep effectgrootte’. Met deze maat kan de causaliteit niet worden aangetoond.

Effectgroottes kunnen ook berekend worden uit studies waarin in het design een experimentele en een controlegroep zijn opgenomen. De effectgrootte wordt dan meestal berekend door de gemiddelde nameting van de controlegroep af te trekken van de gemiddelde nameting van de experimentele groep en dit verschil te delen door de gepoolde standaarddeviatie van beide nametingscores. Dit kan men een ‘tussengroep effectgrootte’ noemen.

Via de ES wordt aangegeven hoeveel eenheden van een standaarddeviatie er een verschil is tussen de voor- en nameting of tussen de experimentele en controlegroep. De ES is zodoende een maat voor ‘winst’ of ‘verlies’. Het voordeel van de ES is dat hij niet zo gevoelig is voor de grootte van de steekproef.

Tussen 0.50 en 0.79 is de ES middelgroot en boven de 0.80 is er sprake van een grote ES.

Als men over een aantal effectgroottes bezit, dan kan men één daarvan als benchmark gebruiken. Een andere vorm van benchmarking is dat andere IOG-interventies in het land proberen deze standaard te halen en bij de onderzochte IOG in de leer gaan als de waarde van 0.80 niet gehaald wordt.

Index voor individuele verandering

Bij het bepalen van individuele veranderingen zijn er weer gegevens nodig van minimaal twee meetmomenten.

Om te bepalen of er bij een gemeten verschil tussen de voor- en nameting in een individuele behandeling sprake is van ‘ruis’ of ‘signaal’ maken we gebruik van de Reliable Change Index (RCI). De RCI wordt berekend door bij iedere casus in het onderzoek het verschil tussen aanvang- en afsluitingscore op een bepaald meetinstrument te berekenen en de resulterende verschilscore te delen door de standaardmeetfout van het instrument.

De standaardmeetfout is een statistische maat voor de onbetrouwbaarheid van een instrument. Deze meetfout is van elk instrument te berekenen uit de standaarddeviatie (SD) van de scores in de normgroep en de betrouwbaarheid van het instrument. Deze maat is in feite weer een variant op de eerder besproken standaarddeviatie, maar wordt nu de standaardmeetfout genoemd (S_e).

De standaardmeetfout is de verwachte standaarddeviatie van de scores van een persoon als die een groot aantal keren eenzelfde instrument zou invullen: Zie bijlage

Omdat er bij RCI sprake is van twee metingen, moet er ook met twee standaardmeetfouten rekening worden gehouden. Dit wordt de standaardfout van het verschil genoemd (S_dif). Deze standaardfout van het verschil is dan de ‘ruis’ van het instrument die optreedt bij het vergelijken van een voor- en nameting: Zie bijlage

De RCI wordt dan:

RCI = (score aanvang – score afsluiting)

(S_dif)

De RCI’s kunnen in principe variëren van ‘min oneindig’ tot ‘plus oneindig’, maar in de praktijk variëren ze vaak van -3 tot +10. Een RCI van 1 betekent dat de geconstateerde verandering net zo groot is als de standaardfout van het verschil. Dit geeft aan dat de gemeten verandering niet boven de ‘ruis’ van het instrument uitkomt.

Bij RCI worden de grenswaarden 1.96 en 1.64 veel gebruikt. Bij een RCI groter dan 1.96 mag er met 97.5 procent zekerheid van uit worden gegaan dat een verbetering niet op toeval berust. De kans op een RCI die toevallig groter of gelijk aan +1.96 of kleiner of gelijk aan -1.96 is bij een tweezijdige toets 5 procent (2.5 + 2.5).

Als men een grens van 10 procent acceptabel vindt, voldoet een RCI ≥ +1.65 of ≤ -1.65.

Op basis van de individuele RCI’s kunnen ook weer gegevens over groepen worden samengesteld. Hiervoor berekent men eerst voor elk individu in de groep de RCI en bepaalt men of die bij een gekozen grenswaarde al of niet statistisch significant is. Daarna telt men hoeveel individuen er statistisch significant op vooruit of achteruit zijn gegaan en berekent men hoeveel procent dit op het totaal is.

De meest ideale uitkomst van een behandeling is dat er een betekenisvolle positieve verandering plaatsvindt en dat er bij afsluiting geen noemenswaardige problemen meer spelen (V⁺S⁺). Dit betekent een RCI groter dan 1.64 en een NDS kleiner dan 1.29.

Twee categorieën duiden op een mismatch:

• Er is geen verbetering opgetreden (V⁰)

• Er is een verslechtering opgetreden (V^-)

Maar de problemen bij beëindiging niet aanzienlijk (S⁺). Men kan zich dan afvragen of de behandeling dan wel noodzakelijk was.

De statistische termen:

• De normatieve deviatiescore (NDS)

Deze wordt gebruikt om de status van de problematiek bij aanvang en afsluiting te bepalen, zowel voor een individueel kind of gezin als bij groepen kinderen en gezinnen.

• De effectgrootte (ES)

Deze wordt gebruikt om de verandering tussen aanvang en afsluiting om een groep kinderen of gezinnen te bepalen.

• De reliable change index (RCI)

Wordt gebruikt om een betrouwbare verandering tussen aanvang en afsluiting te bepalen, zowel voor een individueel kind of gezin als bij groepen kinderen en gezinnen.

• Een indeling in zes individuele uitkomstcategorieën waarbij verandering en status gecombineerd worden, om zowel voor een individueel kind of gezin als bij groepen kinderen en gezinnen het effect in één index vast te leggen.

De kroon op het werk: benutting gegevens op teamniveau - Chapter 18

Het bespreken van gerapporteerde onderzoeksgegevens met de teams die de interventies hebben uitgevoerd wordt gezien als de kroon op het werk. Het staat bovenaan in de hiërarchie van onderzoeksactiviteiten (zie hoofdstuk 16). Onderzoeksgegevens moeten leiden tot benutting. Gerapporteerde onderzoeksgegevens gaan over een effectrapportage met betrekking tot de zorg die door een team, afdeling of instelling is geboden.

Benutting

Het bespreken van de effectrapportage met de hulpverleners die de zorg hebben uitgevoerd. De bedoeling van deze bespreking is om te reflecteren op de gerapporteerde effecten om op die manier het handelen te verbeteren en/of grondiger te kunnen legitimeren t.o.v. betrokken buitenstaanders. Benutting van gegevens houdt in dat genoemde gegevens tot iets leiden. Het onderzoek is niet zomaar uitgevoerd.

Vormen benutting

1. Instrumentele benutting à invloed op het handelen

• Onderzoeksgegevens beïnvloedden het handelen van hulpverleners.

• Beoordelingsgerichte benutting (Patton, 1997) = Op basis van effectonderzoek vindt een algemene beoordeling van de waarde/nut van een interventie plaats. Centraal hierbij zijn de resultaten en het nemen van de beslissing om al dan niet door te gaan met de interventie.

• Benutting (Patton) = Hier gaat het om het verbeteren van de interventie. Deze vorm van benutting zal frequenter voorkomen. Over het algemeen zal dit in het kader van het kwaliteitsbeleid van een instelling gebeuren (zie blz. 333 voor een praktijkvoorbeeld).

• De beide vormen van benutting (beoordeling en verbetering) hebben met elkaar gemeen dat er op basis van de effectrapportage beslissingen worden genomen die het handelen van functionarissen beïnvloeden (concrete veranderingen).

2. Conceptuele benutting à invloed op het denken

• De effectgegevens worden actief verwerkt door de gebruikers:

• Lezen van de rapportage

• Het opslaan van gegevens/opvattingen uit het rapport in het geheugen

• Wellicht gaat men anders denken over bepaalde zaken.

De hierboven genoemde punten vertalen zich nog niet in zichtbare veranderingen in de praktijk. Primair wordt het denkraam van de betrokkenen beïnvloed.

Voorbeelden: Kennisvermeerdering à leidt tot een verandering in denken. Verdere wetenschappelijke theorievorming over de werkwijze van interventies

3. Kennisgerichte benutting (Patton) = Onderzoeksgegevens leiden enkel tot toename van de wetenschappelijke kennis. In de wetenschappelijke discussie komt naar voren dat conceptuele benutting vaker voorkomt dan instrumentele benutting. Onderzoekers klagen dat hun onderzoek niet tot voelbare resultaten in de praktijk leidt. Praktijkfunctionarissen vinden daarentegen dat onderzoek niet veel bijdrage levert aan het verbeteren van het praktisch handelen. De laatste jaren lijkt er meer een balans te komen:

• Het voeren van een kwaliteitsbeleid waarin verbeteringen centraal staan, heeft de verbeteringsgerichte benutting bevorderd.

• Het besef van evidence-based werken heeft de instrumentele benutting bevorderd.

Elementen van een bespreking:

4. Effectrapportage

• Het rapport moet de belangrijkste uitkomsten uit het onderzoek op een overzichtelijke wijze presenteren.

• Presentatie kan in de vorm van tabellen of figuren. Welke tabellen en/of figuren? Dit hangt af van:

• Onderzoeksvraag

• Gebruikte onderzoeksinstrumenten

• Wensen van de gebruikers

• Cijfermatige uitkomsten, conclusies, aanbevelingen.

• Papieren rapport of powerpoint-presentatie.

• Snelheid is van belang! Effectrapporten moeten tijdig beschikbaar zijn. Er moet geen sprake zijn van mosterd na de maaltijd.

• Het gaat om (uitkomstmaten):

• Toestand bij aanvang en afsluiting à T1- en T2-meting (T = tijdstip).

• Veranderingen tussen aanvang en afsluiting à T1 en T2.

• Op blz. 336 en 337 wordt een voorbeeld gegeven van de effectrapportage over 2005 over de CBCL-uitkomsten van de IOG (Intensieve Orthopedagogische Gezinsbehandeling). In één oogopslag kan de tendens over de jaren heen worden bekeken.

• Figuren zijn sprekender dan tabellen.

Besprekingsprotocol

• Als er een effectrapportage is, is het belangrijk om deze op een systematische manier te door te nemen met het team middels een protocol.

• Op blz. 338 wordt een praktijkvoorbeeld gegeven van een besprekingsprotocol. Vragen die aan het team over de effectrapportage worden gesteld zijn:

• Kunnen we de cijfers plaatsen? à Herkenning. Deze vraag is van belang m.b.t. het vaststellen van het waarheidsgehalte. Het gaat er niet om dat onderzoeksgegevens moeten bekrachtigen wat men al wist, maar dat de gegevens aansluiten bij de klinische ervaring. Dit met het oog op betrouwbaarheid en validiteit. Het is belangrijk dat de onderzoeker de tabellen en plaatjes in verband brengt met de kwaliteit van de respons. Hoe geringer de respons, hoe minder kracht de plaatjes en tabellen hebben.

• Kunnen we de cijfers begrijpen? à Verklaring. Hier gaat het om factoren op te sporen die de uitkomsten van het onderzoek kunnen verklaren.

• Vinden we de cijfers goed genoeg? à Waardering. Hierbij gaat het om waardering of beoordeling van de uitkomsten. Een beoordeling heeft een norm, bvb een Effect Size van minimaal 0,50. Een waardering heeft geen norm. Deze vraag sluit aan bij de wens van hulpverleners om zich volop in te zetten voor de cliënt.

• Moet er iets veranderen? à Verbetering. Deze vraag richt zich op het nemen van beslissingen over te nemen stappen: Verbeteracties? Wat voor ondersteuning vanuit de instelling is hierbij nodig?

Interventietheorie als zorgevaluatiemodel

• Bij het verklaren van de uitkomsten van het onderzoek en het zoeken naar verbeteringen is het van belang om in het bezit te zijn van een model dat de interventie en uitkomsten, oftewel effecten in een samenhangend geheel plaatst. Zo ontstaat er een gemeenschappelijk kader en gemeenschappelijke taal in het team. Mentaal model = Als in de hoofden een dergelijk model plaats heeft.

• Een model zoals beschreven is een belangrijke voorwaarde om in een organisatie tot leren te komen (Walburg, 2003).

• Er wordt ook wel van een zorgevaluatiemodel gesproken. Het accent ligt op het gebruik van het model om de resultaten achteraf te verklaren. Dus niet vooraf voorspellen van de uitkomsten van de behandeling, zoals bij de interventietheorie.

• Het model is een geschikt hulpmiddel bij de bespreking van een effectrapportage. Men tracht daarbij verklaringen te vinden voor de uitkomsten. Dit zoeken wordt gestuurd door de andere kernaspecten van het model af te lopen: doelgroep, interventie, bejegening, organisatorische randvoorwaarden.

• Hoofddoel is aannemelijk maken dat de interventies een aandeel hebben geleverd.

De wijze van benutting van onderzoeksresultaten op teamniveau is niet heel verschillend van de wijze waarop profielen en vragenlijsten worden benut op het uitvoeringsniveau (primaire proces).

Het belangrijkste verschil is de schaalgrootte: in het primaire proces is er sprake van een N=1 benutting met een korte doorlooptijd van verzamelen van gegevens, verwerken, presenteren en gebruiken. Daarentegen gaat het in het beleidsproces (team, afdeling, instelling) om benutting van informatie over grote groepen cliënten met een langere doorlooptijd van verzamelen van gegevens, verwerken, presenteren en gebruiken.

De manier van benutting van onderzoeksresultaten op hogere beleidsniveaus (gemeente, provincie, rijk, zorgverzekeraar) verschilt over het algemeen ook niet van de methodiek van benutting op teamniveau en uitvoeringsniveau.

Benutting op micro- en meso-niveau: parallelle processen

In een effectrapport krijgen de cijfers, profielen, tabellen en plaatjes pas echt betekenis in een gesprek met de betrokkenen:

• Uitvoeringsniveau à Gesprekken van de hulpverlener met de ouders en jeugdige.

• Beleidsproces binnen de instelling à Gesprek van directie/management met de hulpverleners van een team of afdeling.

• Beleidsproces over de instelling heen à Gesprek van de beleidsmaker/financiers met de directie van de instelling.

Een consequente benutting van onderzoeksinformatie op het niveau van het team sluit aan bij het principe van de lerende organisatie (Walburg, 2003). In een lerende organisatie doen professionals inzichten op die richtinggevend zijn voor de ontplooiing van onder andere kennis en vaardigheden waarmee zij de effecten/uitkomsten van de door hen geboden hulp steeds kunnen verbeteren.”

Uitkomstenmanagement

Uitkomstenmanagement speelt naar de mening van Walburg een centrale rol. De kern van dit management is het geven van informatie aan hulpverleners over de uitkomsten oftewel effecten van de door hen geboden hulp- en dienstverlening. Genoemde manier van werken brengt organisaties tot betere prestaties. Door het bespreken van inhoudelijke uitkomsten op alle niveaus, is een lerende organisatie zich alsmaar aan het verbeteren.

Het team is volgens Walburg de kerneenheid oftewel het middelpunt van een lerende organisatie. Het team heeft een centrale plaats in de bewaking en verbetering van de kwaliteit. In organisaties in de Jeugdzorg zijn teams doorgaans geformeerd rond de uitvoering van een module of programma. Walburg definieert een team als volgt: “Klein aantal mensen met aanvullende vaardigheden en kennis, die onderling afhankelijk zijn en zich verbonden voelen aan een gemeenschappelijk doel, een aantal na te streven uitkomsten en een aanpak waarvoor zij elkaar wederzijds verantwoordelijk stellen.”

Zicht op effectiviteit: een zaak van velen - Chapter 19

Vanuit de financiers wordt er flinke druk uitgeoefend op de jeugdzorginstellingen en financiers om evidence-based te werken. Het is echter vreemd dat financiers van professionals verlangen goed onderbouwde en effectief bewezen interventies te gebruiken.

• Financiers moeten zich bezig houden hoe de maximale resultaten worden geboekt tegen zo gering mogelijke kosten (verhouding kosten vs resultaten).

• De professionals met hun beroepsverenigingen, brancheorganisaties (zorgaanbieders) moeten zich bezig houden met de vraag hoe de resultaten worden bereikt, dus met de inhoudelijke kwaliteit van de zorg, de erkenning van interventies.

Aspecten die genoemde rolverdeling beter mogelijk maken:

1. Branche: zekerder weten dat het werkt.

2. Professionals: methodisch werken met effectmeting voor de cliënt.

3. Beroepsverenigingen: voor een sterker beroep.

4. Wetenschappers: werk aan de winkel.

Genoemde aspecten worden nu per punt uitgewerkt.

1. In de branche moet een soepel systeem aanwezig zijn om de resultaten van de zorg zichtbaar te maken.

Welke ontwikkelingen kunnen zorgen voor een geolied, soepel systeem?

1. Landelijk registreren van veelbelovende of effectief bewezen interventies.

Databank Effectieve Jeugdinterventies (vanaf 2005).

De interventies die hierin worden opgenomen, moeten minimaal ‘veelbelovend,’ dus in theorie effectief zijn. In 2007 is er een nieuwe, aan de Databank gekoppelde, landelijke Erkenningscommissie Jeugdinterventies van start gegaan. Dit is een onafhankelijke commissie die de kwaliteit toetst van ondersteuningsvormen, programma’s, trainingen en behandelingen die gebruikt worden in de sector van jeugd en opvoeding. De commissie toetst of een interventie in empirisch opzicht ‘effectief bewezen’ te bestempelen is. Sinds 2005 zijn er onafhankelijke panels werkzaam die voor de Databank interventies op hun kwaliteit toetsen. De nieuwe groep (Erkenningscommissie) zet dit voort.

Erkenningscommissie Jeugdinterventies bestaat uit 3 deelcommissies:

• Jeugdzorg en psychosociale/pedagogische preventie

• Jeugdgezondheidszorg, preventie en gezondheidsbevordering

• Ontwikkelingsstimulering, onderwijsgerelateerd en jeugdwelzijn.

Erkenningscommissie Gedragsinterventies van het Ministerie van Justitie

Interventies die worden uitgevoerd in een justitieel kader. De interventies die door deze commissie worden erkend, komen ook in de Databank Effectieve Jeugdinterventies.

2. Traject om standaard de resultaten van de hulpverlening in kaart te brengen

In 2006 zijn een aantal partijen (ministeries, brancheorganisaties, provincies) in de Jeugdzorg gestart met een traject om standaard de resultaten van de hulpverlening in kaart te brengen.

• Inter Provinciaal Overleg (zie ook hoofdstuk 1 en 15).

• Kern van de ontwikkeling van de trajecten is dat er voor de sector kerndoelen zijn geformuleerd die omschrijven waar de hulpverlening over het algemeen op is gericht.

• A.d.h.v. prestatie-indicatoren (bvb mate van doelrealisatie, reguliere beëindiging van de hulp, cliënttevredenheid, vermindering problematiek van de cliënt) wordt informatie verzameld om na te kunnen gaan in hoeverre de kerndoelen van de sector worden bereikt.

• De registratie van genoemde gegevens moet in de toekomst in de plaats komen van de diverse registraties die op het moment worden gevoerd, zoals de aard en duur van de hulp.

3. Het meten moet onderdeel uitmaken van het professioneel en methodisch werken van de professional

Hulpverleners en cliënten hebben de overeenkomst dat ze een groot belang toekennen aan effectieve hulp. Het blijkt dat methodisch werken m.b.v. vragenlijsten helpt om de waarde die cliënten, hulpverleners en samenleving hechten aan effectieve Jeugdzorg op een juiste wijze met elkaar te verbinden. De vragenlijsten moeten wel goed ingebed zijn in het hulpverlenend handelen.

Kenmerken van goed werken met vragenlijsten:

• Goede uitleg van de hulpverlener bij de introductie van vragenlijsten.

• Soort (vervolg)vragen dat de hulpverlener stelt bij het bespreken van de uitkomsten, n.a.v. de vragenlijst, met de cliënt.

• Vragen naar details.

• Vragen naar uitzonderingen.

• A.d.h.v. onder andere gegevens uit de vragenlijst samen doelen stellen.

• Vragenlijsten komen weer terug bij de evaluatie van de hulp. Hulpverlener en cliënt bekijken gezamenlijk of de uitkomsten er nu anders uit zien en trachten hiervoor verklaringen te vinden.

Kenmerken van verkeerd werken met vragenlijsten:

• Onjuiste introductie van de vragenlijsten: “Ik moet van de instelling…”

• Het bespreken van de uitkomsten van de vragenlijst in de vorm van een mededeling.

• Niet systematisch de vragenlijst gebruiken bij iedere cliënt.

Procedures voor GAS (hoofdstuk 15), verkrijgen van cliëntfeedback (hoofdstuk 13) en het berekenen van een RCI (hoofdstuk 17) zijn hulpmiddelen om een resultaat in een maat en getal uit te drukken. Meten met genoemde methodes kan op een wetenschappelijke manier gebeuren = voordeel.

Meten en weten moet zijn basis vinden op het uitvoeringsniveau, omdat daar het verschil gemaakt moet worden.

Kortom, de uitkomsten van het meten kunnen bijdragen aan het effectiever maken van de zorg. Het proces van meten kan dit echter ook doen, bvb door:

• Mate van doelrealisatie

• Navragen van cliënttevredenheid

• Invullen van vragenlijsten

Genoemde zaken zetten zowel bij ouders en kinderen als bij professionals cognitieve processen in werking. Deze processen zouden niet zo sterk in werking treden als dit niet gemeten werd. De cognitieve processen hebben te maken met het focussen van de aandacht op allerlei zaken, zoals wat er precies speelt en verbeterd moet worden, reflectie, bewustwording, waardering en beoordeling van de situatie waarin kinderen en ouders verkeren. De processen kunnen leiden tot hoop, verwachting op betere tijden en vergroting van eigenwaarde bij zowel de cliënt als hulpverlener. Dit wordt ook wel de therapeutische waarde van het meten genoemd (Finn & Tonsager, 1997).

Veerman (1999) schrijft aan het proces van onderzoek in de praktijk een aantal non-specifieke werkingen toe: werking: Hulpverleners en cliënten worden gericht door het meten. Gemeten begrippen zoals cohesie en sociale isolatie geven hulpverleners bvb handvatten voor verder gesprek en het stellen van doelen.

• Structurerende werking: Hulpverleners en cliënten worden zich d.m.v. het meten beter en meer bewust wat er allemaal speelt. Door het invullen van een vragenlijst worden ouders bvb geholpen om de problemen van hun kind op een rijtje te zetten. Dit brengt structuur in het vage gevoel dat het niet goed gaat met hun kind.

• Ondersteunende werking: Hulpverleners en cliënten voelen zich gerespecteerd. Bvb het gezamenlijk zoeken naar doelen, hier de goede formuleringen voor vinden etc. geven ouders het gevoel dat ze serieus worden genomen.

• Profilerende werking: Hulpverleners en cliënten kunnen aan de buitenwereld laten zien met de juiste zaken bezig te zijn en dit op een goede manier aan te pakken. Dit kan bvb door een jaarlijkse publicatie van de metingen in een effectrapportage. Hiermee laat een instelling zien wat er zoal bereikt is.

4. Beroepsverenigingen moeten sterker ontwikkeld en vertegenwoordigd zijn

Michael Fullan, gespecialiseerd in onderwijsvernieuwing, noemde als een van de voornaamste pijlers in zijn aanpak: “Docenten moeten testresultaten gebruiken om van te leren.” Dus het verkrijgen van practice-based evidence. Hiermee wordt het vak verder gebracht en gelegitimeerd. Een voorwaarde om leren te beschouwen als een aspect van het beroep, is dat het beroep een duidelijke identiteit heeft.

Trajecten waarbij hulpverleners in de Jeugdzorg te maken krijgen met professionalisering:

Verbetertraject Indicatiestelling Bureau Jeugdzorg en Actieplan Professionalisering in de Jeugdzorg. Speerpunten:

• Infrastructuur van de beroepsbeoefening (bvb opbouw beroepenstructuur)

• Versterking van beroepsverenigingen

• Opbouw van een beroepsregister

• Ontwikkeling van verenigingstuchtrecht voor sociaal agogen.

Genoemde maatregelen moeten ervoor zorgen dat de professionals een sterke partij worden in de ontwikkeling van de kwaliteit. Dit geeft potentie om bvb samen met brancheorganisaties eisen te stellen aan de kwaliteit van het aanbod.

Trajecten gericht op de inhoudelijk-methodische ontwikkeling van de beroepsuitoefening:

VIB-traject: Veel aandacht gaat uit naar de training van professionals van Bureau Jeugdzorg in het hanteren van de CBCL en risicotaxatie-instrumenten bij gevallen waarbij sprake is van (vermoedens) van kindermishandeling.

Centra voor Jeugd en Gezin:

• Centra met voorzieningen in het gemeentelijke circuit, bvb jeugdgezondheidszorg, wijkverpleging, opvoedingsondersteuning in de buurt, schoolmaatschappelijk werk.

• Contactpunten in de gemeente waar ouders en jeugdigen met vragen of lichte problematiek zich in eerste instantie kunnen aanmelden.

• Centra hebben nauwe contacten met aanmeldpunten voor ernstige vormen van problematiek.

• Meten en instrumentgebruik is hier sterk ingeburgerd.

Actieplan Professionalisering: Is er o.a. op gericht om de aansluiting van de opleidingen op de praktijk te verstevigen.

Waar moet de scholing van (aankomende) professionals op gericht zijn?

• Beschrijving en de theoretische onderbouwing van de interventies: Als het doel is om de professionalisering van de praktijk te bevorderen, is het advies om de uitvoerders van de interventies en de behandelcoördinatoren bij de beschrijving en theoretische onderbouwing van interventies te betrekken. De professional kan op die manier zijn/ haar ervaringen in de praktijk delen. Verder verrijkt hij/zij de praktijkervaring met theoretische inzichten. Hierdoor neemt het professionele bewustzijn toe: je doet als hulpverleners niet zomaar iets.

• Gebruik maken van verzamelde praktijkgegevens over effectiviteit: De terugkoppeling van de praktijkgegevens zijn instructief en stimulerend voor de medewerkers. Dit is vooral van toepassing als de terugkoppeling serieus en consequent wordt toegepast in structurele werkbegeleiding. Er wordt bewust aandacht gegeven aan de doelen die in de hulpverlening centraal staan, de middelen die worden ingezet door de hulpverleners en het effect van deze middelen. Het professionele bewustzijn neemt op deze manier toe. Dit bewustzijn neemt nog verder toe als de resultaten worden besproken in het team en hierbij de vragen uit hoofdstuk 15 worden gesteld. Vooral de vraag of de professionals de cijfers kunnen begrijpen zorgt voor een vergroting van het professionele bewustzijn. Hulpverleners moeten bij zichzelf en elkaar te rade gaan en putten uit individuele en gezamenlijke kennis en ervaring waardoor impliciete kennis en ervaring expliciet worden.

5. Wetenschappelijke onderzoekers moeten het praktijkonderzoek steviger ondersteunen

Wetenschappers hebben in de ontwikkeling van de duurzame aanpak voor professionals een ondersteunende rol. Ondersteuning is er op 3 terreinen:

• Wetenschappers moeten professionals helpen bij ontwikkelen van solide interventietheorieën.

  • De huidige praktijk wordt gedomineerd door home grown methodieken, waarvan vele rusten op impliciete kennis en ervaring van de betrokken hulpverleners.

  • Er moet een beschrijving van de inhoud van de aanpak + rationale van in de interventie komen (hoofdstuk 2). De werkvloer moet hier een belangrijke bijdrage aan leveren. De praktijkkennis wordt geschraagd met relevante kennis uit de wetenschap. Dit aandeel mag van universiteiten/kenniscentra verwacht worden.

  • Er vindt een verwetenschappelijking van de praktijk plaats à interventietheorie. Dit is de basis voor alle bewijs: zonder theorie geen metingen en dus geen resultaten.

• Inhoud van meetinstrumentarium is van betekenis voor duurzame aanpak van bewijsvoering.

  • Meten heeft als doel om informatie te verzamelen die te benutten is in de praktijk.

  • Motto: meten wat je meet, dus: waarop zijn de metingen gericht? Welke begrippen?

  • De interventietheorie, missie en visie van de instelling zijn de voornaamste kennisbronnen voor de keuze van het instrumentarium.

  • Wetenschappers moeten de praktijk helpen centrale begrippen te operationaliseren m.b.v. instrumenten zoals vragenlijsten en tests.

• De opzet van bewijsvoering (onderzoeksdesign) is van belang

  • Bij het aantonen van resultaten is RCT (hoofdstuk 13) het meest krachtige onderzoeksdesign. Dit design is erg populair bij wetenschappers. Toch blijkt dit niet altijd haalbaar en blijken RCT’s in veel gevallen te voorbarig.

  • Wetenschappers kunnen de praktijk helpen bij het maken van de juiste match, dus bij het kiezen voor een bepaald design.

  • Bij ZonMw (instituut voor beheer en verdeling van onderzoeksgelden in de zorg) is een programma opgebouwd voor ontwikkeling, evaluatie en implementatie van interventies in de Jeugdzorg. Het uitvoeren van effectonderzoek is van belang. De interventies die minstens ‘veelbelovend’ zijn kunnen d.m.v. een budget verder op effectiviteit worden onderzocht. In de toekenning van middelen zal een sterke voorkeur liggen bij de uitvoering van RCT’s.