Zicht op effectiviteit. Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Deel 1 van Veerman et al. - 2006 - Chapter 3

Wat is causaliteit?

Binnen wetenschappelijk interventie-onderzoek is men met betrekking tot causaliteit gericht in het vinden van een oorzakelijk verband tussen twee variabelen, namelijk de interventie (de onafhankelijke variabele) en het gedrag, de cognitie, het gevoel, of de situatie waarop die interventie invloed moet uitoefenen (de afhankelijke variabele).

Er zijn vier aspecten die belangrijk zijn voor het hedendaags denken over causaliteit:

1. De rol van diegene die het effect nastreeft. Deze persoon probeert door middel van de interventie, weloverwogen en doelbewust bepaalde gebeurtenissen en processen te beïnvloeden en te sturen. De interventie is dus gebaseerd op specifieke verwachtingen over de causale relatie tussen de interventie en de gevolgen daarvan.
2. De benadering is multicausaal. Dit houdt in dat de belangstelling verder gaat dan één onafhankelijke variabele (de interventie) de afhankelijke variabele (het effect) beïnvloedt. Er is dus aandacht voor meerdere variabelen, die ook van invloed kunnen zijn op het effect.
3. Er moet expliciet rekening worden gehouden met de context waarbinnen het onderzoek naar causale verbanden plaatsvindt. Dit wordt het causaal veld genoemd. Uitspraken over causaliteit worden gedaan in het licht van ‘harde’ gegevenheden van deze context, zoals plaats en tijd, maar ook in het licht van ‘zachte’ omstandigheden zoals sociaal-culturele aspecten.
4. Causaliteit heeft een probabilistische betekenis. Dit betekent dat uitspraken over de relatie tussen oorzaak en gevolg worden gedaan in termen van waarschijnlijkheid en voorwaardelijkheid. Als men stelt dat interventie A gedrag B tot gevolg heeft, dan moet dit beschreven worden al dat als men interventie A toepast, het effect B waarschijnlijker is dan als deze interventie niet zou worden toegepast.

Wat wordt er bedoeld met validiteit?

Er zijn twee soorten validiteit, namelijk interne en externe validiteit.

Interne validiteit gaat over de geldigheid van de conclusies over de relatie tussen een interventie en een effect. Hierbij is het van belang dat alternatieve verklaringen voor de gemeten veranderingen uitgesloten kunnen worden. Hoe hoger de interne validiteit, hoe hoger de zekerheid dat de interventie de oorzaak is van de gewenste veranderingen. Er zijn een aantal factoren die de interne validiteit kunnen verstoren:

• Geschiedenis. Een verandering kan worden verklaard door gebeurtenissen die tijdens de interventie plaatsvinden. Zo kan het zijn dat iemand verhuist, een nieuwe leerkracht krijgt, of dat iemands moeder hertrouwt. Dit kan invloed hebben op het gedrag van cliënten.
• Rijping. Kinderen kunnen over hun problemen heen groeien, ouders kunnen mettertijd wijzer worden, of iemand kan spontaan herstellen.
• Testgewenning. Deelname aan een eerste meting van een interventie kan scores op de nameting doen uitvallen. Dit heet testgewenning en het is een soort leereffect. Het kan dus vooral effect hebben bij prestatietaken.
• Instrumentatie. De scoring van een instrument (vragenlijst) kan mettertijd veranderen. Dit betekent niet altijd dat de problemen minder zijn geworden, maar dat de invullers (ouders, behandelaars) hun invultaak anders uitvoeren door bijvoorbeeld vermoeidheid.
• Statistische regressie. Dit treedt op wanneer de scores op een instrument bij de eerste meting erg hoog of laag zijn. Men kan dan bij de tweede meting niet hoger of lager scoren. Hierdoor ontstaat al gauw verandering, wat niet aan de interventie zelf toe te schrijven is.
• Selectieve uitval. Sommige cliënten vallen uit van de behandeling. Het is een probleem als 20% van de uitval niet willekeurig is, maar juist selectief. Dit betekent dat vooral mensen met ernstige problemen uitvallen. Hierdoor kan het gemiddelde van de tweede meting lager uitvallen, zonder dat er in de groep verder iets veranderd is.
• Cliëntselectie. Dit houdt in dat niet de interventie het effect veroorzaakt, maar het gegeven dat onbedoeld een groep cliënten is ingestroomd die van elke soort hulp wel zouden profiteren. Dit zijn bijvoorbeeld cliënten met een hogere opleiding of cliënten die extra gemotiveerd zijn. Het probleem dat hierbij ontstaat is dat de interventie wel effect heeft, maar dat een andere (kortere of goedkopere) interventie net zo goed effect had kunnen hebben.
• Behandelaarselectie. Dit gaat over behandelaars die geloven in hun behandeling, die er voor gaan. Vaak boeken deze behandelaars wel succes, maar de door hen opgeleide tweede en derde generatie behandelaars al niet meer, of veel minder. Het is dan dus niet de interventie dat het effect veroorzaakt, maar de behandelaar.

Externe validiteit gaat over de generaliseerbaarheid van de onderzoeksbevindingen. Het gaat dus om de vraag of de resultaten ook gelden voor situaties buiten het onderzoek, bijvoorbeeld bij andere populaties, op andere tijdstippen en in andere situaties.

Hoe kan men storende factoren uitsluiten?

Om er voor te zorgen dat de conclusie over het effect van de interventie zo zeker mogelijk is te trekken, zijn er een aantal manieren om factoren die de interne validiteit van een onderzoek bedreigen, uit te sluiten of onder controle te krijgen. Er zijn hier twee methoden voor, namelijk designcontrole en statische controle. Bij designcontrole vindt er controle plaats vooraf, door bij het onderzoeksontwerp expliciet rekening te houden met de invloed van een aantal bekende storende factoren. De onderzoeker creëert onderzoekscondities die de invloed van deze storende variabelen op de uitkomsten zoveel mogelijk voorkomen. Bij statistische controle, de fase waarin onderzoeksgegevens worden geanalyseerd, wordt de invloed van storende variabelen gecorrigeerd. Controle vindt hier achteraf plaats. Storende variabelen worden dus wel meegenomen in het onderzoek. Ook is het van belang om in de interventietheorie aandacht te besteden aan de zowel de werkzame factoren van de interventie, als de variabelen die de verklaring van het effect kunnen vertroebelen.

Hoe kan men de interne validiteit beoordelen?

Er zijn zes criteria om de interne validiteit te beoordelen:

1. De consistentie van de relatie. Als een bepaalde interventie bij verschillende omstandigheden (verschillende populaties, verschillende contexten, verschillende variaties van de interventie) een consistent patroon van resultaten laat zien, dan kan men hieruit concluderen dat de interventie effect heeft
2. Volgorde van gebeurtenissen. Een belangrijk criterium is dat de uitvoering van de interventie (de onafhankelijke variabele) vooraf moet gaan aan het moment waarop de uitkomsten (afhankelijke variabelen) worden gemeten.
3. Statistische relatie. Er dient een statistische relatie te zijn tussen de uitvoering van de interventie en de uitkomsten van de ingreep. Hoe sterker of groter dit verband is, hoe waarschijnlijker het is dat de relatie een ‘echt’ effect is.
4. Dosis-respons relatie. Dit criterium, dat is ontleend aan medisch onderzoek, verwijst naar het verband tussen de mate waarin cliënten de interventie ‘ondergaan’, en de uitkomsten die bij hen worden gemeten. Een hogere dosis vertaalt zich in een gunstigere respons, en dit geldt als extra bewijs voor een causaal verband tussen interventie en effect.
5. Specificiteit van de relatie. Hierbij gaat het om de precieze formulering van de veranderingen die als gevolg van de interventie worden verwacht op specifieke gebieden of bij specifieke groepen. Als dit soort veranderingen dan worden gemeten en er geen veranderingen worden gemeten op andere gebieden, dan kan dit ook gelden als ondersteuning van de causale relatie tussen interventie en effect.
6. Samenhangend patroon van bevindingen (coherentie). Dit criterium gaat over de vraag of onderzoeksbevindingen passen op de interventietheorie (goodness of fit). Men moet kunnen vaststellen dat interventies daadwerkelijk zijn uitgevoerd bij de beoogde doelgroep en dat deze interventies de gewenste uitkomsten hebben opgeleverd.

Als onderzoeken aan één van deze criteria voldoen, dan biedt dat al een basis voor het bewijs dat de interventie een effect heeft. Aan hoe meer criteria wordt voldaan, hoe meer zekerheid er ontstaat over de causale relatie.

Wat zijn andere factoren die invloed kunnen hebben?

Er zijn dus verschillende manieren beschikbaar om effectiviteit te kunnen bewijzen. Er is niet één vaste manier. Elke onderzoeker, manager, of opdrachtgever moet hierin zijn eigen afwegingen maken. Bij voorbereiding op elk onderzoek moeten de betrokkenen vaststellen wat praktisch haalbaar is, wat inhoudelijk wenselijk is en wat methodologisch vereist is. Hierbij kunnen zijn de volgende vragen gebruiken:

1. Wat is de onderzoeksvraag of -opdracht? Moet er in termen van causaliteit worden gerapporteerd?
2. Is er voldoende budget om een omvangrijk experimenteel onderzoek (zoals gerandomiseerde gecontroleerde studies) uit te voeren?
3. Wat is de status van de interventie? Is het goed gedocumenteerd, methodisch en theoretisch volledig uitgewerkt?
4. Is het mogelijk om controle- of vergelijkingsgroepen samen te stellen?
5. Is het ethisch aanvaardbaar om de controle- of vergelijkingsgroepen de interventie geheel of gedeeltelijk te onthouden?
6. Is randomisatie mogelijk?
7. Is het mogelijk om een voor- of nulmeting te doen?
8. Is al eerder onderzoek gedaan naar de uitkomsten van de interventie, of naar een soortgelijke vorm?

Als er op de eerste zeven vragen ‘nee’ wordt geantwoord, dan is het van belang om een niet-experimenteel onderzoekdesign toe te passen. Naarmate er meer vragen met ‘ja’ worden beantwoord, kan men quasi-experimenteel en uiteindelijk experimenteel onderzoek (met gerandomiseerde gecontroleerde studies) uitvoeren. De laatste vraag heeft een andere achtergrond. Een bevestigend antwoord kan betekenen dat men kan profiteren van elders opgebouwde kennis over de causale relatie tussen interventie en effect. Als dat zo is, dan legt dit minder druk op de interne validiteit.

Bulletpoints

Wat is causaliteit?

• Binnen wetenschappelijk interventie-onderzoek is men met betrekking tot causaliteit gericht in het vinden van een oorzakelijk verband tussen twee variabelen, namelijk de interventie (de onafhankelijke variabele) en het gedrag, de cognitie, het gevoel, of de situatie waarop die interventie invloed moet uitoefenen (de afhankelijke variabele).

Er zijn vier aspecten die belangrijk zijn voor het hedendaags denken over causaliteit:

1. De rol van diegene die het effect nastreeft. Deze persoon probeert door middel van de interventie, weloverwogen en doelbewust bepaalde gebeurtenissen en processen te beïnvloeden en te sturen. De interventie is dus gebaseerd op specifieke verwachtingen over de causale relatie tussen de interventie en de gevolgen daarvan.
2. De benadering is multicausaal. Dit houdt in dat de belangstelling verder gaat dan één onafhankelijke variabele (de interventie) de afhankelijke variabele (het effect) beïnvloedt. Er is dus aandacht voor meerdere variabelen, die ook van invloed kunnen zijn op het effect.
3. Er moet expliciet rekening worden gehouden met de context waarbinnen het onderzoek naar causale verbanden plaatsvindt. Dit wordt het causaal veld genoemd. Uitspraken over causaliteit worden gedaan in het licht van ‘harde’ gegevenheden van deze context, zoals plaats en tijd, maar ook in het licht van ‘zachte’ omstandigheden zoals sociaal-culturele aspecten.
4. Causaliteit heeft een probabilistische betekenis. Dit betekent dat uitspraken over de relatie tussen oorzaak en gevolg worden gedaan in termen van waarschijnlijkheid en voorwaardelijkheid. Als men stelt dat interventie A gedrag B tot gevolg heeft, dan moet dit beschreven worden al dat als men interventie A toepast, het effect B waarschijnlijker is dan als deze interventie niet zou worden toegepast.

Wat wordt er bedoeld met validiteit?

• Er zijn twee soorten validiteit, namelijk interne en externe validiteit.
• Interne validiteit gaat over de geldigheid van de conclusies over de relatie tussen een interventie en een effect. Hierbij is het van belang dat alternatieve verklaringen voor de gemeten veranderingen uitgesloten kunnen worden. Hoe hoger de interne validiteit, hoe hoger de zekerheid dat de interventie de oorzaak is van de gewenste veranderingen. 
• Externe validiteit gaat over de generaliseerbaarheid van de onderzoeksbevindingen. Het gaat dus om de vraag of de resultaten ook gelden voor situaties buiten het onderzoek, bijvoorbeeld bij andere populaties, op andere tijdstippen en in andere situaties.

Hoe kan men de interne validiteit beoordelen?

Er zijn zes criteria om de interne validiteit te beoordelen:

1. De consistentie van de relatie. Als een bepaalde interventie bij verschillende omstandigheden (verschillende populaties, verschillende contexten, verschillende variaties van de interventie) een consistent patroon van resultaten laat zien, dan kan men hieruit concluderen dat de interventie effect heeft
2. Volgorde van gebeurtenissen. Een belangrijk criterium is dat de uitvoering van de interventie (de onafhankelijke variabele) vooraf moet gaan aan het moment waarop de uitkomsten (afhankelijke variabelen) worden gemeten.
3. Statistische relatie. Er dient een statistische relatie te zijn tussen de uitvoering van de interventie en de uitkomsten van de ingreep. Hoe sterker of groter dit verband is, hoe waarschijnlijker het is dat de relatie een ‘echt’ effect is.
4. Dosis-respons relatie. Dit criterium, dat is ontleend aan medisch onderzoek, verwijst naar het verband tussen de mate waarin cliënten de interventie ‘ondergaan’, en de uitkomsten die bij hen worden gemeten. Een hogere dosis vertaalt zich in een gunstigere respons, en dit geldt als extra bewijs voor een causaal verband tussen interventie en effect.
5. Specificiteit van de relatie. Hierbij gaat het om de precieze formulering van de veranderingen die als gevolg van de interventie worden verwacht op specifieke gebieden of bij specifieke groepen. Als dit soort veranderingen dan worden gemeten en er geen veranderingen worden gemeten op andere gebieden, dan kan dit ook gelden als ondersteuning van de causale relatie tussen interventie en effect.
6. Samenhangend patroon van bevindingen (coherentie). Dit criterium gaat over de vraag of onderzoeksbevindingen passen op de interventietheorie (goodness of fit). Men moet kunnen vaststellen dat interventies daadwerkelijk zijn uitgevoerd bij de beoogde doelgroep en dat deze interventies de gewenste uitkomsten hebben opgeleverd.