Naar zinvolle evaluatiemethoden voor community-projecten - Baerveldt - Universiteit Utrecht

Baerveldt

Naar zinvolle evaluatiemethoden voor community-projecten

Inleiding

Micha de Winter: kinderen maken onderdeel uit van samenleving > 2 community-projecten: ‘Allemaal opvoeders (ALOP)’ en ‘Vreedzame wijk (VW)’. ALOP: gericht op samenbrengen van zoveel mogelijk partijen voor een gedeelde pedagogische aanpak in buurten. VW: conflicthantering door kinderen zelf, grotere deelname van kinderen aan besluitvorming.

De Roethof-projecten en hun evaluatie

Roethof (1990): bedoeld om criminaliteit te bestrijden via buurtaanpak (via bijv. weerbaarheidscursussen vrouwen, groepsactiviteiten jongeren). Deze projecten hadden een ‘soft’ imago > er werd meta-evaluatie uitgevoerd voor evaluatie van de projecten (zonder duidelijke criteria) > verwachte effecten van strategische keuzes op criminaliteit leken moeilijk aantoonbaar. Maar, post hoc conclusies: projecten met meer inzet en middelen bleken effectiever. De rapportage riep vragen op over kwaliteit van evaluaties: externe evaluaties (onafhankelijke onderzoekers) vonden drie keer zoveel knelpunten dan de interne evaluaties (managers) > er kwamen eisen aan evaluaties (veel overeenkomend met voorwaarden voor quasi-experimenteel onderzoek).

Het quasi-experimentele design in de Nederlandse sociale wetenschappen

Cook en Campell kwamen met de term ‘quasi-experimenteel’: het idee was dat onderzoek naar effecten in interventies gebruik kon maken van de methoden die in laboratoria gebruikt werden. Probleem was echter dat veldonderzoek niet kon voldoen aan strenge voorwaarden van experimenteel onderzoek.

Basisidee quasi-experimenteel onderzoek:

• X > Y

Mogelijkheid om schijneffecten te vinden (validity problems)

• • Maturation probleem.
    • Oplossing: het gedrag van de jongeren in de interventie vergelijken met een groep leeftijdsgenoten.
  • Regressie naar het midden: winkeldiefstal gaat vaak op en neer in golven. Een golf naar beneden tijdens een interventie kan onterecht gezien worden als een effect van de interventie.
  • De inhoud (X) van de interventie kan veranderen tijdens het onderzoek > onduidelijk waar een eventueel effect op Y vandaan komt; van de interventie in het begin, die aan het eind, of ergens daartussen.
• Oplossingen: veel problemen kunnen worden voorkomen door winkeldiefstal van jongeren voor en na de interventie te meten en die naast metingen te leggen van soortgelijke jongeren. > wat is soortgelijk? > jongeren indien mogelijk random indelen voor interventie.
• Methodologische criteria bewegen steeds meer richting quasi-experimenteel onderzoek + onderzoeksopzet zelf moet al zoveel mogelijk soorten validiteitsproblemen voorkomen.

Het evaluatieonderzoek van community-projecten

VW en ALOP vergelijken

VW:

• Doel: sociale samenhang in buurt bevorderen
• Ingezette interventie: verspreiding en brede toepassing van een op basisscholen ontwikkelde methodiek voor verbetering van conflicthantering en participatie door kinderen.
  
  • Concrete activiteiten: methodiekverspreiding en bevordering samenwerking professionals van verschillende instellingen.

ALOP

• Doel: bevorderen dat burgers (meer) bereid zijn om de opvoeding van kinderen te delen met anderen.
• Ingezette middel: stimuleren door contacten te bevorderen tussen ouders en anderen met een (informele) opvoedersrol.

Evaluatie: methoden wijken op drie punten af van academische traditie:

1. Er wordt geen quasi-experimenteel design gebruikt (niet gericht op aantonen van effecten op uitkomstvariabele Y).
   1. Er wordt wel gekeken naar uitkomsten, maar andere variabelen spelen een veel grotere rol. Ook ontbreekt er een controlegroep.
2. Doelen zijn niet summatief (achteraf een oordeel kunnen vellen, positief oordeel als voorwaarde voor opstarten soortgelijke projecten), maar formatief: ze zijn bedoeld om kennis aan te leveren die de lopende projecten kan verbeteren.
   
   1. Summatief kan ook lopende projecten verbeteren, maar is veel trager: voormeting en resultaten pas beschikbaar na nameting. Formatief onderzoek is meestal nuttiger als resultaten real-time binnenkomen.
3. Er is sprake van gemengde methoden van dataverzameling, met nadruk op kwalitatieve methoden. Quasi-experimenteel onderzoek is meestal kwantitatief: uitkomstvariabele gebaseerd op response vanuit vastgelegde antwoordcategorieën. Kwalitatief: bijv. interviews, focusgroepen, observaties.

Waarom geen quasi-experimenteel effectonderzoek?

Problemen bij het toepassen van quasi-experimenteel onderzoek:

1. Statistische problemen: gebruikelijke statistische testen zijn niet geschikt voor evaluatie van community-projecten en kunnen zowel de kans op een effect als de grootte van dat effect fout inschatten.
   1. Statistische testen gaan ervanuit dat gedrag niet met elkaar samenhangt. Community-project: juist wederzijdse beïnvloeding van gedrag.
   2. Kortetermijneffecten van community-projecten zijn klein > statistische power klein: het aantal deelnemers aan onderzoek moet veel groter zijn.
2. Modelleringsproblemen: Y: X > Y. maar: bij community-projecten is de X niet constant. Inhoud van projecten staat niet bij voorbaat vast.
   
   1. Oplossing: zeer regelmatig zowel de inhoud (X) als de uitkomsten (Y) te meten. Opnieuw lijken echter hoge kosten en nieuwe validiteitsproblemen (bijv. onderzoeksmoeheid deelnemers) het onderzoek in de weg te staan.
3. Bij community-projecten is het praktisch niet mogelijk te voldoen aan alle criteria voor quasi-experimenteel effectonderzoek. Zo kan je buurten niet met elkaar vergelijken.
4. Het is niet goed mogelijk om de resultaten van quasi-experimenteel effectonderzoek te interpreteren. Effectonderzoek is summatief: lering voor toekomst. Maar bij de projecten is dat niet mogelijk: het effect kan afhangen van een te groot aantal factoren. Daarom is niet duidelijk wat uit effectieve projecten ‘gekopieerd’ moet worden naar nieuwe projecten.

Mogelijkheden voor effectonderzoek: meer maatwerk en meer kans

Meer wetenschappelijk maatwerk en potentieonderzoek zijn alternatieven die sturing o.b.v. evaluatie meer mogelijk maken.

• Wetenschappelijk maatwerk: het evaluatieonderzoek houdt alleen rekening met de validiteitsproblemen die gezien de aard van de interventie waarschijnlijk zijn. Dit werkt echter alleen nog niet goed: quasi-experimenteel onderzoek is gericht op het streven naar het perfecte onderzoeksdesign. Praktisch gezien is deze standaard overkill en contraproductief: omdat het meestal niet haalbaar is, krijgen effectonderzoeken zelf vaker de onvoldoendes dan de onderzochte interventies. Er is echter geen wetenschappelijke reden voor dit streven naar de gouden standaard.
• Potentieonderzoek: projecten worden beoordeeld op hun potentiële effect i.p.v. op hun (onmeetbare) werkelijke effect.

Van evaluatie van community-projecten naar evaluatie van jeugdnetwerken

1. Het gaat niet om de projecten die moeten worden geëvalueerd, maar om de relatie tussen kinderen en het netwerk van alle mogelijke relevante instellingen en personen om hen heen. De doelstellingen van de community-projecten zijn helaas minder inhoudelijk en veel meer procesgericht geworden. Het gaat er echter uiteindelijk niet om of de interventies in het projectief effect zijn, maar of de community effectief is.
2. De omvang (het domein) van de X kan niet goed gedefinieerd worden binnen een project. Een deel van de zelfstandige organisaties die om kinderen speelt, blijven onzichtbaar zolang evaluaties gaan over projecten. Projectevaluaties laten niet zien wat er voor het kind ontbreekt, omdat dat domweg niet zichtbaar is voor de deelnemende organisaties in het project.
3. De evaluatiemethode moet in lijn komen met het principe van empowerment in community projecten. De evaluaties moeten gaan over de ervaringen van kinderen (en andere burgers) met het netwerk om hen heen.

Voorstel: de primaire focus van inhoud van community-evaluaties van het project verleggen naar ervaringen van kinderen met de jeugdnetwerken: het gehele netwerk van personen en instanties om hen heen. Kwaliteit van community wordt getoetst door criteria die voor kinderen belangrijk zijn en het hele netwerk als een geheel betrekken. Community-verbetering zou er niet op gericht moeten zijn om een bepaalde aanpak uit te rollen over een wijk, maar om ervoor te zorgen dat aan deze criteria voor kinderen wordt voldaan. Summatief onderzoek is daarbij nodig om aan te geven wat de actuele kwaliteit is van het netwerk voor kinderen.

Conclusie