Naar zinvolle evaluatiemethoden voor community-projecten - Baerveldt - Universiteit Utrecht

Baerveldt

Naar zinvolle evaluatiemethoden voor community-projecten

Inleiding

Micha de Winter: kinderen maken onderdeel uit van samenleving > 2 community-projecten: ‘Allemaal opvoeders (ALOP)’ en ‘Vreedzame wijk (VW)’. ALOP: gericht op samenbrengen van zoveel mogelijk partijen voor een gedeelde pedagogische aanpak in buurten. VW: conflicthantering door kinderen zelf, grotere deelname van kinderen aan besluitvorming.

De Roethof-projecten en hun evaluatie

Roethof (1990): bedoeld om criminaliteit te bestrijden via buurtaanpak (via bijv. weerbaarheidscursussen vrouwen, groepsactiviteiten jongeren). Deze projecten hadden een ‘soft’ imago > er werd meta-evaluatie uitgevoerd voor evaluatie van de projecten (zonder duidelijke criteria) > verwachte effecten van strategische keuzes op criminaliteit leken moeilijk aantoonbaar. Maar, post hoc conclusies: projecten met meer inzet en middelen bleken effectiever. De rapportage riep vragen op over kwaliteit van evaluaties: externe evaluaties (onafhankelijke onderzoekers) vonden drie keer zoveel knelpunten dan de interne evaluaties (managers) > er kwamen eisen aan evaluaties (veel overeenkomend met voorwaarden voor quasi-experimenteel onderzoek).

Het quasi-experimentele design in de Nederlandse sociale wetenschappen

Cook en Campell kwamen met de term ‘quasi-experimenteel’: het idee was dat onderzoek naar effecten in interventies gebruik kon maken van de methoden die in laboratoria gebruikt werden. Probleem was echter dat veldonderzoek niet kon voldoen aan strenge voorwaarden van experimenteel onderzoek.

Basisidee quasi-experimenteel onderzoek:

  • X > Y

Mogelijkheid om schijneffecten te vinden (validity problems)

    • Maturation probleem.

      • Oplossing: het gedrag van de jongeren in de interventie vergelijken met een groep leeftijdsgenoten.
    • Regressie naar het midden: winkeldiefstal gaat vaak op en neer in golven. Een golf naar beneden tijdens een interventie kan onterecht gezien worden als een effect van de interventie.
    • De inhoud (X) van de interventie kan veranderen tijdens het onderzoek > onduidelijk waar een eventueel effect op Y vandaan komt; van de interventie in het begin, die aan het eind, of ergens daartussen.
  • Oplossingen: veel problemen kunnen worden voorkomen door winkeldiefstal van jongeren voor en na de interventie te meten en die naast metingen te leggen van soortgelijke jongeren. > wat is soortgelijk? > jongeren indien mogelijk random indelen voor interventie.
  • Methodologische criteria bewegen steeds meer richting quasi-experimenteel onderzoek + onderzoeksopzet zelf moet al zoveel mogelijk soorten validiteitsproblemen voorkomen.

Het evaluatieonderzoek van community-projecten

VW en ALOP vergelijken

VW:

  • Doel: sociale samenhang in buurt bevorderen
  • Ingezette interventie: verspreiding en brede toepassing van een op basisscholen ontwikkelde methodiek voor verbetering van conflicthantering en participatie door kinderen.
    • Concrete activiteiten: methodiekverspreiding en bevordering samenwerking professionals van verschillende instellingen.

ALOP

  • Doel: bevorderen dat burgers (meer) bereid zijn om de opvoeding van kinderen te delen met anderen.
  • Ingezette middel: stimuleren door contacten te bevorderen tussen ouders en anderen met een (informele) opvoedersrol.

Evaluatie: methoden wijken op drie punten af van academische traditie:

  1. Er wordt geen quasi-experimenteel design gebruikt (niet gericht op aantonen van effecten op uitkomstvariabele Y).

    1. Er wordt wel gekeken naar uitkomsten, maar andere variabelen spelen een veel grotere rol. Ook ontbreekt er een controlegroep.
  2. Doelen zijn niet summatief (achteraf een oordeel kunnen vellen, positief oordeel als voorwaarde voor opstarten soortgelijke projecten), maar formatief: ze zijn bedoeld om kennis aan te leveren die de lopende projecten kan verbeteren.
    1. Summatief kan ook lopende projecten verbeteren, maar is veel trager: voormeting en resultaten pas beschikbaar na nameting. Formatief onderzoek is meestal nuttiger als resultaten real-time binnenkomen.
  3. Er is sprake van gemengde methoden van dataverzameling, met nadruk op kwalitatieve methoden. Quasi-experimenteel onderzoek is meestal kwantitatief: uitkomstvariabele gebaseerd op response vanuit vastgelegde antwoordcategorieën. Kwalitatief: bijv. interviews, focusgroepen, observaties.

Waarom geen quasi-experimenteel effectonderzoek?

Problemen bij het toepassen van quasi-experimenteel onderzoek:

  1. Statistische problemen: gebruikelijke statistische testen zijn niet geschikt voor evaluatie van community-projecten en kunnen zowel de kans op een effect als de grootte van dat effect fout inschatten.

    1. Statistische testen gaan ervanuit dat gedrag niet met elkaar samenhangt. Community-project: juist wederzijdse beïnvloeding van gedrag.
    2. Kortetermijneffecten van community-projecten zijn klein > statistische power klein: het aantal deelnemers aan onderzoek moet veel groter zijn.
  2. Modelleringsproblemen: Y: X > Y. maar: bij community-projecten is de X niet constant. Inhoud van projecten staat niet bij voorbaat vast.
    1. Oplossing: zeer regelmatig zowel de inhoud (X) als de uitkomsten (Y) te meten. Opnieuw lijken echter hoge kosten en nieuwe validiteitsproblemen (bijv. onderzoeksmoeheid deelnemers) het onderzoek in de weg te staan.
  3. Bij community-projecten is het praktisch niet mogelijk te voldoen aan alle criteria voor quasi-experimenteel effectonderzoek. Zo kan je buurten niet met elkaar vergelijken.
  4. Het is niet goed mogelijk om de resultaten van quasi-experimenteel effectonderzoek te interpreteren. Effectonderzoek is summatief: lering voor toekomst. Maar bij de projecten is dat niet mogelijk: het effect kan afhangen van een te groot aantal factoren. Daarom is niet duidelijk wat uit effectieve projecten ‘gekopieerd’ moet worden naar nieuwe projecten.

Mogelijkheden voor effectonderzoek: meer maatwerk en meer kans

Meer wetenschappelijk maatwerk en potentieonderzoek zijn alternatieven die sturing o.b.v. evaluatie meer mogelijk maken.

  • Wetenschappelijk maatwerk: het evaluatieonderzoek houdt alleen rekening met de validiteitsproblemen die gezien de aard van de interventie waarschijnlijk zijn. Dit werkt echter alleen nog niet goed: quasi-experimenteel onderzoek is gericht op het streven naar het perfecte onderzoeksdesign. Praktisch gezien is deze standaard overkill en contraproductief: omdat het meestal niet haalbaar is, krijgen effectonderzoeken zelf vaker de onvoldoendes dan de onderzochte interventies. Er is echter geen wetenschappelijke reden voor dit streven naar de gouden standaard.
  • Potentieonderzoek: projecten worden beoordeeld op hun potentiële effect i.p.v. op hun (onmeetbare) werkelijke effect.

Van evaluatie van community-projecten naar evaluatie van jeugdnetwerken

  1. Het gaat niet om de projecten die moeten worden geëvalueerd, maar om de relatie tussen kinderen en het netwerk van alle mogelijke relevante instellingen en personen om hen heen. De doelstellingen van de community-projecten zijn helaas minder inhoudelijk en veel meer procesgericht geworden. Het gaat er echter uiteindelijk niet om of de interventies in het projectief effect zijn, maar of de community effectief is.
  2. De omvang (het domein) van de X kan niet goed gedefinieerd worden binnen een project. Een deel van de zelfstandige organisaties die om kinderen speelt, blijven onzichtbaar zolang evaluaties gaan over projecten. Projectevaluaties laten niet zien wat er voor het kind ontbreekt, omdat dat domweg niet zichtbaar is voor de deelnemende organisaties in het project.
  3. De evaluatiemethode moet in lijn komen met het principe van empowerment in community projecten. De evaluaties moeten gaan over de ervaringen van kinderen (en andere burgers) met het netwerk om hen heen.

Voorstel: de primaire focus van inhoud van community-evaluaties van het project verleggen naar ervaringen van kinderen met de jeugdnetwerken: het gehele netwerk van personen en instanties om hen heen. Kwaliteit van community wordt getoetst door criteria die voor kinderen belangrijk zijn en het hele netwerk als een geheel betrekken. Community-verbetering zou er niet op gericht moeten zijn om een bepaalde aanpak uit te rollen over een wijk, maar om ervoor te zorgen dat aan deze criteria voor kinderen wordt voldaan. Summatief onderzoek is daarbij nodig om aan te geven wat de actuele kwaliteit is van het netwerk voor kinderen.

Conclusie

Image

Access: 
Public

Image

Join WorldSupporter!
This content is used in:

PPOB - Artikelen - Universiteit Utrecht

Search a summary

Image

 

 

Contributions: posts

Help other WorldSupporters with additions, improvements and tips

Add new contribution

CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
Image CAPTCHA
Enter the characters shown in the image.

Image

Spotlight: topics

Check the related and most recent topics and summaries:
Institutions, jobs and organizations:
This content is also used in .....

Image

Check how to use summaries on WorldSupporter.org

Online access to all summaries, study notes en practice exams

How and why use WorldSupporter.org for your summaries and study assistance?

  • For free use of many of the summaries and study aids provided or collected by your fellow students.
  • For free use of many of the lecture and study group notes, exam questions and practice questions.
  • For use of all exclusive summaries and study assistance for those who are member with JoHo WorldSupporter with online access
  • For compiling your own materials and contributions with relevant study help
  • For sharing and finding relevant and interesting summaries, documents, notes, blogs, tips, videos, discussions, activities, recipes, side jobs and more.

Using and finding summaries, notes and practice exams on JoHo WorldSupporter

There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.

  1. Use the summaries home pages for your study or field of study
  2. Use the check and search pages for summaries and study aids by field of study, subject or faculty
  3. Use and follow your (study) organization
    • by using your own student organization as a starting point, and continuing to follow it, easily discover which study materials are relevant to you
    • this option is only available through partner organizations
  4. Check or follow authors or other WorldSupporters
  5. Use the menu above each page to go to the main theme pages for summaries
    • Theme pages can be found for international studies as well as Dutch studies

Do you want to share your summaries with JoHo WorldSupporter and its visitors?

Quicklinks to fields of study for summaries and study assistance

Main summaries home pages:

Main study fields:

Main study fields NL:

Follow the author: AnnevanVeluw
Work for WorldSupporter

Image

JoHo can really use your help!  Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world

Working for JoHo as a student in Leyden

Parttime werken voor JoHo

Statistics
1202