Naar zinvolle evaluatiemethoden voor community-projecten - Baerveldt - Universiteit Utrecht
Baerveldt
Naar zinvolle evaluatiemethoden voor community-projecten
Inleiding
Micha de Winter: kinderen maken onderdeel uit van samenleving > 2 community-projecten: ‘Allemaal opvoeders (ALOP)’ en ‘Vreedzame wijk (VW)’. ALOP: gericht op samenbrengen van zoveel mogelijk partijen voor een gedeelde pedagogische aanpak in buurten. VW: conflicthantering door kinderen zelf, grotere deelname van kinderen aan besluitvorming.
De Roethof-projecten en hun evaluatie
Roethof (1990): bedoeld om criminaliteit te bestrijden via buurtaanpak (via bijv. weerbaarheidscursussen vrouwen, groepsactiviteiten jongeren). Deze projecten hadden een ‘soft’ imago > er werd meta-evaluatie uitgevoerd voor evaluatie van de projecten (zonder duidelijke criteria) > verwachte effecten van strategische keuzes op criminaliteit leken moeilijk aantoonbaar. Maar, post hoc conclusies: projecten met meer inzet en middelen bleken effectiever. De rapportage riep vragen op over kwaliteit van evaluaties: externe evaluaties (onafhankelijke onderzoekers) vonden drie keer zoveel knelpunten dan de interne evaluaties (managers) > er kwamen eisen aan evaluaties (veel overeenkomend met voorwaarden voor quasi-experimenteel onderzoek).
Het quasi-experimentele design in de Nederlandse sociale wetenschappen
Cook en Campell kwamen met de term ‘quasi-experimenteel’: het idee was dat onderzoek naar effecten in interventies gebruik kon maken van de methoden die in laboratoria gebruikt werden. Probleem was echter dat veldonderzoek niet kon voldoen aan strenge voorwaarden van experimenteel onderzoek.
Basisidee quasi-experimenteel onderzoek:
- X > Y
Mogelijkheid om schijneffecten te vinden (validity problems)
- Maturation probleem.
- Oplossing: het gedrag van de jongeren in de interventie vergelijken met een groep leeftijdsgenoten.
- Regressie naar het midden: winkeldiefstal gaat vaak op en neer in golven. Een golf naar beneden tijdens een interventie kan onterecht gezien worden als een effect van de interventie.
- De inhoud (X) van de interventie kan veranderen tijdens het onderzoek > onduidelijk waar een eventueel effect op Y vandaan komt; van de interventie in het begin, die aan het eind, of ergens daartussen.
- Maturation probleem.
- Oplossingen: veel problemen kunnen worden voorkomen door winkeldiefstal van jongeren voor en na de interventie te meten en die naast metingen te leggen van soortgelijke jongeren. > wat is soortgelijk? > jongeren indien mogelijk random indelen voor interventie.
- Methodologische criteria bewegen steeds meer richting quasi-experimenteel onderzoek + onderzoeksopzet zelf moet al zoveel mogelijk soorten validiteitsproblemen voorkomen.
Het evaluatieonderzoek van community-projecten
VW en ALOP vergelijken
VW:
- Doel: sociale samenhang in buurt bevorderen
- Ingezette interventie: verspreiding en brede toepassing van een op basisscholen ontwikkelde methodiek voor verbetering van conflicthantering en participatie door kinderen.
- Concrete activiteiten: methodiekverspreiding en bevordering samenwerking professionals van verschillende instellingen.
ALOP
- Doel: bevorderen dat burgers (meer) bereid zijn om de opvoeding van kinderen te delen met anderen.
- Ingezette middel: stimuleren door contacten te bevorderen tussen ouders en anderen met een (informele) opvoedersrol.
Evaluatie: methoden wijken op drie punten af van academische traditie:
- Er wordt geen quasi-experimenteel design gebruikt (niet gericht op aantonen van effecten op uitkomstvariabele Y).
- Er wordt wel gekeken naar uitkomsten, maar andere variabelen spelen een veel grotere rol. Ook ontbreekt er een controlegroep.
- Doelen zijn niet summatief (achteraf een oordeel kunnen vellen, positief oordeel als voorwaarde voor opstarten soortgelijke projecten), maar formatief: ze zijn bedoeld om kennis aan te leveren die de lopende projecten kan verbeteren.
- Summatief kan ook lopende projecten verbeteren, maar is veel trager: voormeting en resultaten pas beschikbaar na nameting. Formatief onderzoek is meestal nuttiger als resultaten real-time binnenkomen.
- Er is sprake van gemengde methoden van dataverzameling, met nadruk op kwalitatieve methoden. Quasi-experimenteel onderzoek is meestal kwantitatief: uitkomstvariabele gebaseerd op response vanuit vastgelegde antwoordcategorieën. Kwalitatief: bijv. interviews, focusgroepen, observaties.
Waarom geen quasi-experimenteel effectonderzoek?
Problemen bij het toepassen van quasi-experimenteel onderzoek:
- Statistische problemen: gebruikelijke statistische testen zijn niet geschikt voor evaluatie van community-projecten en kunnen zowel de kans op een effect als de grootte van dat effect fout inschatten.
- Statistische testen gaan ervanuit dat gedrag niet met elkaar samenhangt. Community-project: juist wederzijdse beïnvloeding van gedrag.
- Kortetermijneffecten van community-projecten zijn klein > statistische power klein: het aantal deelnemers aan onderzoek moet veel groter zijn.
- Modelleringsproblemen: Y: X > Y. maar: bij community-projecten is de X niet constant. Inhoud van projecten staat niet bij voorbaat vast.
- Oplossing: zeer regelmatig zowel de inhoud (X) als de uitkomsten (Y) te meten. Opnieuw lijken echter hoge kosten en nieuwe validiteitsproblemen (bijv. onderzoeksmoeheid deelnemers) het onderzoek in de weg te staan.
- Bij community-projecten is het praktisch niet mogelijk te voldoen aan alle criteria voor quasi-experimenteel effectonderzoek. Zo kan je buurten niet met elkaar vergelijken.
- Het is niet goed mogelijk om de resultaten van quasi-experimenteel effectonderzoek te interpreteren. Effectonderzoek is summatief: lering voor toekomst. Maar bij de projecten is dat niet mogelijk: het effect kan afhangen van een te groot aantal factoren. Daarom is niet duidelijk wat uit effectieve projecten ‘gekopieerd’ moet worden naar nieuwe projecten.
Mogelijkheden voor effectonderzoek: meer maatwerk en meer kans
Meer wetenschappelijk maatwerk en potentieonderzoek zijn alternatieven die sturing o.b.v. evaluatie meer mogelijk maken.
- Wetenschappelijk maatwerk: het evaluatieonderzoek houdt alleen rekening met de validiteitsproblemen die gezien de aard van de interventie waarschijnlijk zijn. Dit werkt echter alleen nog niet goed: quasi-experimenteel onderzoek is gericht op het streven naar het perfecte onderzoeksdesign. Praktisch gezien is deze standaard overkill en contraproductief: omdat het meestal niet haalbaar is, krijgen effectonderzoeken zelf vaker de onvoldoendes dan de onderzochte interventies. Er is echter geen wetenschappelijke reden voor dit streven naar de gouden standaard.
- Potentieonderzoek: projecten worden beoordeeld op hun potentiële effect i.p.v. op hun (onmeetbare) werkelijke effect.
Van evaluatie van community-projecten naar evaluatie van jeugdnetwerken
- Het gaat niet om de projecten die moeten worden geëvalueerd, maar om de relatie tussen kinderen en het netwerk van alle mogelijke relevante instellingen en personen om hen heen. De doelstellingen van de community-projecten zijn helaas minder inhoudelijk en veel meer procesgericht geworden. Het gaat er echter uiteindelijk niet om of de interventies in het projectief effect zijn, maar of de community effectief is.
- De omvang (het domein) van de X kan niet goed gedefinieerd worden binnen een project. Een deel van de zelfstandige organisaties die om kinderen speelt, blijven onzichtbaar zolang evaluaties gaan over projecten. Projectevaluaties laten niet zien wat er voor het kind ontbreekt, omdat dat domweg niet zichtbaar is voor de deelnemende organisaties in het project.
- De evaluatiemethode moet in lijn komen met het principe van empowerment in community projecten. De evaluaties moeten gaan over de ervaringen van kinderen (en andere burgers) met het netwerk om hen heen.
Voorstel: de primaire focus van inhoud van community-evaluaties van het project verleggen naar ervaringen van kinderen met de jeugdnetwerken: het gehele netwerk van personen en instanties om hen heen. Kwaliteit van community wordt getoetst door criteria die voor kinderen belangrijk zijn en het hele netwerk als een geheel betrekken. Community-verbetering zou er niet op gericht moeten zijn om een bepaalde aanpak uit te rollen over een wijk, maar om ervoor te zorgen dat aan deze criteria voor kinderen wordt voldaan. Summatief onderzoek is daarbij nodig om aan te geven wat de actuele kwaliteit is van het netwerk voor kinderen.
Conclusie
Join with a free account for more service, or become a member for full access to exclusives and extra support of WorldSupporter >>
PPOB - Artikelen - Universiteit Utrecht
- Algemeen methodische voorwaarden voor effectiviteit en de effectiviteitspotentie van Nederlandstalige antipestprogramma’s voor het primair onderwijs - Baar - Universiteit Utrecht
- Peer aggression and victimization: Dutch sports coaches’ views and practices - Baar en Wubbels - Universiteit Utrecht
- Machiavellianism in children in Dutch elementary schools and sports clubs - Baar en Wubbels - Universiteit Utrecht
- Naar zinvolle evaluatiemethoden voor community-projecten - Baerveldt - Universiteit Utrecht
- How Moroccan-Dutch parents learn in communities of practice: Evaluating a bottom-up parenting programme - Beurden - Universiteit Utrecht
- Planmatige bevordering van gezond gedrag - Brug - Universiteit Utrecht
- Wat werkt bij het implementeren van jeugdinterventies? - Daamen - Universiteit Utrecht
- Opvoeden als netwerken in de multi-etnische wijk - De Haan - Universiteit Utrecht
- Wat werkt in het voorkomen van ernstig en persistent delinquent gedrag bij risicojongeren? - De Vries - Universiteit Utrecht
- De effectiviteit van Halt - Ferwerda - Universiteit Utrecht
- Aanpak tegen pesten: wat werkt? - Franken - Universiteit Utrecht
- Implications of Evidence-Based Practice for Community Health - Hausman - Universiteit Utrecht
- The weirdest people in the world? - Henrich - Universiteit Utrecht
- Actieve burgers en actieve professionals in de pedagogische civil society - Kesselring - Universiteit Utrecht
- States of change for moderate-intensity physical activity in deprived neighborhoods - Kloek - Universiteit Utrecht
- Plan van aanpak tegen pesten - ministerie OCW - Universiteit Utrecht
- Opvoedingsondersteuning in de multi-ethnische wijk - Ponzoni - Universiteit Utrecht
- Erkenning van interventies; criteria voor gezamenlijke kwaliteitsbeoordeling - RIVM - Universiteit Utrecht
- Children’s experiences and perceptions of street culture, parental supervision, and parental mediation in an urban neighborhood - Van Dijken - Universiteit Utrecht
- Implementing parenting programmes across cultural contexts: a perspective on the deficit narrative - Van Esch - Universiteit Utrecht
- Naar meer effect: resultaatgerichte ontwikkeling van interventies - Van Yperen - Universiteit Utrecht
- Zicht op effectiviteit - Van Yperen - Universiteit Utrecht
Contributions: posts
Spotlight: topics
PPOB - Artikelen - Universiteit Utrecht
Samenvattingen van de artikelen van het vak 'PPOB' 2019-2020'.
- Lees verder over PPOB - Artikelen - Universiteit Utrecht
- 902 keer gelezen
Online access to all summaries, study notes en practice exams
- Check out: Register with JoHo WorldSupporter: starting page (EN)
- Check out: Aanmelden bij JoHo WorldSupporter - startpagina (NL)
How and why use WorldSupporter.org for your summaries and study assistance?
- For free use of many of the summaries and study aids provided or collected by your fellow students.
- For free use of many of the lecture and study group notes, exam questions and practice questions.
- For use of all exclusive summaries and study assistance for those who are member with JoHo WorldSupporter with online access
- For compiling your own materials and contributions with relevant study help
- For sharing and finding relevant and interesting summaries, documents, notes, blogs, tips, videos, discussions, activities, recipes, side jobs and more.
Using and finding summaries, notes and practice exams on JoHo WorldSupporter
There are several ways to navigate the large amount of summaries, study notes en practice exams on JoHo WorldSupporter.
- Use the summaries home pages for your study or field of study
- Use the check and search pages for summaries and study aids by field of study, subject or faculty
- Use and follow your (study) organization
- by using your own student organization as a starting point, and continuing to follow it, easily discover which study materials are relevant to you
- this option is only available through partner organizations
- Check or follow authors or other WorldSupporters
- Use the menu above each page to go to the main theme pages for summaries
- Theme pages can be found for international studies as well as Dutch studies
Do you want to share your summaries with JoHo WorldSupporter and its visitors?
- Check out: Why and how to add a WorldSupporter contributions
- JoHo members: JoHo WorldSupporter members can share content directly and have access to all content: Join JoHo and become a JoHo member
- Non-members: When you are not a member you do not have full access, but if you want to share your own content with others you can fill out the contact form
Quicklinks to fields of study for summaries and study assistance
Main summaries home pages:
- Business organization and economics - Communication and marketing -International relations and international organizations - IT, logistics and technology - Law and administration - Leisure, sports and tourism - Medicine and healthcare - Pedagogy and educational science - Psychology and behavioral sciences - Society, culture and arts - Statistics and research
- Summaries: the best textbooks summarized per field of study
- Summaries: the best scientific articles summarized per field of study
- Summaries: the best definitions, descriptions and lists of terms per field of study
- Exams: home page for exams, exam tips and study tips
Main study fields:
Business organization and economics, Communication & Marketing, Education & Pedagogic Sciences, International Relations and Politics, IT and Technology, Law & Administration, Medicine & Health Care, Nature & Environmental Sciences, Psychology and behavioral sciences, Science and academic Research, Society & Culture, Tourisme & Sports
Main study fields NL:
- Studies: Bedrijfskunde en economie, communicatie en marketing, geneeskunde en gezondheidszorg, internationale studies en betrekkingen, IT, Logistiek en technologie, maatschappij, cultuur en sociale studies, pedagogiek en onderwijskunde, rechten en bestuurskunde, statistiek, onderzoeksmethoden en SPSS
- Studie instellingen: Maatschappij: ISW in Utrecht - Pedagogiek: Groningen, Leiden , Utrecht - Psychologie: Amsterdam, Leiden, Nijmegen, Twente, Utrecht - Recht: Arresten en jurisprudentie, Groningen, Leiden
JoHo can really use your help! Check out the various student jobs here that match your studies, improve your competencies, strengthen your CV and contribute to a more tolerant world
1202 |
Add new contribution