Introductiecollege Praktijkontwikkeling - Universiteit Utrecht

Hoorcollege 1

Praktijkontwikkeling: het ontwikkelen van programma’s, doen van onderzoek naar effectiviteit van programma’s om daar vervolgens beleid op te kunnen voeren.

Introductie: aanpak pestgedrag OCW (casus)

• Filmpje: 1 op de 10 kinderen wordt gepest > gezamenlijke aanpak om pesten tegen te gaan is nodig. Kinderombudsman: krachten bundelen om pesten tegen te gaan. Belangrijk om echt in de praktijk te kijken wat er kan werken. Plan van aanpak is pas de start. Praten over pesten en het erkennen is belangrijk om er iets aan te kunnen doen.
  • Ministerie OCW wilde een structurele anti-pest aanpak. Een aanpak die zowel pesten zou moeten voorkomen (preventief) maar ook een aanpak wat we moeten doen als pesten aan de orde is (curatief, regulerend). Evidence-based programma’s als uitgangspunt.
  • Programma’s waren nog niet effectief genoemd > start Commissie anti-pestprogramma’s.
• Beoordeling anti-pestprogramma’s: Commissie anti-pestprogramma’s gestart in september 2013 > overleg met OCW, kinderombudsman en Klankgroep > in oktober zijn voorstellen akkoord bevonden. Advies in mei 2014. Rapportage van de commissie voor OCW.
• Criteria en indicatoren Commissie Anti-pestprogramma’s: zie volgende dia’s: theoretische onderbouwing, empirische onderbouwing en randvoorwaarden > evidence-based criteria.
  
  • Consensus over criteria: Delphi-methode aanpak: commissieleden hebben criteria onafhankelijk van elkaar geformuleerd. Ook databanken hebben geïnformeerd voor empirische bewijzen.

Een interventie is evidence-based als de methode ontwikkeld is vanuit wetenschappelijk empirische, en theoretische inzichten en op effectiviteit getoetst is en effectief bevonden is (causaliteit aangetoond). Criterium 1 en 3 > interventie is veelbelovend. De daadwerkelijke effectiviteit zal blijken uit criterium 2. Criterium 1, 2 en 3 > doeltreffend/plausibel/werkzaam.

Criterium 1: het programma is theoretisch goed onderbouwd

• 1.1 Het programma wordt verantwoord met actuele theoretische inzichten die empirisch getoetst zijn.
• 1.2 Er wordt onderbouwd hoe en waarom het programma de doelen bereikt.
• 1.3 In het programma staat dat het gericht is op het voorkomen en/of verminderen van pesten.
• 1.4 Er is een definitie van pesten waarin de verschijningsvormen worden genoemd.
• 1.5 De gebruikers (onderwijsprofessionals en leidinggevenden), doelgroep (leerlingen) en andere betrokkenen (zoals ouders, sportclubs en jeugdhulp) bij het programma zijn omschreven.
• 1.6 Eventuele uitsluitingscriteria en contra-indicaties staan aangegeven.
  • Heeft te maken met de opzet van het programma
• 1.7 Het programma heeft betrekking op de schoolse situatie (in en om de school, in de klas).

Criterium 2: het programma is empirisch adequaat onderbouwd

• 2.1 Er zijn eerste aanwijzingen voor effectiviteit beschikbaar op basis van:

              a. voldoende opgedane praktijkervaringen met het programma

              b. resultaten van empirisch effectonderzoek (er moet sprake zijn van RCT).

• 2.2 In het effectonderzoek is een adequaat onderzoeksdesign gehanteerd.
• 2.3 De metingen zijn verricht met betrouwbare en valide instrumenten.
• 2.4 De beoogde doelgroep is in het onderzoek bereikt.
• 2.5 De veranderingen hebben betrekking op doelen en doelgroep.
• 2.6 Er zijn adequate statistische technieken toegepast.
• 2.7 Er zijn effectgroottes berekend (interventiegroep is significant beter af dan de controlegroep).
• 2.8 De statistische power van de gebruikte toets is voldoende (bijv. de steekproef is groot genoeg om te kunnen generaliseren).

Criterium 3: randvoorwaarden om programma uit te voeren zijn duidelijk

• 3.1 Er is een handleiding van het programma beschikbaar waarin tenminste de volgende elementen zijn beschreven: doelen, leerdoelen, opzet, aanpak, tijdspad, werkvormen, didactische uitgangspunten, rol van de gebruiker, evaluatie, materialen.
• 3.2 In het programma is vastgelegd welke competenties (kennis, vaardigheden) en attitude gevraagd worden van de gebruiker van het programma.
• 3.3 In het programma zijn de randvoorwaarden aangegeven die nodig zijn om het programma goed uit te voeren zoals tijd, geld, middelen, draagvlak en betrokkenheid scholen.
• 3.4 In het programma is aangegeven op welke wijze er is gezorgd, of gezorgd kan worden, voor enthousiasme bij de gebruikers en doelgroep voor het programma.
• 3.5 Er is een systeem van evaluatie van tevredenheid bij gebruikers en doelgroep over het programma beschikbaar, dat interpreteerbare uitkomsten geeft.
  • Hoe het programma gebruikt moet worden. Dus: is het wel goed uitgevoerd? Geen onderdelen overgeslagen?
• 3.6 In het programma wordt beschreven hoe borging van het programma in het schoolbeleid dient te gebeuren.

Beoordelingsschema

• Beoordelingsschema om programma’s te beoordelen > inschatting van theoretische onderbouwing. Alle indicatoren worden even serieus genomen. Ook zijn ze niet geheel van elkaar te onderscheiden, het blijft een inschatting.

Aanpak pestgedrag OCW (gevolg)

• Beoordeling anti-pestprogramma’s: Rapportage van de commissie voor OCW (Wienke et al., 2015). Van de 61 ingediende programma’s waren er 13 ‘kansrijk’.
  • Kansrijk: de programma’s die voorlopig waren goedgekeurd (evidence-based) en programma’s die voorlopig werden afgewezen omdat er nog dingen ontbraken. Geen een programma was helemaal goedgekeurd > water bij de wijn doen > de voor alsnog afgewezen programma’s toevoegen bij de voorlopig goedgekeurde programma’s. 48 programma’s zijn direct afgewezen, voorzien van feedback zodat ze wel weer verder door konden ontwikkelen.
  • Andere kant: effectiviteit zegt niet alles: mediatoren en moderatoren hebben er invloed op.
• Artikel 23: vrijheid van programma’s op school > scholen mogen zelf weten hoe ze voor een sociaal veilige omgeving zorgen.
• 1 augustus 2015 wet Sociale Veiligheid: scholen zijn wettelijk verplicht om voor een sociaal veilige omgeving te zorgen maar mogen dit zelf invullen. Aanstellen aanspreekpunt. Zelf bijhouden van pestgedrag. De Onderwijsinspectie houdt toezicht. (In opleidingen aandacht voor sociale veiligheid en seksuele diversiteit. Leraren krijgen bijscholing over cyberpesten > nooit goed uitgevoerd, moet weer aandacht voor komen).
• Doorontwikkeling en empirisch onderzoek naar de effectiviteit van 10 kansrijke programma’s in 2016 en 2017 (tot jan. 2018) door NRO (Nederlands Regieorgaan Onderwijsonderzoek).
  
  • Geld uitgetrokken om feedbackpunten van de Commissie mee te nemen zodat deze programma’s zouden ontwikkelen tot meer werkzame programma’s.

De volgende anti-pestprogramma’s zijn op hun effecten onderzocht (mei 2015 – januari 2018)

• Dit zijn 10 van de 13 kansrijke programma’s. 3 andere programma’s kwamen niet in aanmerking voor doorontwikkeling, of wilden zelf geen verdere ontwikkeling (Vreedzame School zag zichzelf niet als anti-pest programma).
• De universele programma’s worden schoolbreed uitgevoerd: in de klas, speelplein etc.
• De selectieve programma’s zijn meer individuele trainingen voor kinderen

Aanpak pestgedrag OCW (slot)

• Rapportage van het onderzoekconsortium (o.l.v. NRO) Wat Werkt tegen Pesten & advies naar OCW in mei 2018.
• Beleidsreactie van OCW (2018) Arie Slob (Minister voor Basis- en Voortgezet Onderwijs en Media) op rapport Wat Werkt tegen Pesten (zie literatuur college 9).
• Beoordeling van de resultaten door Commissie Anti-pestprogramma’s van dit grootschalige empirisch effectonderzoek 2016/2017 en het rapport Wat Werkt tegen Pesten.

Beoordeling Commissie Anti-pestprogramma’s

• Bij vier van de 10 programma’s (universele programma’s Omgaan Met Elkaar en Zippy’s Vrienden, en de selectieve programma’s Plezier op School en Sta Sterk op School) bleken er te weinig leerlingen/klassen beschikbaar om enigerlei uitspraken over effectiviteit te kunnen doen.
• Overige 7 programma’s (inclusief toevoeging van KIVA):
  • Prima: een klein effect voor drie van de vier pestmaten (zelfgerapporteerd pesten en nominaties voor gepest worden en pesten). Grote effecten voor nominaties van pesten en gepest worden in klassen met conflicten.
  • Taakspel betreft een universeel programma. Niet specifiek gericht op pesten maar op verbetering van het klassenklimaat. Klein effect voor nominaties voor pesten.
  • KiVa laat binnen één jaar kleine effecten zien voor zelfrapportage van een globale maat voor gepest worden en voor verbaal en relationeel gepest worden. Er zijn geen effecten voor zelfrapportage van fysiek pesten en zelfrapportage van pesten. Nominaties voor gepest worden en pesten zijn niet gemeten.
  • De overige onderzochte programma’s -PAD, SWPBS, Alles Kidzzz, en Kanjertraining- laten géén effecten zien voor pesten (gepest worden en pesten). Interessant is dat bij de Kanjertraining er een (klein) effect is voor zelfrapportage van gepest worden in klassen met veel conflicten.
• Werken die programma’s nou? Zijn we hier tevreden over?

Conclusie onderzoeksconsortium

- Pesten blijkt in het primair onderwijs binnen een schooljaar te kunnen worden verminderd met specifiek op pesten gerichte programma’s. Enkele van de onderzochte programma’s verminderen aspecten van pesten of gedragsproblemen (gedragsproblemen is eigenlijk niet het doel) in de klas. Geen van de programma’s heeft echter effect op alle uitkomstmaten tegelijk. Vooral de specifiek op pesten gerichte universele programma’s PRIMA, in eerder onderzoek KiVa (Veenstra, 2015) en, voor jonge kinderen, Taakspel zijn binnen een jaar effectief tegen aspecten van pesten. De Kanjertraining heeft geen aantoonbaar effect op pesten in het algemeen, maar lijkt op basis van huidig en eerder onderzoek (Vliek, 2015) een effect te kunnen hebben in klassen met veel conflicten (maar het gaat om pesten) , met name wanneer het wordt gegeven door een externe psycholoog. Het specifiek op individuele kinderen met ernstiger gedragsproblemen (het moet om pesten gaan) gerichte selectieve programma Alles Kidzzz vermindert gedragsproblemen volgens de leerkracht sterk.

- Pesten verminderen kan. Nu het mogelijk blijkt om pesten in het primair onderwijs binnen een jaar te verminderen, dient hierop naar onze mening breed te worden ingezet. De huidige resultaten zijn daartoe slechts een eerste stap. Nu we weten dat pesten verminderd kan worden is meer kennis nodig om de bescheiden effecten van programma’s te vergroten en te bestendigen. 

Beleidsreactie van OCW (2018) Arie Slob

• De onderzoekers concluderen dat het mogelijk is om binnen een jaar het pesten te verminderen. Ook concluderen de onderzoekers dat er anti-pestprogramma’s beschikbaar zijn waarvan de effectiviteit is aangetoond. Tegelijkertijd concluderen de onderzoekers dat dat niet geldt voor alle beschikbare methodes. Voor vier van de zeven onderzochte programma’s is de effectiviteit aangetoond.
• [...] Tegelijkertijd baart het me zorgen dat er scholen zijn die werken met niet effectief bewezen anti-pestprogramma’s, of die programma’s niet goed uitvoeren. 
•  […] Ik roep ook de aanbieders van reeds onderzochte en nieuw te ontwikkelen interventies gericht op sociale veiligheid (waaronder antipestprogramma’s) op om zich aan te melden voor opname in de databank “effectieve jeugdinterventies” van het Nederlands Jeugdinstituut (NJI) zodat de kennis over theoretisch en wetenschappelijk goed onderbouwde programma’s ontsloten kan worden voor scholen. Scholen die op zoek zijn naar een voor hun passend programma gericht op pesten of weerbaarheid kunnen deze databank raadplegen.

Conclusie Commissie Anti-pestprogramma’s

• De resultaten zijn heel bescheiden: de effecten van KiVa, PRIMA en Taakspel zijn klein, en geen van de programma’s heeft effect op alle vier de primaire uitkomstmaten tegelijk (pestenzelfrapportage; pesten- genomineerd; gepest-zelfrapportage; gepest-genomineerd).
• Gezien de uitkomsten vindt de commissie één van de conclusies in het Eindrapport van het onderzoekconsortium (7.1, pg 77) te ver gaan: “Pesten blijkt in het primair onderwijs binnen een schooljaar te kunnen worden verminderd met specifiek op pesten gerichte programma’s”. Ook de vaststelling en aanbeveling in het Eindrapport (7.2, pg 88) zijn te stellig: “Nu het mogelijk blijkt om pesten in het primair onderwijs binnen een jaar te verminderen, dient hierop naar onze mening breed te worden ingezet”. Verderop in het Eindrapport 7.2.2 (pg 80) geeft men zelf ook een relativering: “De effecten van de geëvalueerde programma’s zijn op hun best vrij bescheiden en zijn gemiddelde effecten die niet alle leerlingen in alle klassen helpen”.
• In het primair onderwijs kunnen anti-pestprogramma’s zoals PRIMA (volledige versie) en KiVa een bescheiden bijdrage leveren aan het verminderen van pesten. Bij Taakspel vermindert het aantal kinderen dat pest volgens klasgenoten (nominatie) in vergelijking met scholen zonder Taakspel, hoewel het effect klein is.
• De commissie is van mening dat de bescheiden uitkomsten bij de drie programma’s, conform de classificatie die gehanteerd wordt door de landelijke Erkenningscommissie Interventies, beschouwd kunnen worden als ‘eerste aanwijzingen voor effectiviteit’ (trede 3 ‘doeltreffend’).
  • Effectladder: niet om interventies af te breken, maar als ontwikkelingsmodel.

Overige opmerkingen m.b.t. het onderzoek

• Zorgvuldig opgezet en uitgevoerd onderzoek, mede gezien de vele moeilijkheden bij werving van interventie- en controlegroepen.
• Grootschalig en pretentieus onderzoek, uitgevoerd met weinig middelen en in weinig tijd (binnen één schooljaar) > makkelijker voor grote organisaties dan voor kleinere.
• Beoordeling vanuit de meest rigoureuze wetenschappelijke standaarden (zware evidence-based middelen). Nadelen: heel veel programma’s kunnen daaraan niet voldoen. Verdere nadelen artikel Hausman.
• De in 2014 door de commissie gerapporteerde tekortkomingen bij de theoretische onderbouwing in sommige programma’s waren geen onderwerp in het onderzoek van het consortium. Alle eigenaren hebben toegezegd op korte termijn de aanpassingen zichtbaar te maken.
• Opvallend vindt de commissie de bevinding rond programma-integriteit in het onderzoek. Universele programma’s blijken om allerlei redenen maar beperkt te worden uitgevoerd.
• Bij controlegroepen waren verbeteringen zichtbaar. Waarschijnlijk door mediaberichtgeving en omstandigheden. Je kan moeilijk niet doen aan pestpreventie. Misschien hadden die scholen wel een andere aanpak om pesten tegen te gaan.
• De door het consortium ontworpen Monitor Veilig in School is een belangrijke opbrengst van het onderzoek. De Monitor kan prima gebruikt worden om pesten zichtbaar te maken, en toegesneden op de situatie van de school, aan te pakken (voorkomen en verminderen).
• Van Yperen pleit voor meer praktijk-gestuurd onderzoek (RGOi) om de kloof te dichten tussen niks weten (practice-based) en alles weten (evidence-based). Sluit meer aan bij wat er al ligt in de praktijk > verder doorontwikkelen > professional wordt mede-eigenaar van zijn te ontwikkelen programma.

Zie verder: linkjes

• Inhoud van programma’s

Cursus: opzet, inhoud, organisatie

• Wat maakt een programma tot een succesvol programma? Voor wie werkt het? Hoe en waarom werkt een programma?
• Research development perspectief als kern van de overlapping van praktijkontwikkeling, onderzoek en beleid.

Pedagogiek = praktische wetenschap

•    “Een wetenschap, welke haar object niet slechts wil kennen om te weten hoe de dingen zijn, ze wil – wat ze bestudeert – leren kennen om te weten hoe op kortere of langere termijn gehandeld moet worden”.

   (Langeveld, 1979, 1)

• Dienstbare en praktische wetenschap: niet alleen de vraag hoe het zit, maar ook hoe het verder moet. Zo onderscheiden we ons van andere wetenschappelijke disciplines.

Organisatie cursus

• 9 colleges in de eerste maand
• Extensieve werkgroep / spreekuur: donderdag 13.15 – 15.00 uur Bolognalaan zaaltjes (komt te vervallen)
• Literatuur: basisboek Brug et al. (2017) 9^e geheel gewijzigde druk (andere literatuur downloaden van blackboard)
• Subgroepen van 5 studenten voor de eindopdracht. Namen, studentnummers in week 17 mailen naar: i.m.dielwart@uu.nl  Zie protocol eindopdracht bijlage 5.
• Wekelijkse opgaven: vnl. facultatief
• Eindopdracht = verplicht. Maak in week 20 een afspraak met de docent voor kennismaking en voor een eerste bespreking van de eindopdracht. Daarna nog 3 feedbackmomenten
• Expertinterview eventueel houden voor het tentamen (advies!), maar wss niet haalbaar.
• Tentamen op ma. 25/5 (13:30 – 15:00 uur, Beta (Educatorium; wordt take-home)
  • Vanuit casus een analyse van een programma, of vanuit een casus een programma ontwikkelen.
• Inleveren eindverslag uiterlijk 15 juni 2020 (over de mail naar je docent)
• Met subgroep en docent daarna afspraak maken voor evaluatie/beoordeling eindopdracht
• Aanvullende toets: 25 juni 2020, 13.30 -15.00 uur, Olympos HAL 2 (take-home)

Eindopdracht (intro)

• Systematische analyse/evaluatie van een bestaand (zelfgekozen) methodiek / programma / interventie op effectiviteitspotentie a.d.h.v. model voor planmatige gezondheidsvoorlichting (Green & Kreuter, 2005) en het Intervention Mapping Protocol (Bartholomew et al., 2006)
• Zie bijlagen cursushandleiding pag. 15 en verder.

1. Sociale en epidemiologische analyse: ernst, aard en omvang van probleem. Is er wel behoefte aan een programma? Wat zijn de behoeften?
2. Risicofactoren: omgeving, persoon, persoonlijke gedragsfactoren. Verklaring ongewenst gedrag.
3. Bepalen determinanten: op zoek naar een onderbouwing van hoe een programma doelen bereikt. Meer gericht op oplossingen > doelstellingen formuleren.

Eindopdracht

• Analyse van een zelfgekozen programma op algemeen methodische voorwaarden voor effectiviteit (effectiviteitspotentie). Zie vorige dia.
• Expertinterview met interventiedeskundige. Zie topiclijst bijlage 4 cursushandleiding.
• Interview uitschrijven. Geen ‘ehms’ etc. Beperk je tot de essentie. Informatie opdelen naar algemene methodische voorwaarden.
• Kwalitatieve analyse expertinterview inzichten verwerken in de aandachtspunten eindopdracht.
• Format eindopdracht bijlage 1 cursushandleiding.
  • Bijlage 2: zo veel mogelijk overnemen
  • Grote kopje waardering: toelichten waarom je tot een waardering bent gekomen.
• Analyseschema van de eindopdracht (bijlage 2) wordt in het 3^e college besproken. Bijlage 3 is een vrije toelichting op het analyseschema en de beoordelingscriteria.

Start eindopdracht

• Groepjes maken (5 studenten) voor eindopdracht (p. 3 cursushandleiding en protocol bijlage 5)
• Kiezen van een programma voor analyse op effectiviteitspotentie (eerste en tweede voorkeur)
• Zie o.a. bijvoorbeeld databank effectieve jeugdinterventies http://www.nji.nl/nl/Databank/Databank-Effectieve-Jeugdinterventies of https://www.nji.nl/nl/Databank/333436-Databank-Effectieve-Jeugdinterventies-Over-de-databank.html
• Kiezen van een programma voor analyse op effectiviteitspotentie:
  • Niet erkende interventies
  • Interventies op trede 1 (goed beschreven, descriptieve aanwijzingen)
  • In voorbereiding
  • Verwijderd
• Groepssamenstelling en keuze programma via de mail voorleggen aan Isabelle Dielwart: i.m.dielwart@uu.nl
• Na goedkeuring contact opnemen met de programmamaker/ interventiedeskundige / gebruiker en eerste afspraak maken met de werkgroepdocent

Effectiviteit van interventies: effectladder

• Trede 0 = werken met impliciete kennis
• Trede 1 = voorwaardelijk, goed beschreven interventies
• Trede 2 = veelbelovend, theoretisch goed onderbouwde interventies
• Trede 3 = doeltreffende interventies, eerste empirische aanwijzingen
• Trede 4 = plausibel, goede empirische aanwijzingen
• Trede 5 = werkzaam, sterke empirische aanwijzingen

https://www.nji.nl/nl/Kennis/Dossier/Effectieve-jeugdhulp/Effectieve-organisaties/Werken-aan-effectiviteit