Scroll down for ENGLISH version
Kulatý stůl pro organizace pracující s mládeží
facilitátoři: Inka Bartošová (Píbilová) a Ondřej Horák
Zastavíte se občas a zamyslíte se nad tím, jaký smysl má vaše činnost? Co se vám daří a proč, co se vám naopak nedaří a co na tom změnit? Tento článek je stručnou sumarizací průběhu kulatého stolu konaného dne 24. 11. 2021. Celkem 14 zástupkyň a zástupců předních českých organizací pracujících s mládeží zde společně s evaluátory diskutovalo, jak vyhodnocovat a plánovat činnost společně s dětmi a mládeží. Účastníci zažili principy participativní evaluace na vlastní kůži, reflektovali příklady využití, výhody participativních přístupů i možnosti, jak principy (více) uplatnit ve svých organizacích.
Klíčová slova: Evaluace, participativní evaluace, emancipativní evaluace, Appreciative Inquiry, World Café, kulatý stůl, práce s mládeží
1/ Teoretický úvod
V úvodní části kulatého stolu facilitátoři – evaluátoři účastníkům představili projekt Youth Impact a definovali základní pojmy (viz dále), aby se v nich sjednotili a mohli s nimi dále pracovat. V závěru základní koncepty ještě jednou shrnuli.
Evaluace je systematické zkoumání kvality nebo hodnoty programu nebo jeho jednotlivých částí.
Participativní evaluace
- Předpokládá plnohodnotné a aktivní zapojení zainteresovaných stran v celém evaluačním procesu. Aktéři se tak přímo podílejí na nastavení evaluace, sběru dat, analýze výstupů, komunikaci hlavních sdělení a/či dalším rozhodování.
- Využívá kvalitativní i kvantitativní metody.
- Evaluátor působí spíše jako partner a kouč (mediátor).
- Nezaměřuje se jen na hodnocení, ale i na lepší porozumění aktérů principům evaluace, zlepšení jejich zapojení do hodnocených procesů a vyšší míru využívání dosažených výsledků.
- Evaluace se tak stává integrální součástí organizace – motivuje zapojené rozvíjet společné činnosti a přispívá k novým dovednostem i změně myšlení.
- Je kritizována pro omezenou vnitřní validitu a obtížnou a časově náročnou aplikaci. Ne vždy je také možné zajistit aktivní účast aktérů a jejich bezproblémovou komunikaci, natož dosažení konsensu s cílem evaluace.
Emancipativní evaluace
- Obdobně jako participativní evaluace je založena na zapojení komunity a pracovníků organizace.
- Zdůrazňuje získání kontroly nad zdroji a roli sebeurčení, což vidí jako klíčové aspekty „zplnomocnění“ a jako cestu k dosahování výsledků.
Příklady participativního / emancipativního zapojení dětí a mládeže:
- Děti samy určí kritéria evaluace, tedy co se chtějí dozvědět.
- Děti po proškolení samy vedou rozhovory s různými aktéry a společně tyto rozhovory vyhodnocují (např. v rámci Metody nejvýznamnější změny).
- Děti jsou společně s ostatními klíčovými aktéry zapojeny do evaluačního workshopu, kde jsou diskutovány hlavní otázky a/nebo předběžné závěry z evaluace a/nebo doporučení. Mají tak možnost přímo ovlivnit a také pochopit další kroky.
World Café
Pro kulatý stůl byla zvolena participativní metoda World Café. Je podrobně popsána například na webových stránkách Centra občanského vzdělávání (www.participativnimetody.cz) nebo na webových stránkách uvedených mezi zdroji na konci článku.
Etiketa kavárny:
Zpomalte, ať máte čas přemýšlet.
Zaměřte se na to nejdůležitější.
Podělte se o své myšlenky a pocity.
Naslouchejte a snažte se porozumět.
Propojujte myšlenky a nápady.
Společně se snažte pochopit podstatu a hlubší otázky.
Buďte hraví, kreslete si, dělejte si společné čitelné poznámky.
Užijte si to!
Appreciative Inquiry
Dale byla představena participativní metoda Appreciative Inquiry. S ní se lze více seznámit např. na stránkách www.scio.cz.
- Jde o filozofii a metodu organizačního i individuálního rozvoje, která staví na silných stránkách, příležitostech a úspěších. Základem je přesvědčení, že v každé organizaci i u každé osoby lze nalézt něco, co funguje, je životaschopné a energizující. Metoda umožňuje hledat toto „pozitivní jádro“ a rozvíjet jej (www.scio.cz, upraveno).
- 5 kroků: Definition (vyjasnění), Discovery (ocenění), Dream (vize), Design (inovace), Destiny (realizace)
2/ Průběh a výstupy diskusí formou World Café
Po úvodním teoretickém bloku (DEFINITION) následovalo krátké ověření potřeb a očekávání účastníků a dále pak již samotné World Café. To bylo strukturováno na základě principů Appreciative Inquiry. Znění základních otázek a shrnutí odpovědí uvádíme níže.
Otázka č. 1 (DISCOVERY): Kdy se účastníkům podařilo aplikovat nějaký princip participativní evaluace?
Valná většina účastníků zmínila, že uskutečněné evaluace měly za cíl ovlivnit další rozhodování. V jejich průběhu proto byly sbírány podněty zapojených aktérů (zaměstnanců, lektorů, dětí). V některých případech měly evaluace skutečně vliv na další kroky organizace. Toto již vnímali účastníci jako určitý stupeň participace. Níže jsou uvedeny některé citace účastníků:
- „uskutečňujeme brífinky po workshopech s lektory – dobrovolníky, jejichž výstupy mají vliv na další průběh aktivit“;
- „využíváme dotazníky s možností navrhovat řešení v rámci chodu asociace“;
- „naši lektoři pomáhají dětem reflektovat, co se dělo při aktivitách“;
- „uskutečňujeme brífinky mezi jednotlivými sekcemi organizace“;
- „výstupy z dotazníkových šetření v průběhu projektu měly vliv na podobu projektu“;
- „realizovali jsme analýzu potřeb / situační analýzu, a to ve skupinkách po 2–3 v terénu, výsledky vedly k nastavení aktivit kurzu“.
Některé organizace sdílely, že přímo zapojovali aktéry např. do tvorby evaluačních kritérií, do sběru dat jako tazatele či do přímého rozhodování o dalším chodu organizace (na valné hromadě):
- „využili jsme metodu Most Significant Change na českých školách – žáci byli zapojení jako respondenti, ti, co spolustanovují kritéria, ti, co příběhy sbírají i ti, co příběhy vybírají“;
- „využili jsme metodu Participative Action Research“;
- „máme sjezdy valné hromady, jejíž jednání mají vliv na fungování organizace“.
V jednom případě byla zmíněna „role play” jako způsob napojení se na žáky a jejich potřeby:
- „realizujeme školení, kdy si lektoři sami zkoušejí aktivity pro žáky“.
Otázka č. 2 (DREAM): Jak by to vypadalo, kdyby naše organizace realizovala participativní evaluaci napříč svou činností? V čem by nám to pomohlo? Co z toho již děláme?
Celkově by dle účastníků došlo k většímu propojení aktérů a větší demokratizaci:
- „všichni jsou součástí procesů a všichni je mohou ovlivnit, dobrá práce s chybou“;
- „došlo by k „demokratizaci“ výstupů evaluace (i práce celkově)“;
- „jsou odstraněny bariéry přístupnosti – kdyby to fungovalo, bylo by méně překážek (menší ‚gap‘ mezi poskytovateli a uživateli) – nástroj integrace“.
Konkrétní projevy vysoké míry participace byly popsány následovně:
- „cílová skupina se podílí na formulaci evaluačních otázek“;
- „ideálně bychom také o našich aktivitách v oblasti participativní evaluace dokázali informovat všechny aktéry i veřejnost“.
Další návrhy se týkaly organizace evaluace a postupů při nastavení interního monitoringu a evaluace:
- „organizace sbírá průřezové hodnoty a data napříč členskými organizacemi (např. týkající se hodnoty dobrovolnické práce)“;
- „v organizaci jsou lidé, kteří se evaluaci věnují a vědí, co dělají; jsou vybalancované kapacity přímé aktivity x evaluace“;
- „jsou stanoveny klíčové indikátory kvality – menší počet je lepší“;
- “konsolidace/decentralizace – projekt – evaluátor – participativní evaluace“.
Pokud by organizace využívaly participativní evaluaci, pomohlo by to dle účastníků:
- „v přilákání dalších členů a dobrovolníků“;
- „ve zlepšení kvality komunikace dopadu veřejnosti“;
- „v přilákání dárců a partnerů“;
- „ve větší motivaci jak organizátorů, tak i cílové skupiny“;
- „toto vše by vedlo k většímu dopadu aktivit“;
Zároveň si byli účastníci vědomi jistých bariér. Navrhli proto, jak se s nimi vypořádat:
- Obava: „Mohlo by to být něco navíc, co už je nad naše kapacity“;
- Řešení: „Vypořádáme se s tím tak, že participativní evaluaci zapojíme do aktivit jako takových.“ (Nepůjde tedy o separátní aktivitu.)
- Obava: „Může se stát toxickým.“
- Řešení: „Ideálně se s tím vypořádáme velmi citlivým řízením.“
- Obava: Časová náročnost, byrokracie.
- Řešení: „Ideálně najdeme efektivní nástroje, které nám s tím pomohou.“
Otázka č. 3 (DESIGN): Jaké inovace bychom mohli v současnosti zavést, abychom zohlednili principy participativní evaluace?
Inovace zohledňující dle účastníků základní stupeň participace:
- „účastníci by mohli vidět výsledky dotazníků“ (tedy co z nich plyne a jaké další kroky plánuje organizace udělat na základě zpětné vazby).
Inovace zohledňující pokročilý stupeň participace:
- „zvědomit si v úvodu ‚sezóny‘ cíle, a to participativně“ (tedy společně s klíčovými aktéry);
- „‚zvnitřnit‘ si to, proč je pro nás důležité evaluovat participativně – způsobit tak, aby nastal posun v kultuře evaluace“;
- „nechat cílovou skupinu spoluformulovat výzkumné otázky“.
Další inovace týkající se evaluací:
- „hledat, jak nastavit kontinuitu výstupů evaluace – důvěra v proces evaluace“ (evaluace je uskutečňována průběžně, výstupy z ní jsou průběžně k dispozici a ovlivňují další rozhodování);
- „zavést evaluaci jako přirozenou součást každé aktivity – a to i v úplně malých dílčích krocích – myslet na to, kdy ji zařazovat a jakým způsobem, adaptovat ji na cílovou skupinu“;
- „vytvořit matrix posilování evaluačních kapacit napříč organizací“;
- „pojmout evaluaci jako zábavu, pracovat s motivací všech účastníků, aby nebyla „tlačená“ jen zeshora/zespoda/ze strany“;
- „diverzifikovat nástroje evaluace – zábavně“;
- „využívat digitální nástroje – např. Discord, Mentimeter, Nearpod, WordWall, Kahoot!, Typeform, Trendaro, NetQuest…“;
- „přizvat profesionální evaluátory“;
- „zjistit lépe potřeby – jak cílové skupiny, tak i např. dobrovolníků – a použít výsledky zjištění pro další akci“.
Poslední inovace se týkala nové pozice v organizaci:
- „vytvořit pozici ombudsmana, na kterého se cílová skupina může odvolat”.
Otázka č. 4 (DESTINY): Jaký první krok udělám ve vztahu k evaluaci/evaluacím v naší organizaci?
Potřeba reflexe jako první krok:
- „uvědomíme si, že není potřeba realizovat hned vše – cílová skupina není zvyklá být aktivními aktéry“;
- „zreflektujeme dnešek – sami k sobě, ujasníme si, proč je to pro mě důležité (a i to zvnitřníme)“.
Systematické zavádění participativní evaluace v organizaci:
- „najdeme si v organizaci spojence/spolupachatele (angl. champion), který nás (v participativní evaluaci) podpoří“;
- „iniciujeme diskusi s vedením o krocích, které podniknout“;
- „uskutečníme ukázku participativních principů v praxi (lze pozvat i někoho zvenku)“;
- „informujeme zbytek vedení a budeme diskutovat o tom, jak lépe participativní prvky zařadit”;
- „uskutečníme strategické setkání s týmem – na vypilování evaluace”;
- „nabídneme paletu možností a zeptáme se, o co je největší zájem + budeme se ptát, proč je to zajímá nebo ne; zodpovědnost za vzdělávací aktivitu bude částečně přenesena i na cílovou skupinu – setřou se rozdíly mezi organizátory a účastníky“;
- „participativní principy budou vneseny do interních jednání organizace jako zvláštní téma“.
Konkrétní kroky týkající se participativní evaluace:
- „vtáhneme cílovou skupinu do formulace otázek (‚jak poznám, že to k něčemu bylo?‘)“;
- „zapojíme témata a vůbec samotnou participativní evaluaci do organizace příštího kurzu“;
- participativní evaluaci se budeme snažit více zapojit do plánování (nastavíme cíle a jak + s kým je budeme ověřovat)“.
Další kroky týkající se evaluace jako takové:
- “umožníme otevřenou participaci členů spolku na vyřešení otázky ‚co dělat v případě distančního režimu?‘“;
- „budeme více komunikovat ven svůj dopad (mail, webové stránky)“.
Jsme nesmírně rádi, že se i v náročné době rapidně sílící páté vlny pandemie se u kulatého stolu sešlo (při dodržení kombinace veškerých dostupných preventivních opatření) tolik zástupců klíčových českých organizací pracujících s mládeží a že věnovali svůj čas a energii otevřenému a aktivnímu sdílení svých zkušeností. Dále patří dík oběma facilitátorům, kteří celý proces řídili a poskytovali cenné rady založené na vlastní dlouholeté činnosti v oblasti evaluace s důrazem na participativní metody. A v neposlední řadě děkujeme České evaluační společnosti a České radě dětí a mládeže, které akci poskytly záštitu a pomohly se šířením pozvánky.
Další informace a pozvánky najdete na www.youth-impact.eu.
Autorky:
Inka Bartošová (Píbilová) – teoretická východiska
Tereza Pálková – kompilace a sběr citací
prosinec 2021
Zdroje:
- www.appreciativeinquiry.champlain.edu
- www.betterevaluation.org
- www.czecheval.cz
- www.evaltep.cz – konkrétně např. článek Jiřího Remra (2015) „Participativně založené evaluační přístupy“, kde jsou popsána teoretická východiska (včetně utilizačního přístupu M. Pattona a transformativního (emancipativního) přístupu D. Fettermana
- www.evaluace.com
- www.evaluaceproskolu.cz (COV) – uplatnění evaluace při rozvoji kultury školy
- www.evaluuj.cz
- www.intrac.org
- www.participativnimetody.cz/world-cafe.html
- www.scio.cz/download/prednostPrednostem/manual_pp.pdf
- www.theworldcafe.com/wp-content/uploads/2015/07/Cafe-To-Go-Revised.pdf
- www.youth-impact.eu
English (shortened) version:
PARTICIPATORY AND EMANCIPATORY EVALUATION:
How to Evaluate Activities with Children and Youth
Do you stop every now and then and think about the purpose of your activity? What you do well and why? Or what you do not do well and what you can change about it? This article is a brief summary of the roundtable held on 24 November 2021. 14 representatives of leading Czech youth organisations and evaluators discussed how to evaluate and plan activities with children and youth. Participants experienced the principles of participatory evaluation first-hand, reflected on examples of use, the benefits of participatory approaches and how to apply or reinforce these principles in their organisations.
Keywords: Evaluation, Participatory Evaluation, Emancipatory Evaluation, Appreciative Inquiry, World Café, Roundtable, Youthwork
Evaluation is the systematic examination of the quality or value of a programme or its individual parts. Participatory evaluation implies the full and active involvement of stakeholders throughout the evaluation process. Stakeholders are thus directly involved in setting up the evaluation, collecting data, analysing the outputs, communicating key messages and/or further decision-making. The focus is not only on evaluation, but also on improving stakeholders’ understanding of evaluation principles, improving their involvement in evaluation processes and increasing the use of the results. Evaluation thus becomes an integral part of the organisation – motivating those involved to develop joint activities and contributing to new skills and changes in thinking.
In the framework of the roundtable, the following examples of participatory / emancipatory involvement of children and youth were mentioned, among others:
- Children themselves determine the evaluation criteria, i.e. what they want to learn.
- After training, children themselves conduct interviews with different actors and evaluate these interviews together (e.g. in the framework of the Most Significant Change technique).
- Children are involved with other key actors in an evaluation workshop where the main questions and/or preliminary conclusions from the evaluation and/or recommendations are discussed. They thus have the opportunity to directly influence and also understand the consequent steps.
During the roundtable, participants suggested a number of innovations. In conclusion, they underlined the importance of more evaluation within the organisation and more communication of its impact externally.
Acknowledgements:
We would like to express our thanks to the Czech Evaluation Society and the Czech Council for Children and Youth for providing patronage and helping with the dissemination of the invitation. We would also like to thank the two facilitators, Inka Bartošová (Píbilová) (www.evaluace.com) and Ondřej Horák (director of Civic Education Centre), who guided the whole process and provided valuable advice based on their own many years of work in evaluation with an emphasis on participatory methods.
For further information and invitations, please visit www.youth-impact.eu.
Authors:
Inka Bartošová (Píbilová) www.evaluace.com – concept, theoretical background
Tereza Pálková, Channel Crossings – compilation of the article, collection of quotations
December 2021