Příručka pro evaluaci zaměstnávání mladých lidí

Úvod

Cílem tohoto souboru nástrojů je poskytnout vám praktické nástroje, které vám pomohou při hodnocení projektů zaměřených na zvýšení zaměstnanosti mladých lidí, včetně osob, které se potýkají s problémy v době přechodu mezi školou a zaměstnáním (skupina NEET).

Hlavními příjemci tohoto souboru nástrojů jsou nevládní organizace a další subjekty, které mají zájem provádět analýzu vlastních projektů realizovaných ve výše uvedené oblasti. Hodnocení se může zaměřit na následující aspekty:

• Měření účinnosti projektu z hlediska dosažení cílů a výsledků projektu (výstupů, výsledků),
• Hodnocení užitečnosti projektu pro beneficienty/účastníky a udržitelnosti dosažených výsledků,
• Lepší přizpůsobení projektu potřebám beneficientů a trhu práce,
• Zkoumání dopadu projektu na širší skupinu osob, které se ho přímo neúčastnily (např. rodina nebo přátelé beneficientů projektu),
• Hodnocení efektivity projektu z hlediska využitých zdrojů a účinků projektu.

Tento soubor nástrojů je doplňujícím materiálem ke kurzu Cesta k lepším projektům zaměstnanosti mládeže – vzdělávací kurz zaměřený na hodnocení, který je k dispozici na e-learningové platformě projektu YOUTH IMPACT. Kurz vám umožní získat znalosti a osvojit si dovednosti v oblasti hodnocení přizpůsobené vašim potřebám (na základní nebo pokročilé úrovni); tyto nástroje vám pak přinášejí obecné informace spolu s praktickými pokyny, nástroji a příklady, které slouží k rozvoji hodnoticích dovedností a pomohou vám prakticky využívat znalosti získané během dálkového kurzu. K tomu slouží mimo jiné soubory otázek, tabulky a šablony, které vám usnadní navrhnout a naplánovat hodnocení, shromáždit potřebné informace a následně formulovat závěry a doporučení zaměřená na zlepšení projektů realizovaných vaší organizací.

Tento soubor nástrojů sestavila polská Nadace na podporu místní demokracie (FRDL) Jerzyho Regulského ve spolupráci s Výzkumným ústavem pro inovativní a preventivní koncepci pracovních míst (FIAP e.V., Německo), agenturou Channel Crossings (Česká republika) a společností PEDAL Consulting (Slovensko) v rámci projektu zvyšování uplatnění mladých lidí na trhu práce Youth Impact financovaného EHP a Norskými fondy. Cílem projektu je poskytnout nástroje a služby, které by pomohly realizátorům akcí na podporu zaměstnanosti a podnikatelských aktivit mladých lidí efektivně zhodnotit dopad jejich aktivit. Projekt bude probíhat v letech 2019-2022.

Aktivity v rámci tohoto projektu jsou zaměřeny na rozvoj hodnoticích dovedností subjektů, které podporují zaměstnanost a podnikání mladých lidí.

Nástroj 1: (Re)Konstrukce logiky projektu

Výše uvedená tabulka logiky projektu vám umožní zvážit, jakým způsobem chcete prokázat úroveň dosažených účinků (výstupy, výsledky a dopad). Za tímto účelem je potřeba definovat ukazatele, pomocí kterých budete měřit průběh projektu. Ukazatel je pozorovatelný atribut (vlastnost), který umožňuje měřit konkrétní jev. Pro každý ukazatel existuje měřítko (kvantitativní nebo kvalitativní), které nás informuje o míře/intenzitě výskytu daného jevu. Aby bylo možné zhodnotit změnu, k níž došlo v důsledku realizace projektu, je potřeba určit hodnoty (úroveň) daného ukazatele na začátku a na konci projektu, tj. výchozí hodnotu a konečnou hodnotu. Je také dobré znát minimální požadovanou hodnotu ukazatele konečného výstupu, pokud byla tato hodnota definována na začátku projektu. Více informací o ukazatelích získáte v online kurzu (Modul 3).

Nástroj 2: Tabulka ukazatelů účinků projektu

Další příklady cílených ukazatelů v projektech zaměstnanosti mladých lidí lze najít na s. 6-9 materiálu „Guide on Measuring Decent Jobs for Youth. Monitoring, evaluation and learning in labour market programmes, NOTE 3. ESTABLISHING A MONITORING SYSTEM”

 

2.2. Kdy začít vytvářet koncepci hodnocení a plán hodnocení?

Koncepci hodnocení je vhodné vytvořit před zahájením projektu nebo dokonce v průběhu jeho plánování, neboť vám umožní:

• Podrobně zvážit logiku a soudržnost projektových aktivit a jejich vyjádření ve formě cílů projektu, a faktory usnadňující, popř. brzdící dosažení těchto cílů;
• Předem plánovat shromažďování informací (údajů), které umožní získat odpovědi na hodnoticí otázky (např. bez výchozího měření úrovně znalostí a dovedností příjemců školení (před touto aktivitou) nebude možné spolehlivě prokázat dosažené změny, tj. zvýšení kvalifikace, k němuž má dojít v důsledku tohoto školení);
• Najít vhodné finanční prostředky k provedení hodnocení a zařadit hodnocení do harmonogramu projektových aktivit, což umožní shromáždit relevantní data, provést jejich analýzu a sestavit odpovídající zprávu;
• Naplánovat shromažďování informací co nejefektivnějším způsobem (nejlevněji, nejrychleji, nejjednodušeji) během realizace projektových aktivit nebo následně.

Je dobré si zapamatovat, že hodnocení projektu je několikafázový proces, který je potřeba dobře navrhnout a naplánovat a následně realizovat krok za krokem.

Fáze procesu hodnocení

1. Diagnóza potřeb hodnocení
2. Konceptualizace a plánování
3. Shromažďování informací – realizace výzkumu
4. Analýza a odvození dat
5. Sestavení zpráv
6. 6. Využití výsledků hodnocení – implementace doporučení

2.3. Jakým způsobem diagnostikovat evaluační potřeby zainteresovaných stran projektu?

Konceptualizace a plánování hodnocení by neměly být zahájeny, dokud neurčíme, kdo a za jakým účelem bude potřebovat informace, závěry a doporučení z hodnocení. Vhodné je začít diagnózu evaluačních potřeb u zainteresovaných stran projektu, který má být předmětem hodnocení.

Zainteresované strany (tzv. „stakeholders“) projektu jsou osoby/subjekty (instituce, organizace), které se různým způsobem podílejí na realizaci konkrétního projektu, např. jeho beneficienti, projektový tým, pracovníci uskutečňující projektové aktivity (např. školitelé, psychologové, kariérní poradci), partneři projektu (spolupracující organizace nebo instituce), sponzoři / poskytovatelé financování atd.

Účast zainteresovaných stran projektu na hodnocení je velice důležitá, neboť jsou potenciálními „spojenci“ hodnotitele. Mohou podpořit celý proces hodnocení, včetně implementace doporučení vedoucích ke zlepšení projektu. Díky zapojení různých zainteresovaných stran do hodnoticích aktivit je možné nejen zlepšit komunikaci a spolupráci s partnery, beneficienty a pracovníky projektu, ale také přesvědčit investory, aby poskytli finance na aktuálně realizovaný projekt nebo jeho pokračování. Pokud mají zúčastněné strany zájem o hodnocení projektu, mělo by být mnohem jednodušší provádět hodnocení participativním způsobem – zapojením zúčastněných stran do celého procesu hodnocení, počínaje diagnostikou evaluačních potřeb.

Nejlepší způsob, jak diagnostikovat evaluační potřeby a současně zajistit vysokou úroveň účasti zainteresovaných stran, je uspořádat workshop / skupinový rozhovor se zástupci všech subjektů (organizací, institucí) a skupin osob zapojených do určitého projektu.

Pokud jsou příjemci projektu mladí lidé (např. skupina NEET) nebo jiná skupina, která může mít obavy z veřejného vyjadřování svých názorů, měli byste nejprve uspořádat samostatné setkání s těmito beneficienty a poté pozvat jejich zástupce k účasti na workshopu s dalšími zainteresovanými stranami. Tento typ workshopu s mladými lidmi nebo jinými příjemci projektu s relativně slabým sociálním postavením by měl být založen na hodnotách, které posilují subjektivitu příjemců projektu (viz příklad z materiálu Participatory Evaluation With Young People, str.7-8).

---

PŘÍKLAD WORKSHOPU SE ZAINTERESOVANÝMI STRANAMI

Setkání se zúčastněnými stranami by mělo začít projednáním jeho účelu a představením všech účastníků. Poté je vhodné představit výhody hodnocení projektu (viz str. 8-9) a pohovořit o jeho užitečnosti pro jednotlivé zainteresované strany.

Po tomto úvodu můžete účastníkům workshopu rozdat malé samolepící lístečky post-it a požádat je o zodpovězení následujících otázek:

1. Co se chci dozvědět na základě hodnocení?
2. Proč je důležité toto vědět? K čemu chci tyto znalosti využít? (tímto způsobem určíte CÍLE HODNOCENÍ).

Shromážděné lístečky je potřeba roztřídit a uspořádat (nejlépe s použitím flipchartu) tak, aby byly u sebe podobné záležitosti a související prvky projektu. Získané informace můžete seskupit do následujících oblastí:

• Aktivity, např. nábor příjemců projektu, diagnóza jejich potřeb, psychologické poradenství, vedení školení, kariérní ​​poradenství, organizace stáží, propagační a informační aktivity,
• Výstupy, např. individuální akční plány, životopisy a motivační dopisy připravené v rámci projektu, osvědčení o absolvování školení a stáží, prezenční listiny, vzdělávací programy, zprávy školitelů, školicí materiály, propagační materiály,
• Výsledky, např. zvýšení měkkých dovedností (sociálních dovedností) a tvrdých dovedností (odborných dovedností), změna postojů účastníků projektu, zvýšení motivace najít si práci, nalezení vhodného pracovního místa, udržení zaměstnání, sociální aktivace,
• Cíle, např. dlouhodobé účinky projektu / cílový stav,
• Ostatní záležitosti, např. komunikace s příjemci projektu, řízení projektu

Diskutujte o vybraných záležitostech / prvcích projektu se zainteresovanými stranami, společně zvažte, které z nich jsou nejdůležitější. Nakonec by to mělo být pouze několik záležitostí [tímto způsobem hned na počátku určíte rozsah hodnocení].

Poté by měla být každá z prioritních záležitostí vybraných za účelem hodnocení posouzena z následujících hledisek (a facilitátor zapíše závěry na flipchart):

1) Z jakého hlediska by mělo být toto posuzováno? (zde vybíráte hodnoticí kritéria) např:

• přiměřenost potřebám příjemců / místní komunity / trhu práce (zaměstnavatelů),
• účinnost – dosažení plánovaných účinků (cílů, výstupů a výsledků),
• užitečnost výsledků rozvoje pro různé cílové skupiny projektu (např. skupinu NEET, zaměstnavatele),
• efektivita – poměr vynaložených vstupů (zdrojů) k dosaženým účinkům projektu,
• udržitelnost dosažených výsledků po skončení projektu,
• dopad – jak projekt ovlivnil beneficienty a jejich sociální prostředí / komunity.

2) Na jaké otázky (s přihlédnutím k výše uvedeným kritériím) by mělo dát hodnocení odpověď? U každé z prioritních záležitostí hodnocení by měla být formulována alespoň jedna taková otázka (tímto způsobem definujete hned na počátku hodnoticí otázky)

3) Jaký druh informací/údajů je potřeba získat k zodpovězení každé z těchto otázek? [tímto způsobem určíte hned na počátku rozsah potřebných informací]

4) Jak a odkud lze tyto informace / údaje získat? [tímto způsobem definujete hned na počátku zdroje informací a metody výzkumu]

5) Jak mohou zainteresované strany pomoci v procesu hodnocení? (např. pomoc při získávání informací/údajů, přímá účast na výzkumu, konzultace ohledně výsledků hodnocení a jejich distribuce) [tímto způsobem zmobilizujete jejich podporu hodnocení]

A konečně, je vhodné zjistit, v jaké formě by zainteresované strany chtěly obdržet výsledky hodnocení.

• Chtěly by zainteresované strany získat výsledky ve formě zprávy (tj. obsáhlého textového dokumentu), multimediální prezentace, infografiky; jak podrobná zjištění by chtěly jednotlivé skupiny zainteresovaných stran obdržet?

---

Informace shromážděné během workshopu za účasti zainteresovaných stran by měly být použity k přípravě koncepce a plánu hodnocení (viz Kapitola 2.4). Proto je vhodné shrnout klíčová zjištění diagnózy potřeb zainteresovaných stran do dvou níže uvedených tabulek.

Nástroj 3: Tabulka obsahující shrnutí diagnózy evaluačních potřeb zainteresovaných stran projektu

Informace týkající se očekáváních jednotlivých zúčastněných stran, pokud jde o formu prezentace a způsoby využití výsledků hodnocení, budou užitečné ve fázi plánování distribuce výsledků (viz Kapitola 6.3.)

2.4. Jakým způsobem navrhnout a naplánovat hodnocení?

Informace shromážděné během workshopu se zainteresovanými stranami budou použity k přípravě koncepce a plánu hodnocení. Koncepci hodnocení, tj. představu o tom, jak jej provést, lze připravit ve 3 krocích.

První a druhý krok zahrnují následující aspekty:

• Předmět hodnocení – co chcete hodnotit (např. který projekt nebo program),
• Rozsah hodnocení – jaká část projektu bude do hodnocení zahrnuta, např. celý projekt nebo vybrané prvky – konkrétní aktivity, účinky,
• Účel(y) hodnocení – proč provádíte hodnocení, k čemu použijete výsledky hodnocení,
• Typ hodnocení – v jaké fázi realizace projektu budete hodnocení provádět; před zahájením projektových aktivit (hodnocení ex ante), během jejich realizace (průběžné hodnocení), po dokončení projektu (hodnocení ex post),
• Kritéria hodnocení – rysy a vlastnosti, které indikující, z jakého hlediska je projekt hodnocen (např. relevance, účelnost, účinnost, užitečnost, dopad, udržitelnost),
• Hodnoticí otázky – obecně formulované otázky týkající se záležitostí, které jsou důležité z hlediska hodnocení hodnoty a kvality hodnoceného projektu,
• Hodnotitel – kdo provede hodnocení, např. tým provádějící projekt (sebehodnocení), odborník zaměstnaný organizací provádějící projekt (interní hodnocení) nebo externí subjekt najatý danou organizací (externí hodnocení).

Tyto informace můžete uvést v tabulce koncepce hodnocení. Příklad této tabulky a její aplikace v rámci konkrétního projektu uvádíme níže.

Nástroj 4: Tabulka koncepce hodnocení

Třetí fáze vývoje koncepce hodnocení vyžaduje znalost různých výzkumných metod a nástrojů uvedených v kapitole III. Z tohoto důvodu je část plánování hodnocení týkající se metody shromažďování údajů pro účely hodnocení uvedena v části 3.3 (příklad této fáze návrhu hodnocení je uveden v nástroji 6).

Informace o dostupnosti nezbytných údajů a možnosti získání podpory odpovídajících zainteresovaných stran budou použity při plánování procesu hodnocení a odhadu zdrojů nezbytných k jeho provedení. Plán hodnocení by měl zahrnovat takové prvky, jako jsou: časový harmonogram (s příslušnými fázemi), zdroje nezbytné k realizaci hodnocení (lidské, časové, finanční, informační) a plánovaná forma výsledné hodnotící zprávy.

Tyto informace můžete uvést v tabulce plánování hodnocení. Níže je uveden příklad takové tabulky a její aplikace v rámci konkrétního projektu.

Nástroj 5: Tabulka plánování hodnocení

Jak je zřejmé z výše uvedené tabulky, informace představují jedno z klíčových aktiv, které je potřeba zajistit za účelem realizace hodnocení; existuje celá řada zdrojů údajů, které lze pro tento účel použít. V kontextu projektů zaměstnanosti mladých osob je jednou z nejdůležitějších oblastí předpokládané změny k lepšímu získání všeobecných a odborných znalostí a dovedností. Základním zdrojem informací o tom, jaké úrovně těchto dovedností dosahují beneficienti projektu na začátku a na konci projektu, by měli být školitelé těchto dovedností. Proto je vhodné spolupracovat se školiteli při shromažďování a využívání údajů týkajících se úrovně schopností před školením a po jeho absolvování. Hodnocení by mělo posuzovat dovednosti účastníků z mnoha různých úhlů pohledu (z perspektivy školitele, sebehodnocení účastníka a psychometrických testů), mělo by být koherentní a mělo by odpovídat obsahu školení. Příklad odpovídajících souborů nástrojů najdete v Přílohách. Týká se 8 klíčových schopností „nezbytných k osobnímu naplnění a rozvoji, aktivnímu občanství, sociálnímu začlenění a zaměstnanosti“ uvedených v doporučení Evropského parlamentu a Rady 2006/962/ES o klíčových schopnostech pro celoživotní učení*.

---

* Doporučení Evropského parlamentu a Rady 2006/962/ES ze dne 18. prosince 2006 o klíčových schopnostech pro celoživotní učení se týká následujících dovedností:

1) komunikace v mateřském jazyce,

2) komunikace v cizích jazycích,

3) matematická schopnost a základní schopnost v oblasti vědy a technologie,

4) schopnost práce s digitálními technologiemi;

5) schopnost učit se,

6) sociální a občanské schopnosti,

7) smysl pro iniciativu a podnikavost,

8) kulturní povědomí a vyjádření.

---

2.5. Jakým způsobem navrhnout hodnocení dopadu?

Klíčovým rozlišovacím znakem hodnocení dopadu je skutečnost, že hodnocení účinků projektu bere v úvahu nejen dopad aktivit realizovaných v rámci projektu a vytvořené výstupy, ale také vliv vnějších faktorů (netýkajících se projektu). Pro vyhodnocení skutečného (čistého) dopadu projektu je nutné hodnocení naplánovat a provést takovým způsobem, aby bylo možné určit, zda realizace projektu vedla k plánované změně a do jaké míry byla tato změna ovlivněna faktory mimo projekt.

Hodnocení dopadu vám umožní shromáždit různé druhy informací, které budou velmi užitečné pro další vývoj projektu:

1) údaje o skutečném dopadu projektu na dosažení očekávané změny jsou klíčovou informací při rozhodování o tom, za je vhodné projekt zopakovat, duplikovat, zlepšit nebo přerušit, neboť:

a) ke změně plánované v rámci projektu mohly přispět faktory mimo projekt, takže (čistý) dopad hodnoceného projektu může být menší, než ukazuje rozdíl mezi konečnou hodnotou ukazatele výsledku a jeho výchozí hodnotou (měřenou na začátku projektu).

b) vnější faktory mohou bránit předpokládané změně v rámci projektu, takže (čistý) dopad hodnoceného projektu může být větší než rozdíl mezi konečnou a výchozí hodnotou ukazatele výsledku,

2) informace o rozmanitosti a mechanismech dopadu jednotlivých prvků projektu na dosažení očekávané změny jsou velmi užitečné pro účely zlepšování projektu,

3) určení hlavních vnějších faktorů a mechanismů jejich dopadu na zamýšlenou změnu lze využít k úpravě projektových aktivit tak, aby lépe sloužily procesům podporujícím změnu a lépe překonávaly faktory bránící změně.

Podle toho, které z těchto otázek jsou prioritní v rámci hodnocení daného projektu, ale také v závislosti na možnosti získat relevantní údaje, můžete použít různé modely (návrhy neboli design) hodnocení dopadu a odpovídající metody sběru údajů.

Emily Woodhouse, Emiel de Lange, Eleanor J Milner-Gulland, Evaluating the impacts of conservation interventions on human wellbeing: Guidance for practitioners

K určení toho, jakou část zamýšlené změny v rámci projektu lze připsat aktivitám uskutečňovaným v rámci projektu (čistý dopad), se používá experimentální a kvaziexperimentální model (návrh) hodnocení. Měřítkem dopadu projektových aktivit je rozdíl mezi hodnotou ukazatele před a po skončení projektu ve skupině jeho příjemců (změna v testovací skupině účastnící se projektových aktivit) po úpravě o dopad neprojektových faktorů. Odhad dopadu neprojektových faktorů probíhá na základě měření změny ukazatele výsledku u skupiny osob, které se nezúčastnily projektu a podobají se co nejvíce příjemcům projektu.

• V rámci experimentálního modelu projektu (nazývaného také RCT – randomizovaně kontrolovaná studie) jsou lidé náhodně zařazeni do skupiny příjemců projektu (testovací skupina), nebo do skupiny, na kterou se projekt nevztahuje (kontrolní skupina). Náhodný výběr do obou skupin pomáhá zajistit, aby se obě skupiny navzájem nelišily*. Změny v měřených ukazatelích v kontrolní skupině lze tedy připsat pouze vnějším faktorům a změny v testovací skupině kombinovanému vlivu vnějších faktorů a aktivit v rámci projektu.

---

Pokud je testovací skupina nebo kontrolní skupina malá, měl by být použit strukturovaný náhodný výběr (místo jednoduchého náhodného výběru), aby měly obě skupiny podobnou strukturu z hlediska vlastností, které mohou ovlivnit zamýšlený výsledek projektu (např. struktura dosažené úrovně vzdělání by měla být podobná v obou skupinách, jinak může vzdělanější skupina dosáhnout většího pokroku v oblasti získání dovedností, které mají být rozvíjeny v rámci hodnoceného projektu).

---

• V rámci kvaziexperimentálního modelu projektu nedochází k náhodnému výběru skupin. Pro danou testovací skupinu, která se podílela na hodnoceném projektu, je vybrána kontrolní skupina pomocí metod, které nejsou náhodné; nadále však platí podmínka, že kontrolní skupina je co nejpodobnější testovací skupině a plní podobné funkce jako kontrolní skupina v experimentálních modelech.

Za účelem použití experimentálního nebo kvaziexperimentálního modelu je nutné koordinovat hodnoticí aktivity s aktivitami hodnoceného projektu; proto je potřeba je naplánovat před jejich realizací. Pokud například očekáváte větší počet kandidátů na příjemce projektu nebo pokud bude projekt realizován v několika verzích, přičemž může probíhat společný nábor, můžete provést zařazení do skupin pomocí náhodného výběru. Tímto způsobem získáte náhodně vybranou testovací skupinu (která bude okamžitě zapojena do aktivit projektu) a kontrolní skupinu (osoby, které nebyly vybrány pro aktuální vydání projektu). Ihned po výběru skupin je nutno provést měření výchozího stavu (a po dokončení projektu měření konečného stavu v obou skupinách).

Pokud jsou příjemci vašeho projektu vybráni externí institucí (např. úřadem práce), je vhodné ověřit, jaký způsob výběru byl použit. Pokud tento postup umožňuje vybrat kontrolní skupinu nebo srovnávací skupinu, ve které lze měřit ukazatel výsledku projektu – ověřte jej a naplánujte měření v této skupině víceméně ve stejnou dobu, kdy bude provedeno měření v hodnoceném projektu.

Důležitým aspektem hodnocení dopadu je kontrola takzvaného efektu přelévání (dominového efektu), což je šíření dopadu projektových aktivit mimo testovací skupinu, zejména na osoby v kontrolní nebo srovnávací skupině. Riziko efektu přelévání je tím větší, čím více jsou příjemci hodnoceného projektu v kontaktu s osobami z kontrolní nebo srovnávací skupiny. Dalším aspektem ovlivňujícím rozsah efektu přelévání je úroveň poptávky po řešeních poskytovaných hodnoceným projektem.

 

Při plánování a interpretaci hodnocení zaměřeného na dopad je potřeba použít teorii projektu k ověření souladu zjištění vyplývajících z hodnocení s logikou projektu (logikou změny) a k ověření dopadu alternativních faktorů. Zkoumání souladu skutečnosti s logikou projektu je zaměřeno na nalezení důkazů potvrzujících příčinnou souvislost (vztah příčina-následek) a údajů, které tyto vztahy potvrzují. Při použití této metody je zásadní naplánovat co nejdříve, jaký druh údajů bude potřeba během projektu shromáždit za účelem ověření:

– příčinné souvislosti mezi aktivitami, výstupy, průběžnými a konečnými účinky (výsledky, dopady), které tvoří logiku změny v rámci projektu,

– dosažení postupných po sobě jdoucích fází v řetězci průběžných účinků v rámci příčinné souvislosti vedoucích k výsledkům měřeným konečným ukazatelem (tzv. milníků).

Hodnocení dopadu alternativních faktorů vychází z podobného plánování a ověření jiných faktorů změny očekávané v důsledku projektu, než jsou projektové aktivity.

Pokud je hodnocený projekt součástí nějakého většího programu prováděného na různých místech nebo různými organizacemi, může to být příležitost k získání srovnatelných údajů, které budou použity při hodnocení dopadu na základě analýz případových studií. Chcete-li použít model hodnocení na základě případových studií, měli byste shromažďovat informace nejen o ukazateli výsledku, který měříte v rámci hodnoceného projektu, ale také o všech důležitých faktorech, které mohou ovlivnit hodnotu tohoto ukazatele. Soubor těchto faktorů by měl být určen na základě teorie projektu, s přihlédnutím k různým prvkům, které mohou ovlivnit zamýšlenou změnu. Nezapomeňte, že v tomto modelu je možné použít též informace o projektech realizovaných v minulosti. Bez ohledu na to, odkud analyzované případy pocházejí, je důležité získat předem určený soubor informací o těchto případech. Konečná analýza vychází z tabulky, která shrnuje data ze všech analyzovaných případů týkající se výskytu faktorů, které mohou ovlivnit zamýšlenou změnu ukazatele výsledku a samozřejmě i ukazatel výsledku samotný.

Nástroj 6: Tabulka shrnutí zjištění plynoucích z analýzy případových studií

Ve výše uvedené tabulce vidíte souhrnné informace týkající se 4 případů, kde byl sledován výsledek (zaměstnání nebo studium/školení 1 rok po dokončení projektu) z hlediska 3 faktorů. Dva z těchto faktorů představovaly různé stimuly v rámci projektu (rozsáhlé školení v oblasti sociálních dovedností a odborné profesní školení), zatímco třetí byl externí (podporované zaměstnání po dobu 6 měsíců hned po ukončení projektu). Analýza ukázala, že k plánovanému výsledku vedlo rozsáhlé školení v oblasti sociálních dovedností.

Participativní model je oblíbeným, i když často podceňovaným, modelem hodnocení zaměřeného na dopad. Nezaručuje takovou spolehlivost a přesnost jako experimentální nebo kvaziexperimentální design, ani není tak přesvědčivý jako striktní analýza na základě případových studií, ale může být užitečný, zejména u malých projektů. V rámci participativního způsobu hodnocení sledujete to, jak hodnocený projekt vnímají jeho účastníci, a hodnotíte dopad projektu na základě údajů získaných od nich. Metodika sběru údajů má tedy velký význam, protože příjemci projektu mají tendenci přizpůsobovat své názory tomu, co chce podle jejich názoru slyšet výzkumný pracovník, zejména pokud sběr dat provádí někdo z projektového týmu.

• Jeden z participativních modelů hodnocení se nazývá reflexivní hypotetické faktory („Reflexive counterfactuals“). Jeho výhodou je, že může být použit po skončení projektu. Na druhou stranu podléhá dříve popsaným rizikům, např. vlivu výzkumného pracovníka. V rámci tohoto modelu jsou příjemci požádáni, aby porovnali svou současnou situaci se situací před účastí v projektu a popsali, co se změnilo k lepšímu, a co k horšímu. Poté hodnotí relevantní význam jednotlivých výhod a nákladů za účelem výběru těch, které považují za nejdůležitější. Pomocí různých výzkumných technik je také možné dotázat se na příčiny konkrétních změn a zjistit, které z nich byly spojeny s projektem.
• Další technikou participativní analýzy dopadů je metoda nejvýznamnější změny MSC („Most Significant Changes“). Je založena na generování popisů nejvýznamnějších změn v životě beneficientů projektu a jejich hloubkové analýze. Tyto popisy změny jsou pozorovány a zaznamenávány různými zainteresovanými stranami projektu (včetně samotných beneficientů). Vlastnosti této výzkumné techniky umožňují její použití i po skončení projektu.

V neposlední řadě je rovněž třeba zmínit možnost provést posouzení dopadu na základě statistických metod. Základem je analýza korelace (koexistence) výsledného ukazatele a aktivit uskutečněných v rámci hodnoceného projektu*. Tyto analýzy se provádějí na velkých souborech dat, proto je nemohou využít organizace, které realizují projekty pro relativně malou skupinu příjemců**.

Více informací o hodnocení zaměřeném na dopad získáte v online kurzu (Modul 3).

---

 

*V těchto analýzách je základní metodou regrese, v rámci které se zkoumá pevnost vztahu mezi ukazatelem výsledku a ukazateli kroků podniknutých v rámci hodnoceného projektu, spolu se statistickou kontrolou (vyloučením) dopadu zavádějících faktorů.

**Problémem, který brání malým a středně velkým organizacím využívat statistické metody hodnocení dopadu, je kromě rozsahu projektů také nutnost použít vyspělý statistický software a práci kvalifikovaných analytiků.

III. Sběr dat

 

3.1. Jaké jsou hlavní typy výzkumných metod hodnocení?

Za účelem určení hodnoty a kvality projektu ve vztahu k vybraným kritériím a zodpovězení hodnoticích otázek musíte správně shromáždit potřebné informace. K tomuto účelu slouží výzkumné metody a nástroje. Výzkumné metody představují konkrétní způsob shromažďování informací – kvalitativní nebo kvantitativní – s využitím speciálně vyvinutých nástrojů, jako jsou scénáře rozhovorů, archy pro záznamy z pozorování nebo dotazníky. Pojďme se podívat na rozdíly mezi těmito metodami a výzkumnými nástroji.

Kvalitativní metody umožňují důkladný a flexibilní způsob shromažďování údajů, ale neumožňují posoudit rozsah studovaných jevů, protože zahrnují pouze malý počet osob ze skupin zapojených do projektu (např. vybrané příjemce). Naopak kvantitativní metody se používají v případě velkých skupin tvořených několika desítkami osob. V případě větších skupin (tvořených např. více než 400–500 osob) umožňují tyto metody zobecnit závěry vyvozené z průzkumu reprezentativního, náhodně vybraného vzorku osob na celou populaci, tj. komunitu, která je předmětem zájmu výzkumného pracovníka, včetně osob, které se dané studie přímo neúčastnily. Tato generalizace musí být provedena konkrétním způsobem, který zajistí reprezentativnost vzorku osob účastnících se studie, tj. jejich maximální podobnost s populací, ze které byly vybrány, z hlediska různých sociálně-demografických charakteristik.

 

Oba tyto typy metod mají určité silné a slabé stránky, proto byste v hodnotící studii měli vždy použít kvalitativní i kvantitativní metody. Tento přístup je v souladu s principem triangulace, jehož cílem je zajistit vysokou kvalitu shromážděných informací. Triangulace znamená využití různých zdrojů informací, typů shromážděných údajů a analytických technik, teorií vysvětlujících identifikované vztahy/mechanismy, i osob provádějících hodnocení (jejichž dovednosti by se měly navzájem doplňovat). V případě rozmanitosti těchto prvků umožňuje triangulace:

– komplexní poznání a pochopení studovaného objektu,

– zohlednění různých hledisek a aspektů studovaného jevu,

– doplnění a prohloubení shromážděných údajů,

– ověření shromážděných informací,

– větší objektivitu formulovaných závěrů.

 

3.2. Jaké výzkumné metody a nástroje jsou obvykle používány v rámci hodnocení?

Abychom vám usnadnili výběr nejvhodnější metody a nástrojů pro konkrétní hodnocení, uvádíme níže charakteristiku nejoblíbenějších metod a nástrojů:

1. Kvalitativní metody,

• sekundární analýza údajů
• individuální hloubkové rozhovory (IDI)
• skupinové rozhovory „focus group“ (FGI)
• pozorování
• případové studie.

2. Kvantitativní metody (průzkumy)

• průzkum provedený bez přítomnosti tazatele – průzkum v podobě vytištěného dotazníku samostatně vyplněného dotazovaným, počítačový online rozhovor/online průzkum (CAWI), centrální průzkum (simultánní průzkum všech respondentů)
• dotazníkové rozhovory prováděné s podporou tazatele – osobní rozhovory PAPI (odpovědi zaznamenávány do vytištěného dotazníku) a CAPI (odpovědi zaznamenávány do počítače) a telefonické rozhovory za pomoci počítače CATI.

3. Aktivní metody / workshopy (smíšené, tj. kvalitativní a kvantitativní).

 

3.2.1. SEKUNDÁRNÍ ANALÝZA ÚDAJŮ

Sekundární analýza údajů a podkladů využívá existující údaje, tzn. údaje generované bez ohledu na kroky podniknuté hodnotitelem.

Existující údaje tvoří interní údaje (generované pro potřeby hodnoceného projektu) a externí údaje:

• Interní údaje jsou informace vytvořené během přípravy a realizace aktivit v rámci projektu (např. projektová žádost, scénáře školení, prezenční listiny, smlouvy, fotografie, videa a materiály o projektu zveřejněné na webových stránkách, příspěvky a odpovědi v sociálních médiích). V případě vzdělávacích projektů pro mladé lidi hledající zaměstnání to mohou být také výsledky měření kompetencí příjemců na začátku a na konci účasti na školení (testy znalostí, testy dovedností, testy postojů atd.).
• Externí údaje jsou informace, které se mohou vztahovat ke studovanému jevu, procesům nebo cílové skupině, ale byly shromážděny nezávisle na hodnoceném projektu (např. statistické údaje, úložiště dat, zprávy, články, knihy, videa a další materiály dostupné na internetu). V případě hodnocení projektů zaměstnanosti je vhodné využít informace o podobných projektech a také údaje o zaměstnanosti mladých lidí žijících v určitém městě, které mají k dispozici úřady práce, instituce sociálního pojištění, státní statistické úřady.

Analýza dokumentace je základní metodou shromažďování informací o daném projektu a poskytuje také určité znalosti o potřebách jeho příjemců a o kontextu hodnoceného projektu.

PODMÍNKY POUŽITÍ:

Veřejné instituce poskytují administrativní údaje v souladu se zásadou transparentnosti fungování veřejných institucí a účasti občanů (koncept otevřené vlády). Je však důležité posoudit spolehlivost a přesnost údajů na základě metodických informací uvedených ve zdrojové dokumentaci.

VÝHODY:

• přístupnost (zejména pokud jde o informace dostupné na internetu),
• velká rozmanitost (můžete použít jakákoli data/materiály související s prováděným hodnocením),
• nulové náklady – většina dokumentů a dat je k dispozici zdarma,
• v případě externích dat – nulový vliv hodnotitele na data.

NEVÝHODY:

• různé úrovně důvěryhodnosti údajů – musíte vzít v úvahu důvěryhodnost zdroje a kontext získání údajů (za jakých podmínek, kdo a proč je shromažďoval a analyzoval),
• omezení přístupu a používání interních informací z důvodu ochrany osobních údajů, autorských práv a vlastnických práv.

3.2.2. INDIVIDUÁLNÍ HLOUBKOVÝ ROZHOVOR (IDI)

Individuální rozhovor má formu přímého rozhovoru mezi tazatelem a respondentem, který se obvykle odehrává podle konkrétního scénáře. Rozhovor vám umožňuje získat rozsáhlé, zasvěcené a podrobné informace, poznat názory, zkušenosti, interpretace a motivy chování dotazovaného, zkoumat fakta z pohledu dotazovaného a lépe porozumět jeho názorům.

DŮLEŽITÝ TIP Jazyk rozhovoru by měl být přizpůsoben respondentovi. V rozhovorech (zejména s mladými lidmi) používejte jednoduchý jazyk a vyhýbejte se použití odborných výrazů (např. specifické terminologie projektu), které by mohly vést k nedorozumění, nepochopení kladených otázek, popř. ke zvýšení nejistoty respondentů.

 

PODMÍNKY POUŽITÍ: Individuální rozhovory by měly být vedeny v tiché místnosti, která zaručuje diskrétnost. Běžnou praxí je nahrávání rozhovorů, ale respondent nemusí vždy souhlasit – v takovém případě by si měl výzkumný pracovník během rozhovoru dělat poznámky a zkompletovat je ihned po schůzce. Doporučuje se, aby pohovor vedl externí odborník, aby se předešlo situacím, kdy se dotazovaný cítí nepříjemně, má-li vyjádřit svůj upřímný názor.

VÝHODY:

• možnost diskutovat o složitých a detailních otázkách,
• lepší porozumění úhlu pohledu dotazovaného (dostat se „do jeho kůže“),
• poznávání faktů v situačním kontextu,
• flexibilita – možnost přizpůsobit se dotazovanému a položit doplňující otázky, které nejsou součástí scénáře.

NEVÝHODY:

• neochota některých respondentů vyjádřit upřímný názor, neboť není zajištěna anonymita,
• dopad osobnostních rysů účastníků na získaná zjištění; např. je těžké získat informace od mlčenlivých, plachých nebo introvertních osob.

VÝZKUMNÝ NÁSTROJ: rozhovor se může opírat o scénář rozhovoru, který obsahuje seznam otázek nebo záležitostí, o kterých se bude hovořit. Tazatel může během rozhovoru změnit pořadí otázek nebo přidat další otázky, pokud je to nutné k lepšímu pochopení problému.

---

PŘÍKLAD SCÉNÁŘE INDIVIDUÁLNÍHO HLOUBKOVÉHO ROZHOVORU S PROJEKTOVÝM TÝMEM / PRACOVNÍKY PROJEKTU

I. Realizace projektu

1. Účastnil/-a jste se dříve podobných projektů? Pokud ano, jakých? V jaké roli jste se jich zúčastnil/-a?

2. Jaké jsou vaše současné povinnosti související s tímto projektem?

II. Proces realizace projektu

1. Jak probíhal náborový proces? Získal/-a jste plánovaný počet osob? setkal/-a jste se během náborového procesu s nějakými problémy? Čeho se týkaly? Přitáhl projekt zájem osob, kterým byl určen?

2. Vyjádřili lidé účastnící se projektu nějaké připomínky k jeho realizaci? Čeho se týkaly? Byly v důsledku těchto názorů provedeny nějaké změny?

3. Byl dosud návrh projektu změněn z nějakého jiného důvodu? Čeho se tyto změny týkaly? Čím byly způsobeny?

4. Potřebuje projekt další změny? Co by se mohlo zlepšit při jeho realizaci? Je třeba projekt doplnit o další prvky? Pokud ano, jaké?

5. Jsou v projektu dosaženy plánované výstupy a výsledky? Probíhá vše podle plánovaného harmonogramu a rozpočtu?

6. Vidíte nějaká rizika pro realizaci projektu / dosažení plánované úrovně výstupů a výsledků? Pokud ano, jaké? Jak jim můžete čelit?

III. Hodnocení dosavadních výsledků

1. Jaké prvky usnadnily realizaci projektu?

2. Jaké prvky bránily realizaci projektu? Co bylo důvodem těchto problémů? Jak jste se je pokusil/-a vyřešit?

3. Existují nějaké zdroje (např. lidské, časové, organizační, technické, finanční), které by usnadnily realizaci projektu? Jaké další změny by mohly napomoci realizaci projektu?

4. Jaké změny by pomohly lépe přizpůsobit projekt potřebám příjemců?

5. Uveďte silné a slabé stránky tohoto projektu.

---

Scénář individuálního hloubkového rozhovoru

 

3.2.3. SKUPINOVÝ ROZHOVOR – FOCUS GROUP (FGI)

Focus group (FGI) je skupinový rozhovor cca 6-8 lidí vedený moderátorem, který zadává skupině témata k diskusi a usměrňuje její průběh. Účastníci FGI jsou vybíráni podle konkrétních předpokladů zadaných výzkumný pracovníkem a znalosti zkoumané problematiky.

DŮLEŽITÉ V případě mladých lidí by měla být diskuse rozdělena do kratších forem se zapojením všech účastníků, aby se nezačali příliš rychle nudit. Je vhodné použít multimediální nástroje, prvky gamifikace nebo nestandardní řešení, např. papírovou kostku s otázkami, kterou házejí samotní účastníci setkání. Je užitečné zapisovat názory skupiny na flipchart a skupinovou diskusi zaznamenat.

 

PODMÍNKY POUŽITÍ: Základním předpokladem úspěchu skupinového rozhovoru je správný výběr osob s konkrétními informacemi, které jsou ochotny sdílet. Je důležité zaručit účastníkům pohodlí tak, že rozhovor se bude konat v klidné místnosti odpovídající velikosti s pohodlným sezením, vybavené velkým oválným/čtvercovým stolem a flipchartem.

VÝHODY:

• možnost dozvědět se různé úhly pohledu, s přihlédnutím k různým názorům,
• vzájemné potvrzení a doplnění informací o skutečnostech diskutovaných různými osobami,
• možnost sledovat interakci mezi účastníky,
• získání relevantních informací od několika osob v relativně krátkém čase.

NEVÝHODY:

• dynamika skupinových procesů, včetně tlaku na konsenzus/soudržnost skupiny, může vést k neochotě uvést menšinový názor, např. v případě, že skupině dominuje vůdčí typ s přirozenou autoritou,
• riziko, že se na skupinu přenesou konflikty nebo špatné mezilidské vztahy, což sníží účinnost výzkumu a spolehlivost získaných zjištění,
• organizační problém (potřeba shromáždit skupinu osob na určitém místě v určitém čase, zajistit náležitě vybavenou místnost).

NÁSTROJ VÝZKUMU: nástrojem, který moderátor používá pro tuto metodu, je scénář FGI, který zahrnuje zásady skupinové diskuse, konkrétní témata /otázky a pokyny týkající se různých forem činnosti, do nichž má moderátor zapojit účastníky.

---

PŘÍKLAD SCÉNÁŘE SKUPINOVÉHO ROZHOVORU NA TÉMA VZDĚLÁVACÍ POTŘEBY

I. CÍLE SKUPINOVÉHO ROZHOVORU

• Získání předběžných informací o vzdělávacích potřebách mladých lidí
• Shromáždění údajů pro účely sestavení dotazníku CATI, který bude použit ve druhé fázi výzkumu

II. CÍLOVÁ SKUPINA

Osoby odpovědné za personální management and/nebo školení v rámci organizací

III. PROGRAM SETKÁNÍ

1. ÚVOD (délka – cca 20 minut)

a) Přivítání a vysvětlení účelu setkání

(text: Dámy a pánové, jmenuji se … a rád bych vás přivítal/-a na setkání organizovaném…, jehož cílem je získat informace o vzdělávacích potřebách mladých lidí. Naše setkání je součástí projektu „XYZ“, který je financován… a realizován ve spolupráci s … Cílem projektu je…)

b) Úvod účastníků skupiny FGI

c) Informace o zaznamenávání rozhovoru, ujištění o anonymitě

(text: Naše setkání bude nahráváno formou audionahrávky, což je nutné, neboť nejsem schopen/schopna přesně zaznamenat vaše výroky. Ujišťuji vás, že nikde nebude uvedeno vaše jméno, a záznam našeho rozhovoru a jakékoli osobní údaje týkající se účastníků budou použity pouze pro výzkumné účely a nebudou poskytnuty neoprávněným osobám.)

d) diskuse o zásadách setkání

(text: v zájmu usnadnění průběhu našeho rozhovoru navrhuji dodržovat některé zásady:

• každý má právo vyjádřit svůj názor – nejsme povinni se ve svých názorech shodnout. Každý názor je pro nás důležitý a cenný – neexistují žádné správné a špatné výroky; chceme, aby vaše vyjádření byla upřímná,
• nebudeme se navzájem přerušovat – hovoří vždy jen jedna osoba. Oslovujeme především ostatní účastníky setkání, nikoli moderátora, jehož úkolem je pouze řídit a usměrňovat diskusi,
• v případě nedorozumění, prosím, věc blíže vysvětlete. Moderátor se také ujistí, že vašim výrokům správně porozuměl,
• vypneme nebo ztlumíme mobilní telefony,
• žádáme účastníky, aby se drželi tématu našeho setkání – rolí moderátora bude mimo jiné usměrnit diskusi správným směrem a omezit zbytečné odbočky tak, aby se účastníci stále drželi hlavního tématu diskuse.

2. ÚVODNÍ DISKUSE (délka – cca 60 minut)

2.1. Rozsah vzdělávacích potřeb mladých lidí (cca 30 minut)

a) Účastní se mladí lidé nějakých školení? Jaké je jejich téma / délka / forma?

b) Jaké faktory ztěžují mladým lidem účast na školení?

c) Jaké podmínky by měly být splněny, aby se mladí lidé účastnili školení? Jaké překážky mohou bránit jejich účasti na školení?

2.2. Motivace mladých lidí k účasti na školení (cca 30 minut)

a) Do jaké míry mají mladí lidé zájem o účast na školení? Existují nějaké rozdíly ve vzdělávacích potřebách související s pohlavím? Jaký je důvod těchto rozdílů? Jak můžete tyto dvě skupiny mladých lidí motivovat ke zvyšování kvalifikace?

b) Jak velký je jejich zájem o školení formou e-learningu? Účastní se mladí lidé tohoto typu školení? Pokud ano, jakého?

c) O jaký druh školení mají mladí lidé největší zájem – stacionární, smíšené, dálkové?

3. SPECIFICKÉ ZÁLEŽITOSTI (délka – cca 60 minut)

3.1. Tematické oblasti školení – prioritizace (cca 30 minut)

a) Uveďte prosím témata školení, která by mohla organizace X implementovat v rámci prezenčního / distančního / smíšeného vzdělávání: rozsah / tematické oblasti a konkrétní záležitosti (brainstorming).

b) Které z těchto školení by mělo být realizováno jako první?

3.2. Podmínky účasti na školení (cca 30 minut)

a) Kdy by se školení konalo? Budou se moci mladí lidé zúčastnit? Mělo by se stacionární školení konat ve večerních hodinách nebo o víkendu? Kde by se mohlo konat?

b) Mají mladí lidé vybavení a schopnosti nutné pro e-learning?

c) Jak dlouho může trénink na dálku trvat?

d) Co může bránit mladým lidem v účasti na distančním vzdělávání?

4. SHRNUTÍ (délka – cca 15 minut)

a) Shrnutí získaných informací – závěry.

b) Informace o tom, jak budou získaná zjištění použita.

c) Poděkování za účast.

---

 

3.2.4. POZOROVÁNÍ

Tato metoda je založena na pečlivém pozorování a poslechu zkoumaných objektů a situací (jevů, událostí). Pozorování může být participační (zúčastněné), částečně participační nebo neparticipační, v závislosti na míře zapojení výzkumného pracovníka, který může fungovat jako aktivní účastník událostí, které pozoruje, nebo jako externí, nezúčastněný pozorovatel. Pozorování lze provádět zjevným, částečně zjevným nebo skrytým způsobem, tzn. že účastníci události vědí o tom, že jsou pozorování, nebo o tom vědí pouze vybrané osoby (např. školitel a/nebo organizátor školení), nebo o tom ví pouze pozorovatel.

PODMÍNKY POUŽITÍ: pokud pozorování probíhá bez účasti pozorovatele, neměl by být v kontaktu/vztahu se pozorovanými osobami, protože to s sebou nese riziko ovlivnění průběhu pozorovaných událostí a chování.

VÝHODY:

• získání informací o dané události/procesu v jejich průběhu,
• zaznamenání skutečností, aniž by byly interpretovány účastníky (zkoumání skutečného chování, nikoli tvrzení účastníků),
• usnadnění interpretace zkoumaných událostí,
• možnost dozvědět se o jevech, které jsou obvykle skryté, nepozorovatelné, nebo o kterých se účastníci zdráhají diskutovat.

NEVÝHODY:

• možný vliv výzkumného pracovníka na průběh událostí (povědomí respondentů o tom, že jsou pozorováni, může změnit jejich chování),
• omezený dosah pozorování, je obtížné získat přístup ke všem událostem,
• riziko subjektivity (výzkumný pracovník může převzít určité stereotypy, vnímat a interpretovat události ve prospěch pozorované skupiny).

VÝZKUMNÝ NÁSTROJ: Pozorování lze provádět pomocí výzkumného nástroje, kterým je pozorovací záznamový arch. S využitím tohoto nástroje může pozorovatel zaměřit svou pozornost na vybrané záležitosti a zaznamenávat důležité informace (např. chování osob účastnících se pozorovaných událostí), které mohou být nejen kvalitativní, ale i kvantitativní (tzv. kontrolní seznam).

Záznam pozorování školení

 

3.2.5. PŘÍPADOVÁ STUDIE

Jedná se o hloubkovou analýzu zkoumané problematiky s využitím informací z různých zdrojů shromážděných různými metodami. Zjištění mohou být prezentována v narativní formě. Analyzovaným „případem“ může být osoba, skupina osob, konkrétní aktivity, projekt nebo skupina projektů.

Účelem použití případových studií je:

● důkladně poznat a pochopit daný jev spolu s jeho kontextem, příčinami a důsledky,

● ilustrovat konkrétní problém pomocí realistického příkladu s podrobným popisem,

● vytvářet hypotézy pro další výzkum,

● představit a analyzovat nejlepší/nejhorší postupy a ukázat, co stojí za to dělat a co by se dělat nemělo.

PODMÍNKY POUŽITÍ: Tato metoda vyžaduje čas na shromáždění a analýzu různých dat týkajících se zkoumaného jevu/objektu, jeho kontextu, procesů a mechanismů. Případové studie je nejvhodnější použít jako doplňkovou metodu k jiným výzkumným metodám.

VÝHODY:

• zdroj komplexních informací o daném tématu,
• používá různé úhly pohledu, což dodává popisu a analýze širší perspektivu,
• bere v úvahu kontext zkoumaných jevů.

NEVÝHODY:

• obvykle vyžaduje použití různých zdrojů informací, někdy obtížně přístupných,
• je pracná a časově náročná,
• poskytnutí neúplných údajů vede k nízké důvěryhodnosti popsaného případu.

3.2.6. PRŮZKUMY PROVÁDĚNÉ TAZATELI

Kvantitativní metody představují standardizovanou metodou měření. Standardizace umožňuje sběr a kalkulaci kvantitativních údajů jednotným způsobem a rovněž jejich statistickou analýzu. Standardizace zahrnuje:

• Výzkumný nástroj (dotazník) – pořadí, obsah a forma otázek kladených respondentům,
• Způsob zaznamenání odpovědí respondentů výběrem jedné možnosti (na stupnici) nebo několika možností ze souboru předem formulovaných odpovědí,
• Chování tazatelů, kteří jsou povinni řídit se během rozhovoru pokyny obsaženými v dotazníku.

Názory respondentů jsou transformovány do podoby čísel a uloženy do databáze. Poté jsou tyto informace analyzovány pomocí statistických metod.

Dotazníkové rozhovory provádějí školení tazatelé, kteří čtou respondentům otázky z dotazníku a zapisují získané odpovědi. Pro tento typ výzkumu existují následující techniky:

• Osobní rozhovor se zaznamenáváním odpovědí do vytištěného dotazníku (PAPI),
• Osobní rozhovor se zaznamenáváním odpovědí pomocí počítače (CAPI),
• Telefonický rozhovor za pomoci počítače (CATI).

3.2.6.1. Osobní rozhovory s pomocí tištěných dotazníků (PAPI) a počítačových dotazníků (CAPI)

Obě tyto techniky jsou terénní a jsou realizovány na základě přímého kontaktu respondenta s tazatelem pomocí tištěné verze dotazníku (PAPI) nebo elektronické verze zobrazené na notebooku nebo tabletu (CAPI). Tazatelé přečtou otázky obsažené v dotazníku a poté označí odpovědi poskytnuté respondentem.

PODMÍNKY POUŽITÍ: metoda vyžaduje širokou škálu témat a přímé (tváří v tvář) setkání tazatele s respondentem. Nejlepším místem pro rozhovor je místo izolované od hluku a přítomnosti třetích stran (v domácích/pracovních podmínkách zajistěte, aby přihlížející, například členové rodiny nebo kolegové, neovlivňovali odpovědi respondentů).

VÝHODY:

• blízký osobní kontakt s respondenty (možnost pozorovat neverbální signály, reagovat na nepochopení otázky nebo únavu respondenta),
• větší připravenost respondentů na delší rozhovor a těžší otázky než během CATI,
• automatické ukládání údajů během rozhovoru v případě CAPI.

NEVÝHODY:

• vyšší náklady, včetně nákladů na čas a cestu a sjednání osobního setkání s respondentem,
• chybí pocit anonymity respondenta,
• nekontrolovaný vliv tazatelů na odpovědi respondenta (tzv. „efekt tazatele“);
• v případě PAPI musí tazatel po skončení rozhovoru ručně zadat údaje z dotazníku do databáze, což je časově náročné a zvyšuje náklady a riziko chyb.

3.2.6.2. Telefonický rozhovor za pomoci počítače (CATI)

Tento typ rozhovoru se provádí telefonicky. Tazatel čte otázky zobrazené na obrazovce počítače a obdržené odpovědi označí v elektronickém dotazníku na počítači.

PODMÍNKY POUŽITÍ: zkoumání zažitých názorů a postojů s využitím otázek, které nevyžadují delší čas na rozmyšlenou vzhledem ke krátkému trvání rozhovoru (max. 10-15 minut) a specifickému způsobu předávání a přijímání informací (který neumožňuje přečíst si otázky několikrát vlastním tempem).

VÝHODY:

• kratší čas a nižší náklady na oslovení respondenta ve srovnání s osobními rozhovory (PAPI, CAPI),
• časová flexibilita (možnost přizpůsobit čas rozhovoru preferencím respondenta, zastavit rozhovor a pokračovat v něm v dobu vhodnou pro respondenta),
• snadné řízení a kontrola práce tazatelů,
• automatické ukládání (kódování) údajů během rozhovoru.

NEVÝHODY:

• možné obtíže se získáváním telefonních čísel respondentů (z důvodu chybějícího přístupu nebo ochrany osobních údajů) a v případě zaměstnavatelů žádné osobní kontakty (pouze telefonní číslo na recepci/ústředí),
• čas rozhovoru omezen na 10–15 minut (z důvodu nejisté koncentrace a krátkého trvání zájmu respondentů),
• tendence respondentů volit extrémní odpovědi nebo počáteční a koncové body na stupnici (což vyplývá ze specifického kanálu přenosu informací, který zvyšuje tzv. „prioritní efekt“ a „efekt svěžesti“).

3.2.7. SAMOSTATNĚ VYPLŇOVANÉ PRŮZKUMY

V samostatně vyplňovaných průzkumech si respondenti sami přečtou a označí odpovědi v dotazníku (bez účasti tazatele).

PODMÍNKY POUŽITÍ: tyto průzkumy lze provádět formou tištěného nebo online dotazníku (tj. jako CAWI). V případě posledně jmenovaného obdrží respondenti odkaz na webovou stránku s dotazníkem, který mohou vyplnit na počítači, tabletu nebo smartphonu. Po zodpovězení jsou data odeslána na server, kde jsou automaticky uložena v databázi.

Velmi účinnou metodou sběru kvantitativních údajů je centrální průzkum založený na tom, že dotazník vyplní osoby, které jsou současně v jedné místnosti, např. po absolvování školení, workshopu nebo konference. Je nutné zajistit, aby respondenti vyplňovali dotazníky sami (bez podpory jiných osob).

 

VÝHODY:

• získání informací v krátkém čase (zejména v případě centrálního průzkumu),
• nižší náklady ve srovnání s dotazníkovými rozhovory s účastí tazatelů,
• pocit anonymity osob, které vyplňují průzkum,
• není zde efekt tazatele.

NEVÝHODY:

• motivace respondentů k vyplnění dotazníku může být menší bez přítomnosti tazatele,
• nedostatečná kontrola nad procesem vyplňování dotazníku,
• riziko konzultací odpovědí s jinými lidmi.

PRAKTICKÝ TIP Dotazník průzkumu musí: být krátký, snadný a vizuálně atraktivní, aby povzbudil respondenta k vyplnění, obsahovat nezbytná vysvětlení, která v případě jiných metod podává tazatel, obsahovat jasné pokyny (papírová verze) nebo algoritmy (elektronická verze) vedoucí respondenta k relevantním otázkám (na základě předchozích odpovědí jsou neadekvátní otázky filtrovány a vynechány).

 

Dotazník ke školení

 

3.2.8. AKTIVNÍ METODY SKUPINOVÉ PRÁCE / WORKSHOPY S MLADÝMI LIDMI

Níže uvádíme další aktivní metody sběru údajů (především kvalitativní), které lze využít zejména při skupinové práci s mladými lidmi; tyto metody podporují aktivní zapojení účastníků a integraci týmu, usnadňují spolupráci a umožňují rozvoj měkkých dovedností.

Aktivní metody jsou metody shromažďování informací prostřednictvím workshopů, které mohou doplnit „klasické“ výzkumné metody hodnocení. Umožní vám získat rychlou zpětnou vazbu týkající se konkrétních kroků, zjistit pocity a dojmy účastníků a jejich hodnocení a vypracovat odpovídající doporučení. Tyto metody je vhodné použít během workshopů, školení nebo konferencí, neboť mohou přispět k atraktivitě setkání, usnadnit seznamování účastníků a pomoci přizpůsobit aktivity projektu potřebám účastníků.

VÝHODY:

• rychlost – během kurzů/setkání obdržíte okamžitou zpětnou vazbu,
• neformální atmosféra,
• projektivní povaha úkolů/otázek usnadňuje formulování kritických názorů a navrhování nových řešení,
• možnost společného sběru kvalitativních a kvantitativních údajů,
• stimulující sebereflexe,
• pozitivní dopad na celkový pocit pohody účastníků (uspokojení potřeby vyjádření, přijetí, integrace).

NEVÝHODY:

• získané názory nelze generalizovat na širší komunitu (která se nezúčastnila setkání),
• nutné moderování/facilitace zkušeným školitelem/moderátorem,
• není zajištěna anonymita účastníků v případě skupinových diskusí a hlášení (ohrožení duševní pohody a vztahů ve skupině v případě osob, které jsou mimořádně citlivé a zranitelné nebo mají slabé postavení ve skupině).

Níže naleznete příklady aktivních metod implementovaných formou workshopu.

 

PRÁDELNÍ ŠŇŮRA

Účelem tohoto nástroje je zjistit, jaká očekávání mají beneficienti projektu. Jedná se o vizuální metodu sběru kvalitativních údajů.

Každý účastník obdrží obrázky s oblečením (např. košile, spodní prádlo, kalhoty, ponožky), které symbolizují typ jejich očekávání v souvislosti s projektem – mohou to být např. naděje, obavy, potřeby, návrhy atd. Účastníci mají dostatek času na to, aby se zamysleli a doplnili jednotlivé obrázky/oděvy. Každý z nich zapíše své nápady a „pověsí své šaty“ na provázek, který je natažený nebo pověšený ve třídě. Účastníci mohou nahlas přečíst svá očekávání a prohlédnout si „prádlo“ ostatních.

 

TELEGRAM

Tento nástroj umožňuje rychle shrnout část setkání (workshopu, školení) a zjistit náladu ve skupině.

Požádáte účastníky, aby se zamysleli nad určitým úsekem školení a popsali své dojmy třemi slovy s použitím pozitivního, negativního a sumativního (souhrnného) výrazu (např. intenzivní – únava – spokojenost). Každá osoba přečte svá slova, což umožní společně shrnout uskutečněné aktivity (můžete je také zapsat na lepicí papírky post-it a nalepit je na flipchart apod.).

 

RUCE

Účelem tohoto nástroje je zjistit názor na vybrané aspekty projektu nebo jeho části (např. školení, stáž) a shrnout průběh a účinky výuky. Osoby účastnící se workshopu dostanou list papíru, na který nakreslí svou ruku. Ke každému prstu se přiřadí jedna kategorie hodnocení, např.:

• palec – jaká byla nejsilnější/nejlepší stránka školení/projektu,
• ukazováček – o čem řeknu svým přátelům,
• prostředníček – jaký byl nejslabší/nejhorší bod školení/projektu,
• prsteníček – co bych chtěl/-a změnit (prvek, který je potřeba zlepšit),
• malíček – co jsem se naučil/-a nebo co jsem se dozvěděl/-a.

Účastníci zapíší svůj názor ke každému z prstů podle výše uvedených kategorií. Cvičení lze použít ke zjištění názorů jednotlivců a/nebo ke skupinové diskusi.

 

HODNOTICÍ RŮŽICE

Tato metoda se používá k získání zpětné vazby týkající se současně několika aspektů projektu/aktivity. Jedná se o vizuální metodu, která umožňuje shromažďovat kvantitativní data, tj. hodnocení různých aspektů posuzovaného objektu za pomoci společné stupnice.

Účastníci dostanou karty s nakreslenou „hodnoticí růžicí“. Kresba je inspirována větrnou růžicí, ale namísto světových stran ukazuje různé aspekty hodnoceného objektu (např. užitečnost školení, atraktivita způsobu sdělování obsahu, přiměřenost času stráveného školením). Rozdělte osy na jednotlivé úseky a přiřaďte jim zvolené hodnoty (např. stupnici 1-5, kde 1 je nejhorší hodnocení a 5 nejlepší). Požádejte účastníky, aby uvedli své hodnocení na každé ose „hodnoticí růžice“. Poté můžete hodnocení spojit a získat vizuálně atraktivní obraz všech stanovisek (konečný efekt připomíná pavoukový graf).

 

MLUVÍCÍ ZEĎ

Účelem této metody je shromáždit názory na hodnotu konkrétní projektové aktivity nebo celého projektu. Použití tohoto nástroje vám umožní získat kvalitativní data (určitý názor) i kvantitativní data (kolik lidí sdílí tento názor).

Pověste na zeď pět velkých archů papíru. Na každý z nich napište otázku týkající se uskutečněných aktivit, např.:

• Arch 1: Jaké nové věci jste se během školení naučili?
• Arch 2: Jak využijete znalosti získané během školení?
• Arch 3: Co se vám na školení líbilo nejvíc?
• Arch 4: Co se vám na školení líbilo nejméně?
• Arch 5: Co byste na tomto školení změnili?

Účastníci zapíší na každý arch své odpovědi; pokud je daný názor již zapsán – připíší k němu plus nebo puntík. Na konci facilitátor shrne zápisy a vybídne skupinu, aby o nich diskutovala a formulovala doporučení. Tato forma shromažďování názorů podporuje větší otevřenost, účastníci získají pocit sounáležitosti a překonají neochotu mluvit na veřejnosti.

 

KUFR A ODPADKOVÝ KOŠ

Pomocí této metody můžete získat souhrnný přehled školení nebo jiné aktivity uskutečněné v rámci projektu. Metoda vám umožní shromáždit informace o tom, které prvky byly pro účastníky užitečné nebo zbytečné a které jim chyběly.

Nakreslete na tabuli nebo flipchart kufr, koš na odpadky a pytel. Každý obrázek symbolizuje jednu kategorii názorů na hodnocenou aktivitu:

• Kufr: „Co si ze školení odnesu?“ (co bude pro mě užitečné, co v budoucnu využiji)
• Odpadkový koš: „Co bylo během školení zbytečné?“ (co pro mě není užitečné, co bylo navíc),
• Pytel: „Co chybělo?“ (co by mělo být při dalším školení přidáno).

Poté můžete účastníky požádat, aby své názory vyslovili nebo zapsali na lepící papírky nebo přímo do obrázků na tabuli.

 

PRAKTICKÉ TIPY PRO REALIZACI SKUPINOVÝCH AKTIVIT Je vhodné, aby při těchto aktivitách seděli účastníci v kruhu, aby se všichni navzájem viděli. Chcete-li zvýšit angažovanost účastníků, můžete navrhnout, aby vždy sami určili další osobu, která bude hovořit, např. házením míče (toto řešení je možné použít, pokud ve skupině nejsou žádné diskriminované osoby). Ústní výroky je potřeba zaznamenat – to může provádět během sdílení osoba, která řídí setkání (např. na tabuli, flipchart), nebo její asistent.

 

3.3. Jakým způsobem vybrat vhodné výzkumné metody?

Výzkumné metody musejí vhodně zapadat do koncepce a plánu hodnocení. Pro správnou volbu zvažte, zda jsou metody relevantní s ohledem na:

• Účel, předmět, rozsah a typ hodnocení, jakož i kritéria a hodnoticí otázky – poskytnou vám tyto metody informace nezbytné k zodpovězení hodnoticích otázek?
• Zdroje dat, na základě kterých plánujete získávat informace – bude vhodné poskytnout informace o skupinách, které se zúčastní hodnoticího výzkumu?
• Charakteristiku dotazovaných/respondentů – zohledňují metody velikost skupiny, její schopnosti percepce, komunikační schopnosti, zdravotní stav atd.?
• Okolnosti shromažďování údajů – budou v danou chvíli k dispozici všechny potřebné údaje a respondenti? Bude zvolená metoda vhodná pro dané místo sběru dat?
• Prostředky, ke kterým máte přístup? – vyžaduje metoda dostupnost kvalifikovaných nebo nezávislých výzkumných pracovníků a dalších zdrojů (organizačních, technických, finančních a časových)? Budete schopni používat tyto metody samostatně? Umožňují vaše zdroje jejich použití?

Znalost výzkumných metod (kvantitativních a kvalitativních) a souvisejících nástrojů vám pomůže při přípravě druhé části koncepce hodnocení (viz kapitola 2.4, nástroj 4), která bude doplněna o metodické otázky. Tento prvek vám umožní shromáždit informace za účelem zodpovězení hodnoticích otázek.

Nástroj 6: Tabulka shrnutí zjištění plynoucích z analýzy případových studií

 

3.4. Jakým způsobem navrhnout výzkumné nástroje?

Častou chybou bývá zahájit hodnocení tím, že vytvoříte výzkumné nástroje, např. dotazník pro příjemce projektu. Je třeba si uvědomit, že není možné zvolit správné výzkumné metody ani vytvořit správné hodnoticí nástroje (např. scénáře, dotazníky, pozorovací záznamové archy) izolovaně, tj. odděleně od celkové koncepce hodnocení. Začněte tedy vytvářet výzkumné nástroje teprve poté, co určíte:

• • Předmět, rozsah a účel hodnocení,
  • Hodnoticí kritéria a otázky,
  • Zkoumané skupiny osob a výzkumné metody.

Bez vazby na výše uvedené prvky nebudete schopni vytvořit správné výzkumné nástroje, protože se může stát, že zařadíte otázky, které nebudou souviset s účelem výzkumu, což znemožní zodpovědět hodnoticí otázky a reagovat na hodnoticí kritéria. „Nevhodné“ nástroje obsahují zbytečné otázky, obsahují příliš mnoho nebo naopak nedostatek informací, neposkytují relevantní informace a neumožňují formulovat smysluplná doporučení.

Otázky obsažené ve výzkumných nástrojích jsou konkretizací hodnoticích otázek. Pamatujte, že tyto otázky kladou hodnotitelé sami sobě, nikoli respondentům! Tyto dva druhy otázek by neměly být zaměňovány, protože jsou formulovány tak, aby se přizpůsobily potřebám:

● Hodnotitelů / zainteresovaných stran hodnocení → hodnoticí otázky,

● Zkoumaných skupin osob (respondenti, dotazované osoby) → otázky obsažené ve výzkumných nástrojích.

Pokud si nejste jisti, zda má být konkrétní otázka položena dotazovaným/respondentům, zvažte, zda na ni budou schopni odpovědět a zda vám získané informace umožní odpovědět na hodnoticí otázky a formulovat užitečná doporučení.

 

JAKÝM ZPŮSOBEM KLÁST OTÁZKY

• Počet otázek zahrnutých do nástrojů by měl být přiměřený účelu a době trvání výzkumu.
• Výzkumné nástroje by měly mít transparentní strukturu s identifikovanými hlavními tématy (např. „důvody zapojení do projektu“, „posouzení různých typů podpory“, „účinky účasti v projektu“). Jednotlivá témata by měla být uspořádána do tematických skupin (např. organizační záležitosti).
• Otázky by měly být kladeny v konkrétním pořadí. Na začátek nástroje zařaďte předběžné otázky (relativně snadné). Po nich by měly následovat úvodní otázky týkající se předmětu (nikoli příliš náročné), poté hlavní otázky (klíčové pro účely výzkumu). Nejtěžší otázky by měly být zařazeny uprostřed nástroje. Na závěr položte souhrnné a závěrečné otázky.
• Otázky by měly být kladeny v logickém pořadí, které by nemělo účastníky výzkumu překvapit nebo zmást. Každá otázka by měla navazovat na předchozí otázku, nebo v případě osobního rozhovoru na předchozí prohlášení respondenta.
• Jazyk rozhovoru by měl být snadno srozumitelný: používejte co nejkratší věty a způsob vyjadřování, který je blízký účastníkům výzkumu – nepoužívejte cizí slova, odborné termíny, žargon či zkratky.
• Otázky by měly být formulovány přesně – tzn. že by neměly vyvolávat pochybnosti například o tom, k jakému časovému období se vztahují (neptejte se: „zda nedávno …“, ale: „zda v posledním týdnu/měsíci/roce …“).
• Neptejte se na několik věcí v jedné otázce (např. „Jaké jsou silné a slabé stránky projektu?“) a nepoužívejte záporně formulované otázky („Neměl/-a byste…?“, „Nedáváte raději přednost…?“). Všechny tyto chyby ztěžují porozumění otázkám a interpretaci odpovědí.
• Dotazy a navrhované odpovědi nesmějí být citlivé pro účastníky výzkumu – nesmějí vést např. ke sdílení traumatických zážitků, přiznání chování nebo přesvědčení, která jsou v rozporu se zákonem nebo morálkou. Pokud není zaručena anonymita, neptejte se na majetkové poměry, rodinné záležitosti nebo zdravotní problémy.
• Nepokládejte sugestivní otázky naznačující odpověď – žádná z možností nesmí být prezentována tak, že je v souladu se zákonem nebo morálkou, neodvolávejte se na autority, úřady či názor většiny.

PŘÍKLAD „PŘEVODU“ KRITÉRIA A HODNOTICÍ OTÁZKY NA NÁSTROJ VÝZKUMU

I. Kritérium: UŽITEČNOST

(perspektiva: hledisko příjemce; účel hodnocení: zlepšení projektových aktivit)

II. Výzkumná otázka: Do jaké míry bylo školení užitečné pro účastníky?

III. Příklady otázek ze scénáře individuálního hloubkového rozhovoru (IDI) se školitelem:

1) Které prvky školení byly nejvíce a které nejméně užitečné pro účastníky a proč?
2) Mohlo by být toto školení užitečnější pro účastníky? Co by se mělo změnit? Proč si myslíte, že díky této změně bude školení užitečnější?

IV. Příklady výzkumných otázek pro příjemce školení:

1) Uveďte prosím prvky školení, které byly pro vás nejužitečnější (možnosti: X, Y, Z)
2) Uveďte prosím prvky školení, které byly pro vás nejméně užitečné (možnosti: X, Y, Z)
3) Mohlo by být toto školení pro vás užitečnější? (možnosti: ano; ne; nevím)

• Otevřené otázky pro osoby, které odpověděly ‚ano‘ – Co by se mělo změnit na tomto školení, aby bylo užitečnější? (nechat prostor na odpověď ………..)

---

 

Rozdíly mezi kvantitativními a kvalitativními výzkumnými nástroji, struktura/stavba scénářů a dotazníků a nejčastější chyby v jejich návrhu jsou obsahem online kurzu.

IV. Co je třeba zvážit při hodnocení projektů zaměřených na mladé lidi ve věku 25-29 let

4.1 Jak přizpůsobit metodu evaluačního výzkumu způsobu života mladých lidí?

4.1.1 Převažující využití chytrých telefonů v každodenní komunikaci

Mladí lidé jsou na rozdíl od starších osob ochotnější používat elektronické technologie spíše než tištěné dokumenty. Jsou také mnohem efektivnější při používání těchto technologií a mají sklon řešit běžné každodenní záležitosti pomocí smartphonu spíše než počítače. Při provádění výzkumu mezi mladými lidmi je proto vhodné využívat elektronické výzkumné nástroje; nejlepší možností je přizpůsobit tyto nástroje použití s chytrými telefony (jedna jednoduchá otázka na jednu obrazovku, jednoduchá a čitelná forma, ne moc dlouhý seznam odpovědí). Jednou z aplikací, které lze použít pro práci s mladými lidmi, je například Kahoot.

4.1.2 Aktivní život s nadměrným množstvím stimulace

Charakteristickým rysem moderní mládeže je její otevřenost vůči četným podnětům přicházejícím prostřednictvím smartphonů, s nimiž se mladí lidé ani na okamžik nerozloučí. Učení, volnočasové aktivity a zájmy, a především společenský život často ovlivňují fungování mladí lidí natolik, že tito lidé mohou zapomenout na neobvyklé nebo méně důležité povinnosti, jako je např. vyplnění dotazníku. Tomu lze předcházet tím, že budeme pravidelně zasílat účastníkům zprávy s připomenutím data plánovaného rozhovoru, slibu vyplnit průzkumný dotazník apod.

4.1.3 Široce rozšířené používání sociálních sítí

Pro výzkumné účely se stále častěji využívá masivní používání sociálních sítí mladými lidmi, včetně přítomnosti těchto lidí v mnoha skupinách na sociálních sítích. Je možné najít skupiny mladých lidí z konkrétní lokality nebo školy, stejně jako skupiny zaměřené na specifické hudební nebo ideologické zájmy apod. Vstup do skupiny otevírá možnost náboru účastníků výzkumu (např. do srovnávací skupiny). Můžete položit otázku jednotlivým členům skupiny jako výzkumný pracovník, nebo zveřejnit odkaz na online průzkum nebo žádost o kontakt (pokud s tím bude moderátor skupiny souhlasit). Není vhodné zahajovat veřejnou diskusi na úrovni internetové skupiny; takový postup brání zachování důvěrnosti výzkumu a vystavuje účastníky hodnocení ze strany ostatních členů skupiny. Prohlášení učiněná veřejně navíc bývají méně důvěryhodná.

Dle příkladu agentur pro výzkum trhu můžete též uvažovat o založení speciální komunitní skupiny (metoda MROC – online komunity zaměřené na průzkum trhu), které by se účastnili mladí beneficienti projektu na základě souhlasu s účastí. Tyto aktivity však vyžadují přesnou definici cíle skupiny. Pokud je účelem výzkum – pak by to měla být krátkodobá skupina (MROC) a během tohoto krátkého období by měla být profesionálním způsobem moderována, podobně jako skupinové rozhovory focus groups (FGI).

4.1.4 Problémy při oslovení skupiny NEET

Problémy charakteristické pro výzkum prováděný mezi mladými lidmi se ještě více prohloubí, pokud se hodnocený projekt zaměřuje na mladé lidi, kteří nestudují ani nepracují, ani se neúčastní žádné formy vzdělávání, podpory nebo institucionálního dohledu, které by je sdružovaly (skupina NEET). Oslovit mladé lidi, kteří jsou v podobné situaci, je velká výzva, zvláště když potřebujete srovnávací údaje pro účely srovnání se zástupci skupiny NEET, kteří se projektu účastní.

Jediným řešením tohoto problému často bývá srovnání skupin účastnících se různých projektů v rámci stejného programu nebo srovnání výsledků skupiny účastnící se projektu se skupinou kandidátů, kteří se nestali beneficienty projektu (po zohlednění důvodů, kvůli kterým nebyli zařazeni do projektu).

4.3. Jak se vyrovnat s psychologickými a sociálními potřebami mladých lidí

4.3.1. Zvýšená potřeba zachování důvěrnosti poskytnutých informací

Klíčovými psychosociálními faktory, které je potřeba vzít v úvahu při plánování a realizaci výzkumu mezi mladými lidmi, je jejich mimořádná náchylnost nechat se ovlivnit. To vyplývá jak z procesu formování osobnosti, tak ze strachu z posuzování, a dokonce i z trestu, který může mladého člověka postihnout jak ze strany vrstevníků, tak ze strany dospělých, na nichž je mladý člověk psychicky a finančně závislý. K posledně jmenovaným patří i pracovníci projektu. S ohledem na výše uvedené je potřeba:

• Informovat účastníka výzkumu o důvěrnosti poskytovaných informací a opatřeních přijatých za účelem zachování důvěrnosti jak při shromažďování údajů, tak formou anonymizace ve fázi analýzy údajů a využití zjištění,
• Poskytnout komplexní záruky, vč. provádění rozhovorů (IDI, FGI) bez účasti třetích stran, vytvoření podmínek pro vyplňování dotazníků zaručujících anonymitu a důvěrnost, např. vhazováním dotazníků vyplněných ve třídě do sběrné schránky.

V. Analýza dat

 

Jakmile je dokončen sběr údajů, měla by být zahájena jejich analýza. Znamená to využít veškerý výzkumný materiál (informace získané různými metodami) k zodpovězení hodnoticích otázek a zhodnocení hodnoceného projektu podle zvolených kritérií. V této fázi je proto vhodné vrátit se ke koncepci hodnocení, která funguje jako kompas a provede hodnotitele celým výzkumným procesem (tj. nejen sběrem informací, ale také analýzou údajů, vyvozováním závěrů a formulací doporučení).

Cílem analýzy údajů je:

• Kompilace a ověření shromážděných informací,
• Popis, hodnocení a srovnání získaných kvantitativních a kvalitativních údajů (kontrola jejich spolehlivosti a konzistence),
• Identifikace a vysvětlení různých vztahů příčiny a následku, které vám umožní pochopit mechanismy studovaných jevů,
• Interpretace získaných zjištění vyplývajících z hodnocení ve vztahu k širším znalostem o předmětu hodnocení (evaluandu),
• Získání podrobných odpovědí na hodnoticí otázky a důvěryhodné zhodnocení předmětu hodnocení podle zvolených kritérií,
• Vyvození závěrů ze shromážděných informací a formulování užitečných doporučení na základě těchto závěrů.

Při analýze údajů byste měli mít na paměti princip triangulace, tj. kompilace údajů získaných z různých zdrojů různými výzkumnými metodami různými výzkumnými pracovníky. Díky tomu máte možnost doplnit, prohloubit a ověřit příslušné informace, a získat tak úplný obraz o hodnoceném projektu.

Přestože kroky prováděné během analýzy údajů, např. redukce, prezentace a závěry, jsou společné pro oba typy údajů (kvantitativní i kvalitativní), získaná zjištění mají u každého typu jinou formu. Porovnání těchto údajů je uvedeno v následující tabulce.

Před zahájením analýzy údajů je nutné zkontrolovat, zda byly všechny výzkumné materiály anonymizovány, tj. neexistují žádné osobní údaje (jména, příjmení, adresy, včetně e-mailových adres, telefonní čísla atd., stejně jako kontextové informace umožňující identifikace účastníků výzkumu). Dotazovaným, kteří se účastní kvalitativní části výzkumu (IDI, FGI), jsou přiřazeny pseudonymy, např. s přihlédnutím k vlastnostem důležitým pro výzkumného pracovníka. Osobní údaje týkající se účastníků výzkumu by měly být odděleny od jimi poskytnutého obsahu.

Čtyři hlavní fáze analýzy údajů:

1. Výběr a uspořádání shromážděného výzkumného materiálu – v této fázi probíhá kontrola správnosti a úplnosti údajů a ověření spolehlivosti jednotlivých informací (pomocí triangulace) a odstranění údajů, které nejsou užitečné pro účely hodnocení. Měli byste shromáždit veškeré informace a usnadnit jejich další analýzu – přepis zvukových záznamů rozhovorů nebo jejich zápis lze pořídit podle předem připraveného schématu (obsahujícího souhrn prohlášení respondentů). V případě průzkumu byste měli z analýzy vyloučit nevyplněné dotazníky atd.

2. Tvorba analytických kategorií (výběr typu kódování údajů – jejich kategorizace a klasifikace), to znamená přiřazení kódů/„štítků“ jednotlivým získaným informacím, které budou představovat specifické kategorie informací, což umožní uspořádat výzkumný materiál.

• V případě uzavřených otázek mají kódy odpovědí numerickou podobu (např. „žena“ = 1, „muž“ = 2), která umožňuje provádět analýzu získaných údajů pomocí statistických programů (nebo tabulek). Nejprve je potřeba vypracovat kódovací příkaz, který bude obsahovat názvy kódů a čísla použitá v dotazníku k identifikaci odpovědí respondentů na konkrétní otázky. Průzkumy prováděné formou tištěných dotazníků vyžadují manuální kódování – k tomu je třeba očíslovat odpovědi v dotazníku, zakódovat odpovědi a zadat tyto informace do databáze. Elektronické dotazníky jsou kódovány automaticky.
• V případě otevřených otázek a dalších kvalitativních údajů mají kódy konkrétních odpovědí verbální podobu (např. „vzdělávací organizace“, „realizace školení“). Kódy pro kvalitativní údaje lze naplánovat před prostudováním shromážděného materiálu, nebo po něm. První metoda se nazývá kódování „shora dolů“ a vychází z dobré znalosti zkoumaného problému a/nebo jeho zakotvení v určité teorii. Druhou metodou je otevřené kódování („zdola nahoru“), které používá kategorie identifikované ve shromážděném materiálu (např. vztahující se k výzkumným otázkám). V obou případech je potřeba vytvořit kódovací schéma, které kódy uspořádá (vytvoří hierarchii kódů, nadřazené/kolektivní a podrobné kódy) tak, aby bylo možné shromážděné informace prezentovat konzistentním způsobem.

 

Informace odpovídající příslušným kódům lze shrnout do jedné tabulky, která usnadní vyhledávání podobných nebo společných rysů účastníků výzkumu a informací, které je naopak odlišují. Umožní také vidět vztah mezi charakteristikou nebo situací dotazovaných a jejich výroky.

Nástroj 7: Tabulka pro shrnutí informací získaných na základě rozhovorů

 

3. Analýza a interpretace získaných zjištění (vysvětlení a zhodnocení konkrétní záležitosti/problému výzkumným pracovníkem)

Analýza údajů je důležitou součástí hodnocení, protože umožňuje shrnout zjištění a najít společné a odlišné prvky ve shromážděných materiálech. Ve fázi plánování hodnocení je vhodné zvolit a popsat metodu analýzy údajů. Údaje získané během hodnocení lze analyzovat mnoha způsoby. Nejjednodušší rozlišení je:

• Kvantitativní analýza údajů (čísla, odpovědi na uzavřené otázky) – pro účely jednoduché analýzy můžete použít například MS Excel, pro složitější analýzy pak statistické programy, jako je SPSS nebo Statistica, provozované odborníky, jejichž služby mohou být využity v případě potřeby.

PRAKTICKÝ TIP V případě malých skupin by kvantitativní údaje neměly být prezentovány ve formě procent, tj. uvést např., že 20 % respondentů ze skupiny deseti osob má určitý názor. Lepší je v tomto případě použít absolutní čísla, tj. 2 osoby.

• Kvalitativní analýza údajů (např. text, prohlášení během rozhovoru) – pro účely jednoduché analýzy stačí data zkompilovat formou tabulky/matice; v případě rozsáhlejšího výzkumného materiálu je vhodné použít analytické programy, např. QDA Miner, OpenCode, Weft QDA.

Některé z nich stručně uvádíme v níže uvedené tabulce:

Rozpracováno na základě následujícího zdroje: Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence.

 

DŮLEŽITÉ Při analýze údajů je velmi důležité určit, k jakým změnám došlo v důsledku projektu a jakou roli v nich hrály jednotlivé aktivity. Je proto nutné odpovědět na otázku, do jaké míry ovlivnily projektové aktivity dosažení předpokládaných ukazatelů výsledku a jakou roli hrály projektové aktivity mezi jinými faktory ovlivňujícími očekávané změny (viz kapitola 2.5).

 

Analýzu údajů je vhodné vztáhnout k dříve popsané teorii změny přijaté v rámci popisu logiky projektu. Při plánování změny na začátku projektu jste přijali určité předpoklady o podmínkách, které musí být splněny (poskytnuté zdroje, realizované aktivity), aby bylo možné dosáhnout daných tzn. že jste naplánovali řetězec příčiny a následku. Hodnocení ověřuje naši teorii změny – může ji potvrdit nebo odhalit její mezery (např. chybějící / nadbytečné složky) a doporučit zlepšení do budoucna.

Existují tři obecné strategie kauzální inference (vyvození závěrů o příčinné souvislosti). Kombinace těchto strategií může +zvýšit důvěryhodnost vyvozených závěrů:

VI. Reportování

 

6.1. Jakým způsobem využít výsledky analýzy údajů?

Po dokončení fáze kvalitativní a kvantitativní analýzy údajů máte k dispozici množství informací, které je potřeba správným a vhodným způsobem použít. Tyto informace vám pomohou získat znalosti, na základě kterých budete přijímat správná rozhodnutí týkající se zlepšení projektu (např. jak jej lépe přizpůsobit potřebám příjemců, jak dosáhnout podobných účinků s využitím menších zdrojů, jak zajistit větší dopad a udržitelnost výsledků projektu).

Na základě zjištění provedených analýz můžete vyvodit závěry týkající se jevů nebo problémů identifikovaných během hodnocení. Tyto závěry se týkají především záležitostí popsaných v hodnoticích otázkách, ale mohou zahrnovat i problémy, které byly diagnostikovány dodatečně během výzkumu.

V hodnotící zprávě byste měli prezentovat nejen zjištění vyplývající z hodnoticího výzkumu, ale také jejich interpretaci (tj. ve vztahu k širší znalosti zkoumané problematiky), závěry vyvozené ze získaných údajů a odpovídající doporučení. Výše uvedený diagram představuje vztahy mezi těmito prvky. Chcete-li projít tímto procesem, můžete použít otázky, které doprovázejí následující fáze (ve výše uvedeném diagramu jsou označeny kurzívou).

Níže naleznete příklad procesu formulování závěrů a doporučení týkajících se vzdělávacího projektu zaměřeného na skupinu NEET (zjištění se týkají kvantitativní části výzkumu).

 

Nástroj 8: Vztah mezi zjištěními vyplývajícími z hodnocení, jejich interpretací, závěry a doporučeními

 

Nezapomeňte vzít v úvahu různé aspekty související s hodnoticím výzkumem, např. použité metody (kvalitativní, kvantitativní), metody výběru vzorků a míru reakce (úroveň návratnosti dotazníků), které mohou vést k určitým omezením při formulování závěrů.

 

PRAVIDLA FORMULOVÁNÍ ZÁVĚRŮ:

• Přistupujte ke svým závěrům kriticky, dívejte se na ně s odstupem a neustále hledejte alternativní vysvětlení zjištěných jevů. Vždy stojí za to konzultovat své závěry s jinou, pokud možno zkušenější osobou („kritickým přítelem“), která bude schopna podívat se na ně „nezatíženým, objektivním pohledem“ díky tomu, že není zapojena do hodnocení.
• Ujistěte se, že správně interpretujete výroky účastníků výzkumu, např. s nimi své závěry ověřte. Pokud si nejste zcela jisti daným závěrem, zjemněte jej pomocí výrazů „pravděpodobně“, „patrně“, „nejspíš“.
• Nezobecňujte závěry na celou populaci (tj. osoby, které se výzkumu nezúčastnily), pokud jste použili kvalitativní metody nebo pokud nebyl studovaný vzorek vybrán náhodně.

V online kurzu se dozvíte, jak se vyhnout chybám při formulování závěrů.

 

JAKÝM ZPŮSOBEM FORMULOVAT DOPORUČENÍ?

• Uspořádejte je tematicky (např. projektový management, spolupráce s partnery, realizované aktivity, účinky projektu).
• Uveďte silné i slabé stránky předmětu hodnocení. Nesoustřeďte se pouze na negativa – ukažte také ty oblasti, které fungují dobře a nepotřebují žádné změny. Pokud se soustředíte pouze na pozitiva, naruší to důvěryhodnost hodnocení.
• Dbejte na to, aby doporučení byla podrobná, přesná a realistická (schopná implementace), aby byla také praktická, správná a užitečná.
• Přiřaďte ke každému doporučení: příjemce (s nímž toto bude předem dohodnuto), termín realizace a stupeň důležitosti; zvýšíte tak šanci na jeho implementaci.

Závěry a doporučení lze prezentovat ve stručné a výstižné tabulce představující shrnutí předkládané zprávy, nebo samostatný „konečný produkt“ hodnocení. Níže uvádíme příklad tabulky s doporučeními týkajícími se hodnocení vzdělávacího projektu:

Nástroj 9A: Tabulka doporučení

Nástroj 9B: Zjednodušená tabulka doporučení

 

6.2. Čím se vyznačuje kvalitní zpráva?

Zpráva představuje završení procesu hodnocení, protože prezentuje jeho koncepci, průběh výzkumu a výsledná zjištění, stejně jako závěry a doporučení, která z nich vyplývají.

V průběhu procesu hodnocení bývají sestavovány různé druhy zpráv, např.:

Závěrečná zpráva může mít různou formu, která by měla odpovídat potřebám jednotlivých skupin příjemců (zainteresovaných stran), stejně jako obsah zprávy. Výsledky hodnocení mohou být prezentovány a propagovány např. následujícím způsobem:

• • Závěrečná zpráva v elektronické podobě (méně často v tištěné podobě) distribuovaná zainteresovaným stranám a/nebo zveřejněná na internetu (např. na webových stránkách projektu nebo zadavatele hodnocení),
  • Souhrnný přehled zpráv ve formě informačních složek / brožur obsahujících klíčové závěry a doporučení,
  • Multimediální prezentace během konferencí a jednání, např. se zainteresovanými stranami, partnery,
  • Infografika zveřejněná na webových stránkách projektu a v sociálních médiích a zaslaná do místních médií,
  • Tištěné plakáty prezentované na různých akcích, jako jsou např. konference, pikniky,
  • Filmy (videoprezentace) určené širokému publiku (včetně rozptýleného publika) a zveřejněné na internetu,
  • Následná opatření – prezentace týkající se účinků realizace doporučení.

 

Zpráva ve formě rozšířeného textového dokumentu může mít následující strukturu:

• • Titulní strana – název smluvní instituce, název instituce provádějící hodnocení (pokud bylo hodnocení externí), datum sestavení, autoři, název (např. Ex post hodnocení projektu X),
  • Shrnutí – hlavní prvky koncepce hodnocení, klíčová zjištění, závěry a doporučení (nutno uvést u obsáhlejších zpráv),
  • Obsah – umožňující automaticky přejít na konkrétní stránku zprávy,
  • Seznam zkratek (případně definice specifických termínů),
  • Úvod – informace o zadavateli, typ a termín dokončení hodnocení, název hodnoceného projektu, zdroje financování a název organizace, která projekt realizovala,
  • Předmět a rozsah hodnocení – stručný popis hodnoceného projektu a částí projektu, které byly předmětem hodnocení,
  • Cíle hodnocení – vysvětlení, proč bylo hodnocení prováděno, co se od něj očekává,
  • Hodnoticí kritéria a hodnoticí otázky – způsob, jakým byla stanovena hodnota předmětu hodnocení / co jsme se měli dozvědět prostřednictvím hodnocení,
  • Záležitosti týkající se použité metodologie – popis zdrojů informací a použitých výzkumných metod, metod výběru vzorků, průběhu výzkumu, míry responzivity (jaké procento respondentů se průzkumu zúčastnilo). Dále je vhodné popsat problémy, které se vyskytly při realizaci výzkumu, a způsoby a výsledky jejich řešení,
  • Popis zjištění vyplývajících z hodnocení – popis kvalitativních a kvantitativních zjištění shromážděných během výzkumu a jejich interpretace s použitím přijaté metody prezentace (např. podle hodnoticích kritérií / otázek). Zjištění z různých zdrojů a zjištění získaná různými metodami by měla být vzájemně konfrontována (na základě triangulace). Každá kapitola může obsahovat dílčí shrnutí,
  • Závěry a doporučení – stručná, ale výstižná odpověď na hodnotící otázky. Závěry musejí vycházet ze zjištění studie a doporučení by s nimi měla úzce souviset,
  • Přílohy/dodatky (volitelné) – např. použité výzkumné nástroje, shrnutí ve formě tabulek, případové studie, atd.

Je třeba si uvědomit, že bez ohledu na zvolenou formu zprávy budou jakékoli změny obsahu tohoto dokumentu v případě jak externího, tak interního hodnocení vyžadovat souhlas hodnotitele.

Chcete-li se dozvědět více o tabulce poznámek k hodnoticí zprávě, přejděte do našeho online kurzu.

Kvalitní hodnoticí zpráva by měla splňovat následující požadavky:

• přiměřeně odpovídat podmínkám smlouvy a potřebám příjemců a být formulována jazykem srozumitelným těmto příjemcům,
• obsahovat seznam použitých zkratek (případně definice klíčových pojmů, pokud má být zpráva předložena širšímu publiku, které je nemusí znát),
• mít jasnou a srozumitelnou strukturu,
• být stručná a zároveň vyčerpávajícím způsobem odpovědět na hodnotící otázky (bez zdlouhavého a zbytečného „tlachání“),
• vycházet z důvěryhodných a spolehlivých zjištění, která byla předmětem řádné analýzy,
• prezentovat nejen získaná zjištění, ale také jejich interpretaci, a současně uvést vztah mezi údaji a závěry,
• obsahovat odůvodněné závěry a s nimi související užitečná doporučení,
• obsahovat grafické prvky (tabulky, grafy, diagramy) a citace z výpovědí respondentů, které činí obsah zprávy přitažlivějším.

Následující tabulka vám pomůže ověřit kvalitu hodnoticí zprávy, neboť osahuje podrobná kritéria pro posouzení kvality. Můžete si vybrat hodnoticí stupnici (numerickou nebo verbální) a posoudit vlastní nebo externí zprávu.

Nástroj 10: Tabulka hodnocení kvality zprávy

 

6.3. Jakým způsobem předložit to, co je potřeba, příjemcům vašeho hodnocení

Možnost využít zjištění vyplývající z hodnocení závisí na typu hodnocení, tj. na okamžiku/fázi projektu, v nichž se hodnocení provádí.

Největší šanci na zavedení změn přináší hodnocení ex ante prováděné v době, kdy hodnocený projekt ještě nebyl zahájen.

V případě hodnocení uprostřed projektového období je možnost využít doporučení k zavedení konkrétních změn omezená, protože projekt již probíhá a jednotlivé kroky jsou postupně realizovány. Nicméně některé prvky projektu je ještě možné změnit, např. za účelem lepšího přizpůsobení probíhajících aktivit potřebám jejich beneficientů, zajištění dosažení předpokládané úrovně plánovaných ukazatelů nebo jejich přizpůsobení změněným podmínkám realizace projektu.

Zjištění vyplývající z následného hodnocení ex post vám pomohou pouze při plánování dalších (stejných nebo podobných) projektů, protože hodnocený projekt byl již dokončen.

Pokud se zjištění plynoucí z hodnocení týkají problémů v oblasti organizace nebo řízení projektu, můžete je využít v aktuální práci.

Distribuce zjištění plynoucích z hodnocení (nejčastěji ve formě závěrů a doporučení) mezi zainteresovanými stranami je velmi důležitou etapou, neboť přispívá k lepšímu pochopení potřeby změny, k posílení spolupráce, odhodlání a motivace k jednání a k získání podpory v tomto procesu.

Sdílení zjištění plynoucích z hodnocení s dalšími lidmi/subjekty může prokázat vaši schopnost sebereflexe, pokud jde o hodnotu a kvalitu vašich aktivit. Je známkou vaší připravenosti zapojit se do diskuse o různých aspektech předmětu hodnocení, schopnosti posoudit jeho silné a slabé stránky a touhy dále se rozvíjet a zlepšovat ve spolupráci s dalšími zainteresovanými stranami.

Nástroj 11: Tabulka distribuce zjištění plynoucích z hodnocení

Závěrem

 

Pokud čtete tyto řádky, pravděpodobně jste prostudovali celý dokument a dozvěděli jste se, jak hodnotit projekty a k čemu je hodnocení dobré, zejména pokud jde o projekty zaměstnávání mladých lidí a pokud chcete zhodnotit skutečný (čistý) dopad těchto projektů.

Pomocí participativní metody hodnocení získáte informace, které budou zásadní pro přijetí klíčových rozhodnutí ve vztahu k projektu a zároveň velice důležité pro zainteresované strany, zejména dárce. Navíc posílíte postavení beneficientů a zajistíte lepší informovanost, koordinaci a motivaci projektového týmu. V konečném důsledku je to cesta ke zvýšení relevance, účinnosti, udržitelnosti a účelnosti projektů – prostě a jednoduše k lepším projektům!

V zájmu zjednodušení vašeho procesu hodnocení můžete použít vzorové šablony hodnoticích nástrojů – viz Přílohy. Pokud chcete proniknout do problematiky hodnocení ještě hlouběji – využijte online kurz a aktivity v oblasti vytváření kontaktů a sítí v rámci projektu Youth Impact – vše je k dispozici na webových stránkách www.youth-impact.eu

 

Další zdroje informací

Zajímavé online zdroje informací týkajících se hodnocení:

• ILO Guide on Measuring Decent Jobs for Youth: Monitoring, evaluation and learning in labour market programmes
• Participatory evaluation with young people
• UNICEF Methodological Briefs

Reference

 

• Babbie E. (1st edition in 1975) The Practice of Social Research
• Babbie E. (1st edition in 1999) The Basics of Social Research.
• Bartosiewicz-Niziołek M., Marcinkowska-Bachlińska M., et al (2014) Zaproszenie do ewaluacji, zaproszenie do rozwoju KOWEZiU, Warszawa (s.69-85)
• Bartosiewicz-Niziołek M. (2012) Ewaluacja programów i przedsięwzięć społecznych – katalog dobrych praktyk , ROPS, Kraków
• Bienias S., Gapski T., Jąkalski J. (2012) Ewaluacja. Poradnik dla pracowników administracji publicznej. Ministerstwo Rozwoju Regionalnego, Warszawa
• Blalock H. (1st edition in 1960) Social Statistics.
• Checkoway, B., Richards-Schuster, K. Participatory evaluation with young people, W.G. Kellogg Foundation
• Ferguson G. A., Takane Y. (1st edition in 1971) Statistical analysis in psychology and education.
• Flick, U. (1st edition in 2007). Designing Qualitative Research.
• Flick, U. (1st edition in 2007). Managing the Quality of Qualitative Research.
• Gibbs, Graham R. (2009) Analyzing Qualitative Data.
• Kloosterman, P., Giebel, K., Senyuva, O., (2007) T-Kit 10: Educational Evaluation in Youth Work, Council of Europe Publishing
• Kvale S. (2007) Doing Interviews.
• Lisowski G., Haman J., Jasiński, M (2008) Podstawy statystyki dla socjologów, Warszawa
• Maziarz M., Piekot T., Poprawa M., i inni (2012) Jak napisać raport ewaluacyjny. Ministerstwo rozwoju Regionalnego, Warszawa
• Maziarz M., Piekot T., Poprawa M., i inni (2012) Język raportów ewaluacyjnych. Ministerstwo rozwoju Regionalnego, Warszawa
• Miles, M. B., Huberman, A. M. (1st edition in 1983) Qualitative Data Analysis.
• Nikodemska-Wołowik A., M. (1999). Jakościowe badania marketingowe, Polskie Wydawnictwo Ekonomiczne, Warszawa
• Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence.
• Rapley T. (2007) Doing Conversation, Discourse and Document Analysis.
• Rogers, P. (2014). Overview: Strategies for Causal Attribution, Methodological Briefs: Impact Evaluation 6, UNICEF Office of Research, Florence.
• Silverman, D. (1^st edition 1993) Interpreting Qualitative Data.
• Wieczorkowska G., Kochański, P., Eljaszuk, M. (2005) Statystyka. Wprowadzenie do analizy danych sondażowych i eksperymentalnych, Wyd. Naukowe Scholar, Warszawa
• W.K. Kellogg Foundation (2004) Logic Model

PŘÍLOHY

Nástroj 1: (Re)Konstrukce logiky projektu

Nástroj 2: Tabulka ukazatelů účinků projektu

Nástroj 3: Tabulka obsahující shrnutí diagnózy evaluačních potřeb zainteresovaných stran projektu

Nástroj 4: Tabulka koncepce hodnocení

Nástroj 5: Tabulka plánování hodnocení

Scénář individuálního rozhovoru

Dotazník ke školení

Záznam pozorování školení

Nástroj 6: Tabulka shrnutí zjištění plynoucích z analýzy případových studií

Nástroj 7: Tabulka pro shrnutí informací získaných na základě rozhovorů

Nástroj 8: Vztah mezi zjištěními vyplývajícími z hodnocení, jejich interpretací, závěry a doporučeními

Nástroj 9A: Tabulka doporučení

Nástroj 9B: Zjednodušená tabulka doporučení

Nástroj 10: Tabulka hodnocení kvality zprávy

Nástroj 11: Tabulka distribuce zjištění plynoucích z hodnocení

PŘÍRUČKA PRO EVALUACI PODPORY PODNIKAVOSTI MLADÝCH LIDÍ

Vaše cesta k lepším projektům zaměřeným na podporu podnikavosti mladých lidí

Autorství: PEDAL Consulting s.r.o. (Bratislava, 2021)

 

Příručka – PDF

Příručka – online listovačka

 

1. Úvod

Účelem tohoto souboru nástrojů je stručně představit praktické nástroje sloužící k evaluaci akcí a projektů zaměřených na podporu podnikavosti mladých lidí. Jinými slovy – cílem tohoto souboru nástrojů je podpořit evaluaci projektů zaměřených na zvyšování podnikatelských dovedností mladých lidí (ve věku 15–24 let), kteří se více než jiné věkové skupiny ve Visegrádském regionu potýkají s problémy ve fázi přechodu mezi školou a zaměstnáním.

Hlavními příjemci tohoto souboru nástrojů jsou agentury a organizace zaměřené na podporu podnikavosti, poradenské firmy, podnikatelské inkubátory a akcelerátory, sociální podniky, nevládní organizace a další malé a střední podniky, které mají zájem o analýzu některého ze svých projektů nebo základní činnosti ve výše uvedené oblasti. Tato analýza může podpořit:

• hodnocení účinnosti projektu z hlediska dosažení cílů a požadovaných výsledků,
• posouzení užitečnosti projektu pro účastníky a udržitelnosti výsledků projektu,
• posouzení, zda je vhodné v projektových aktivitách pokračovat, nebo je dokonce rozšířit,
• evaluaci dopadu projektu s ohledem na zainteresované strany projektu a širší komunitu (jejich sociální prostředí),
• hodnocení efektivity projektu z hlediska zdrojů vynaložených na jeho realizaci a dosažení výsledků.

Tento soubor nástrojů je doplňkovým materiálem ke kurzu „Towards better projects – blended learning course on evaluation of entrepreneurship support actions“ /Cesta k lepším projektům – kombinovaný vzdělávací kurz zaměřený na evaluaci akcí na podporu zaměstnanosti/, který je k dispozici na e-learningové platformě ZDE. Jeho hlavním záměrem je být pro účastníky kurzu vodítkem při praktickému využití těchto nástrojů. Za tímto účelem jsme vytvořili řadu pomocných materiálů. Tento soubor nástrojů přináší organizacím, jejichž cílem je rozvíjet a/nebo zvyšovat podnikatelské dovednosti mladých lidí, praktické nástroje pro měření a neustálé zlepšování dopadu jejich projektů. 

Cílem tohoto souboru nástrojů je v neposlední řadě pomoci vám realizovat projekt zaměřený na podnikavost co nejlépe, a to díky kvalitní evaluaci.

Tento soubor nástrojů vytvořila společnost PEDAL Consulting (Slovensko) ve spolupráci s FIAP e.V. (Německo), Nadací Jerzyho Regulského na podporu místní demokracie (Polsko) a Channel Crossings (Česko) v rámci projektu Youth Impact, který je financován prostřednictvím Finančních mechanismů EHP a Norska. Projekt Youth Impact poskytuje nástroje a služby, díky kterým mohou organizátoři akcí na podporu zaměstnanosti a podnikavosti mladých lidí lépe vyhodnocovat dopad realizovaných projektů a aktivit. Projekt probíhá v období 2019–2022.

 

1.2 Charakteristika cílové věkové skupiny

Jak bylo uvedeno výše, cílem tohoto souboru nástrojů je poskytnout organizacím praktické nástroje hodnocení projektů zaměřených na zvyšování podnikatelských dovedností mladých lidí, kteří se potýkají s obtížemi při přechodu mezi školou a zaměstnáním. Situaci těchto mladých lidí, kteří jsou nejčastěji označováni jako skupina NEET („not in education, employment or training“), tj. osoby, které nestudují, nepracují, ani se nepřipravují na povolání, lze popsat následovně:

• V roce 2017 činila míra jejich dlouhodobé nezaměstnanosti 5,9 % (EUROSTAT).
• Při snaze o podnikání mají nelehkou pozici. Mají velmi omezený přístup k finančním zdrojům, bankovním půjčkám a úvěrům, protože nemají, popř. mají jen velmi krátkou, bankovní historii. Nemají tudíž kapitál, nebo mají jen velmi omezený kapitál, se kterým by mohli budovat své vlastní podnikání.
• Ti, kteří chtějí začít podnikat, mají velmi nevýhodnou pozici z hlediska zkušeností. Buď právě dokončili střední nebo vysokou školu a nemají žádné zkušenosti v oboru, který vystudovali, nebo mají jen velmi malé zkušenosti, popř. jen několik málo let praxe; nároky konkurenčního trhu a složitost vedení vlastního podniku mohou často daleko přesáhnout jejich schopnosti a zdroje.
• V důsledku pandemie covidu-19 přišlo mnoho mladých lidí o své projekty nebo o práci těsně před nástupem do zaměstnání; tito lidé tak čelí riziku, že přijdou o možnost získat tolik potřebné zkušenosti a dovednosti v klíčových počátečních fázích své kariéry.

Tato situace byla východiskem pro vytvoření našeho souboru nástrojů, jehož cílem je pomoci organizacím zaměřeným na projekty podporující podnikavost mladých lidí posoudit a vyhodnotit jejich projekty a odstranit případné nedostatky, jež by mohly ovlivnit podporu mladých podnikatelů při budování inovativních podniků, které mají potenciál růst a zlepšovat život.

2. Jaký je náš přístup k evaluaci? Jaké výhody evaluace přináší? 

Pokud již realizujete nějaký projekt na podporu podnikavosti mladých lidí (projekt nebo programy zaměřené na podporu podnikavosti mladých lidí) nebo o jeho realizaci uvažujete, pak vám mohou evaluační metody uvedené v tomto souboru nástrojů pomoci ověřit a prokázat, zda se vám daří dosáhnout požadovaného účinku. 

Přestože neexistuje jednotná definice pojmu evaluace, Rozvojový program OSN (UNDP) definuje evaluaci jako posouzení či hodnocení činnosti, projektu, programu nebo výkonu instituce. Evaluace by měla být prováděna co nejsystematičtějším a nejvíce nestranným způsobem. Evaluace analyzuje úroveň dosažení očekávaných i neočekávaných výsledků tím, že pomocí vhodných kritérií zkoumá řetězec výsledků, procesy, kontextuální faktory a příčinné souvislosti. Evaluace by měla poskytovat věrohodné a užitečné informace založené na důkazech, které umožní včas začlenit zjištění, doporučení a poučení vyplývající z evaluace do rozhodovacích procesů odpovědných organizací a zainteresovaných stran (UNDP, 2019). Existuje rozdíl mezi evaluací a monitorováním nebo auditem. Více informací naleznete v části Soubor nástrojů. 

Evaluace je skvělá metoda, pokud chcete: 

• zjistit, do jaké míry se vám daří dosáhnout očekávaných cílů a výsledků, 
• zjistit, zda byly správně identifikovány potřeby cílových skupin a zda váš projekt řeší skutečné problémy,
• zjistit, jaký dopad má váš projekt nebo aktivity na účastníky a další osoby,
• posoudit, zda bylo vynaložené úsilí přiměřené výsledkům projektu, či nikoli,
• zlepšit výsledky uzavřených partnerství. 
• identifikovat příležitosti k rozšíření rozsahu činností, 
• využít výsledky k propagaci projektu,
• podávat průběžné zprávy o vývoji projektu zainteresovaným stranám nebo vyššímu vedení, 
• získat finanční prostředky, stejně jako další nebo jiné partnery.

Náš přístup je proto takový, že vám pomůžeme zhodnotit váš projekt a ukázat jeho přínosy; poskytneme vám několik praktických nástrojů, které můžete při hodnocení použít, a ukážeme vám jednoduché a účinné metody, jak evaluaci využít k rozvoji vaší činnosti nebo aktivit. 

A nebojte se, pokud již máte rozběhlý projekt a dosud jste neprováděli žádnou evaluaci. Nikdy není pozdě začít! Pamatujte si však, že v pokročilé fázi projektu již nelze provádět všechny druhy evaluace. 

Hlavní výhody evaluace:

• Použití dopadové evaluace vám umožní vyhodnotit nejen to, zda změny plánované v projektu skutečně nastaly, ale také to, zda a do jaké míry byly očekávané výsledky projektu skutečně výsledkem projektových aktivit. 
• Závěry hodnocení přispívají k optimalizaci kroků v rámci konkrétního projektu. Umožní vám předvídat potíže ještě před zahájením projektu (evaluace ex-ante) nebo zjistit problémy v rané fázi projektu (průběžná nebo mid-term evaluace).
• Evaluace na konci projektu přináší doporučení (evaluace ex-post), která mohou pomoci managementu přijmout informovaná rozhodnutí týkající se konkrétních aktivit nebo dokonce budoucích projektů. 
• Rozsah možného využití evaluace v řízení závisí především na zvolených evaluačních kritériích. Například kritérium efektivity projektu umožňuje posoudit, zda se na realizaci projektu podílel dostatečný počet osob, zda mu bylo věnováno adekvátní množství peněz a času nebo zda projektovému týmu chyběly některé dovednosti či jiné zdroje. Na základě toho se můžete rozhodnout posílit projektový tým, rozpočet nebo plánování projektu.
• Výsledky evaluace mohou být nástrojem propagace vaší organizace a dosažených úspěchů. Případové studie ilustrující příběhy úspěšných příjemců nebo údaje o zvýšení jejich kompetencí mohou být například prezentovány na sociálních sítích, na webových stránkách nebo při veřejných prezentacích, a propagovat tak efektivitu organizace.
• Výsledky evaluačního výzkumu lze využít při komunikaci se sponzory, a to i v žádostech o granty. Můžete například zahrnout údaje o efektivitě, udržitelnosti, relevantnosti, užitečnosti a dalších charakteristikách realizovaných činností do odpovědí na standardní otázky v žádosti o financování podobných projektů.
• Evaluace může být užitečné též při náboru dobrovolníků, zejména pokud její výsledky ukazují pozitivní dopady práce v organizaci a to, do jaké míry organizace přispěla ke zlepšení života vybraných osob nebo komunit.
• Zapojení účastníků do evaluace projektu může také zvýšit jejich vlastní motivaci a nadšení. Vliv účastníků na rozsah a evaluační kritéria a možnost předložit své připomínky k předběžným výsledkům projektu může například vést ke zvýšení pocitu kontroly nad vlastním životem a sloužit k ilustraci vazby mezi vykonanou prací a cíli projektu, organizací a vlastními hodnotami. Účast v procesu evaluace zvyšuje znalosti a posiluje postavení účastníků v mnoha oblastech ovlivňujících efektivitu organizace: od záležitostí řízení až po věcné aspekty související s předmětem projektu.
• Zapojení partnerů projektu do evaluace – zejména těch, kteří pracují s beneficienty projektu. Například zapojení externích partnerů projektu (např. zaměstnavatelů, institucí, jako jsou úřady práce, sdružení či skupiny osob ovlivněné projektem) do hodnocení umožňuje diagnostikovat problémy, které omezily účinnost, relevantnost nebo užitečnost projektu. Navíc popis záležitostí, které tyto partnery trápily, v evaluační zprávě a jejich řešení může výrazně zvýšit úroveň důvěry a spolupráce na dalších projektech.
• V oblasti projektů týkajících se aktivace přípravy na povolání, zaměstnanosti a podnikavosti mladých lidí je pro úspěšnou evaluaci důležitá účast beneficientů – umožňuje posoudit, jak projektové aktivity ovlivnily očekávané změny v životě příjemců. Kromě toho může pomoci při plánování dalšího projektu tak, aby vyhovoval jejich potřebám a přispěl k dosažení cílů.
• Evaluace vychází z metodologie společenských věd, a poskytuje tudíž spolehlivé odpovědi na otázky týkající se konkrétního projektu a organizace, která jej realizuje.
• Evaluace projektu může také pomoci při srovnání a zjištění, kteří jedinci a s jakými vlastnostmi jsou schopni začít podnikat, a proč je u jiných podnikání méně pravděpodobné.

Souhrnně lze říci, že evaluace přináší mnoho výhod. Problémem však je, že jejich znalost je často abstraktní, nikoli založená na zkušenostech. Přitom systematické využívání evaluace a jejích různých technik může podpořit řízení organizace, její image, vzdělávání a motivaci zaměstnanců, získávání finančních prostředků, a především efektivní naplňování poslání organizace.

3. Jak používat tento soubor nástrojů

Způsob použití tohoto souboru nástrojů závisí na tom, v jaké fázi svého „životního cyklu“ se váš projekt na podporu podnikavosti mladých lidí nachází. 

Pokud hodláte zahájit projekt a od začátku do něj začlenit pravidelné hodnocení, můžete tento soubor nástrojů použít ve fázi plánování projektu (evaluace ex-ante). 

Pokud již projekt realizujete, ale nejste si jisti, jak posoudit dopad toho, co děláte, pak vám tento soubor nástrojů může pomoci určit, jaké informace potřebujete, ukázat, jak tyto informace získat, a ukázat, co s nimi dělat, jakmile je shromáždíte (mid-term nebo průběžná evaluace). 

Pokud váš projekt již probíhá a hodnotíte to, co děláte, zaměřte se na části, které vám mohou pomoci zdokonalit váš přístup, nebo si prostudujte literaturu uvedenou na konci tohoto dokumentu (hodnocení ex-post).

4. Typ projektu na podporu podnikavosti mladých lidí 

Neexistuje jediný „správný“ model projektu nebo akce na podporu podnikavosti mladých lidí. 

Některé projekty a akce jsou zaměřeny na různé kategorie v rámci hodnotového řetězce podnikavosti, tj. na fázi počátečního nápadu nebo konkrétní fázi rozvoje. Jiné projekty a akce jsou více zaměřeny na specifické segmenty dané populace, například na nezaměstnané mladé lidi, ženy, přistěhovalce či osoby se zdravotním postižením nebo oběti nucené migrace. 

To, jak bude váš projekt vypadat, závisí na tom, čeho chcete dosáhnout a jakým způsobem. To, jak budete postupovat při evaluaci, bude zase záviset na typu vašeho projektu a na tom, jaké jsou cíle evaluace. 

Jakmile si ujasníte, jaký typ projektu máte nebo chcete mít, budete se moci lépe rozhodnout, co a jak chcete hodnotit a co chcete evaluací získat.

Váš projekt se v průběhu času může změnit (na základě vašich zkušeností) a evaluace může určit nejlepší způsob, jak postupovat kupředu. Může například ukázat, zda má váš projekt správný dopad, kterého chcete dosáhnout. Nebo může evaluace ukázat, že potřebujete: 

• zlepšit určitý prvek projektu
• nově definovat stávající role a odpovědnosti 
• získat další zdroje
• změnit strukturu programu
• zapojit nového partnera 
• rozšířit stávající projekt 
• vyvinout nový projekt
• naplánovat lepší nové programy.

5. Druhy evaluace podle stádia projektu

Existují různé druhy evaluace, které se liší především podle fáze projektu, kdy jsou prováděny. Jedná se o předběžnou (ex-ante), procesní (mid-term), průběžnou (on-going) nebo následnou (ex-post) evaluaci (Druhy evaluace, 2013).

Tabulka 1: Druhy evaluace podle stádia projektu 

Stádium projektu	Cíl	Druhy evaluace
Fáze konceptualizace	Pomáhá předcházet plýtvání zdroji, přizpůsobit projekt potřebám příjemce, identifikovat potenciální problémové oblasti a zvýšit šanci na úspěch.	Ex-ante evaluace
Fáze realizace	Optimalizuje projekt, měří jeho potenciál dosažení cílů a navrhuje zlepšení za účelem zvýšení účinnosti, relevantnosti a efektivity.	On-going nebo mid-term evaluace
Fáze dokončení projektu	Přináší poznatky o důvodech úspěšnosti/neúspěšnosti projektu, jeho užitečnosti, udržitelnosti a dopadu a upozorňuje na možná zlepšení pro další projekty.	Ex-post evaluace

Zdroj: upraveno podle materiálu Nanda, 2017 

Níže uvádíme stručnou charakteristiku vybraných druhů evaluace. 

Tabulka 2: Charakteristika vybraných druhů evaluace

Ex-ante evaluace (předběžná)
Tato evaluace se používá před realizací projektu; generuje údaje o potřebě projektu a buduje základy pro následné monitorování. Identifikuje také oblasti, které je třeba zlepšit, a může poskytnout hlubší pochopení toho, jaké by měly být priority projektu. Pomáhá projektovým manažerům určit případné problémové oblasti a oblasti, na které je potřeba se zaměřit, a zvyšuje povědomí o vašem projektu mezi cílovou populací již před zahájením projektu. Kdy ji použít:  Tvorba nového projektu Rozšíření projektu	Pomáhá program včas zlepšit. Umožňuje projektovým manažerům projekt zpřesnit nebo zlepšit.
Mid-term nebo on-going evaluace (procesní nebo průběžná)
Procesní evaluace probíhá po zahájení realizace projektu a hodnotí účinnost, relevantnost a efektivitu postupů realizovaných v rámci programu. Generované údaje slouží k identifikaci neefektivních procesů a jejich optimalizaci a k informování externích stran o stavu projektu. Kdy ji použít:  Po zahájení implementace projektu. Během realizace aktuálního projektu.	Přináší možnost vyhnout se problémům díky jejich včasné identifikaci. Umožňuje správcům projektu určit, jak projekt funguje.
Ex-post evaluace (následná)
Tato evaluace se provádí po ukončení projektu nebo na konci projektového cyklu. Poskytuje údaje o tom, do jaké míry projekt přinesl užitek cílové skupině. Tato evaluace je užitečná pro správce projektu, neboť pomáhá obhájit projekt, ukázat, čeho bylo pomocí projektu dosaženo, a lobovat za pokračování nebo rozšíření projektu. Kdy: Na konci projektu Na konci projektového cyklu	Poskytuje údaje pro zdůvodnění pokračování projektu. Pomáhá lépe posoudit účinnost a efektivitu projektu.

Zdroj: upraveno podle materiálu Nanda, 2017

6. Jak zhodnotit dopad projektu?

Stejně jako neexistuje jediný „správný“ model určitého typu projektu na podporu podnikavosti, neexistuje ani jediný „správný“ způsob evaluace. Můžete se rozhodnout pro neformálnější přístup, nebo naopak více strukturovaný přístup. Obojí je v pořádku, pokud to bude odpovídat vašim potřebám. V každém případě je samozřejmě důležité evaluaci naplánovat, aby vám přinesla užitečné/smysluplné výsledky.

Vzhledem k tomu, že tento soubor nástrojů je určen organizacím, které realizují nebo plánují realizovat projekty na podporu podnikavosti zaměřené na mladé lidi, zjištění dopadu projektu, jeho měření a nepřetržitého zlepšování lze dosáhnout pomocí specifického typu evaluace – dopadové evaluace. 

Dopadovou evaluaci můžeme chápat a provádět různými způsoby. Pamatujte si, že je tento typ evaluace klíčový pro analýzu změn, které nastaly díky vašemu projektu. Na základě výsledků dopadové evaluace budete moci změnit a/nebo zlepšit stávající projekt a také lépe naplánovat budoucí projekty. Tato evaluace se nicméně nejčastěji používá k analýze příčinné souvislosti, tj. k určení toho, nakolik jsou pozorované změny způsobeny aktivitami a vlivem projektu. 

Tabulka 3: Charakteristika dopadové evaluace

Charakteristické rysy dopadové evaluace
Kdy?	Na konci projektu Po určité předem definované době po skončení projektu V předem zvolených intervalech v rámci projektu
Co?	Hodnotí plánovanou změnu kvality života cílové populace Vysvětluje, co by se bývalo stalo, kdyby nedošlo k realizaci projektu
Proč?	Prokázání dopadu projektu na základě porovnání beneficientů projektu s kontrolními skupinami (které se neúčastnily projektu) Získání podrobnějších informací, které pomohou přijmout doporučení pro přípravu nových projektů a/nebo rozhodnutí týkajících se přijatých strategických rozhodnutí a financování
Jak?	Makroskopický přezkum projektu spojený s průzkumem mezi účastníky projektu, jehož cílem je zjistit dosažené účinky. Užitečné jsou poznatky členů projektového týmu i podněty účastníků projektu, přičemž pro srovnání je potřeba mít kontrolní skupinu neúčastníků (shodnou s příjemci projektu nebo velmi podobnou, pokud jde o některé rysy).
Otázky, které je třeba zodpovědět	Které změny v životě účastníků projektu lze přisoudit vašemu projektu? O co přišly osoby, které se projektu neúčastnily?

Zdroj: Nanda, 2017

7. Fáze hodnocení

Možná vám pomůže, když si představíte proces evaluace jako cyklus zahrnující přípravu, sběr informací, analýzu informací, použití informací, další přípravu atd. 

V níže uvedeném rámci životního cyklu evaluace projektu/akce na podporu podnikavosti, který je základem této části dokumentu, nazýváme tyto fáze: 

• Příprava – úspěch prováděné evaluace závisí do značné míry na tom, jak budete uvažovat a jaká rozhodnutí přijmete v této fázi
• Shromažďování informací – je potřeba shromáždit informace, které budou nejrelevantnější pro váš účel, a to způsobem, který zaručí jejich spolehlivost
• Analýza informací – musíte uspořádat a interpretovat shromážděné informace a určit klíčová zjištění
• Použití informací – v této fázi probíhá předávání zjištění a rozhodování o budoucnosti na základě výsledků evaluačního procesu

 

Obrázek 1: Životní cyklus evaluace projektů/akcí na podporu podnikavosti mladých lidí 

V následujících kapitolách se každému z těchto kroků budeme věnovat trochu podrobněji a poskytneme vám podpůrné nástroje, které vám v jednotlivých fázích pomohou.

8. Příprava evaluace

Obrázek 2: Životní cyklus evaluace projektů/akcí na podporu podnikavosti mladých lidí – 1. fáze

Než začnete připravovat evaluaci, měli byste se zamyslet nad akcí/projektem na podporu podnikavosti, které chcete hodnotit, a definovat: 

• Čeho chce tento projekt dosáhnout a proč:
  • Je jeho cílem rozvíjet určité podnikatelské dovednosti? Jaké dovednosti a kolik lidí je má získat?
  • Je zaměřen na rozvoj nových podniků? Kolik podniků má být založeno a podpořeno? Jaké úrovně jejich rozvoje má být dosaženo?
• Z jakých předpokladů vychází a jaká jsou rizika:
  • Jaké mezery a nedostatky se vyskytují v cílové skupině v oblasti dovedností? 
  • Jaká je její motivace a postoj k podnikavosti? 
  • Jaké zdroje jsou k dispozici? Jaké překážky bránící rozvoji podnikavosti je třeba překonat?
• A jak po realizaci projektu poznáte, že byl úspěšný:
  • Jaké jsou ukazatele dosažení cílů projektu?
  • Jak poznáte, že tyto výsledky jsou zásluhou hodnoceného projektu (např. jak poznáte, že zvýšený počet nových podniků je výsledkem projektu?)

 

Naplánovat dobrý projekt/akci na podporu podnikavosti mladých lidí může být poměrně obtížné. Pokud chcete navrhnout dobrý projekt, musíte dobře znát situaci v daném regionu a definovat skutečný problém, který lze vyřešit pomocí intervence, která je předmětem evaluace. K dalším nezbytným požadavkům patří stanovení cílových skupin a jejich potřeb, specifikace cílů dosažitelných v daném časovém rámci a pomocí dostupných zdrojů a návrh nejvhodnějších aktivit. Aktivity musí být navrženy tak, aby sloužily generování výstupů a výsledků, které povedou k dosažení definovaných dílčích cílů a základního cíle.

Realizátoři projektu musí navíc při jeho realizaci vidět širší souvislosti a mít na paměti klíčové otázky: čeho se snaží dosáhnout, proč a jak to chtějí dokázat? 

• Plánují rozvíjet určité podnikatelské dovednosti? 
• Zajistit, že bude vypracován určitý počet podnikatelských plánů? 
• Zvýší se počet nových podniků o určité procento? 
• Jaká jsou rizika a výchozí předpoklady (např. jaké má cílová skupina mezery v dovednostech)? 
• Jaká je její motivace a postoj k podnikání? 
• Jaké zdroje jsou k dispozici za účelem dosažení plánovaných výsledků a jak po realizaci projektu zjistíte, zda je úspěšný?
• A konečně, jak poznáte, že pozorované účinky jsou důsledkem hodnoceného projektu?

Klíčem k přípravě na návrh evaluace je pochopení logiky projektu, které vám poskytne informace o údajích, které získáte v rámci projektu a které lze použít při hodnocení. Součástí žádosti o finanční podporu projektu často bývá tzv. logický rámec (též logická rámcová matice neboli „Logframe“). Pokud to tak není, můžete logiku projektu sestavit sami tak, že si položíte klíčové otázky týkající se sedmi klíčových oblastí projektu:

• Účel – proč byl tento projekt zahájen? Jaký problém má řešit? Jaká změna se očekává? 
  • Pokud bude dosaženo výsledků, pak mohou u cílové skupiny nastat určité účinky. Například zvýšení znalostí může vést ke změně chování účastníků.
• Výsledky – jaké výsledky se očekávají? (Např. zvýšení znalostí/podnikatelských dovedností účastníků, založení vlastní firmy účastníky projektu apod.)
• Výstupy – jaké jsou očekávané výstupy?
  • Popis přímých výsledků činností. V souladu s logikou „jestliže – pak“ to znamená, že pokud je prováděna určitá činnost, pak se očekávají určité výsledky. Příkladem jsou podnikatelské plány vytvořené v rámci projektu či osvědčení o dovednostech vystavená účastníkům projektu. 
• Aktivity – jaké činnosti byly naplánovány k dosažení výstupů? (např. workshopy, školení, mentoring).
• Ukazatele dosažených výsledků – jak zjistíme, zda byl projekt úspěšný?
• Prostředky ověření – jak lze vykázané výsledky ověřit?
• Rizika a předpoklady – z jakých předpokladů vychází struktura projektu a jaká jsou rizika dosažení plánovaných výsledků?

 

Vzor Logiky projektu najdete v části 12.3.1. 

8.1 Koncepce evaluace 

Stejně jako při přípravě projektu vyžaduje dobrá evaluace zodpovězení souboru klíčových otázek, které vám pomohou definovat koncepci evaluace. 

Vhodné je začít zodpovězením 5 základních otázek: 

PROČ budete evaluaci provádět? Je nutné definovat smysl a účel evaluace, protože na této otázce závisí další části její koncepce.

CO budete hodnotit a jaké zdroje k tomu potřebujete? Předmět a rozsah evaluace musí být jasně stanoveny, jinak se může stát, že budete provádět hodnocení, na které nemáte zdroje, odborné znalosti ani čas. V této fázi je třeba formulovat evaluační otázky a evaluační kritéria.

KDO bude evaluaci provádět? Bude se jednat o sebehodnocení (evaluaci provedou pracovníci realizující projekt), interní hodnocení (evaluaci provedou vlastní pracovníci, kteří se nepodílejí na realizaci projektu) nebo externí hodnocení (externí hodnotitel). Každý typ má své výhody a nevýhody. 

KDY budete evaluaci provádět? Před zahájením projektu (ex-ante)? V průběhu realizace projektu (mid-term nebo on-going)? Nebo po skončení projektu (ex-post)? 

JAK budete evaluaci provádět? Jaké zdroje informací použijete? Jaké metody a nástroje sběru potřebných údajů použijete? Jaké nástroje? 

Následující části vás provedou odpověďmi na tyto otázky. 

8.2 Jasně definujte smysl a účel, předmět a rozsah evaluace

Co chcete zjistit? Co se chcete z výsledků evaluace dozvědět? Jakým způsobem chcete výsledky využít?

PŘÍKLAD

Definování účelu hodnocení

Junior Achievement Slovensko (JA Slovensko) již více než 25 let pomáhá učitelům rozvíjet podnikavost, ekonomické myšlení a finanční gramotnost studentů na Slovensku.

Posláním JA Slovensko je pomáhat učitelům rozvíjet u žáků základních a středních škol podnikavost, ekonomické myšlení a finanční gramotnost. Děje se tak především prostřednictvím zážitkového vzdělávání, na kterém se podílejí zkušení odborníci. JA Slovensko je členem celosvětové sítě 115 organizací JA Worldwide a členem sítě 41 organizací JA Europe. Tato síť přináší vzdělávání a rozvoj dovedností v oblasti připravenosti na zaměstnání, finanční gramotnosti a podnikatelského myšlení po celém světě již celých 100 let.

Programy organizace JA Slovensko 

V programech „Aplikovaná ekonomie“ a „Podnikání v cestovním ruchu“ mají studenti možnost vést svůj první skutečný podnik ve studentské firmě. Program „Dovednosti pro úspěch“ pomáhá rozvíjet dovednosti potřebné pro uplatnění na trhu práce a vytvoření vlastního nápadu. Rozvoj etických aspektů podnikání a morálních hodnot jednotlivce je předmětem programu „Etika v podnikání“. Finanční gramotnost žáků zvyšují programy „Víc než peníze“ a „Já a peníze“, které jsou vytvořeny v souladu s Národním standardem finanční gramotnosti. Ti nejmladší se mohou připravovat na své budoucí povolání prostřednictvím programu „Základy podnikání“.

Rozsah evaluace v rámci JA

JA Slovensko dlouhodobě využívá dostupné možnosti evaluace s ohledem na vlastní časová a finanční omezení. Hlavním smyslem evaluace je posoudit nárůst znalostí účastníků na základě testování jejich dovedností na začátku a na konci vzdělávacího cyklu/školního roku. Cílem je porovnat výsledky a určit pokrok za období přibližně 10 měsíců, a dospět tak k závěru, zda program splňuje potřeby cílové skupiny, nebo je potřeba něco zlepšit. 

Zdroj: Bednárová, 2021; Junior Achievement Slovensko, nedatováno

Je potřeba jasně definovat předmět a rozsah evaluace. Budete hodnotit specifický projekt zaměřený na podporu podnikavosti? Nebo jen část projektu? Co přesně se chcete dozvědět? 

Jsou cíle a aktivity projektu v souladu s cíli a prioritami organizace?

 

PŘÍKLAD

Evaluace se zaměří na program „Víc než peníze“.

Test finanční gramotnosti: Žáci zapojení do programu „Víc než peníze“ absolvují na začátku školního roku „ústřední vstupní“ test. Cílem testování je zjistit jejich počáteční úroveň znalostí v oblasti finanční gramotnosti.

Na konci školního roku žáci absolvují ústřední výstupní test. Jeho cílem je ověřit úroveň znalostí, které studenti dosáhli po absolvování programu.

Zdroj: Bednárová, 2021; Junior Achievement Slovensko, nedatováno

 

8.3 Definování evaluačních kritérií a evaluačních otázek

Dalším krokem je volba evaluačních kritérií souvisejících s účelem evaluace. Kritéria představují perspektivu, skrze kterou se můžete podívat na svůj projekt a formulovat evaluační otázky.

Kritéria popisují požadované vlastnosti nebo aspekty projektu, které chcete ověřit/posoudit: intervence by měla např. odpovídat potřebám příjemců, být konzistentní s ostatními intervencemi a účinná z hlediska dosažení plánovaných cílů a výsledků, výsledků by mělo být dosaženo efektivním způsobem a intervence by měla mít pozitivní a dlouhodobý dopad (OECD, nedatováno). 

Budete také muset formulovat několik klíčových otázek (evaluačních otázek), na které chcete pomocí evaluace najít odpovědi. Například budete chtít vědět, jaký přínos měla účast v hodnoceném projektu pro účastníky nebo zda projekt dosáhl toho, co se od něj očekávalo, nebo zda se všechny strany zapojené do projektu účastnily podle plánu.

Kritérium: RELEVANTNOST

Evaluační otázka: VEDE INTERVENCE KE SPRÁVNÝM VÝSLEDKŮM? 

Určuje, do jaké míry odpovídají cíle a koncepce intervence potřebám příjemců.

Kritérium: ÚČINNOST 

Evaluační otázka: DOSÁHLA INTERVENCE SVÝCH CÍLŮ?

Určuje, do jaké míry intervence dosáhla nebo má dle očekávání dosáhnout svých výstupů, výsledků a cílů.

Kritérium: EFEKTIVITA

Evaluační otázka: JAK DOBŘE JSOU VYUŽÍVÁNY ZDROJE?

Určuje, do jaké míry intervence přináší nebo pravděpodobně přinese plánované výstupy a výsledky hospodárným způsobem a včas. 

Kritérium: UŽITEČNOST

Evaluační otázka: JAK UŽITEČNÉ JSOU VÝSLEDKY PROJEKTU PRO JEHO PŘÍJEMCE?

Určuje, do jaké míry byly výstupy a výsledky projektu užitečné pro jejich příjemce.

Kritérium: DOPAD 

Evaluační otázka: JAKÝ JE PŘÍNOS INTERVENCE?

Určuje, v jakém rozsahu intervence vyvolala významné, pozitivní či negativní, zamýšlené či nezamýšlené účinky na vyšší úrovni.

Kritérium: UDRŽITELNOST

Evaluační otázka: BUDOU VÝSLEDKY (popř. PŘÍNOSY) INTERVENCE TRVALÉ?

Určuje, do jaké míry budou dosažené výsledky udržitelné v čase, po ukončení projektu a jeho financování.

Kritérium: KONZISTENTNOST (SOUDRŽNOST) 

Evaluační otázka: JAK INTERVENCE ZAPADÁ DO ŠIRŠÍHO RÁMCE? 

Synergické efekty a propojení hodnoceného projektu s dalšími projekty realizovanými stejnou organizací nebo širší program v rámci daného projektu.

 

Všechny vaše evaluační otázky musejí souviset s rozsahem a cílem (cíli) evaluace. Zachovávejte v tomto ohledu jednoduchost a dosažitelnost. Níže jsou uvedeny některé příklady možných evaluačních otázek a souvisejících evaluačních kritérií navržených pro existující projekt. 

 

PŘÍKLAD č. 1

Výsledek projektu: rozvoj dovedností pro dosažení úspěchu – základní dovednosti pro uplatnění na trhu práce a aktivní přístup k rozvoji podnikatelského myšlení, vlastní práce, schopnost řešit problémy, identifikovat, navrhnout a rozvíjet vlastní nápad.

Evaluační otázky: Do jaké míry bylo dosaženo plánovaných výsledků (ÚČINNOST)? Odpovídají cíle, aktivity a výsledky projektu cílům a prioritám dané organizace (SOUDRŽNOST)? Jsou výsledky projektu užitečné pro jeho příjemce (UŽITEČNOST)? Jsou výsledky projektu udržitelné (UDRŽITELNOST)? Jak efektivně byly využity zdroje projektu (EFEKTIVITA)?

 

PŘÍKLAD č. 2

Produktivní cesty po ukončení projektu: 

Cíl: Zlepšit přechod mladých lidí z univerzity k možnosti začít podnikat. 

Evaluační otázka: Jak a do jaké míry pomáhá projekt mladým lidem při úspěšném přechodu k podnikání nebo zaměstnání (DOPAD)?

PŘÍKLAD č. 3 

Hmatatelné výsledky pro účastníky s nižší kvalifikací: 

Cíl: Vybavit účastníky s nižší úrovní vzdělání dovednostmi potřebnými k založení podniků v rámci jejich komunit do konce projektu. 

Hodnoticí otázka: Jak je projekt schopen využít podnikatelské dovednosti těchto mladých lidí a pomoci transformovat jejich nápady v ziskové podniky (UŽITEČNOST).

Zdroj: zpracováno interně

V níže uvedené tabulce najdete příklady evaluačních kritérií a souvisejících otázek. 

 

Tabulka 4: Evaluační kritéria a související otázky

OTÁZKA	EVALUAČNÍ KRITÉRIA
Byl rozpočet projektu dostatečný k řádnému splnění plánu?	Efektivita
Do jaké míry bylo dosaženo plánovaných cílů a výsledků?	Účinnost
Jak byly využity zdroje projektu?	Efektivita
Co se nepovedlo a proč?	Účinnost, dopad
Odpovídají cíle a aktivity projektu cílům a prioritám organizace?	Konzistentnost
Jsou dosažené výsledky trvalé?	Udržitelnost
Co napomohlo realizaci projektu?	Efektivita
Co zpomalilo realizaci projektu?	Efektivita
Jak je projekt vnímán komunitou?	Dopad
Do jaké míry byly výsledky projektu užitečné pro jeho příjemce?	Užitečnost
Do jaké míry odpovídal projekt potřebám jeho příjemců?	Relevantnost

Zdroj: zpracováno interně

Po definování otázek, na které by mělo vaše hodnocení odpovědět, je potřeba přistoupit ke stanovení evaluačních ukazatelů, které jsou klíčem k měření účinnosti projektu.

8.4 Ukazatele projektu

Ukazatele projektu měří účinky projektu ve srovnání s dílčími cíli a hlavním cílem projektu. V tomto kontextu se ukazatel používá jako referenční hodnota pro měření zamýšlených účinků projektu. Ukazatele mohou být kvantitativní (např. počet, index, poměr nebo procento) nebo kvalitativní (zobrazující stav něčeho spíše kvalitativně, např. zda je místní po dokončení projektu místní ekosystém začínajících podniků, tzv. start-upů, rozvinutější než před zahájením projektu – podle názorů klíčových informátorů nebo soudě podle kvality místních předpisů týkajících se podnikatelských aktivit). Ukazatele vám mohou ukázat, zda projekt přinesl očekávané výsledky. Proč je definování ukazatelů v procesu evaluace důležité? (Výběr ukazatelů projektu, 2013)

1. V počáteční fázi projektu jsou ukazatele důležité pro definování způsobu měření úspěšnosti intervence a úrovně nebo dynamiky konkrétního ukazatele, která bude z hlediska splnění příslušného cíle považována za uspokojivou.
2. V průběhu realizace projektu pomáhají ukazatele posoudit postup projektu a upozornit na oblasti, které je třeba případně zlepšit. 
3. V závěrečné fázi poskytují ukazatele základ, který může zpochybnit hodnocení projektu.

Existují tři typy projektových ukazatelů, které jsou všeobecně uznávány a mohou být použity při provádění evaluace na základě takových kritérií, jako je efektivita, účinnost nebo dopad:

 

• Procesní ukazatele: slouží k měření projektových procesů nebo činností. Může to být například „počet vzdělávacích aktivit uspořádaných v období XY“.

• Ukazatele výsledků: měří výsledky projektu. Výsledky jsou to, co vyplyne z projektu. Například to může být „jak se zlepšila úroveň podnikatelských dovedností“.

• Ukazatele dopadu: měří dlouhodobé dopady projektu nebo jednoduše dopad projektu, například „počet nových podniků založených mladými podnikateli“.

Také další kritéria (relevantnost, užitečnost, konzistentnost) a s nimi související evaluační otázky mohou mít své vlastní ukazatele, ale každý vhodný ukazatel musí mít určité charakteristické rysy (Bureau of Educational and Cultural Affairs, nedatováno), které jsou uvedeny v tabulce 5.

Tabulka 5: Charakteristika ukazatelů

Charakteristický rys	Popis
Specifický:	Pravděpodobně nejdůležitější vlastností ukazatelů je, že by měly být přesné nebo dobře definované. Jinými slovy, ukazatel nesmí být nejednoznačný. V opačném případě přinese různá interpretace ukazatelů různými lidmi pro každý z nich jiné výsledky.
Měřitelný	Ukazatel musí být měřitelný. Pokud ukazatel nelze měřit, pak nesmí a neměl by být používán jako indikátor.
Dosažitelný	Ukazatel je dosažitelný, pokud výkonnostní cíl přesně specifikuje množství nebo úroveň toho, co má být měřeno, aby bylo dosaženo výsledku. Ukazatel by měl být dosažitelný jako výsledek programu, i jako reálné měřítko. Cíl související s ukazatelem by měl být dosažitelný.
Relevantní	Odůvodněnost zde znamená, že ukazatel skutečně měří to, co má měřit. Pokud například zamýšlíte měřit dopad projektu na rozvoj specifických podnikatelských dovedností, musí zvolený ukazatel měřit právě toto, a nic jiného.
Časově vázaný	Systém (konkrétně systém monitorování a hodnocení a související ukazatele) umožňuje sledovat pokrok nákladově efektivním způsobem s požadovanou frekvencí po určité období.

Zdroj: upraveno podle materiálu Selecting project indicators, 2013; Bureau of Educational and Cultural Affairs, nedatováno

 

8.5 Určení typu potřebných informací

Měření úspěšnosti může vyžadovat shromažďování informací před projektem, v jeho průběhu i po jeho skončení. Musíte předem určit typy informací, které budete potřebovat, a zajistit, aby byly připraveny a k dispozici, až je budete potřebovat.

Existují dvě široké kategorie informací, o kterých můžete uvažovat:

• Kvantitativní informace: jedná se o informace, které se týkají počítání a měření věcí, jako je návštěvnost, setkání nebo výsledky.
• Kvalitativní: tyto informace se týkají pocitů, názorů, myšlenek, vnímání, postojů, změny chování a přesvědčení lidí a mohou zahrnovat například zlepšený postoj účastníků ke konkrétním akcím v rámci projektu zjištěný na základě pozorování, rozhovorů a formulářů zpětné vazby.

Níže uvádíme několik nápadů, jak pomocí otázek získat různé kategorie informací.

Vzor otázek týkajících se hodnocení projektu 

Pokud víte, jaký je hlavní smysl a účel evaluace (viz předchozí část), můžete se zamyslet nad konkrétními otázkami, které použijete v rámci nástrojů pro sběr kvalitativních a kvantitativních informací (např. testů, dotazníků atd.).

Otázky, které lze použít v nástrojích pro sběr kvantitativních údajů 

• • Kolik školení zaměřených na rozvoj podnikatelských dovedností bylo uspořádáno? 
  • Kolik pracovníků organizace a širší podnikatelské komunity bylo zapojeno do programu mentoringu? 
  • Jak vzrostl počet účastníků po zapojení místní podnikatelské komunity do projektu mentoringu? 
  • Jak vzrostl počet účastníků, kteří se rozhodli zúčastnit akcí v rámci projektu, z důvodu programu mentoringu? 
  • Kolik účastníků získalo díky účasti v projektových aktivitách pozitivní výsledky? 

• Kolik účastníků bylo na začátku programu a kolik účastníků program dokončilo? 

 

Otázky, které lze použít v nástrojích pro sběr kvalitativních údajů 

• Jaký byl váš názor na to mít mentora předtím, než jste se zapojil/-a do projektu? 
• Jaký je váš názor nyní, když máte již rok zkušenost s mentorováním? 
• Které aspekty této zkušenosti se vám zdály nejpříjemnější (pokud vůbec nějaké)? 
• Které aspekty této zkušenosti byly pro vás náročné (pokud vůbec nějaké)? 
• Jakou radu byste dal/-a ostatním účastníkům, kteří se do programu mentoringu zapojí příští rok? 
• Proč někteří účastníci program ukončili? 
• Zamyslete se, prosím, nad obdobím po zahájení vaší účasti v projektu. Všiml/-a jste si nějaké významné změny ve způsobu vašeho života v tomto období? 
• (Pokud ano) Uveďte, prosím, oblasti, ve kterých jste tyto změny pozoroval/-a. Uveďte, prosím, co bylo hlavním faktorem, který každou z těchto změn způsobil.
• Zamyslete se, prosím, nad obdobím po zahájení vaší účasti v projektu. Všiml/-a jste si nějaké významné změny ve způsobu fungování vašeho start-upu v tomto období? 
• (Pokud ano) Uveďte, prosím, oblasti, ve kterých jste tyto změny pozoroval/-a. Uveďte, prosím, co bylo hlavním faktorem, který každou z těchto změn způsobil. 
• (Pokud byl jako hlavní faktor uveden projekt) Které konkrétní workshopy váš start-up nejvíce posunuly? 
• Je v projektu něco, co by se podle vás mělo udělat jinak (co se týče organizace, lektorů, časů atd.)? Co byste rád/-a změnil/-a?
• Co by mělo být jinak (pokud vůbec něco), abyste mohl/-a více využít kontakt s ostatními účastníky a mít prospěch z toho, že jste součástí této komunity? 

 

8.6 Jasné určení zainteresovaných stran

Na každé akci na podporu podnikavosti mladých lidí se podílí více zainteresovaných stran. Zainteresované strany mohou být různé, od zástupců partnerů projektu, včetně podnikatelských inkubátorů, akcelerátorů, univerzit, přes orgány místní nebo regionální správy, organizace zaměstnavatelů, dárce, mentory, školitele a kouče, až po pracovníky projektu a účastníky. 

Budete se muset zamyslet nad tím, pro koho je vaše evaluace určena, kdo jsou ve vašem případě zainteresované strany, zda a jak mohou být některé z nich zapojeny do procesu evaluace, jaké informace vám mohou poskytnout nebo jaká evaluační kritéria a evaluační otázky by pro ně mohly být důležité.

Mají-li být závěry evaluace skutečně implementovány, pak je nezbytné určit potřeby zainteresovaných stran, pokud jde o evaluaci, již ve fázi přípravy. V opačném případě se vám nemusí podařit tyto potřeby uspokojit, protože výsledky evaluace nepřinesou informace, které zainteresované strany očekávají. 

Pokud je to možné, zapojte zainteresované strany do evaluace. Získáte tak komplexní pohled a jinou perspektivu. Důležité je zapojit zejména cílovou skupinu (příjemce), se kterou budete každopádně v kontaktu. Jednoduchým nástrojem, který zajistí zapojení zainteresovaných stran do evaluace, je participatorní hodnocení.

 

8.7 Identifikace potenciálních zdrojů pomoci

Než začnete shromažďovat informace, promyslete si, jakou pomoc byste mohli potřebovat a kdy.

Potenciální zdroje pomoci 

• Během přípravné a plánovací fáze vaší evaluace by vám mohla pomoci nezávislá osoba, například někdo z jiné organizace, která realizuje podobné projekty, zainteresovaná strana nebo podnikatel. 
• Externí odborníci by vám mohli pomoci s koncepcí evaluace, návrhem průzkumů a analýzou dat a také s metodickým dohledem nad vašimi výzkumnými nástroji (scénáře rozhovorů a dotazníky). 
• Shromažďování některých informací by měla nejlépe provádět nezávislá třetí osoba (např. sběr a analýza některých údajů externím odborníkem, statistické údaje shromážděné orgány veřejné správy atd.).

Zainteresované strany by se v závislosti na povaze projektu mohly podílet na návrhu koncepce evaluace, podpořit shromažďování údajů a pomoci interpretovat výsledky a formulovat doporučení, přičemž by mohly do projektu vnést své zkušenosti a odborné znalosti.

 

8.8 Identifikace zdrojů informací, které chcete shromáždit 

Chcete-li získat dobrý přehled o účastnících projektu, měli byste zvážit využití interních informací, jako jsou např.: 

• záznamy o docházce;
• míra udržení účastníků;
• údaje týkající se sledování po skončení projektu (např. údaje o vývoji podniků založených účastníky, o zaměstnanosti příjemců projektu, o účasti na programech mentoringu atd.);
• portfolia účastníků o vývoji podniků účastníků během projektu (např. technologie, sociální podniky, podnikání, nové nápady);
• záznamy o chování účastníků (např. přestávky, odhodlání a nasazení, udržení jejich počtu);
• názory účastníků, rodičů, odborných asistentů nebo instruktorů na jednotlivé aspekty projektu včetně jejich potřeb a spokojenosti;
• údaje o dosaženém úspěchu účastníků (např. výsledky testů před projektem a po projektu).

 

Z hlediska realizátora akcí na podporu podnikavosti mladých lidí můžete zvážit: 

• rozhovory s firemními dobrovolníky;
• evidenci finanční a věcné podpory;
• úroveň mediálního pokrytí nebo dosahu komunikačních a propagačních aktivit;
• dotazování účastníků na jejich spokojenost (např. pomocí průzkumu a rozhovorů);
• počty účastníků, na které měly činnosti nebo projekty přímý či nepřímý dopad;
• údaje o prodeji nebo jiné důkazy o marketingovém úspěchu;
• rozhovory s pracovníky projektu.

 

V zájmu objektivity výsledků evaluace byste měli vzít v úvahu také informace, které mohou být k dispozici z externích zdrojů. K takovým informacím patří různé statistiky, průzkumy nebo analýzy, jejichž zadavatelem jsou: 

• úřady práce, které mohou vést např. statistiku počtu absolventů evidovaných jako nezaměstnaní ve sledovaném období;
• obce, které sledují podnikatelské aktivity v příslušném regionu;
• střední školy, vysoké školy a jiné vzdělávací instituce, které mohou poskytnout statistické informace o absolventech/klubech absolventů;
• vláda/ministerstvo práce a sociálních věcí apod., které se zabývají systematickým řešením problematiky zaměstnanosti a podnikání skupiny NEET; 
• nevládní organizace zaměřené na mladé lidi (např. neziskové organizace spolupracující s univerzitami, jako jsou AIESEC, IASTE, ELSA),
• nebo prostory pro vytváření sítí, jako jsou komunitní centra, střediska volného času, co-workingové prostory atd. 

 

Využijte co nejlépe informace, které jsou k dispozici:

historii projektu lze sledovat prostřednictvím takových dokumentů, jako jsou např.: 

• plánovací dokumenty, zejména logika projektu nebo logický rámec projektu, dokumenty k žádosti o grant atd.;
• komunikace – e-maily, záznamy telefonických rozhovorů mezi partnery;
• původní časové plány a rozpočty;
• obchodní nebo strategické plány;
• zápisy ze schůzek;
• dokumentace ke konzultacím s komunitou;
• memoranda;
• finanční záznamy.

Další informace lze získat prostřednictvím rozhovorů s osobami, které byly zapojeny do projektu od samého začátku. 

Můžete zjistit, co si lidé pamatují, pokud jde o začátky projektu: 

• počáteční očekávání a motivace k účasti v projektu, změny v očekáváních v průběhu projektu a to, do jaké míry byla očekávání naplněna;
• počáteční role a odpovědnosti;
• očekávané a skutečné problémy;
• navrhované způsoby jejich řešení.

Tímto způsobem si můžete udělat obrázek o tom, jak se projekt vyvíjel a zda stále plní svůj původní účel. 

Existuje mnoho různých metod sběru dat z různých informačních zdrojů, z nichž každá má své výhody a nevýhody; jedná se například o sekundární analýzu údajů, rozhovory, případové studie, pozorování a průzkumy. Další nápady, jak shromažďovat informace z různých zdrojů, najdete v části 9 „Shromažďování informací“.

8.9 Model dopadové evaluace 

Dopadová evaluace je typ evaluace zaměřený na faktory, které způsobily pozorovanou změnu u cílové skupiny hodnoceného projektu. Vyvozené závěry může podpořit využití kombinace následujících strategií (Peersman, 2015):

• odhad, co by se stalo, kdyby hodnocený projekt neexistoval, v porovnání se zjištěnou situací;
• kontrola konzistentnosti důkazů kauzálních vztahů popsaných v logickém rámci projektu;
• vyloučení alternativních vysvětlení prostřednictvím logického procesu založeného na důkazech.

Existují tři typy modelu (designu) evaluace, které umožňují realizaci těchto strategií. Experimentální a kvaziexperimentální model je založen na principu porovnávání situace před intervencí a po ní u dvou skupin – v intervenční skupině tvořené účastníky, kteří jsou přímými beneficienty hodnoceného projektu, a dále ve druhé skupině, již tvoří osoby s podobnou charakteristikou, které však tato intervence/projekt nezasáhly.

• Experimentální modely – ve kterých se „druhá skupina“ nazývá kontrolní skupina a mechanismus zařazení do této skupiny i do intervenční skupiny je náhodný. Díky těmto vlastnostem se tento design často nazývá randomizovaná kontrolovaná studie (RCT). 

Hlavním předpokladem RCT je, že počet osob, které mají zájem o váš projekt, je vyšší než počet účastníků, kterým můžete poskytnout podporu. Intervenční a kontrolní skupina by si měly být podobné z hlediska takových vlastností, jako je věk, úroveň vzdělání, zaměstnanecký status atd. Náhodný výběr lze provádět různými způsoby, např. zařazením pomocí počítače nebo losováním. Hlavní zásadou je, že všechny osoby mají stejnou šanci být vybrány do obou skupin.

• Kvaziexperimentální modely – ve kterých se „druhá skupina“ nazývá srovnávací skupina a je sestavena pomocí různých technik, které zajišťují optimální podobnost nebo řízenou odlišnost od intervenční skupiny. Mechanismus výběru do obou skupin není náhodný (srovnávané skupiny např. obsahují pouze osoby, které se přiblížily hranici přijetí do projektu, a jsou vybrány z příjemců projektu a z uchazečů, kteří nebyli do projektu zařazeni). 

• Neexperimentální modely – které systematicky zkoumají, zda jsou důkazy v souladu s tím, co by se dalo očekávat, kdyby intervence přinášela plánované dopady (např. posloupnost a načasování projektových aktivit a účinků probíhá tak, jak předpokládá logika projektu), a také zda by neprojektové faktory mohly poskytnout alternativní vysvětlení pozorovaných účinků.

9. Shromažďování informací

Obrázek 3: Životní cyklus evaluace projektů/akcí na podporu podnikavosti mladých lidí – 2. fáze

V této části dokumentu probereme: 

• Různé způsoby shromažďování informací 
• Jak můžete využít konkrétní zdroj informací pomocí příslušných metod evaluace

 

Evaluace může využívat kvantitativní nebo kvalitativní metody a nejčastěji zahrnuje obě metody, neboť se vzájemně doplňují a vyvažují své slabiny (CTSA, 2011).

 

9.1 Kvantitativní metody

Tyto metody poskytují kvantitativní informace, které měří rozsah (kolik), intenzitu (do jaké míry) a četnost (jak často) zkoumaných jevů, např. účinků realizace projektu (např. počet osob, které využily znalosti a dovednosti získané v rámci projektu k vypracování a realizaci svých podnikatelských plánů).

Kvantitativní údaje lze shromažďovat pomocí průzkumů (např. pomocí dotazníků, pre-testů a post-testů, pozorování, přezkoumání existujících dokumentů a databází nebo shromažďováním klinických údajů) na základě využití různých komunikačních kanálů. Zejména pandemie COVID-19 vedla k širšímu využívání on-line komunikačních kanálů, metod (např. online rozhovor pomocí počítače – CAWI) a nástrojů (např. mentimeter). 

Průzkumy

Průzkumy založené na dotaznících (v tištěné nebo online podobě) samostatně vyplněných dotazovanými bez přítomnosti tazatele představují rychlý a finančně nenáročný způsob, jak zjistit, co si lidé myslí, co dělají a jaká je jejich situace. Otázky v průzkumech mohou pokládat také tazatelé při telefonickém nebo osobním rozhovoru, tyto metody jsou však mnohem náročnější.

V rámci průzkumu můžete například zjistit od příjemců projektu, co získali díky projektu a co jim přineslo toto seznámení s obchodními nebo oborovými zkušenostmi. Měli byste provést průzkum mezi účastníky projektu a zjistit, co se naučili díky účasti na příslušných aktivitách, včetně aktivit, které v rámci projektu sami vytvářeli, a zda mají nějaké návrhy na zlepšení výsledků nebo procesů. Můžete také provádět průzkum mezi rodiči nebo opatrovníky mladých účastníků projektu a zjistit, jaký dopad měl projekt na jejich děti. Pokud chcete ukázat změnu způsobenou intervencí, která je předmětem evaluace, je třeba shromáždit informace před a po realizaci projektu (např. úroveň znalostí nebo určitých dovedností, které byly rozvíjeny v rámci projektu).

Nezapomeňte, že otázky obsažené ve vašich evaluačních nástrojích (tj. dotaznících vyplňovaných samostatně respondenty i dotaznících vyplňovaných tazateli) se musí především striktně týkat zvolených evaluačních kritérií a evaluačních otázek. Jakmile budete mít připravené evaluační nástroje, můžete provést vlastní online průzkum pomocí bezplatného online softwaru.

Analýza kvantitativních údajů je jednodušší než analýza kvalitativních údajů a lze je zobecnit. Zobecnění znamená, že zjištění lze aplikovat na širší skupinu (populaci), než jsou účastníci průzkumu (vzorek), za předpokladu, že vzorek je dostatečně velký a přesně reprezentuje danou populaci. Pokud jsou údaje shromážděny správně, jsou spolehlivé a jejich přesnost lze odhadnout. Sběr kvantitativních údajů však může být náročný kvůli obtížnému přístupu k údajům o rámci vzorku a ke kontaktním údajům osob zařazených do vzorku, stejně jako kvůli obtížnému oslovování respondentů ze vzorku, jejich časovému deficitu a chybějící motivaci, nemluvě o závažných důsledcích nedostatků týkajících se návrhu dotazníků. Druh informací, které lze získat z kvantitativních údajů, je také do určité míry omezen. Neposkytnou vám hlubší vhled do problematiky, ani vysvětlení souvislostí a komplexnějších problémů, jako jsou příčiny a důsledky zkoumaných jevů. 

Aby bylo možné prokázat změnu způsobenou hodnocenou intervencí, je třeba shromáždit údaje před (pre-test) a po (post-test) realizaci projektu, například úroveň znalostí nebo dovedností, které byly v rámci projektu rozvinuty, počet registrovaných podniků. K tomuto účelu lze použít různé testy a databáze. 

9.2 Kvalitativní metody 

Tyto metody slouží k lepšímu poznání, hlubšímu pochopení a vysvětlení celého procesu projektu a jeho účinků. Kvalitativní údaje vám mohou poskytnout podrobné informace, které vám odpoví na otázky, co se stalo, co a jak se podařilo a proč (např. co se povedlo a co ne, nebo co se příliš nepovedlo a proč, a jaké faktory tyto účinky způsobily), co přispělo k dosažení výsledku apod. 

Ke sběru kvalitativních údajů lze využít hloubkové rozhovory (individuální nebo skupinové, tzv. „focus groups“), pozorování a případové studie, stejně jako sekundární analýzu údajů (tzv. „desk research“), což je analýza dokumentů včetně výpovědí, deníků, deníků pracovníků projektu, jiných záznamů atd. Pojďme se na ně v krátkosti podívat.

Individuální rozhovor 

Rozhovor je v podstatě dialog, který může být více či méně strukturovaný (založený na scénáři s připraveným souborem otázek), polostrukturovaný (s připravenými otázkami, které můžete v průběhu rozhovoru doplňovat, upravovat nebo vynechávat) nebo nestrukturovaný (kdy dotazovaní hovoří samostatně a tazatel pouze občas pokládá pomocné otázky). 

Rozhovory lze přizpůsobit tak, aby odpovídaly dostupnosti dotazovaných – mohou probíhat v čase vyhrazeném na projekt, osobně, telefonicky nebo prostřednictvím internetu, v místě konání projektu nebo mimo něj. 

Způsob vedení rozhovorů bude záviset na hodnoceném projektu. S účastníky projektu mentoringu nebo odborné přípravy na povolání mohou být např. vedeny méně formální, nestrukturované rozhovory o tom, jak probíhají aktivity, projekt či setkání. Při rozhovorech s účastníky ve fázi nápadu můžete použít polostrukturované rozhovory, osobní nebo telefonické. 

Dotazovaným můžete předem poskytnout několik základních otázek (nikoli však vlastní scénář, tj. soubor otázek k rozhovoru), což jim umožní promyslet si odpovědi.

Focus group (skupinový rozhovor)

Focus group je druh rozhovoru v malé skupině (5–8 osob), kterou tvoří účastníci a moderátor. Hosty Focus groups obvykle bývají různí lidé, kteří diskutují o společném tématu. Tyto rozhovory mohou být užitečné, pokud chcete pozvat například několik účastníků, rodiče, pracovníky, školitele, mentory, zainteresované strany nebo partnery projektu a projednat s nimi projekt, jeho dopad a možnosti zlepšení z různé perspektivy. 

Dobré je mít jednu osobu, která povede rozhovor (moderátor), a druhou osobu, která bude zapisovat poznámky. Nejvhodnější způsob (stejně jako u individuálních rozhovorů) je požádat dotazované o souhlas s nahráváním. Provedené rozhovory a výsledná zjištění pak můžete shrnout písemně, případně ústně.

Pozorování

Pozorování je metoda sběru dat založená na pečlivém a systematickém prožívání (vidění, slyšení) různých událostí a jevů. Může se opírat o pozorovací záznamový arch nebo kontrolní seznam, který zaměřuje pozornost pozorovatele na určité záležitosti, jako je úroveň aktivity a interakce mezi účastníky školení (Bartosiewicz-Niziołek, M., Nałęcz, S., 2021). Pozorování je metoda sběru dat založená na pečlivém a systematickém prožívání různých událostí a jevů prostřednictvím pozorování chování účastníků v přirozené situaci. Může být prováděno bez jakýchkoli nástrojů (pozorování s volným popisem), nebo může vycházet z pozorovacího záznamového archu. Tento nástroj zaměřuje pozornost pozorovatele na určité otázky (např. úroveň aktivity a interakce mezi účastníky školení, zapojení školitele, způsob prezentace témat, zapojení účastníků školení a vedení školení). 

Můžete také použít kontrolní seznamy týkající se pozorování nebo si dělat poznámky a zaznamenávat aktivity účastníků nebo pracovníků projektu i jejich reakce. Záznamový arch vám umožní zaznamenat dynamiku interakce mezi účastníky a pracovníky nebo mezi účastníky navzájem. Pro měření úrovně angažovanosti účastníků můžete použít jednoduchý systém ano/ne nebo systém zaškrtnutí/označení odpovědi k zaznamenání řeči těla nebo slovních komentářů účastníků, typu jimi kladených otázek, míry projevované sebedůvěry nebo toho, do jaké míry se řídí návrhy pracovníků projektu nebo mentora. Můžete také použít jednoduchý sčítací systém, například k zaznamenání počtu účastníků zapojených do aktivit v různých fázích během projektu. 

Kontrolní seznam/záznamový arch pro pozorování by měly být zaměřeny na informace potřebné k zodpovězení evaluační otázky a měly by být připraven již před příchodem na místo pozorování.

Pro získání úplnějšího obrazu o výsledcích účastníků je vhodné shromáždit kromě informací z pozorování i informace z dalších zdrojů.

Případová studie 

Případová studie je podrobná analýza konkrétního příběhu nebo zkušenosti. Může významným způsobem dokládat, jaký dopad měla určitá činnost nebo projekt na jednotlivce, vybraný projekt nebo aktivitu. Případové studie zachycují příběh, který se skrývá za statistickými údaji nebo jinými informacemi, a jsou obzvláště účinné v kombinaci s různými zdroji informací. 

Případová studie se může například týkat konkrétního účastníka a vyzdvihovat získané znalosti a dovednosti a jiné výhody plynoucí z účasti dle názoru této osoby. Spojení zkušeností účastníků s dalšími důkazy umožňuje získat podrobnou představu o dopadu projektu a pochopit procesy, které k výsledkům přispěly. Další důkazy mohou zahrnovat připomínky získané od koordinátora podnikatelských aspektů projektu a dalších pracovníků, kteří přispěli svými dovednostmi, mentorů a rodičů nebo opatrovníků účastníků.

Sekundární analýza dokumentace („desk research“)

Dokumenty mohou být užitečným zdrojem informací o počátcích vašeho projektu a zároveň poskytovat informace o prováděných činnostech, příjemcích projektu a jejich pokroku atd. Při výběru materiálů mějte na paměti účel evaluace. Zejména v případě, že není k dispozici logický rámec, mohou vám tyto dokumenty pomoci při jeho vypracování v pozdějších fázích projektu. 

Mezi relevantní materiály mohou patřit např. dokumenty z počáteční fáze plánování projektu, jako jsou obchodní nebo strategické plány, komunikace mezi partnery a poradci, finanční záznamy, zápisy z jednání, různé dohody a ujednání nebo memoranda o porozumění apod. 

Pokud je váš projekt již dobře rozjetý a probíhá určitou dobu (nebo je aktivní několik let za sebou), je pravděpodobné, že budete mít přístup k některým z těchto dokumentů a můžete je zahrnout do své evaluace (např. zprávy, posouzení potřeb, testy znalostí nebo dovedností, písemné podklady školitelů a účastníků školení/stážistů, kontrolní seznamy). Rovněž můžete shromáždit informace od osob, které se na projektu podílely od jeho počátku. Můžete tak zjistit, co si pamatují o důvodech zahájení konkrétního projektu, o setkáních, kurzech nebo jiných aktivitách v rámci projektu, o tom, čeho chtěli dosáhnout a jak se podle nich podařilo naplnit počáteční cíle a očekávání.

Jedním z nejjednodušších dokumentů, které můžete použít, je kontrolní seznam, který představuje rychlý a snadný způsob zaznamenávání základních informací. Používá se v případech, kdy je třeba zaznamenat konkrétní body nebo činnosti v rámci projektu.

Pomocí kontrolního seznamu můžete: 

• shrnout činnosti nebo aktivity, do kterých se účastníci zapojili, 
• sledovat pokrok účastníků v průběhu času,
• zaznamenávat pozorování (bližší informace – viz níže) 
• zobrazit úkoly, které účastník splnil, nebo aspekty úkolu, které byly splněny. 

Kontrolní seznamy mohou vést pracovníci projektu nebo pracovníci odpovědní za podpůrné aktivity, účastníci nebo všechny strany. Příklad kontrolního seznamu naleznete na dalších stránkách tohoto souboru nástrojů.

Pokud s akcí na podporu podnikavosti mladých lidí teprve začínáte, veďte si včasné záznamy, které budou zdrojem důležitých informací o projektu. Mohou být užitečným zdrojem informací pro účely sledování vývoje a progrese vašich aktivit nebo intervencí.

Při analýze dokumentace můžete také použít metodu sekundární analýzy údajů (tj. analýzu dokumentace, jako jsou deníky a záznamy včetně osobních úvah), která vám poskytne široký obraz o zkušenostech lidí. Záznamy vám mohou ukázat, jak se změnilo myšlení nebo chápání příjemce projektu v důsledku účasti v projektu. Ukážou vám, co účastníci očekávali na začátku a zda byla tato očekávání naplněna. Mohou také ukázat, zda účastník školení/stážista získal větší sebedůvěru nebo určité dovednosti či znalosti. Denní záznamy pracovníků projektu mohou také sledovat rozvoj studentů nebo osobní profesní růst daných pracovníků. Partneři se zase mohou rozhodnout vést pravidelné záznamy o realizovaných schůzkách a činnostech za účelem sledování pokroku nebo zdokumentování událostí. Tyto reflexe mohou být méně nebo více formální. Zmíněný druh informací bývá užitečný zejména pro účely evaluace zaměřené na změnu nebo vývoj v čase. Nezapomeňte získat souhlas vlastníků těchto deníků a záznamů a zajistit tak soulad s obecným nařízením o ochraně osobních údajů (GDPR). 

Dále můžete využít posudek, výpověď, doporučení nebo referenci od osob mimo projekt, které takto mohou vyjádřit svou podporu projektu. Posudky a výpovědi přinášejí důkazy o silných a slabých stránkách projektu. Obvykle, i když ne vždy, jsou poskytovány na základě vaší žádosti. Podobně jako případové studie mohou posudky poskytnout ucelenější obraz o tom, čeho bylo dosaženo, z pohledu účastníka projektu nebo dokonce někoho mimo projekt. K prokázání dopadu projektu v určité oblasti lze například použít dopis od obecního úřadu oceňující inovativní řešení v oblasti podnikání a jeho využití při řešení problému určité komunity. Dalším příkladem může být zpětná vazba od podniků týkající chování a výkonu účastníků během programů mentoringu nebo odborné přípravy realizovaných v rámci projektu spolupráce s těmito podniky, předaná místní obchodní komorou.

V rámci sekundární analýzy údajů lze provádět též analýzu videozáznamů. Tyto záznamy mohou sloužit např. jako důkaz zapojení do činnosti nebo ukazovat dopad projektu na účastníky. Fotografie a videa mohou tzv. „připravit půdu“ pro evaluaci, neboť ukazují prostředí, v němž projekt probíhá, a zapojené osoby. V závislosti na povaze činností, do kterých jsou účastníci zapojeni, mohou fotografie ukazovat pokrok směrem ke konečnému výsledku i samotný konečný výsledek. Před pořízením fotografií nebo nahrávek je třeba (pokud je to nutné) získat souhlas účastníků (a mentorů a dalších zúčastněných stran). Pokud je to relevantní, je nutné vzít v úvahu, kdo a z jakého důvodu snímky pořídil, a zařadit je tak do konkrétního kontextu.

Posouzení dovedností

Někteří realizátoři akcí na podporu podnikavosti mladých lidí též pravidelně provádějí testy a jiná hodnocení jako důkaz pokroku účastníků, která lze využít v rámci sekundární analýzy údajů. V této situaci lze provést několik testů, které mohou ukázat úroveň výkonu studentů před a po účasti na školení nebo sérii aktivit. Může však být obtížné prokázat, že ke změně výkonu došlo pouze v důsledku vašich projektových aktivit. Je třeba si uvědomovat vnější faktory, které mohly přispět k dosažení pozorovaných výsledků, nebo naopak působily protichůdně. Více informací o testování dovedností najdete v části 12.4.

9.3 Výhody a omezení některých běžných metod sběru informací

Možná si nejste zcela jisti, jaké metody sběru informací máte pro účely evaluace použít. Některé budou pro vaše účely vhodnější než jiné. 

Prostudujte si následující tabulku, která u každé metody sběru informací uvádí nejdůležitější výhodu a jedno klíčové omezení; pomůže vám rozhodnout, jaké informace budou pro vaše hodnocení nejvhodnější. Je však velmi důležité si pamatovat, že při evaluačním výzkumu byste měli vždy používat obě metody, kvalitativní i kvantitativní, abyste získali informace, které se budou vzájemně doplňovat, a tím i pádnější důkazy a úplný obraz o hodnoceném projektu nebo jeho účincích.

Tabulka 6: Výhody a omezení metod shromažďování informací

Metody shromažďování informací	Hlavní výhody	Hlavní omezení
Individuální rozhovory	Umožňují podrobně zachytit různé perspektivy účastníků	Mohou být časově náročné, pokud jde o vedení rozhovorů a analýzu získaných údajů; vyžadují zkušeného tazatele.
Focus groups (skupinové rozhovory)	Interakce mezi účastníky poskytuje širší perspektivu a umožňuje konfrontaci různých názorů	Může být obtížné je zorganizovat (v případě osobního setkání) a mohou být časově náročné (stejně jako je uvedeno výše); vyžadují zkušeného moderátora
Případové studie	Slouží jako příklad a mohou poskytnout podrobný a ucelený obraz dopadu na účastníky	Jedná se o konkrétní případy, které nelze zobecnit
Pozorování	Umožňuje analyzovat reakce beneficientů v přirozeném kontextu a vnímat angažovanost účastníků na základě osobní zkušenosti	Ukazuje pouze pozorovatelné chování, nikoli to, co si účastníci myslí
Sekundární analýza údajů (analýza dokumentace, jako jsou deníky, pravidelné záznamy a logy, posudky a výpovědi, fotografie a videozáznamy, testy a další hodnocení)	Může projektu dodat kontext, včetně počátečních očekávání a cílů	Plánovací dokumenty z počátečních fází projektu je někdy obtížné dohledat
Průzkumy	Spolehlivý, srovnatelný a zobecnitelný, jakož i rychlý a levný způsob zachycení názorů, chování a faktů	Neumožňuje získat hlubší perspektivu

Zdroj: zpracováno interně 

Nezapomínejte, že při evaluačním výzkumu byste vždy měli použít různé metody, které se vzájemně doplňují. Použití obou typů, tj. kvalitativních i kvantitativních metod, umožňuje překonat jejich omezení.

 

9. 4 NÁSTROJE EVALUACE

Nástroje evaluace jsou přiřazeny k příslušným metodám sběru informací z daných zdrojů. V následující tabulce se dozvíte, jaký nástroj odpovídá zvolené metodě.

Tabulka 7: Přehled evaluačních metod a nástrojů

METODY EVALUACE	NÁSTROJE EVALUACE
Kvantitativní metoda – průzkum	Dotazník vyplňovaný samostatně dotazovaným bez účasti tazatele (v papírové podobě nebo online) Dotazník facilitovaný tazatelem
Kvalitativní metody: Rozhovor (individuální, skupinový) Pozorování Sekundární analýza údajů	Scénář rozhovoru Záznamový arch nebo kontrolní seznam Pokyny k analýze dokumentace

Zdroj: zpracováno interně 

Evaluační nástroje jsou nejčastěji připravovány nově podle koncepce evaluace, protože otázky obsažené v nástrojích musí odpovídat účelu, kritériím a otázkám evaluace. V části 8 najdete některé vzorové otázky, které můžete použít při tvorbě vlastních nástrojů.

10. Analýza informací

 

Obrázek 4: Životní cyklus evaluace projektů/akcí na podporu podnikavosti mladých lidí – 3. fáze

V této fázi jde o analýzu získaných informací s cílem tyto informace pochopit a dát jim smysl. Tato fáze by měla přinést odpovědi na vaše evaluační otázky. Jedná se o zásadní krok vedoucí ke zjištění, zda hodnocený projekt přinesl změnu a dosáhl požadovaných výsledků a dopadu, zda naplnil potřeby příjemců a zda byl užitečný a účinný.

Bude potřeba provést analýzu informací kvantitativního i kvalitativního charakteru. Kvantitativní informace jsou v podstatě čísla, tj. především údaje shromážděné pomocí dotazníků, ale také výsledky testů, údaje o docházce a/nebo absenci nebo počtu účastníků, kteří splňují minimální referenční standardy. Kvalitativní informace naproti tomu zachycují názory lidí, pozorované chování, zkušenosti a různé perspektivy. 

Na základě analýzy různých informací s použitím různých metod můžete získat spolehlivý obraz o svém projektu a zdůraznit veškerá měřitelná zlepšení, která projekt způsobil, a zároveň zachytit, jaké výhody projekt přinesl zainteresovaným stranám dle jejich vlastního názoru.

Hledání vzorců nebo trendů v rámci analýzy údajů vám může napovědět, které prvky vašeho projektu byly úspěšné a které by bylo potřeba změnit v zájmu zlepšení výsledků. Pokud například s partnery realizujete projekt, jehož cílem je zvýšit angažovanost účastníků, můžete sledovat jejich výkon v průběhu času pomocí analýzy změn v docházce nebo analýzy konečných výstupů a výsledků. 

K plnému pochopení dopadu vašeho projektu vám poslouží také analýza zpětné vazby ohledně postojů studentů získané od pracovníků projektu nebo odborných poradců a mentorů. Pokud jste škola podnikání a spolupracujete s nevládními organizacemi na poskytováním mentorské podpory účastníkům kurzu podnikání, můžete měřit úspěch jak z hlediska lepšího zapojení účastníků, tak z hlediska postojů zaměstnanců k zaměstnavateli a svěřeným úkolům.

10.1 Jakým způsobem provádět analýzu shromážděných informací

Analýza údajů se skládá ze čtyř kroků, které je potřeba provést, aby bylo možné vyvodit závěry a interpretovat výsledky evaluace. 

 

• Anonymizace – je třeba zajistit odstranění veškerých osobních nebo citlivých údajů ze souborů údajů (např. jmen, kontaktních údajů, data narození atd.).
• Kontrola kvality informací – úplnost a konzistentnost údajů, oprava zjevných chyb, odstranění informací v případě, že nelze ověřit jejich správnost, výběr údajů, které jsou relevantní pro evaluaci.
• Kódování a kategorizace údajů pomocí souboru kódů (např. symbolů nebo názvů kategorií údajů).
• Analýza a interpretace. 

Z jakých kroků se skládá analýza kvalitativních údajů?

Analýza kvalitativních údajů zahrnuje zkoumání, porovnávání, hledání rozdílů a interpretaci vzorců a skládá se z následujících kroků: identifikace témat, kódování, vytváření klastrů podobných údajů a redukce údajů na smysluplné a důležité body, například v rámci budování podložené teorie nebo jiných přístupů ke kvalitativní analýze (NCVO a), nedatováno). Níže uvádíme hlavní kroky této analýzy:

• Pečlivě si prostudujte údaje, které máte k dispozici.
• Určete témata nebo kategorie, které jsou relevantní pro vaši analýzu. Pojmenujte jednotlivé kategorie (názvy představují „kódy“). Kódy můžete definovat před analýzou nebo při zahájení práce s údaji. 
• Projděte si přepisy rozhovorů, skupinových rozhovorů nebo otevřených odpovědí z průzkumů a zvýrazněte klíčové citace. Ke každé zvýrazněné citaci přiřaďte odpovídající kód. Pokud kódování provádí více osob, pokuste se některé části kódovat a porovnat je hned na začátku. Tímto způsobem zajistíte konzistentní způsob kódování údajů.
• Vytvořte skupiny citátů (klastry) se stejným kódem. 
• Identifikujte specifické vzorce, které vyplynuly z klastrování údajů. Můžete také dospět k závěru, že je potřeba shromáždit další údaje nebo potvrdit platnost některých údajů pomocí jiných zdrojů informací. Pokud se například ve shromážděných údajích objevují protichůdné citace, můžete se rozhodnout kontaktovat facilitátora školení a získat další údaje. Nebo může být potřeba provést dodatečnou analýzu. Například některé kategorie je třeba rozdělit na podkategorie. 
• Použijte relevantní citace k popisu zjištění a jejich interpretaci.

Z jakých kroků se skládá analýza kvantitativních údajů?

Analýza kvantitativních údajů je založena na shrnutí údajů získaných na základě dotazníků a testů. Než toto provedete, musíte se ujistit, že máte k dispozici data ve formátu, který můžete použít. To bude záviset na tam, jaký software plánujete použít (např. MS Excel nebo tabulkový procesor Google). Pokud jste například shromažďovali informace pomocí tištěných dotazníků, budete je muset zadat do tabulkového procesoru nebo databáze. Následně odstraňte všechny chyby, např. chybějící odpovědi, duplicity, jakékoli zjevné chyby, a ujistěte se, že každá proměnná je ve správném číselném formátu, např. datum má určitý formát, čísla mají formát čísel, peněžní částky mají formát měny apod. (NCVO b), nedatováno).

Podívejte se na tabulku v části 12.5.3 a 12.5.4, která obsahuje popisy běžných technik a výpočtů, které můžete použít. Pro tyto jednoduché výpočty můžete použít tabulkový procesor, například MS Excel, k uspořádání a analýze údajů. Po dokončení počátečních výpočtů můžete identifikovat oblasti, kde by hlubší poznatky mohla přinést podrobnější analýza.

V dalším kroku byste měli zvážit, v jaké formě budete data prezentovat. Mějte na paměti, že údaje by měly být snadno prezentovatelné. Obecně se doporučuje prezentovat údaje v tabulce nebo grafu, zejména v případě údajů, které jsou pro osoby používající vaši evaluaci nejdůležitější. 

 

Nyní byste měli být schopni dospět ke klíčovým zjištěním. Přitom je vhodné zvážit několik věcí (Cottage Health, nedatováno):

• Je 80 % (například) dobrý nebo špatný výsledek? Jak to víte? Možná o tom budete moci rozhodnout porovnáním vašich údajů s údaji z předchozího roku nebo s údaji z jiných podobných intervencí.
• Existují nějaké další vzorce, témata nebo trendy? Dosahuje například jedna skupina trvale lepších nebo horších výsledků než jiné skupiny?
• Můžete vysvětlit některé méně časté odpovědi? Zde vám může pomoci určitá kvalitativní analýza.
• Obsahují údaje něco, co vás překvapilo?
• Víte, proč jsou některé výsledky takové, jaké jsou? Můžete například propojit výsledná procenta s kvalitativními údaji, které vysvětlují, proč někteří lidé dosáhli určitého výsledku a jiní ne?

 

10.2 Na co při analýze shromážděných informací nesmíte zapomenout

Tipy k analýze informací 

• Informace můžete převést z formátu slov na formát čísel, což usnadní analýzu. Můžete to provést tak, že roztřídíte odpovědi do kategorií nebo témat, které vystihují příslušné aspekty projektu.
• Tento přístup vám umožní shrnout velké množství informací, například četnost (počty), procenta nebo pořadí. Umožňuje také sledovat více charakteristik (nebo „proměnných“) najednou, pokud chcete zjistit, jak spolu mohou souviset. Například vás může zajímat, jak se liší účast v projektu nebo dosažené výsledky u dívek a u chlapců. 
• V závislosti na množství a typu shromážděných informací můžete provádět jejich analýzu sami, požádat o pomoc kolegu nebo partnera nebo externí odborníky/organizace specializující se na analýzu údajů, nebo použít statistický software. Existují také další počítačové programy určené pro analýzu kvantitativních a kvalitativních údajů – bývají však poměrně cenově náročné a jejich ovládání vyžaduje určité pokročilé dovednosti.
• V některých případech můžete své výsledky porovnat s celostátními nebo regionálními výsledky. Pokud však tento přístup zvolíte, nezapomeňte, že při jakémkoli srovnání je třeba zohlednit kontext, v němž byla data shromážděna.
• Vzorce, trendy a témata vám mohou pomoci odpovědět na evaluační otázky, identifikovat případné neočekávané výsledky a odhalit možné mezery v získaných informacích. 
• Někdy bude vaše analýza zahrnovat porovnání toho, co lidé řeknou nebo napíšou na začátku činnosti nebo projektu, s tím, co řeknou nebo napíšou po jejím skončení. (Takový sběr informací před a po testování může využívat kvantitativní nebo kvalitativní údaje). 
• Váš projekt může také zahrnovat pravidelnější sběr údajů; zvažte proto možné způsoby shromažďování údajů v různých časových bodech během projektu a jejich následné analýzy tak, abyste co nejlépe dokázali určit, jakých úspěchů jste dosáhli.
• Vaše analýza by měla být „vhodná pro daný účel“, to znamená, že musí přinést důkazy o tom, zda váš projekt dosáhl nebo nedosáhl požadovaných výsledků. U jednorázového projektu se může jednat o poměrně jednoduché srovnání stavu před projektem a po projektu, které ukáže, zda se věci změnily a jakým způsobem. U dlouhodobějších projektů nebo v případě požadavku na další financování může být vyžadována hlubší analýza, která prokáže, zda existují dostatečná měřítka úspěchu, která by odůvodnila pokračování projektu a jeho realizaci.

 

Jak zajistit etický způsob správy údajů 

Nyní, když jste shromáždili veškeré údaje a těšíte se na jejich využití, je důležité dodržovat veškeré právní předpisy, kterými se řídí etická správa údajů. Níže uvádíme stručný výtah, jakým způsobem eticky nakládat s údaji, které jste získali v rámci své evaluační činnosti.

V návaznosti na nařízení Evropského parlamentu a Rady (EU) 2016/679 ze dne 27. dubna 2016 o ochraně fyzických osob v souvislosti se zpracováním osobních údajů a o volném pohybu těchto údajů a o zrušení směrnice 95/46/ES (obecné nařízení o ochraně osobních údajů) byl zaveden plnohodnotný proces mapování požadavků stanovených nařízením GDPR s cílem zajistit soulad projektových intervencí s platným legislativním rámcem. 

Proces etického hodnocení vychází z transpozice článku 19 Nařízení (EU č. 1291/2013) o zavedení programu Horizont, který stanoví, že veškeré prováděné výzkumné a inovační činnosti musí být v souladu s etickými zásadami a příslušnými vnitrostátními, unijními a mezinárodními právními předpisy, včetně Listiny základních práv Evropské unie a Evropské úmluvy o lidských právech a jejích dodatkových protokolů. 

Vzhledem k rozsáhlé správě údajů v souvislosti s evaluační činností je v implementační fázi potřeba zajistit, aby byl proces shromažďování údajů v souladu s acquis communautaire, s náležitým ohledem na techniky využívání údajů, na které se vztahuje GDPR. Za tímto účelem se důrazně doporučuje jmenovat interního pověřence pro ochranu osobních údajů, který bude mít na starosti zajištění ochrany osobních údajů a souladu zpracování s požadavky GDPR.

10.3 Závěry a doporučení

Jaký je rozdíl mezi zjištěními, závěry a doporučeními? Postupujte podle níže popsaných kroků, abyste vyvodili správné, na důkazech založené závěry a doporučení (Kuhn, 2020). Můžete použít tabulku použitou při analýze údajů a jednoduše přidat nové sloupce týkající se zjištění, závěrů a doporučení:

Zjištění jsou ověřené údaje bez jakékoli interpretace. Použití výrazů založených na datech, např. „školení se zúčastnilo x žen z y účastníků“ pomůže zajistit co nejjasnější a nezkreslená zjištění. V případě kvalitativní analýzy je někdy těžké vyhnout se ukvapeným závěrům. Cokoli jiného v této fázi by však mohlo být jen nepodloženým předpokladem nebo unáhleným závěrem, který by mohl poškodit platnost analýzy. 

Jakmile jsou zjištění kompletní, může osoba provádějící analýzu dat přejít k dalšímu kroku – vyvození závěrů. Závěry odpovídají na otázku „a co z toho plyne?“, která může vyvstat při pohledu na zjištění. Závěry by měly být doplněny interpretacemi nebo vysvětleními, odvozenými na základě posouzení zjištění v širším kontextu. Čím více vysvětlení založených na důkazech budete schopni poskytnout, tím lépe je můžete použít pro vypracování zpráv založených na datech. 

Další krok v analytickém řetězci je zodpovědět otázku „co dál?“. Jak postupovat, abychom navázali na to, co v projektu funguje, nebo zlepšili to, co nefunguje? Doporučení musejí být konkrétní a realizovatelná.

Příklad 1 – příliš široké doporučení: Investovat více zdrojů do zaměstnanců

Příklad 2 – dobré doporučení: Investovat více zdrojů do zlepšení provozních faktorů k vytvoření nejlepších podmínek, konkrétně do budování kapacity zaměstnanců v oblasti řízení projektů a osvědčených postupů obchodního řízení. Pokud se úsilí zaměřené na budování kapacity spojí se zavedením standardních operačních postupů pro základní komunikační a provozní procesy, a souvisejícím školením, můžeme výrazně zlepšit efektivitu.

11. Využití informací

Obrázek 5: Životní cyklus evaluace projektů/akcí na podporu podnikavosti mladých lidí – 4. fáze

Tato fáze cyklu se týká sdílení výsledků evaluace a přijímání informovaných rozhodnutí týkajících se projektu a jeho dalšího směřování. 

11.1 Prezentace získaných zjištění 

• Sdílení a prezentace může sloužit k zajištění souladu s platnými předpisy, ale zároveň může představovat cennou příležitost k tomu, aby se k výsledkům evaluace vyjádřily další osoby. 
• Sdílení může pomoci zainteresovaným stranám zapojit se do projektu, ovlivnit další kroky projektu nebo podnítit partnery k tomu, aby opětovně posoudili svou analýzu. 
• To, komu a jakým způsobem se rozhodnete svá zjištění prezentovat, bude záviset na očekáváních jednotlivých účastníků projektu a na počátečních důvodech evaluace.
• Pokud jde o financování a potřebujete splnit požadavky nějaké skupiny nebo organizace, bude vhodné sepsat taková zjištění vyplývající z evaluace, která poskytují odpovědi na otázky, které zajímají dané publikum. 
• Pokud chcete ukázat světu nebo jen místní komunitě, jak úžasný váš projekt je, můžete svá zjištění zveřejnit. Shrnutí můžete zveřejnit například v příslušných zpravodajích, výročních zprávách či na webových stránkách.
• Vizualizace výsledků evaluace může pomoci k lepšímu pochopení předávaných údajů příjemci. Vhodně navržená infografika může jednoduchým a jasným způsobem ilustrovat hlavní rysy a vzájemné vztahy. Vizuální prvky je pochopitelně třeba zvolit podle typu příjemců.
• Sdílejte získané údaje se školiteli, mentory a lektory. Umožníte jim tak zlepšit nebo změnit vlastní služby.

 

11.2 Informovaná rozhodnutí 

Provedli jste evaluaci, prezentovali jste svá zjištění a nyní můžete přijmout informovaná rozhodnutí o tom, zda budete pokračovat stejným způsobem, nebo zda v projektu provedete nějaké změny, případně obojí. 

Evaluace může například ukázat, že hodnocená akce na podporu podnikání mladých lidí by měla pokračovat ve spolupráci se stejným partnerem, ale zaměřit se na nové výzvy nebo příležitosti. Nebo by evaluace mohla ukázat, že je možné realizovat podobnou aktivitu, ale s jiným partnerem nebo skupinou mentorů. 

V tomto bodě je potřeba, abyste s partnery otevřeně projednali budoucnost hodnoceného projektu podpory podnikavosti mladých lidí. 

Níže uvádíme několik příkladů otázek, kterými by se tato fáze vašeho hodnocení mohla řídit:

• Budete pokračovat stejným způsobem? 
• Potřebujete projekt více rozvinout nebo obohatit? 
• Mohl by být váš model replikován jinde? 
• Běží projekt správným směrem? Pokud ano, jaký je nejlepší způsob završení projektu? 
• Jak sdělíte své rozhodnutí zainteresovaným stranám? 
• Která část projektu byla pro příjemce nejvíce a která nejméně přínosná?

12. Soubor nástrojů

Tento soubor nástrojů obsahuje šablony, tabulky a kontrolní seznamy, které můžete použít a které vám mohou pomoci v různých fázích evaluace (seznam není úplný).

• Kontrolní seznam evaluačního a vývojového cyklu
• Nástroje, které lze použít v přípravné fázi evaluace
• Nástroje, které lze použít při shromažďování informací
• Nástroje, které lze použít při analýze informací
• Nástroje vhodné pro použití informací
• Měkké dovednosti potřebné pro úspěšné vedení projektu podpory podnikavosti mladých lidí

12.1 Rozdíl mezi evaluací, monitorováním a auditem

Tabulka 8: Monitorování, audit a evaluace

	Monitorování	Evaluace	Audit
Definice	Průběžná analýza pokroku projektu při dosahování plánovaných výsledků s cílem zlepšit rozhodovací procesy při správě projektu.	Posouzení účinnosti, dopadu, relevance, užitečnosti a udržitelnosti aktivit projektu.	Hodnocení: – zákonnosti a správnosti příjmů a výdajů v rámci projektu – dodržování zákonů a předpisů – efektivního, účelného a hospodárného využívání prostředků projektu.
Kdo?	Je zodpovědností projektových manažerů.	Externí firmy (výzkumné/konzultační), interní odborníci nebo sebehodnocení.	Obvykle je realizován externími agenturami.
Kdy?	Průběžně (on-going).	Obvykle po ukončení (ex-post), ale také na začátku (ex-ante), v polovině období (mid-term/procesní) a průběžně (on-going).	Ex-post, po dokončení.
Proč?	Pro ověření pokroku, přijetí nápravných opatření a případnou změnu plánů.	Získání širších zkušeností použitelných pro další projekty. Zajišťuje rozvoj a vyvození odpovědnosti.	Poskytuje ujištění zainteresovaným stranám a možnost vyvození odpovědnosti.

Zdroj: Úřad Evropské komise pro rozvoj a spolupráci (EuropeAid), 2004

12.2 Kontrolní seznam evaluačního a vývojového cyklu

Tabulka 9: Kontrolní seznam evaluačního a vývojového cyklu

Vyřešeno	Ano (ii) Ne (x) nebo Nevím
PŘÍPRAVA Co potřebujete zjistit? Jaké informace vám pomohou? a. Máte jasné a společné cíle evaluace? b. Existuje klíčová evaluační otázka (nebo otázky), kterou (kterými) se vaše evaluace bude řídit?  c. Určili jste, jaké informace potřebujete shromáždit?  d. Máte dovednosti a znalosti k jejich shromáždění? Kdo bude provádět konkrétní kroky v rámci evaluace? Potřebujete externí podporu?  e. Znáte své zainteresované strany? Víte, zda, jak a za jakých podmínek se mohou do evaluace zapojit? Víte, co očekávají od hodnocení?  f. Víte, jaké relevantní informace jsou již k dispozici? g. Víte, kdo vám může pomoci najít potřebné informace? h. Bude mít každý „partner“ možnost přispět k evaluaci?
SHROMAŽĎOVÁNÍ INFORMACÍ ● Jakým způsobem budete shromažďovat informace? Zaměřujete se na shromažďování relevantních informací spíše než na shromažďování velkého množství informací?  Víte, jakými metodami budou informace shromažďovány (kvantitativními, kvalitativními)? Stanovili jste postup shromažďování informací (stávajících a/nebo dodatečných)? Kdo bude informace shromažďovat a jak dlouho to bude trvat?
ANALÝZA INFORMACÍ Jakým způsobem budete údaje analyzovat?  Jaké kvantitativní a kvalitativní údaje budete chtít analyzovat?  Jaké analytické metody použijete?  Máte interní kapacitu k provedení analýzy údajů?  Co vám shromážděné informace říkají? Identifikovali jste hlavní témata, vzorce a trendy (v čase)? Máte jasno, pokud jde o hlavní výsledky vašeho projektu? Existují nějaké další (tj. neočekávané) výsledky projektu? Zjistili jste, v jakých oblastech by se vaše akce na podporu podnikavosti mladých lidí mohla zlepšit?
POUŽITÍ INFORMACÍ Co se můžete z výsledků evaluace dozvědět?  a. Odpovídá váš projekt na potřeby jeho příjemců/místních komunit? b. Do jaké míry bylo dosaženo cílů a očekávaných výsledků?  c. Co je třeba v našich stávajících nebo budoucích projektech zlepšit?  d. Jaké interní procesy je třeba zlepšit?  Máte k dispozici komunikační kanály a nástroje pro prezentaci a propagaci toho, co jste se naučili? Je zde prostor pro rozšíření projektu nebo navázání na daný projekt? e. Poskytli jste relevantní zpětnou vazbu klíčovým zainteresovaným stranám (odpovědi na otázky, které je zajímají, v písemné nebo ústní formě)? Byli účastníci daného vztahu přizváni k diskusi o zjištěních (pokud to bylo nutné)? f. Je jasný stav projektu – dokončený, probíhající atd.? Bylo dosaženo stanovených cílů evaluace? g. Je třeba provést v projektu změny? h. Dohodli jste se, jak budete v projektu postupovat dále?

Zdroj: zpracováno interně 

12.3 Nástroje, které lze použít v přípravné fázi evaluace

12.3.1 Logický rámec (matice logického rámce) 

Jedná se o nástroj, pomocí kterého můžete rekonstruovat logiku projektu, který chcete hodnotit. 

Obrázek 6: Matice logického rámce

 

Cíle	Měřitelné ukazatele	Prostředky ověřování	Důležité předpoklady
CÍL: Širší problém, který projekt pomáhá řešit	Kvantitativní způsoby měření nebo kvalitativní způsoby posuzování dosažení časově ohraničeného cíle	Hospodárné metody a zdroje pro kvantifikaci nebo posouzení ukazatelů.	(Od cíle k nadcíli) Vnější faktory nezbytné pro udržení cílů v dlouhodobém horizontu
ÚČEL: Bezprostřední dopad na oblast projektu nebo cílovou skupinu, tj. změna nebo přínos, kterého má být projektem dosaženo.	Kvantitativní způsoby měření nebo kvalitativní způsoby posuzování časově ohraničeného účelu	Hospodárné metody a zdroje pro kvantifikaci nebo posouzení ukazatelů.	(Od účelu k cíli) Vnější podmínky, které jsou nezbytné, pokud má účel projektu přispět k dosažení cíle projektu.
VÝSTUPY: Jedná se o konkrétní výsledky, které se od projektu očekávají, má-li být splněn jeho účel.	Kvantitativní způsoby měření nebo kvalitativní způsoby posuzování časově ohraničené produkce výstupů	Hospodárné metody a zdroje pro kvantifikaci nebo posouzení ukazatelů.	(Od výstupů k účelu) Mimoprojektové faktory, které by mohly v případě, že by byly přítomny, limitovat postup od výstupů k dosažení účelu projektu.
AKTIVITY: Jedná se o úkoly, které je třeba provést, aby bylo možné vyprodukovat výstupy.	VSTUPY: Tabulka rozpočtu projektu	Zpráva o finančním výsledku dle specifikace dané grantovou smlouvou	(Od aktivit k výstupům) Mimoprojektové faktory, které by mohly v případě, že by byly přítomny, limitovat postup od aktivit k dosažení výstupů projektu.

Zdroj: Ministerstvo pro mezinárodní rozvoj, 2007

 

Následující tabulka obsahuje další informace o jednotlivých prvcích logického rámce. 

Tabulka 10: Rozdíl mezi vstupy, aktivitami, výstupy, výsledky a dopadem

Vstupy/ zdroje	Vstupy jsou položky, které používáme při realizaci projektu, včetně lidských zdrojů, financí nebo vybavení. Vstupy zajišťují, že je možné dosáhnout zamýšlených výsledků projektu.
Aktivity	Aktivity jsou činnosti spojené s dosažením cílů projektu. Jinými slovy, aktivity vykonávají pracovníci/zaměstnanci, aby dosáhli cílů projektu.
Výstupy	Představují první úroveň výsledků spojených s projektem. Výstupy, které se často zaměňují s „aktivitami“, jsou přímé okamžité výsledky spojené s projektem. Jinými slovy, výstupy obvykle představují to, čeho projekt dosáhl v krátkodobém horizontu. Jednoduchý způsob, jak zvážit výstupy, je kvantifikovat projektové aktivity, které mají přímou vazbu na cíl projektu. Výstupy projektu mohou být například: počet uskutečněných komunitních školení v oblasti podnikání, počet setkání s úspěšnými podnikateli nebo počet vydaných vzdělávacích publikací.
Výsledky	Představují druhou úroveň výsledků spojených s projektem, která se týká střednědobých důsledků projektu. Výsledky se obvykle vztahují k cílům projektu. Může se jednat například o zlepšení úrovně znalostí témat souvisejících s podnikáním nebo založení nového podniku. Je však důležité si uvědomit, že výsledky by měly jasně souviset s cíli projektu.
Dopad	Představuje třetí úroveň výsledků projektu a jde o dlouhodobý důsledek nebo důsledek, který má širší záběr než pouhé účastníky projektu. Většinou je velmi obtížné zjistit výlučný dopad projektu, protože ke stejnému cíli může vést několik dalších intervencí. Příkladem může být zvýšení počtu nových podniků v regionu, snížení nezaměstnanosti nebo počtu členů skupiny NEET v daném městě.

Zdroj: Rozdíl mezi vstupy, aktivitami, výstupy, výsledky a dopadem, 2013

12.3.2 Ukazatele výsledků kandidátů

Ukazatele lze vytvořit pro různé fáze projektu. Obrázek 7 obsahuje příklady ukazatelů výsledků programu vzdělávání v oblasti zaměstnanosti/rozvoje pracovních sil (The Urban Institute, What Works, nedatováno). 

V závislosti na složitosti a délce vašeho programu můžete program rozdělit do několika etap a vypracovat ukazatele výsledků pro jednotlivé etapy programu. 

 

Obrázek 7: Příklad ukazatelů výsledků kandidátů

Střednědobé výsledky								Konečné výsledky
								Zvýšení udržitelné zaměstnanosti/udržení práce
Klienti se hlásí do programu	Zlepšení dovedností	Dokončení programu		Zvýšení možností pracovního uplatnění		Zvýšení počtu pracovních umístění					Zvýšení soběstačnosti
								Zvýšení příjmů
Ukazatele
1. Počet a procento klientů přihlášených do výukového programu.	3. Počet a procento klientů, kteří složili zkoušky nebo prošli hodnocením pracovních dovedností na první pokus po dokončení kurzu.		5. Počet a procento klientů, kteří dokončili kurz.		6. Počet pracovních pohovorů na jednoho klienta.		11. Počet a procento pracovních umístění populace typu X.		13. Počet a procento klientů na stejné pracovní pozici po X měsících od umístění.	17. Počet a procento klientů, kteří dosáhli ekonomické stability během 12 měsíců či 2 let od absolvování kurzu.
2. Počet a procento klientů nadále přihlášených po prvním týdnu výuky.	4. Počet doplňkových hodin podpory na jednoho klienta (koučink, poradenství).				7. Počet pracovních nabídek na jednoho klienta během prvních 3 měsíců po dokončení programu.		12. Počet a procento klientů umístěných v pracovních pozicích X.		14. Počet a procento klientů nadále zaměstnaných po 12 měsících.
					8. Počet a procento klientů, kteří přijali pracovní nabídku.				15. Průměrná hodinová mzda klienta, který nastoupil do práce po absolvování kurzu.
					9. Počet partnerských zaměstnavatelů; procento zaměstnavatelů, kteří nabídli klientům práci.				16. Počet a procento klientů, kteří v rámci své odměny dostávají benefity ve formě zdravotní péče.
					10. Počet opakovaných náborů partnerů zaměstnavatelů.

 

Spokojenost klientů 

Spokojenost s programovými službami je výsledek, který se objevuje téměř ve všech programových oblastech, ale nemusí nutně vést k umístění. Ukazatelem může být: počet a procento klientů spokojených se službami pracovně-vzdělávacích kurzů/organizace.

Zdroj: The Urban Institute, What Works, nedatováno

12.3.3 Identifikace zainteresovaných stran evaluace

V každé akci na podporu podnikavosti mladých lidí může být více zainteresovaných stran. Znalost zainteresovaných stran vám pomůže určit, na jaké otázky by tyto strany chtěly získat odpovědi prostřednictvím výsledků evaluace, v jaké formě a kdy je budou potřebovat. 

Přehled zainteresovaných stran vám pomůže určit, kdo by mohl mít zájem o vaši evaluaci. Zamyslete se nad tím, kdo by se měl na evaluaci podílet a komu je třeba prezentovat zjištění, aby bylo možné realizovat doporučení.

Tabulka 11: Přehled zainteresovaných stran

Potenciální zainteresovaná strana evaluace	Ano / Ne
Příjemci projektu (kteří se v současné době účastní projektu)
Absolventi (příjemci, kteří již ukončili účast v projektu)
Školitelé
Mentoři
Inovační centra (zástupce)
Podnikatelské akcelerátory (zástupce)
Společnosti se soukromým kapitálem a rizikovým kapitálem
Pracovníci projektu
Kouči
Andělský investor (poskytující kapitál start-up podnikům)
Výzkumní pracovníci
Orgány místní správy (zástupce)
Partneři projektu
Dobrovolníci
Další instituce realizující podobné projekty (zástupce)
Místní zaměstnavatelé
Kdo dál? (Doplňte zainteresované strany ve vašem konkrétním případě)

Zdroj: zpracováno interně 

Po identifikaci zainteresovaných stran byste se měli zamyslet také nad tím, jakou přidanou hodnotu by mohly tyto strany vnést do vaší evaluace a jaká je jejich motivace k zapojení do procesu evaluace. Na základě těchto informací můžete rozhodnout o tom, jaké informace, způsob prezentace a komunikační kanály použít. 

Zainteresované strany lze rozdělit do 4 skupin z hlediska jejich vlivu, zájmu a míry účasti v projektu (Product plan, nedatováno).

Obrázek 8: Vztahy vliv – zájem

Zdroj: Product plan, nedatováno

Text tabulky:

Velký
Vliv	Uspokojit		Pečlivě řídit
	Monitorovat		Informovat
Malý	Velký	Zájem		Malý

 

1. Velký vliv, velký zájem: Nejdůležitější zúčastněné strany. Měli byste upřednostnit jejich zájmy a zajistit jejich spokojenost s evaluací projektu – pravidelně je informujte, zvěte je na důležitá setkání, žádejte je o zpětnou vazbu.
2. Velký vliv, malý zájem: Vzhledem k vlivu těchto stran byste se měli snažit je uspokojit. Protože však neprojevily hluboký zájem o váš projekt, mohla by je příliš častá komunikace z vaší strany odradit. Měli byste proto zvážit četnost jejich kontaktování a množství poskytovaných informací.
3. Malý vliv, velký zájem: Tyto strany byste měli pravidelně informovat a oslovovat.
4. Malý vliv, malý zájem: Tyto strany pravidelně informujte, ale nepřehánějte to.

 

12.4 Metody a nástroje, které lze použít ve fázi shromažďování informací v rámci evaluace

Níže najdete celou řadu metod a nástrojů, které můžete v této fázi evaluace použít.

12.4.1 Identifikace vhodných metod shromažďování potřebných informací

S ohledem na účel evaluace určete metody a nástroje sběru informací, které budou tomuto účelu nejlépe vyhovovat. Shrnutí jednotlivých druhů nástrojů a metod sběru informací naleznete výše v části 9 „Shromažďování informací“.

Tabulka 12: Kontrolní seznam k určení možných metod shromažďování potřebných informací 

Metoda shromažďování údajů	Které informace jsou pro váš účel nejvíce relevantní?	Které informace bude nejjednodušší shromáždit?	S jakými informacemi budete potřebovat pomoc při jejich shromáždění?	Jaký druh informací budete potřebovat? (např. vyhledávání dokumentů, identifikace účastníků, analýza informací, činnosti spojené s šířením informací).	Kdo vám může tuto pomoc poskytnout? (např. kolega, nezávislí odborníci, kolegové partnera, účastníci projektu, externí hodnotitel)
Desk research (výzkum od stolu; sekundární analýza dokumentace, jako jsou zprávy, kontrolní seznamy, deníky, záznamy, posudky, testy a jiná hodnocení)
Pozorování
Individuální rozhovory
Focus groups
Případové studie
Hodnocení dovedností

Zdroj: zpracováno interně

12.4.2 Osobní potenciál a cíle – nástroj sebehodnocení 

Tento nástroj je důležitý pro posouzení potenciálu a cílů účastníka, aby byl projekt schopen splnit jeho individuální potřeby a pomohl mu využít jeho potenciál. Jedná se o řízené dotazování, kdy někteří účastníci (zejména oběti nucené migrace, jako jsou uprchlíci, přistěhovalci nebo osoby se zdravotním postižením) nemusí být schopni porozumět všem otázkám a budou potřebovat vedení ze strany instruktorů, aby poskytli požadované informace.

Tyto nástroje a osobnostní testy byly inspirovány nástroji dostupnými na platformách mfa-jobnet.de a Psychometrics (navštivte webové stránky www.mfa-jobnet.de a https://www.psychometrics.com) s nezbytnými úpravami tak, aby odpovídaly tomuto evaluačnímu modulu, nicméně původní zdroj obsahuje více testů, které vám mohou pomoci posoudit zaměstnatelnost uchazeče. 

Tabulka 13: Nástroj sebehodnocení sloužící k posouzení osobního potenciálu a cílů

Vzdělání/Dovednosti
V jakých oblastech jsem byl/a dosud ve svém životě aktivní?
Co jsem se v této souvislosti naučil/a?
Jaké dovednosti jsem díky tomu získal/a? Jaké dovednosti jsem si osvojil/a v rámci každodenní činnosti? Jaké obecné kompetence jsem získal/a díky svým profesním a mimoprofesním zkušenostem?
Jaký odborný nebo jiný výcvik jsem absolvoval/a?
Jaké mám diplomy, osvědčení atd.?
Které z mých titulů jsou v dané zemi uznávány?
Které nikoli?
Kde jsem pracoval/a dříve?  v domovské zemi v jiném státě v EU v jiných zemích Jaké jiné pracovní zkušenosti mám?
Co mě v rámci školení/práce zvlášť oslovilo, co mě zajímá, co mě nadchlo?
Jakou další kvalifikaci mám (např. jazykové kurzy, práce s počítačem, řidičské oprávnění apod.)?
Jaké dovednosti a kompetence jsem získal/a v různých místech a v různých zemích? (Nejen po odborné stránce, ale i v rámci každodenního života)
Kde je dnes používám?
Co se chci naučit?
Které ze svých dovedností mohu dobře uplatnit v zemi, kde žiji?
Existují oblasti, ve kterých mám zcela jiné dovednosti než současní kolegové a přátelé?
Existuje nějaké povolání, které bych nyní rád/a zastával/a?
Pokud ne, čím se chci živit?
Jaké představy a očekávání jsem měl/a, když jsem přišel/přišla do této země?
Co je jiné oproti očekáváním?
Je to pro mě: zklamání? výzva?
Jak mohu využít své kontakty při realizaci svých plánů a nápadů?
Sebehodnocení
Co se mi v životě podařilo?
V čem jsem byl/a vždy obzvlášť dobrý/dobrá?
Co mě vždycky bavilo?
Které ze svých kompetencí/dovedností relevantních pro svůj budoucí profesní život chci dále rozvíjet? V čem se chci ještě více zlepšit?
Co mě vůbec nebaví?
Které z mých dovedností byly obzvláště užitečné/úspěšné/důležité během mého pobytu v této zemi?
Externí hodnocení
Jaké schopnosti/silné stránky ve mně vidí ostatní?
Čím jsem dokázal/a ostatní inspirovat / zaujmout?
Za co jsem získal/a velké uznání/pochvalu?
Práce
Kterých pět vlastností by měla pracovní pozice mít, aby mi vyhovovala?
Jak si konkrétně představuji svou budoucí práci? Kde? S kým? Co přesně dělám?
Co je mým cílem?
Co mohu udělat pro dosažení svého cíle?
S čím potřebuji pomoc/podporu? Co přesně potřebuji?
Jaké problémy/překážky se mohou na mé cestě objevit?

Věk:

Pohlaví: 

Zdroj: upraveno podle materiálů Stellenbörse für MFA und Arbeitgeber (nedatováno) a Psychometrics Canada Ltd. (nedatováno).

12.4.3 Formulář sebehodnocení: Sociální dovednosti a osobní hodnoty 

Tento dotazník slouží k předcházejícímu a následnému hodnocení sociálních kompetencí a postojů účastníků za účelem posouzení jejich vývoje a pokroku v rámci projektu. Je však třeba poznamenat, že sebehodnoticí dotazníky nejsou jediným nástrojem pro měření pokroku, protože bývají subjektivní a změna měřená tímto druhem nástrojů může někdy vykazovat pokles pouze proto, že v důsledku školení si příjemce uvědomil své slabiny v určité oblasti. Sebehodnocení však může být doplněno dalšími formami externího hodnocení prováděného pracovníky projektu (např. školiteli, mentory, psychology). 

 

Tabulka 14: Sebehodnoticí formulář k hodnocení sociálních dovedností a osobních hodnot

Příjmení, jméno:

Datum:

	++	+	0	–	—
Sociální dovednosti
Komunikační dovednosti
Věnuji pozornost tomu, co ostatní říkají a jak to říkají.
Ostatní mi říkají, že jim dobře rozumím.
I ve větších skupinách dokážu vyjádřit svůj názor způsobem, který je pro všechny srozumitelný.
Týmový duch
Je pro mě důležité, aby tým dobře fungoval: proto s kolegy v týmu sdílím důležité zkušenosti a znalosti.
Jsem ale také rád, když se mohu učit od ostatních.
Pokud je to důležité pro skupinu, dokážu upozadit své osobní zájmy.
Aktivně se účastním práce ve skupině, např. zvažuji, jak nejlépe práci rozdělit.
Schopnost řešit konflikty
Než se kvůli něčemu příliš rozčílím, raději si o věcech v klidu chvíli promluvím.
Nemám problém s tím, že jiní lidé mají jiný názor než já.
V rozhovorech snadno poznám, zda jde o věcný problém, nebo zda si dva lidé osobně nerozumějí.
Když nastane konflikt, snažím se vyjednávat nebo hledat řešení, které bude přijatelné pro všechny strany (nejde mi pouze o to, abych ve sporu vyhrál).
Schopnost přijmout kritiku
Pokud někdo kritizuje můj výkon nebo dokonce chování, přemýšlím o tom, zda může mít pravdu.
Pokud chci něco někomu vytknout, velmi konkrétně a přátelským tónem mu to vysvětlím.
Chápu, že druzí lidé někdy udělají chybu.
Jednání s lidmi
Rád oslovuji ostatní lidi.
Obvykle zůstávám klidný a objektivní, i když mi ostatní lidé lezou na nervy.
Pokud si všimnu, že někdo jiný začíná být rozčilený, dokážu ho uklidnit.
Osobní hodnoty
Spolehlivost
Na schůzky se vždy dostavím včas.
Pokud nemohu schůzku dodržet, včas se omluvím.
Pracovní zakázky vždy odevzdám včas.
Nepotřebuji být neustále kontrolován: pokud mám nějaký úkol, samostatně uvažuji o jeho splnění.
Smysl pro odpovědnost
Samozřejmě nesu odpovědnost za to, co dělám.
Pečuji o své zdraví.
Dávám si velký pozor, abych nikoho neohrozil.
Se svěřeným vybavením nebo materiálem zacházím s velkou opatrností.

Zdroj: upraveno na základě materiálů Stellenbörse für MFA und Arbeitgeber (nedatováno) a Psychometrics Canada Ltd. (nedatováno).

 

12.4.4 Dotazník pro samostatné hodnocení vlastních kompetencí

Tento dotazník slouží k předcházejícímu a následnému hodnocení vývoje a pokroku účastníků v rámci projektu. Je však třeba poznamenat, že sebehodnoticí dotazníky nejsou jediným nástrojem pro měření pokroku, protože bývají subjektivní a změna měřená tímto druhem nástrojů může někdy vykazovat pokles pouze proto, že v důsledku školení si příjemce uvědomil své slabiny v určité oblasti. 

+++ velice pravdivé tvrzení; ++ pravdivé tvrzení; + méně pravdivé tvrzení

Tabulka 15: Sebehodnoticí formulář k hodnocení vlastních kompetencí

1. Vlastní kompetence	+++	++	+
Nezávislost
Rozhoduji se sám/sama
Vytvářím si vlastní názor a prezentuji ho
Přijímám odpovědnost za své činy
Plánuji a realizuji práci bez cizí pomoci
Pokud je to nutné, požádám o pomoc
Dokážu se prosadit
Flexibilita, pružnost
Umím se přizpůsobit novým situacím
Dokážu plnit několik úkolů současně
Jsem otevřený/á novým nebo neobvyklým nápadům
Snadno přejdu z jednoho úkolu na jiný
Kreativita
Hledám řešení problémů
Dokážu si poradit
Zkouším nové možnosti
Jsem nápaditý/á a vynalézavý/á
I s limitovanými zdroji dosahuji velkých výsledků
2. Sociální kompetence
Komunikační dovednosti
Jasně se vyjadřuji v mluvené i psané podobě
Pokud něčemu nerozumím, zeptám se
Umím naslouchat
Nesoudím a nedělám ukvapené závěry
Schopnost řešit konflikty
Dokážu říct ne
Přijímám jiná hodnocení
Umím nabídnout konstruktivní kritiku a reagovat na kritiku přiměřeným způsobem
Rozpoznám napětí a dokážu o něm hovořit
Dokážu se vyrovnat se svými silnými a slabými stránkami
Schopnost pracovat v týmu
Přijímám přijatá rozhodnutí
Hledám řešení společně s ostatními
Dokážu ve skupině i ustoupit do pozadí
Sdílím odpovědnost za výsledky společné práce
Umím převzít odpovědnost ve skupině
3. Metodické kompetence
Technika učení a práce
Vím, kde a jak mohu získat informace
Dokážu se dobře soustředit
Jsem vytrvalý/á
Umím správně rozvrhnout své síly
Organizace práce
Vytvářím pracovní plán a kontroluji ho
Rozpoznávám souvislosti ve své práci
Předvídám důsledky a dokážu je odhadnout
Rozpoznám podstatu věci
4. profesionální kompetence
Odbornost
Znám odborné podmínky
Znám pravidla a normy své práce
Mám technické / jazykové znalosti
Mám dobré všeobecné vzdělání
Praktické znalosti
Uplatňuji odborné znalosti
Práci provádím řádným způsobem
Využívám to, co jsem se naučil/a
Celkem

Zdroj: upraveno podle materiálů Stellenbörse für MFA und Arbeitgeber (nedatováno) a Psychometrics Canada Ltd. (nedatováno).

 

12.4.5 Testy používané k měření úrovně rozvoje dovedností

Existuje celá řada již hotových testů, které lze využít při hodnocení podnikatelských dovedností příjemců projektů na podporu podnikavosti mladých lidí (zakladatelů nových podniků, tzv. „start-upů“). Měření dovedností účastníků vašeho projektu vám pomůže při plánování a optimalizaci projektu. 

 

Tyto psychometrické testy vycházejí z nástrojů dostupných na platformách mfa-jobnet.de a Psychometrics (navštivte stránky www.mfa-jobnet.de a https://www.psychometrics.com) a byly upraveny tak, aby odpovídaly tomuto modulu zaměřenému na evaluaci, nicméně původní zdroj obsahuje více testů, které vám mohou pomoci posoudit zaměstnatelnost kandidáta. 

 

Níže uvádíme několik testů, které můžete použít:

• Test „Inspire“
• Test informovanosti 
• Test dovedností 
• Test vytváření sítí kontaktů

 

Test „Inspire“ (IT)

Každý projekt zaměřený na podporu podnikavosti má jiné požadavky z hlediska úspěšné realizace. Test IT umožňuje beneficientu specifikovat důležitost osobnostní shody pro účely projektu, který organizace začíná realizovat, a ideální skóre, kterého by mělo být dosaženo. Na základě těchto hodnocení lze pak zkoumat, nakolik projekt beneficienta odpovídá požadavkům celkové projektové aktivity. 

 

IT test se provádí buď formou osobních rozhovorů, nebo formou praktických cvičení v týmech.

 

Výhody testu IT:

Test IT poskytuje komplexní obraz osobnosti účastníka a ukazuje, jakým způsobem bude:

• realizovat projekt,
• komunikovat s lidmi,
• řešit problémy,
• řídit změny,
• zvládat stres.

 

Vzorové otázky pro rozhovor

ENERGIE A MOTIVACE 

Energie

• Řekněte mi něco o projektu, na kterém jste se podílel/a dříve a který vyžadoval hodně energie a nasazení. Jaké byly vaše povinnosti? Jaký byl konečný výsledek? 
• Jmenujte některé z nejtěžších věcí, které jste realizoval/a. Jak jste to zvládl/a? 
• Každému někdy dojde energie. Řekněte mi o situaci, kdy jste musel/a řešit úkol, který byl příliš náročný. Co jste udělal/a? Jak to nakonec dopadlo? 

Ambice

• Povězte mi o situaci, kdy jste musel/a tvrdě soutěžit, abyste byl/a úspěšný/á. 
• Povězte mi o nějakých obtížných cílech, které jste si stanovil/a, a o tom, jak jste jich dosáhl/a. 
• Popište situaci, ve které jste zaujal/a nesoutěživý postoj v zájmu dosažení úspěchu. 
• Měl/a jste někdy projekt, kde téměř nebyl prostor pro kariérní postup? Jaké to pro vás bylo? 

Leadership

• Jaké máte zkušenosti s vedením lidí? Jaké to pro vás bylo? Co bylo na této zkušenosti pozitivní? Co byste udělal/a jinak? Mohl/a jste být jako vedoucí efektivnější – jak? 
• Povězte mi o situaci, kdy jste potřeboval/a přesvědčit lidi, aby vás následovali. Co jste udělal/a? Podařilo se vám získat lidi pro věc? 
• Povězte mi o situaci, kdy ve vašem týmu vznikly problémy. O jaké problémy se jednalo a jak jste je překonal/a? 
• Uveďte situaci, kdy jste se ujal/a vedoucí role, aniž byste o to byl/a požádán/a. 
• Uveďte příklad obtížné vedoucí role, kterou jste přijal/a. 
• Řekněte mi o situaci, kdy jste musel/a následovat vedení někoho jiného.

 

Proces IT:

Testy budou zdrojem referenčních hodnot pro daný projekt. Výkon beneficienta bude vyhodnocen a bude sestavena odpovídající zpráva.

• Vytvoření referenčních hodnot – pozorovatelé budou spolupracovat s beneficienty na vytvoření referenčních hodnot týkajících se projektové aktivity. Jedním z nejefektivnějších způsobů identifikace těchto požadavků je shromáždit informace od lidí, kteří projekt dobře znají. Tyto osoby, které jsou dobře obeznámeny s projektem, mohou hovořit o znalostech, dovednostech a vlastnostech, které jsou nezbytné k tomu, aby konkrétní osoba úspěšně absolvovala projekt.
• Hodnocení účastníků – k hodnocení účastníků použijte hodnoticí nástroj.
• Hodnocení osoby – po vyplnění modulového testu Inspire účastníky může pozorovatel sestavit zprávu, v níž bude uvedeno, do jaké míry osobnostní rysy konkrétního účastníka odpovídají požadavkům projektové aktivity.

 

Zpráva o testu IT obsahuje mimo jiné: Celkové skóre vhodnosti pro projektovou aktivitu – které je rychle vyhodnoceno na základě celkové shody uchazečů s referenčními hodnotami projektu; profil účastníka, který pomůže identifikovat konkrétní oblasti, ve kterých je/není vhodným uchazečem, 

podrobný popis chování účastníka ve sdíleném pracovním prostoru, který pomáhá zaměřit se na oblasti nejistoty při následných rozhovorech, a

validitu profilu – hodnocení, do jaké míry byl dotazník vyplněn upřímně, nikoli příliš pozitivním nebo neobvyklým způsobem.

Zdroj: Upraveno podle materiálů Stellenbörse für MFA und Arbeitgeber (nedatováno) a Psychometrics Canada Ltd. (nedatováno).

Test informovanosti (AT)

Akce na podporu podnikavosti mladých lidí jsou zaměřeny na rozvoj podnikatelských dovedností. Cílem tohoto testu je proto získat přehled o různých kompetencích a měkkých dovednostech, které mají být rozvíjeny, o opatřeních, která mají být hodnocena, a dovednostech, které mají být testovány.

1. Samostatné řízení vlastního chování a jednání („self-management“) – připravenost přijmout odpovědnost, flexibilita, odolnost, samostatný start, přiměřená asertivita, time management, připravenost zlepšit výkon týmu na základě zpětné vazby a reflektivního učení.
2. Týmová práce – respektování ostatních, spolupráce, vyjednávání, přesvědčování, přispívání do diskusí, vědomí vzájemné závislosti.
3. Kulturní tolerance / citlivost – schopnost kulturní tolerance, respektování osob z jiných kultur, nediskriminování těchto osob.
4. Obchodní a zákaznické povědomí – základní pochopení klíčových faktorů obchodního úspěchu a významu zajištění spokojenosti zákazníků a budování jejich loajality.
5. Kritické myšlení – objektivní shromažďování a analýza informací, vytváření podložených úsudků.
6. Řešení problémů – analýza faktů a okolností s cílem určit příčinu problému a identifikovat a vybrat vhodná řešení.
7. Komunikace – schopnost účinně přizpůsobit svá sdělení účelu a příjemcům a používat k jejich předávání nejlepší dostupné nástroje.
8. Time management – schopnost plánovat a organizovat svůj čas v rámci různých činností.
9. Flexibilita – schopnost pracovat v neustále se měnícím prostředí a touha hledat oboustranně výhodná řešení.
10. Odolnost – schopnost pracovat pod tlakem. 
11. Efektivita – uplatňování pravidla 80/20 a dalších technik v zájmu dosažení lepších výsledků v kratším čase. Střídání různých prací, přecházení mezi nimi a efektivní každodenní posun.
12. Vytváření sítí kontaktů – rozšiřování sítě usnadňuje hledání obchodních příležitostí, uzavírání partnerských smluv, hledání subdodavatelů nebo budoucích zaměstnanců. Rozšiřuje obzory pro PR a předávání správných informací na všech frontách.
13. Budování značky – budování konzistentní osobní a obchodní značky přizpůsobené správnému publiku. 
14. Prodej – nemít s oslovováním veřejnosti a vytvářením nových obchodních příležitostí. Nalezení správných prodejních kanálů a investice do jejich rozvoje. Budování prodejních trychtýřů a předvídatelných příležitostí pro růst příjmů.

 

Pomoc poskytnutá beneficientovi v oblasti poznání jeho typu osobnosti je prvním krokem na cestě k osobnímu rozvoji a podnikatelskému růstu. Test AT pomáhá příjemcům pochopit jejich silné stránky a preferovaný styl práce a v konečném důsledku i jejich vlastní potenciál. Při individuálním použití k uvědomění si sebe sama a ujasnění svých cílů pomáhá AT test také k lepšímu porozumění a ocenění v rámci týmu a umožňuje lepší spolupráci.

 

Test AT lze provádět buď prostřednictvím osobních rozhovorů, nebo prostřednictvím praktických cvičení v týmech.

 

Výhody testu AT:

• Lepší pochopení sebe sama i ostatních.
• Zlepšení komunikačních dovedností.
• Schopnost vzájemně si porozumět a omezit konflikty.
• Znalost svého osobního a pracovního stylu a jeho silných stránek a oblastí potenciálního rozvoje.

 

Otázky pro rozhovor

SPOLEČENSKÁ SEBEDŮVĚRA

Pokud projekt vyžaduje člověka, který by byl sebejistý a v pohodě v kontaktu s lidmi v různých společenských situací, zvažte některé z následujících otázek: 

• Uveďte příklad situace, kdy jste v souvislosti s prací musel/a komunikovat se skupinou neznámých osob. Co jste udělal/a? Jaký byl výsledek? 
• Řekněte mi o situaci, kdy jste se musel/a chovat sebejistě ve společnosti, abyste dosáhl/a nějakého cíle. 

 

PŘESVĚDČOVÁNÍ
Pokud projekt vyžaduje člověka, který je schopen vyjednávat, prodávat, ovlivňovat ostatní, snažit se je přesvědčit nebo změnit jejich úhel pohledu, zvažte některé z následujících otázek: 

• Uveďte příklad situace, kdy jste někoho přesvědčil/-a, aby si něco koupil? Jak jste ho přesvědčil/a? 
• Řekněte mi o situaci, kdy jste dosáhl/a toho, že někdo jiný změnil názor. Co jste udělal/a/řekl/a, že se na věc začali dívat vaším úhlem pohledu? 
• Uveďte, kdy jste použil/a vyjednávání, abyste získal/a to, co jste chtěl/a. Jak to dopadlo?

 

INICIATIVA

Pokud projekt vyžaduje člověka, který je velice iniciativní při hledání nových příležitostí a přijímání výzev, zvažte některé z následujících otázek: 

• Uveďte příklad situace, kdy jste dokončil/a projekt bez podpory ostatních. Jaký byl výsledek? 
• Povězte mi o příležitosti, kterou jste rozpoznal/a a kterou ostatní přehlédli. 
• Popište nové výzvy, které jste přijal/a, aniž by vás ostatní podpořili. 
• Jmenujte některé nové povinnosti, které jste dobrovolně převzal/a. 
• Když identifikujete potenciální příležitost, co potřebujete, než na ní začnete pracovat? 
• Čemu dáváte přednost: stabilním úkolům a povinnostem v rámci projektu nebo často se měnícím úkolům a povinnostem, a proč?
• Řekněte mi něco o situacích, kdy jste projevil/a iniciativu. 
• Uveďte několik příkladů, kdy jste projevil/a iniciativu. 

Zdroj: upraveno podle materiálů Stellenbörse für MFA und Arbeitgeber (nedatováno) a Psychometrics Canada Ltd. (nedatováno).

Test měkkých dovedností (SST). 

Tento test ukazuje, jak obtížné je rozvíjet kompetence uvedené v testu informovanosti a následně navrhuje konkrétní bázi znalostí (lekce), které toho mohou dosáhnout.

 

Test SST pomáhá účastníkům a členům jejich týmu seznámit se se stylem řešení konfliktů jednotlivých členů týmu, identifikovat potenciální problémy a stanovit cíle, jakým způsobem by měli řešit konflikty jako skupina. U zavedených týmů pomáhá členům týmu pochopit různé konfliktní chování objevující se v týmu, identifikovat problémy a výzvy týmu při zvládání konfliktů a najít konstruktivní způsoby jejich řešení.

 

Test SST lze provádět buď prostřednictvím osobních rozhovorů, nebo prostřednictvím praktických cvičení v týmech.

 

Test SST popisuje pět různých typů konfliktu a posuzuje je ze dvou hledisek:

• Asertivita – do jaké míry se člověk snaží uspokojit své vlastní potřeby.
• Kolegialita (ochota ke spolupráci) – do jaké míry se člověk snaží uspokojit potřeby druhých lidí.

 

Výhody testu SST:

Proč používají organizace test SST?

• Vyplnění je snadné, krátký dotazník zabere jen několik minut a lze jej vyplnit online před školením nebo v papírové podobě na místě.
• Test poskytuje pragmatický, situační přístup k řešení konfliktů, řízení změn, rozvoji vedení, komunikaci, udržení účastníků a dalším tématům.
• Umožňuje vaší organizaci zahájit produktivní dialog o konfliktu.
• Lze jej použít jako samostatný nástroj pro jednotlivce nebo v rámci skupinových vzdělávacích procesů nebo jako součást workshopu v rámci strukturovaného vzdělávacího projektu.

 

Otázky pro rozhovor

SPOLEHLIVOST

Pokud hledáte účastníky (příjemce) s vysokou mírou spolehlivosti, můžete zvážit některé z následujících otázek: 

• Povězte mi o projektu, který jste nemohli dokončit včas. Co se stalo? Co byste udělali jinak? 
• Nevadí vám nechat projekt nedokončený, pokud se objeví něco jiného? 
• Uveďte příklad úkolu, k jehož dokončení jste museli pracovat nad rámec své běžné pracovní doby. Jaká to byla zkušenost? 
• Můžete popsat situaci, kdy jste museli změnit priority a nechat úkol, na kterém jste pracovali, nedokončený? Co se stalo? Jak jste dokončili první úkol? 
• Jmenujte okamžik, kdy pro vás bylo obtížné dokončit úkol. Co se stalo a jak jste obtíže vyřešili? 
• Popište okamžik, kdy jste museli pracovat mimořádně tvrdě, abyste úkoly splnili podle plánu.

 

 

VYTRVALOST
Pokud projekt vyžaduje člověka s vysokou mírou vytrvalosti, zvažte některé z následujících otázek: 

• Řekněte mi o nějakém obtížném úkolu, který jste nedávno splnil/a. Proč byl obtížný? Jak se vám podařilo překonat obtíže/překážky? 
• Popište situaci, kdy jste měl/a před sebou velké množství nudných/nezajímavých úkolů. Jak jste sám/sama sebe motivoval/a k jejich splnění?
• Uveďte příklad projektu, který jste vzdal/a, protože jeho dokončení vyžadovalo vynaložení nepřiměřených prostředků. 
• Povězte mi o situaci, kdy jste prokázal/a vysokou míru vytrvalosti.
• Povězte mi o překážkách, které jste překonal/a a které vyžadovaly velkou vytrvalost. 
• Uveďte příklad něčeho, co jste vzdal/a, protože jste se domníval/a, že to nestojí za námahu. 

 

Pokud projekt zahrnuje převážně úkoly, které lze rychle dokončit, a neobsahuje příliš překážek, které je třeba překonat, zvažte některé z následujících otázek: 

• Uveďte příklad projektu, který jste vzdal/a, protože jeho dokončení vyžadovalo vynaložení nepřiměřených prostředků. 
• Popište situaci, kdy jste měl/a před sebou velké množství nudných/nezajímavých úkolů. Jak jste sám/sama sebe motivoval/a k jejich splnění? 
• Pracoval/a jste někdy na projektu, který od vás vyžadoval pouze jednoduchou práci a žádné výzvy? Jaké to pro vás bylo? Bylo to příjemné, nebo nepříjemné?

 

PEČLIVOST, SMYSL PRO DETAIL

Pokud projekt zahrnuje úkoly, které vyžadují velké množství podrobných informací nebo podrobný průzkum, zvažte některé z následujících otázek: 

 

• Popište projekt, na kterém jste pracoval/a a který vyžadoval hodně podrobné práce. 
• Jakou nejpodrobnější práci jste musel/a dělat? 
• Co je pro vás horší, dokončit projekt pozdě, nebo dokončit projekt včas, ale s určitými nedostatky? 
• Jaké úkoly, při kterých jste musel/a věnovat velkou pozornost detailům, jste musel/a v minulosti řešit? 

 

Pokud projekt nezahrnuje velké množství podrobné práce, ale vyžaduje někoho, kdo se zaměřuje na globální problémy, osvědčené postupy nebo záležitosti, zvažte některé z následujících otázek: 

• Řekněte mi o situaci, kdy jste ignoroval/a detaily a zaměřil/a jste se na širší souvislosti. 
• Povězte mi o situaci, kdy se lidé ve vašem týmu příliš soustředili na detaily a unikly jim širší souvislosti. Co jste udělal/a, abyste jim pomohl/a rozšířit obzor? Stává se někdy, že člověk tráví příliš mnoho času zkoumáním méně důležitých detailů? 
• Jaké máte zkušenosti s určováním strategie/zkoumáním širších souvislostí /stanovením vyšších cílů a priorit?

 

DODRŽOVÁNÍ PRAVIDEL
Pokud má projekt mnoho provozních postupů a pravidel, která je třeba striktně dodržovat, zvažte některé z následujících otázek: 

• Popište své dosavadní zkušenosti s prací ve velmi strukturovaném, pravidly svázaném prostředí. 
• Popište své zkušenosti s prací v prostředí, kde neexistují žádné struktury ani pravidla práce. 
• Můžete mi říci o situaci, kdy jste musel/a ignorovat pravidla nebo postupy, abyste úspěšně dokončil/a svou práci? 
• Jak určíte, kdy je vhodné ignorovat některé dané postupy/pravidla? Existují situace, kdy byste se jimi podle vás měl/a řídit neustále? Jak určíte, kdy tomu tak je? 

 

Pokud projekt nemá téměř žádné dané postupy a pravidla a vyžaduje, aby člověk sám stanovil nejlepší způsob, jak splnit své úkoly, zvažte některé z následujících otázek: 

• Řekněte mi o některých neefektivních pravidlech, která se ve vašem předchozím inovačním centru nebo podnikatelském inkubátoru stále dodržovala. 
• Můžete mi říci o situaci, kdy jste musel/a ignorovat pravidla nebo postupy, abyste úspěšně splnil/a své úkoly? 
• Jak určíte, kdy je možné postupy/pravidla ignorovat? Existují situace, kdy byste se jimi podle vás měl/a řídit neustále? Jak určíte, kdy tomu tak je? 
• Jak často se setkáváte s pravidly/postupy, které by podle vás již neměly platit? 
• Jak se vám pracuje na úkolech, ke kterým vám nikdo nedal žádné pokyny/instrukce? Užíváte si takovou volnost? Přejete si dostat zpětnou vazbu, abyste se ujistil/a, že úkoly plníte správně?

 

PLÁNOVÁNÍ
Pokud projekt zahrnuje velkou míru krátkodobého a dlouhodobého plánování, zvažte některé z následujících otázek: 

• Řekněte mi o úkolu, který jste dokončil/a a který vyžadoval značnou míru plánování. 
• Uveďte příklad dlouhodobého cíle nebo plánu, který jste stanovil/a. Splnil/a jste své cíle? Jak efektivní byl váš plán?

Zdroj: upraveno podle materiálu Stellenbörse für MFA und Arbeitgeber (nedatováno) a Psychometrics Canada Ltd. (nedatováno).

 

Test vytváření sítí kontaktů

Hlavním cílem je zlepšit síťové aktivity, budování kontaktů a výměnu znalostí v rámci akcí na podporu podnikavosti mladých lidí a umožnit tak vytvoření úspěšných inovačních ekosystémů po celé Evropě.

Výhody testu NT:

• Propojuje vaše zájmy a preference s různými aktivitami, úkoly, nastavením projektů a kariérou. 
• Test NT poskytuje výsledky, které můžete využít, pokud s podnikáním teprve začínáte.

 

Test NT lze provádět buď prostřednictvím osobních rozhovorů, nebo prostřednictvím praktických cvičení v týmech.

Otázky pro rozhovor

STYL ŘEŠENÍ PROBLÉMŮ 

INOVACE

Pokud projekt vyžaduje člověka, který je kreativní a inovativní, zvažte některé z následujících otázek: 

• Povězte mi o problému, který jste vyřešil/a inovativním způsobem. 
• Uveďte originální/kreativní/nové řešení, který jste vymyslel/a při řešení nějakého problému. 
• Řešíte-li problém, podíváte se nejprve na to, co bylo provedeno v minulosti, nebo přijdete se zcela novým řešením? 
• Jaké jsou výhody/nevýhody použití předcházejících řešení? 
• Které z vašich nápadů patřily při řešení úkolů k nejkreativnějším? 
• Když něčemu nerozumíte, ptáte se, dokud to nepochopíte?
• Zpochybňujete často to, co je považováno za normální?
• Pozorujete rád/a lidi? Zpochybňujete často to, co je považováno za normální? 
• Sledujete rád/a, co se děje ve světě v rámci inovace? 
• Pozorujete, jak se lidé chovají v situacích, které se mohou týkat vašeho start-upu (např. kde a jak se najíst, napít, oblékat, nakupovat atd.)? Pozorujete svět kolem sebe? Máte nápady na nové výrobky a služby?
• Máte dobrodružnou povahu? Jste šťastní? Hledáte nové zážitky?

 

Pokud projekt nevyžaduje velkou schopnost řešit problémy nebo pokud řešené problémy vyžadují pouze postupné změny či praktická řešení, zvažte některé z následujících otázek: 

• Řešíte-li problém, podíváte se nejprve na to, co bylo provedeno v minulosti, nebo přijdete se zcela novým řešením? 
• Jakou hodnotu vidíte v tom, že se držíte zavedených způsobů řešení úkolů? 
• Jaké jsou výhody/nevýhody použití předcházejících řešení? 
• Jaká byla některá z vašich nejpraktičtějších řešení problémů při plnění úkolů? 
• Označil/a byste sám/sama sebe za inovativní nebo praktickou osobu?

 

ANALYTICKÉ MYŠLENÍ

Pokud projekt vyžaduje analýzu velkého množství informací a logický, opatrný a promyšlený přístup k rozhodování, zvažte některé z následujících otázek: 

• Kolik informací potřebujete, abyste se mohl/a bez obav rozhodnout? Jak tyto informace získáte? 
• Povězte mi o rozhodnutí, které jste přijal/a na základě shromáždění velkého množství informací a jednání s dalšími lidmi. Jaký byl výsledek? Byla vaše opatrnost na místě, nebo jste mohl/a rozhodnout rychleji? 
• Popsali by vás vaši přátelé jako analytický a kalkulující typ, nebo jako intuitivní a spontánní typ člověka? Proč? 
• Jakým procesem procházíte, než učiníte rozhodnutí? 
• Povězte mi o důležitém rozhodnutí, které jste musel/a přijmout rychle.

 

Pokud projekt vyžaduje rychlé rozhodování, které neumožňuje rozsáhlé shromažďování informací, zvažte některé z následujících otázek: 

• Kolik informací potřebujete, abyste se mohl/a bez obav rozhodnout? Jak tyto informace získáte? 
• Povězte mi o rozhodnutí, které jste učinil/a instinktivně, na základě svých pocitů. Jak to dopadlo? Nevadí vám něco na tomto způsobu rozhodování? 
• Popsali by vás vaši přátelé jako analytický a kalkulující typ, nebo jako intuitivní a spontánní typ člověka? Proč? 
• Kdy jste se při rozhodování musel/a spolehnout na svou intuici? 

 

 

ZVLÁDÁNÍ TLAKU A STRESU 

SEBEKONTROLA

Pokud projekt vyžaduje od člověka (příjemce) vysokou míru sebekontroly, zvažte některé z následujících otázek: 

• Co děláte, když vás chování druhých frustruje? Povězte mi o situaci, kdy jste cítil/a frustraci z chování člena týmu. 
• Uveďte příklad, kdy jste v obtížné situaci zachoval/a klid. 
• Uveďte příklad situace, kdy jste se na někoho při plnění úkolu rozzlobil/a. Co jste udělal/a? 
• Popište předchozí zkušenost s úkolem, při kterém jste často musel/a jednat s rozčilenými lidmi. 
• Jaké máte zkušenosti s jednáním s podrážděnými zákazníky? 
• Povězte mi o situaci, kdy jste musel/a jednat s rozčileným zákazníkem. Jak jste postupoval/a? Jaké byly výsledky? Jak jste se následně cítil/a? 

 

ODOLNOST VŮČI STRESU

Pokud projekt vyžaduje pravidelné výsledky v prostředí s vysokou mírou stresu, zvažte některé z následujících otázek: 

• Co děláte pro zmírnění stresu? 
• Jak snášíte stres? 
• Uveďte situaci, kdy jste musel/a plnit úkol při extrémním stresu. 
• Jaké typy činností považujete za stresující? 
• Uveďte situaci, kdy jste měl/a problém se zvládáním stresujících úkolů. Co jste udělal/a, abyste to zvládl/a? 
• S jakým typem stresu se vyrovnáváte velmi obtížně? 
• Existují stresující činnosti, které nezvládáte? Jaké? 
• Co považujete za nejvíce stresující? 
• Při jakých druzích extrémního stresu jste musel/a plnit úkoly? 
• Uveďte některé z věcí, kterých jste se účastnil/a a které byly nejvíce stresující. 

Zdroj: upraveno podle materiálů Stellenbörse für MFA und Arbeitgeber (nedatováno) a Psychometrics Canada Ltd. (nedatováno).

12.4.6 Nástroj „Business Model Canvas“

Šablona pro tvorbu obchodního modelu „Business Model Canvas“ je vhodným nástrojem pro hodnocení začínajícího podniku, tzv. start-upu, na začátku a na konci projektu – a pomáhá tak stanovit úroveň rozvoje podniku. 

Obrázek 9: Business Model Canvas (Zdroj: Strategyzer, nedatováno)

Tabulka:

The Business Model Canvas		Navrženo pro:		Autor návrhu:
Klíčoví partneři Kdo jsou naši nejdůležitější partneři? Jaké zdroje používáme? Které klíčové aktivity převezmou naši partneři? Jakým způsobem zajistíme jejich trvalou integraci?	Klíčové aktivity Jaké aktivity vyžaduje naše nabízená hodnota?	Nabízené hodnoty Jaké výhody vytváříme pro beneficienty, pokud se zúčastní našeho programu? Řešíte jejich problémy, plníte jejich potřeby nebo pro ně plníte nějaké úkoly?		Zákaznické vztahy Jaký druh vztahů očekávají segmenty beneficientů? Jak vysoké jsou související náklady?	Zákaznické segmenty Zjistěte, komu nabízíte své služby a kdo jsou vaši nejdůležitější klienti.
	Klíčové zdroje Jaké zdroje jsou potřeba k tomu, co nabízíme?			Kanály Jakými kanály chtějí být zákazníci oslovováni?
Nákladová struktura Které jsou nejdůležitější a nejdražší složky nákladů? Které z hlavních aktivit, partnerů a zdrojů jsou nejdražší?			Toky příjmů Jakou cenu jsou beneficienti ochotni zaplatit? Kolik platí teď, za co a jak? Jakou výší přispívají jednotlivé kanály příjmů?

 

Souhrn kroků týkajících se použití formátu obchodního plánu při hodnocení akcí v rámci projektu na podporu podnikavosti:

 

Rozvoj nápadu na založení podniku/ projekt z hlediska start-upu

• Jaký nápad/ plán je pro mě nejlepší?

• Čím se liší od ostatních?

 

Požadavky zakladatele

• Jakou mám kvalifikaci, jaké jsou mé silné a slabé stránky?
• Jaké partnery mám nebo potřebuji?

 

Přehled trhu

• Jaká je moje cílová skupina a co tito lidé potřebují?
• Co nabízejí moji konkurenti?

 

Dobré strategie marketingu a distribuce

• Jak by mohla vypadat dobrá reklama?
• Jaká je moje distribuční oblast a distribuční cesty?
• Mám dobrou cenovou strategii?

 

Založení organizace /společnosti

• Kolik zaměstnanců potřebuji a jaké by měli mít dovednosti/kvalifikace?
• Jaká je právní forma mé společnosti?

 

Analýza a zvažování možných šancí a rizik

 

Financování

• Kolik jsou moji potenciální zákazníci ochotni zaplatit?
• Jaké jsou mé kapitálové požadavky?
• Mám finanční plán a investiční plán?
• Existují alternativní možnosti financování? (např. granty, dary)
• Jak vysoké jsou mé provozní náklady? 

 

Získání další dokumentace

• Potřebuji další dokumenty, například znalecké posudky, smlouvy nebo životopisy?
• Právní požadavky? 

 

Chcete si to vyzkoušet sami? Vyplňte níže uvedenou šablonu Business Model Canvas.

 

Obrázek 10: Šablona Business Model Canvas

Zdroj: Strategyzer, nedatováno

 

12.5 Nástroje, které lze použít při analýze informací

Níže uvádíme některé nástroje, které můžete použít při analýze shromážděných informací.

12.5.1 Posouzení výsledků projektu („co“)

Níže uvedené otázky slouží pouze jako vodítko při hodnocení výsledků vašeho projektu. 

V závislosti na povaze vašeho projektu a důvodu evaluace můžete použít další nebo jiné otázky. 

• Jakým způsobem účastníkům prospěla účast ve vašem projektu? (Např. znovuzapojení do procesu vzdělávání, získání akreditace, rozšíření nebo zlepšení sítí kontaktů v konkrétním odvětví, identifikace realistické profesní dráhy, získání podnikatelských dovedností, získání dokladů totožnosti atd.) 
• Jak to víte? (Tzn. jaké informace nebo důkazy máte k dispozici, které prokazují, že projekt přinesl účastníkům prospěch?) 
• Jaký byly další přínosy projektu (a pro koho)? 
• Došlo k nějakým překvapivým nebo neočekávaným výsledkům?
• Jak víte, že příslušná změna nastala právě díky vašemu projektu? (V organizaci mohou např. současně s vaším projektem probíhat i jiné věci, které mohou mít vliv na výsledky účastníků nebo na skutečnosti, které se snažíte hodnotit.)

12.5.2 Posouzení účinnosti projektu („jak“)

Níže uvedený kontrolní seznam slouží jako jednoduchý způsob hodnocení efektivity projektu („jak“) a identifikace potenciálních oblastí vyžadujících zlepšení. 

V závislosti na povaze vašeho projektu a důvodu evaluace můžete použít další nebo jiné otázky. 

Tabulka 16: Kontrolní seznam hodnocení účinnosti projektu

Klíčová otázka	A/N	Příklady dalších kroků (k řešení zjištěných problémů)
Jsou všechny zainteresované strany plně zapojeny do projektu?	Ne	Uspořádejte setkání všech zainteresovaných stran za účelem přezkoumání momentální úrovně jejich zapojení a určení, zda je potřeba ji změnit a jakým způsobem. Jsou například zapotřebí větší zdroje? Změnilo by se něco formálním podchycením projektu v memorandu o porozumění? Pokud se některý z partnerů skutečně nezapojuje do projektu a není pravděpodobné, že se to změní, bylo by vhodné požádat o podporu jinou organizaci?
Existuje společná vize a společné cíle?		Vytvořte společně jakýsi slovník, ve kterém budou definovány cíle a stanoven společný výklad pojmů.
Má každá zainteresovaná strana jasně definovanou roli a odpovědnosti?		Vytvořte jakési organizační schéma, ve kterém budou uvedeny role a povinnosti každé strany – toto schéma by mělo být všem přístupné.
Jsou očekávání jednotlivých zainteresovaných stran spravedlivá a přiměřená?
Rozumí každá zainteresovaná strana dobře požadavkům ostatních zainteresovaných stran?
Probíhá mezi zainteresovanými stranami pravidelná komunikace?
Získaly všechny strany za své úsilí spravedlivé uznání?
Z hlediska rovnováhy: jsou přínosy spolupráce dostatečným odůvodněním pro vynaložený čas a úsilí?

 

Seznam vám může pomoci rozdělit zastřešující nebo klíčovou evaluační otázku na určitý počet dílčích otázek, které budou sloužit jako vodítko pro sběr a analýzu informací. Následující tabulka ukazuje průběh jednoho školení pro nezaměstnané absolventy v rámci projektu podpory podnikavosti.

Tabulka 17: Kontrolní seznam hodnocení Školení pro nezaměstnané absolventy zaměřeného na podnikání

Název projektu: Školení pro nezaměstnané absolventy zaměřené na podnikání.

Cíl	Zaměření evaluace	Evaluační otázka	Otázky obsažené v evaluačních nástrojích (pokládané dotazovatelům/ respondentům)
Pomoci účastníkům transformovat jejich nápady ve fungující a ziskové podniky.	Zaměření na dopad aktivit nebo projektu („co“).	Jak a do jaké míry pomohl projekt absolventům proměnit jejich nápady ve fungující a ziskové podniky?	Jaké znalosti a dovednosti získali účastníci díky tomuto projektu? Jak pomohly tyto dovednosti účastníkům v jejich snaze proměnit nápady v plnohodnotné podniky? Existují další věci, které by bylo možné udělat na podporu účastníků v jejich snažení? Jaké další informace jsou potřeba k rozhodnutí o budoucnosti projektu?
Zjistit, jak dobře zainteresované strany spolupracují a zda by bylo možné něco zlepšit.	Zaměření na účinnost projektů („jak“).	Jak efektivní jsou naše současné projekty?	Co děláme dobře? Co se nám nedaří? Jak můžeme tyto projekty zlepšit?Techniky kvantitativní analýzy

12.5.3 Techniky kvantitativní analýzy

Obrázek 11: Přehled technik kvantitativní analýzy

Zdroj: Cottage Health, nedatováno

Cíl	Technika analýzy	Jak provést výpočet	Příklady otázky a odpovědi
Chcete znát počet respondentů, kteří zvolili určitou odpověď?	Frekvence	Spočítejte počet odpovědí u každé možnosti odpovědi	Kolik respondentů uvedlo, že se účastnili výuky? 14 studentů se účastnilo výuky
Chcete vědět, jaké procento respondentů odpovídajících na otázku zvolilo každou z odpovědí?	Procento	Výpočet: počet respondentů, kteří zvolili možnost A : celkový počet odpovědí = PROCENTO	Jaké procento respondentů uvedlo, že se účastnili výuky každý měsíc? 10 studentů zvolilo možnost A (účast měsíčně) : 20 studentů odpovědělo = 50 % studentů se účastnilo každý měsíc.
Chcete znát úplný rozsah výsledných skóre/ hodnot u konkrétní otázky?	Rozsah	Identifikujte nejvyšší a nejnižší hodnotu. Popište je jako „nízké skóre – počet / vysoké skóre – počet“.	Jaký je rozsah počtu osob v domácnosti? Velikost domácnosti se pohybovala v rozmezí 1–6 osob.
Chcete znát průměr všech položek v numerickém datasetu?	Průměr	Součet všech odpovědí: počet všech odpovědí = PRŮMĚR	Jaký je průměrný počet osob v domácnosti? Máte 21 odpovědí, které jsou následující: 1,1,2,2,2,2,3,3,3,4,4,4,4,4,4,4,4,5,5,6,6, Celkový součet všech odpovědí je 73, děleno počtem odpovědí (21), to znamená, že průměrná velikost domácnosti je 3,5 osob.
Chcete znát střední bod v souboru výsledných skóre/hodnot, pokud máte významné extrémní hodnoty (tj. velice vysoká nebo velice nízká čísla)?	Medián	Seřaďte všechny hodnoty odpovědí ve vzestupném (sestupném) pořadí. Medián představuje hodnota uprostřed tohoto seznamu (např. pokud máte 21 odpovědí, medián bude hodnota na 11. místě). Pokud máte sudý počet odpovědí, medián bude tvořit průměrná hodnota obou hodnot uprostřed seznamu (tj. pokud máte 20 odpovědí, medián bude průměr 10. a 11. odpovědi).	Jaký je medián počtu osob v domácnosti? Máte seznam 21 odpovědí, které jsou následující: 1,1,2,2,2,2,3,3,3,4,4,4,4,4,4,4,4,5,5,6,6, Medián je 4, tj. 11. číslo v pořadí.
Chcete znát průměr, pokud používáte hodnoticí stupnici jako např. spokojenost s programem?	Vážený průměr	Přiřaďte každé možnosti odpovědi na hodnoticí škále numerickou hodnotu neboli „váhu“. Vynásobte hodnotu přiřazenou konkrétní možnosti (váhu) počtem, kolikrát byla daná možnost vybrána. Vypočtěte dílčí součet (váha X počet odpovědí) u každé možnosti odpovědi. Vydělte součet počtem odpovědí.	Jaký je vážený průměr spokojenosti s programem? Rozsah hodnot (váha) je od 1 (zcela nespokojen) do 5 (velice spokojen). Např.  Možnost odpovědi Váha Počet odpovědí Váha X počet odpovědí 1 (vůbec ne) 1 4 4 2 2 8 16 3 (neutrální) 3 9 27 4 4 15 60 5 (velice) 5 14 70 Celkem 50 177 177 : 50 respondenty = 3,5 vážený průměr. Na základě vážené stupnice se ukazuje, že průměrná odpověď byla mezi „neutrální“ a „spokojen“.
Chcete porovnat odpovědi dvou různých skupin?	Křížové tabulkové srovnání	Určete „skupiny“, které vás zajímají, a vypočtěte frekvence a procenta odpovědí každé skupiny; porovnejte a hledejte podobnosti a rozdíly. (K určení toho, zda je rozdíl mezi skupinami významný, je nutné provést statistickou analýzu).	Kteří účastníci byli s výukou spokojenější? Vaše srovnávací tabulky mohou vypadat např. následovně: Spokojen Nespokojen Pohlaví Muž 46 % 54 % Žena 45 % 55 % Má svého praktického lékaře? Ano 65 % 35 % Ne 26 % 74 % Má diagnózu chronické nemoci? Ano 47 % 53 % Ne 44 % 56 %

 

12.5.4 Jakým způsobem prezentovat kvantitativní data

Tabulka 18: Přehled forem prezentace údajů

Co chceme prezentovat?	Jaký graf použít
Srovnání dvou či více kategorií	Sloupcový graf, kruhový graf
Binární data (např. odpovědi ano/ne)	Koláčový graf, sloupcový graf
Změna v čase	Čárový (spojnicový) graf, plošný graf
Korelace mezi dvěma proměnnými	Bodový graf
Frekvence	Sloupcový graf
Procenta	Sloupcový graf, koláčový graf
Rozptyl (rozšíření vašeho datasetu)	Krabicový graf (boxplot), sloupcový graf

Source: The National Council for Voluntary Organisations, nedatováno

12.5.5 Nástroje vhodné pro použití informací

Jasná struktura zprávy přispívá k její větší srozumitelnosti. Před sestavením zprávy si naplánujte názvy jednotlivých kapitol a podkapitol tak, aby byla zpráva čitelnější a srozumitelnější. Níže naleznete vzor struktury evaluační zprávy:

OBSAH

SEZNAM ZKRATEK

PODĚKOVÁNÍ

SHRNUTÍ

ÚVOD

1. Základní informace o projektu, zdroje financování, partneři/zainteresované strany, cílová skupina a účastníci, proces realizace, cíle, aktivity/úkoly a výsledky 
2. Koncepce evaluace – typ, rozsah, smysl a cíl, kritéria a otázky 

 

METODY

2.1 Metody sběru informací a vzorků 

2.2 Otázky spolehlivosti a platnosti údajů

VÝSLEDKY

3 Měly by být projednány podle evaluačních kritérií a otázek.

POUČENÍ, ZÁVĚRY A DOPORUČENÍ

4.1 Poučení

4.2 Závěry a doporučení

PŘÍLOHY

Příloha 1: Mapa intervenční oblasti

Příloha 2: Nástroje průzkumu (např. dotazníky a použité scénáře)

13. Závěr

 

Domníváme se, že jakmile organizátoři akcí na podporu podnikavosti mladých lidí absolvují celý cyklus a budou věnovat mimořádnou pozornost detailům, získají lepší know-how, pokud jde o evaluaci organizovaných akcí.

14. Zdroje

 

Následující zdroje vám poskytnou další potřebné informace, pokud se chcete o evaluaci dozvědět více:

• Bartosiewicz-Niziołek, M., Nałęcz, S. (2021) Towards better youth employment actions. Blended learning course on evaluation. Youth Impact project. Jerzy Regulski Foundation in Support of Local Democracy. https://moodle.youth-impact.eu/
• Bartosiewicz-Niziołek, M., Nałęcz, S., Penza-Gabler, Z., Pintera, E. (2021) Your leverage to better youth employment projects. Evaluation Toolkit. Youth Impact Project. https://www.youth-impact.eu/toolkit/
• Bednárová, E. (2021, May 6). Hodnotenie dopadu mládežníckych projektov (praktické príklady vybraných slovenských organizácií). Youth Impact. https://www.youth-impact.eu/wp-content/uploads/2021/05/Hodnotenie_dopadu_mladeznicke_projekty.pdf
• Bhatia, M. (2018, July 16) What is monitoring and evaluation? A guide to the basics. Humans of data https://humansofdata.atlan.com/2018/07/what-is-monitoring-and-evaluation/
• Bureau of Educational and Cultural Affairs (n.d.) A good start with S.M.A.R.T. (indicators). https://eca.state.gov/files/bureau/a_good_start_with_smart.pdf
• Clinical and Translational Science Awards (CTSA) Consortium’s Community Engagement Key Function Committee (2011). Principles of community engagement – second edition. National Institute of Health, Publication No. 11-7782, pp. 175-176. https://www.atsdr.cdc.gov/communityengagement/pce_program_methods.html
• Cottage Health (n.d.). Cottage Health Evaluation Toolkit: How to analyze and interpret data. Cottage Centre for Population Health https://www.cottagehealth.org/app/files/public/2246/Analyze_and_Interpret_Data_Cottage_Health_Evaluation_Toolkit.pdf
• Department for International Development (2007). Humanitarian Funding Guidelines for NGOs, p 20. ISBN: 1 86192 915 3. https://www.ennonline.net/attachments/126/dfid-guidelines.pdf
• Difference between inputs, activities, outputs, outcomes and impact (2013, June 10) Monitoring and Evaluation blog, https://frankotienoodhiambo.blogspot.com/2013/06/difference-between-inputs-activities.html#more
• EUROSTAT (2011) https://appsso.eurostat.ec.europa.eu/nui/submitViewTableAction.do
• European Commission – Europe Aid Cooperation Office (2004, March) Project life-cycle management guidelines. Aid Delivery Methods, vol. 1., p. 40.   https://europa.eu/capacity4dev/iesf/documents/aid-delivery-methods-project-cycle-management-guidelines-europeaid-2004
• Fayolle, A., Gailly B., Lassas‐Clerc, N. (2006). Assessing the impact of entrepreneurship education project: a new methodology. Journal of European Industrial Training. https://www.researchgate.net/publication/274028620_Assessing_the_Impact_of_Entrepreneurship_Education
• H. Rasmuna (2012) Evaluation of the Implementation of the Module of Basic Entrepreneurship in College Community Ministry of Higher Education. The International Proceedings of the Economics Development and Research: Economics, Trade and Development. Singapore: IACST Press, vol. 36, pp. 96-100. http://ipedr.com/vol36/018-ICETD2012-D10007.pdf
• Huhn, C. (2020, September 16). Findings, Conclusions, and Recommendations Matrices.  Headlight Consulting Services. https://www.headlightconsultingservices.com/blog/findings-conclusions-and-recommendations-matrices/
• Independent Evaluation Office of UNDP (2019, January). UNDP Evaluation Guidelines. UNDP. http://web.undp.org/evaluation/guideline/documents/PDF/UNDP_Evaluation_Guidelines.pdf
• Junior Achievement Slovensko, n.o. (n.d.) Viac ako peniaze. https://www.viacakopeniaze.sk/financna-gramotnost/
• Nanda, V. (2017, April 18) 7 types of evaluation you need to know. Humans of data. https://humansofdata.atlan.com/2017/04/7-types-of-evaluation/
• OECD DAC Network on Development Evaluation (n.d.) Evaluation criteria. OECD. https://www.oecd.org/dac/evaluation/daccriteriaforevaluatingdevelopmentassistance.htm
• OECD (2013) DEVELOPMENT RESULTS: An Overview of Results Measurement and Management. http://www.oecd.org/dac/peer-reviews/Development-Results-Note.pdf
• Peersman, G. (2015) Impact evaluation. BetterEvaluation. https://www.betterevaluation.org/en/themes/impact_evaluation#ImpactEvaluation_1
• Product plan (n.d.). Stakeholder Analysis. https://www.productplan.com/glossary/stakeholder-analysis/
• Psychometrics Canada Ltd. (n.d.). Psychometrics. https://www.psychometrics.com
• Selecting project indicators (2013, May 25). Monitoring and Evaluation blog. https://frankotienoodhiambo.blogspot.com/2013/05/selecting-project-indicators.html
• Simister, N. (2017). Basic tools for data collection. INTRAC. https://www.intrac.org/wpcms/wp-content/uploads/2017/01/Basic-tools-for-data-collection.pdf
• Stellenbörse für MFA und Arbeitgeber (n.d.) mfa-jobnet.de.  www.mfa-jobnet.de
• Strategyzer AG (n.d.). The Business Model Canvas. Strategyzer. https://www.strategyzer.com/canvas/business-model-canvas
• Types of evaluation (2013, May 31). Monitoring and Evaluation blog. https://frankotienoodhiambo.blogspot.com/2013/05/types-of-evaluation.html   
• The National Council for Voluntary Organisations (n.d.) How to analyse quantitative data for evaluation. NCVO/Know-how. https://knowhow.ncvo.org.uk/how-to/how-to-analyse-quantitative-data-for-evaluation       
• The National Council for Voluntary Organisations (n.d.). How to analyse qualitative data for evaluation. https://knowhow.ncvo.org.uk/@@search?SearchableText=How+to+analyse+qualitative+
• The Urban Institute, What Works (n.d.). Candidate Outcome Indicators:  Employment Training/ Workforce Development Program. Urban Institute. https://www.urban.org/sites/default/files/2015/04/10/employment_training.pdf

PŘÍRUČKA PRO EVALUACI PODPORY PODNIKAVOSTI MLADÝCH LIDÍ

Vaše cesta k lepším projektům zaměřeným na podporu podnikavosti mladých lidí

Autorství: PEDAL Consulting s.r.o. (Bratislava, 2022)

 

Příručka – PDF

Příručka – online listovačka

 

1. Úvod

Účelem tohoto souboru nástrojů je stručně představit praktické nástroje sloužící k evaluaci akcí a projektů zaměřených na podporu podnikavosti mladých lidí. Jinými slovy – cílem tohoto souboru nástrojů je podpořit evaluaci projektů zaměřených na zvyšování podnikatelských dovedností mladých lidí (ve věku 15–24 let), kteří se více než jiné věkové skupiny ve Visegrádském regionu potýkají s problémy ve fázi přechodu mezi školou a zaměstnáním.

Hlavními příjemci tohoto souboru nástrojů jsou agentury a organizace zaměřené na podporu podnikavosti, poradenské firmy, podnikatelské inkubátory a akcelerátory, sociální podniky, nevládní organizace a další malé a střední podniky, které mají zájem o analýzu některého ze svých projektů nebo základní činnosti ve výše uvedené oblasti. Tato analýza může podpořit:

• hodnocení účinnosti projektu z hlediska dosažení cílů a požadovaných výsledků,
• posouzení užitečnosti projektu pro účastníky a udržitelnosti výsledků projektu,
• posouzení, zda je vhodné v projektových aktivitách pokračovat, nebo je dokonce rozšířit,
• evaluaci dopadu projektu s ohledem na zainteresované strany projektu a širší komunitu (jejich sociální prostředí),
• hodnocení efektivity projektu z hlediska zdrojů vynaložených na jeho realizaci a dosažení výsledků.

Tento soubor nástrojů je doplňkovým materiálem ke kurzu „Towards better projects – blended learning course on evaluation of entrepreneurship support actions“ /Cesta k lepším projektům – kombinovaný vzdělávací kurz zaměřený na evaluaci akcí na podporu zaměstnanosti/, který je k dispozici na e-learningové platformě ZDE. Jeho hlavním záměrem je být pro účastníky kurzu vodítkem při praktickému využití těchto nástrojů. Za tímto účelem jsme vytvořili řadu pomocných materiálů. Tento soubor nástrojů přináší organizacím, jejichž cílem je rozvíjet a/nebo zvyšovat podnikatelské dovednosti mladých lidí, praktické nástroje pro měření a neustálé zlepšování dopadu jejich projektů. 

Cílem tohoto souboru nástrojů je v neposlední řadě pomoci vám realizovat projekt zaměřený na podnikavost co nejlépe, a to díky kvalitní evaluaci.

Tento soubor nástrojů vytvořila společnost PEDAL Consulting (Slovensko) ve spolupráci s FIAP e.V. (Německo), Nadací Jerzyho Regulského na podporu místní demokracie (Polsko) a Channel Crossings (Česko) v rámci projektu Youth Impact, který je financován prostřednictvím Finančních mechanismů EHP a Norska. Projekt Youth Impact poskytuje nástroje a služby, díky kterým mohou organizátoři akcí na podporu zaměstnanosti a podnikavosti mladých lidí lépe vyhodnocovat dopad realizovaných projektů a aktivit. Projekt probíhá v období 2019–2022.

 

1.2 Charakteristika cílové věkové skupiny

Od vypuknutí pandemie COVID-19 v roce 2020 jsou ekonomické podmínky ve většině zemí včetně České republiky, Německa, Polska a Slovenska výrazně obtížnější. V mnoha zemích vedla hospodářská krize k výraznému úbytku pracovních míst. Navíc není jisté, zda se po hospodářské krizi podaří obnovit všechna pracovní místa, protože pandemie urychlila širší ekonomické transformace, jako je digitalizace a proměny typu pracovních míst. Přechod ze vzdělávání do zaměstnání, který je vždy obtížný, se stal skutečně problematickým (OECD, 2021).

Tyto bezprecedentní změny měly negativní dopad i na postavení mladých lidí na trhu práce, zejména na skupinu mladých lidí, kteří se nevzdělávají, nepracují ani se neúčastní odborné přípravy na zaměstnání (NEET). Ačkoli možnost prodloužit si studium v posledních letech zpomalila nárůst počtu mladých lidí, kteří se počítají do skupiny NEET, podíl NEET mezi 25–29letými se v průměru zemí OECD zvýšil z 16,4 % v roce 2019 na 18,6 % v roce 2020 (OECD, 2021). 

Údaje také ukazují, že podíl mladých dospělých, kteří se již nevzdělávají a nehledají práci, se zvyšuje s věkem, přičemž vyšší dosažené vzdělání je spojeno s nižší mírou NEET (OECD, 2019). U mladých dospělých, kteří ukončili vzdělávání bez terciárního vzdělání, je pravděpodobnost, že se stanou NEET, vyšší než u těch, kteří jej dokončili. V průměru se o zemích OECD dá říci, že: 

• 10,8 % vysokoškolsky vzdělaných osob ve věku 25–29 let patří do skupiny NEET, 
• u osob s vyšším sekundárním nebo postsekundárním neterciárním vzděláním se tento podíl zvyšuje na 16,8 %. 
• u osob bez vyššího středního vzdělání se tato situace týká přibližně 40,1 %. 

Obrázek x: Podíl NEETs mezi 25–29letými podle dosaženého vzdělání 

Zvláště závažná byla situace u 25–29letých bez vyššího středního vzdělání na Slovensku, kde podíl NEET mezi 25–29letými bez vyššího středního vzdělání přesáhl 60 %. Velmi vysoký byl také v České republice (43 %) a v Polsku, kde byla mezi 25–29letými NEET nejméně polovina.

  

Při pohledu na podíl NEET je třeba poznamenat, že podle EUROFUNDu je jen malý podíl neaktivních NEET pouze dočasně neaktivní, což znamená, že v pozici NEET setrvávají krátkou dobu a rychle se vracejí do zaměstnání, vzdělávání nebo odborné přípravy. Mimo to se určitá menší část z nich může také zůstat celkově odrazení od snahy o jakékoli zapojení do práce či studia (Eurofound, 2016).

K tomu, že lidé nejsou aktivní a nehledají si zaměstnání, přispívají různé faktory:

• mezi ženami jsou hlavním důvodem jejich neaktivity povinnosti spojené s péčí o děti;
• u mužů jsou zase častější zdravotní a jiné faktory (OECD, 2016).

Kromě toho má podíl neaktivních NEET žen s věkem rostoucí tendenci. V případě mužů ze skupiny NEET se však zdá být víceméně stabilní. 

• mezi 18–24letými je 11,2 % žen a 7,5 % mužů neaktivních NEET (rozdíl mezi pohlavími činí 4 procentní body).
• u osob ve věku 25–29 let se hodnoty zvyšují na 17,3 % u žen a 6,4 % u mužů (rozdíl mezi pohlavími je více než 10 procentních bodů) (OECD, 2021). 

Slovensko patří do skupiny zemí OECD, v nichž rozdíl v míře neaktivity mezi muži a ženami ve věku 25–29 let činí nejméně 20 procentních bodů (OECD, 2019a).

V této souvislosti jsme proto vytvořili náš soubor nástrojů, který má organizacím, jež realizují akční projekty na podporu podnikání mladých lidí, pomoci posoudit a vyhodnotit jejich projekty a odstranit případné nedostatky, které mohou ovlivnit jejich snahu podporovat mladé podnikatele při budování škálovatelných a inovativních podniků nebo rozvíjet podnikatelské myšlení, jež může mladým lidem pomoci zlepšit jejich život.

2. Jaký je náš přístup k evaluaci? Jaké výhody evaluace přináší? 

Pokud již realizujete nějaký projekt na podporu podnikavosti mladých lidí (projekt nebo programy zaměřené na podporu podnikavosti mladých lidí) nebo o jeho realizaci uvažujete, pak vám mohou evaluační metody uvedené v tomto souboru nástrojů pomoci ověřit a prokázat, zda se vám daří dosáhnout požadovaného účinku. 

Přestože neexistuje jednotná definice pojmu evaluace, Rozvojový program OSN (UNDP) definuje evaluaci jako posouzení či hodnocení činnosti, projektu, programu nebo výkonu instituce. Evaluace by měla být prováděna co nejsystematičtějším a nejvíce nestranným způsobem. Evaluace analyzuje úroveň dosažení očekávaných i neočekávaných výsledků tím, že pomocí vhodných kritérií zkoumá řetězec výsledků, procesy, kontextuální faktory a příčinné souvislosti. Evaluace by měla poskytovat věrohodné a užitečné informace založené na důkazech, které umožní včas začlenit zjištění, doporučení a poučení vyplývající z evaluace do rozhodovacích procesů odpovědných organizací a zainteresovaných stran (UNDP, 2019). Existuje rozdíl mezi evaluací a monitorováním nebo auditem. Více informací naleznete v části Soubor nástrojů. 

Evaluace je skvělá metoda, pokud chcete: 

• zjistit, do jaké míry se vám daří dosáhnout očekávaných cílů a výsledků, 
• zjistit, zda byly správně identifikovány potřeby cílových skupin a zda váš projekt řeší skutečné problémy,
• zjistit, jaký dopad má váš projekt nebo aktivity na účastníky a další osoby,
• posoudit, zda bylo vynaložené úsilí přiměřené výsledkům projektu, či nikoli,
• zlepšit výsledky uzavřených partnerství. 
• identifikovat příležitosti k rozšíření rozsahu činností, 
• využít výsledky k propagaci projektu,
• podávat průběžné zprávy o vývoji projektu zainteresovaným stranám nebo vyššímu vedení, 
• získat finanční prostředky, stejně jako další nebo jiné partnery.

Náš přístup je proto takový, že vám pomůžeme zhodnotit váš projekt a ukázat jeho přínosy; poskytneme vám několik praktických nástrojů, které můžete při hodnocení použít, a ukážeme vám jednoduché a účinné metody, jak evaluaci využít k rozvoji vaší činnosti nebo aktivit. 

A nebojte se, pokud již máte rozběhlý projekt a dosud jste neprováděli žádnou evaluaci. Nikdy není pozdě začít! Pamatujte si však, že v pokročilé fázi projektu již nelze provádět všechny druhy evaluace. 

Hlavní výhody evaluace:

• Použití dopadové evaluace vám umožní vyhodnotit nejen to, zda změny plánované v projektu skutečně nastaly, ale také to, zda a do jaké míry byly očekávané výsledky projektu skutečně výsledkem projektových aktivit. 
• Závěry hodnocení přispívají k optimalizaci kroků v rámci konkrétního projektu. Umožní vám předvídat potíže ještě před zahájením projektu (evaluace ex-ante) nebo zjistit problémy v rané fázi projektu (průběžná nebo mid-term evaluace).
• Evaluace na konci projektu přináší doporučení (evaluace ex-post), která mohou pomoci managementu přijmout informovaná rozhodnutí týkající se konkrétních aktivit nebo dokonce budoucích projektů. 
• Rozsah možného využití evaluace v řízení závisí především na zvolených evaluačních kritériích. Například kritérium efektivity projektu umožňuje posoudit, zda se na realizaci projektu podílel dostatečný počet osob, zda mu bylo věnováno adekvátní množství peněz a času nebo zda projektovému týmu chyběly některé dovednosti či jiné zdroje. Na základě toho se můžete rozhodnout posílit projektový tým, rozpočet nebo plánování projektu.
• Výsledky evaluace mohou být nástrojem propagace vaší organizace a dosažených úspěchů. Případové studie ilustrující příběhy úspěšných příjemců nebo údaje o zvýšení jejich kompetencí mohou být například prezentovány na sociálních sítích, na webových stránkách nebo při veřejných prezentacích, a propagovat tak efektivitu organizace.
• Výsledky evaluačního výzkumu lze využít při komunikaci se sponzory, a to i v žádostech o granty. Můžete například zahrnout údaje o efektivitě, udržitelnosti, relevantnosti, užitečnosti a dalších charakteristikách realizovaných činností do odpovědí na standardní otázky v žádosti o financování podobných projektů.
• Evaluace může být užitečné též při náboru dobrovolníků, zejména pokud její výsledky ukazují pozitivní dopady práce v organizaci a to, do jaké míry organizace přispěla ke zlepšení života vybraných osob nebo komunit.
• Zapojení účastníků do evaluace projektu může také zvýšit jejich vlastní motivaci a nadšení. Vliv účastníků na rozsah a evaluační kritéria a možnost předložit své připomínky k předběžným výsledkům projektu může například vést ke zvýšení pocitu kontroly nad vlastním životem a sloužit k ilustraci vazby mezi vykonanou prací a cíli projektu, organizací a vlastními hodnotami. Účast v procesu evaluace zvyšuje znalosti a posiluje postavení účastníků v mnoha oblastech ovlivňujících efektivitu organizace: od záležitostí řízení až po věcné aspekty související s předmětem projektu.
• Zapojení partnerů projektu do evaluace – zejména těch, kteří pracují s beneficienty projektu. Například zapojení externích partnerů projektu (např. zaměstnavatelů, institucí, jako jsou úřady práce, sdružení či skupiny osob ovlivněné projektem) do hodnocení umožňuje diagnostikovat problémy, které omezily účinnost, relevantnost nebo užitečnost projektu. Navíc popis záležitostí, které tyto partnery trápily, v evaluační zprávě a jejich řešení může výrazně zvýšit úroveň důvěry a spolupráce na dalších projektech.
• V oblasti projektů týkajících se aktivace přípravy na povolání, zaměstnanosti a podnikavosti mladých lidí je pro úspěšnou evaluaci důležitá účast beneficientů – umožňuje posoudit, jak projektové aktivity ovlivnily očekávané změny v životě příjemců. Kromě toho může pomoci při plánování dalšího projektu tak, aby vyhovoval jejich potřebám a přispěl k dosažení cílů.
• Evaluace vychází z metodologie společenských věd, a poskytuje tudíž spolehlivé odpovědi na otázky týkající se konkrétního projektu a organizace, která jej realizuje.
• Evaluace projektu může také pomoci při srovnání a zjištění, kteří jedinci a s jakými vlastnostmi jsou schopni začít podnikat, a proč je u jiných podnikání méně pravděpodobné.

Souhrnně lze říci, že evaluace přináší mnoho výhod. Problémem však je, že jejich znalost je často abstraktní, nikoli založená na zkušenostech. Přitom systematické využívání evaluace a jejích různých technik může podpořit řízení organizace, její image, vzdělávání a motivaci zaměstnanců, získávání finančních prostředků, a především efektivní naplňování poslání organizace.

3. Jak používat tento soubor nástrojů

Způsob použití tohoto souboru nástrojů závisí na tom, v jaké fázi svého „životního cyklu“ se váš projekt na podporu podnikavosti mladých lidí nachází. 

Pokud hodláte zahájit projekt a od začátku do něj začlenit pravidelné hodnocení, můžete tento soubor nástrojů použít ve fázi plánování projektu (evaluace ex-ante). 

Pokud již projekt realizujete, ale nejste si jisti, jak posoudit dopad toho, co děláte, pak vám tento soubor nástrojů může pomoci určit, jaké informace potřebujete, ukázat, jak tyto informace získat, a ukázat, co s nimi dělat, jakmile je shromáždíte (mid-term nebo průběžná evaluace). 

Pokud váš projekt již probíhá a hodnotíte to, co děláte, zaměřte se na části, které vám mohou pomoci zdokonalit váš přístup, nebo si prostudujte literaturu uvedenou na konci tohoto dokumentu (hodnocení ex-post).

4. Typ projektu na podporu podnikavosti mladých lidí 

Neexistuje jediný „správný“ model projektu nebo akce na podporu podnikavosti mladých lidí. 

Některé projekty a akce jsou zaměřeny na různé kategorie v rámci hodnotového řetězce podnikavosti, tj. na fázi počátečního nápadu nebo konkrétní fázi rozvoje. Jiné projekty a akce jsou více zaměřeny na specifické segmenty dané populace, například na nezaměstnané mladé lidi, ženy, přistěhovalce či osoby se zdravotním postižením nebo oběti nucené migrace. 

To, jak bude váš projekt vypadat, závisí na tom, čeho chcete dosáhnout a jakým způsobem. To, jak budete postupovat při evaluaci, bude zase záviset na typu vašeho projektu a na tom, jaké jsou cíle evaluace. 

Jakmile si ujasníte, jaký typ projektu máte nebo chcete mít, budete se moci lépe rozhodnout, co a jak chcete hodnotit a co chcete evaluací získat.

Váš projekt se v průběhu času může změnit (na základě vašich zkušeností) a evaluace může určit nejlepší způsob, jak postupovat kupředu. Může například ukázat, zda má váš projekt správný dopad, kterého chcete dosáhnout. Nebo může evaluace ukázat, že potřebujete: 

• zlepšit určitý prvek projektu
• nově definovat stávající role a odpovědnosti 
• získat další zdroje
• změnit strukturu programu
• zapojit nového partnera 
• rozšířit stávající projekt 
• vyvinout nový projekt
• naplánovat lepší nové programy.

Váš projekt na podporu podnikání mladých lidí se může zaměřit na řešení jedné nebo více překážek, kterým mladí podnikatelé čelí (OECD, 2014): 

• Nedostatečné povědomí o podnikatelském potenciálu u životních vzorů této skupiny vede k nedostatečné podpoře nebo dokonce k negativním společenským postojům. 
• Vzdělávací programy a programy odborné přípravy obecně nedostatečně podporují podnikatelské postoje a dovednosti. 
• Další hlavní překážkou pro zahájení podnikání a výkonnost podnikatelů je nedostatek předchozích pracovních a podnikatelských zkušeností. 
• Začátek podnikání ztěžuje také menší objem finančních zdrojů a obtížné získávání externích finančních prostředků, a to včetně dluhového financování. 
• Omezené obchodní sítě a sociální kapitál související s podnikáním mají důsledky pro zahájení podnikání a získání legitimity. 
• Dále mají vliv i překážky na trhu, včetně předsudků na finančních trzích, které nepodporují podniky vlastněné mladými lidmi, a „diskriminace“ na trzích s produkty. 

Podle studie McKinsey Global Institute evropská inovační a startupová kultura již delší dobu zaostává za americkou. Zdá se však, že pandemie vedla k výraznému posunu v kariérních aspiracích a pracovním životě mladých Evropanů (McKinsey, 2019).  Pandemie přinutila mladé lidi přehodnotit své životní priority, mnozí se rozhodli, že jim vysoká míra vyhoření a nedostatek nadšení pro jejich zaměstnání jim už nestojí za to (YPulse, 2021). 

Jak by tedy mohly vypadat efektivní projekty na podporu podnikání mladých mileniálů? 

Úspěšní mladí podnikatelé pocházejí z rodin se zkušenostmi s podnikáním

Průzkum provedený bankou Paribas ukázal, že 78 % dotázaných podnikatelů z řad mileniálů pochází z rodin, které v minulosti provozovaly vlastní podnikání (BNP Paribas, 2015). Úspěšné podnikání v rodině poskytuje mladému člověku přístup k odborným znalostem, sítím a kapitálu, které by mu jinak chyběly. 

• Skutečnost, že tak vysoký podíl úspěšných mladých podnikatelů pochází z rodin se zkušenostmi s podnikáním, zdůrazňuje význam podnikatelského vzdělávání, které začíná v mladém věku při různých příležitostech, a činí tak z podnikání kariérní dráhu skutečně otevřenou všem. 
• V případě mileniálů je třeba zajistit, aby byl realizován zřejmý podnikatelský potenciál dnešních mileniálů bez ohledu na jejich původ. 
• Proto je důležité zlepšit kvalitu a dostupnost podnikatelského vzdělávání ve školách a na univerzitách, propojit mladé lidi s úspěšnými podnikateli jakožto mentory nebo vzory a zvýšit dostupnost a informovanost o podpůrných plánech a programech pro potenciální podnikatele. 

PŘÍKLADY 

Agentury nebo jiné subjekty jednající v partnerství s univerzitami na podporu zakládání podniků (např. podnikatelské inkubátory) v Polsku: zde univerzitní agenda zahrnuje také podporu ekonomické aktivity především studentů/absolventů a také doktorandů a zaměstnanců příslušné univerzity (v souladu se zákonem o vysokém školství a vědě – za tímto účelem jsou zřizovány akademické inkubátory). Inkubátory mohou vykonávat 2 typy činnosti:

– preinkubace, tj. podpora mladých lidí, kteří plánují založit vlastní podnik, aniž by jej formálně registrovali v oficiálních rejstřících a úřadech (místo toho využívají právní subjektivitu společnosti AIP),

– inkubace, tj. podpora poskytovaná po oficiální registraci nového podniku (nabídka podpory zahrnuje: účetnictví, využití kancelářských prostor a vybavení, právní a obchodní poradenství, pomoc při získávání finančních prostředků, školení atd.).

Další informace naleznete na: 

• Akademický podnikatelský inkubátor Technické univerzity ve Vratislavi  
• Stránky nadace AIP, která založila celou síť AIP na řadě různých univerzit.

LIFBEE

Lifbee Academy poskytuje kvalitní vzdělání v oblasti biotechnologií, marketingu, designu a projektového řízení. Nabízí praktické využití získaných znalostí při vytváření vlastního výrobku. Usnadňuje mezioborovou spolupráci mezi studenty i čerstvými absolventy všech univerzit. Stačí mít odvahu stát se průkopníkem v biotechnologické komunitě na Slovensku a mít to správné nadšení a motivaci.

Cílem školení je, aby každý člen multidisciplinárního týmu získal přehled o práci ostatních profesí, aby mohl spolupracovat a podílet se na důležitých rozhodnutích. Během programu absolvují: úvod do programu a přehled o globálních výzvách; obecný přehled o biotechnologiích; marketingový mix při vývoji produktu; specifika biotechnologického průmyslu; vývoj produktu a tvorbu podnikatelského plánu; sebepoznání a týmovou práci; týmovou práci na vývoji vlastního produktu. Program je přípravou na práci v inovačním týmu v biotechnologiích (Bednárová, 2021).

Příkladem projektu zaměřeného na ženy, které zůstávají mimo trh práce, včetně studentek a absolventek vysokých škol, zejména těch, které vstupují na trh práce, a těch, které se vracejí do zaměstnání po mateřské/rodičovské dovolené, je projekt Maker Woman, který realizuje Nadace Orange a sdružení Robisz.To [„Udělej si sám“, pozn. překl.]. Akce tohoto technologicky vyspělého projektu zahrnují:

• semináře a konzultace;
• výuku v oblasti práce se softwarem a se stroji, jako je laserový plotr či CNC obráběč;
• vytvoření vlastního prototypu;
• výuku 2D a 3D designu, tvorbu prototypů a modelování.

Nezaměstnaní mladí lidé do 35 let byli zase jednou ze skupin zapojených do programu, který poskytl projekt .garage startup berlin. Od roku 1998 .garage startup berlin radí lidem na jejich cestě k nezávislosti. Po prvních seminářích a workshopech, které probíhaly pod názvem „ENIGMA“, se projekt „.garage“ v roce 2001 stal něčím opravdu zásadním – byl totiž jedním z prvních start-up inkubátorů vůbec. Od té doby se uskutečnilo více než 10 000 poradenských sezení a přes 2 000 zakladatelů vlastních podniků prošlo projekty, jako jsou .garage X/L/XL, Gruenderwerft, Kompetenz Center, Job & Company, kreativ .garage beta, nebo získalo mikropůjčky. V průběhu času se mnohé změnilo: technické možnosti, a tím i nové podnikatelské nápady, dotace a možnosti financování. 

Vytváření sítí 

Ústředním problémem, kterému mladí lidé čelí, když se snaží vybudovat svou vlastní obchodní síť, je to, že jí mají jen velmi málo co nabídnout. To snižuje pravděpodobnost, že ostatní podnikatelé přijmou mladé podnikatele do svých vlastních sítí a budou je podporovat, protože z toho mají mizivý prospěch (OECD, 2014). 

Klíčové problémy při budování podnikatelských sítí jsou tedy následující: 

• Zajištění dobrého propojení sítí podnikatelů z nedostatečně zastoupených a znevýhodněných skupin s širší podnikatelskou komunitou, aby se maximalizoval dostupný fond zdrojů a minimalizovalo riziko „skupinové mentality“, která znevýhodnění posiluje (OECD, 2014). 
• Vyvážení poskytování cílených iniciativ pro vytváření sítí a vytváření opravdu velkého množství konkurenčních sítí (OECD, 2014). 
• Zajištění toho, aby členové sítě prokázali svou odpovědnost za síť, což je důležité zejména u veřejných projektů. Pro dosažení dopadu je nutné zajistit, aby podnikatelé z nedostatečně zastoupených a znevýhodněných skupin využívali zdroje, které jsou jim k dispozici. 
• V posledních letech zažívá velký rozmach coworking a stává se celosvětovým fenoménem. Coworking je více než jen společný, sdílený fyzický prostor – je to filozofie, která podporuje spontánní navazování kontaktů mezi profesionály různých profilů a zájmů (např. inženýry, novináři, grafickými designéry, projektovými manažery atd.) (Orel, 2014).
• Sociální média změnila způsob, jakým podnikatelé a firmy komunikují se svou cílovou skupinou. V současné době, i díky pandemii COVID-19, byl osobní kontakt nahrazen komunikací nebo statusy na Facebooku či Instagramu. Sociální média jsou ideální pro navazování kontaktů a komunikaci pro méně zkušené a méně sebevědomé mileniály. Mají zde kontrolu nad tím, jaké konverzace s kým povedou, a mohou je využít k osobnímu i profesnímu růstu (Forbers, 2021).

PŘÍKLAD

V současné době se coworkingové prostory rozšířily z velkých měst i do menších obcí a lze je najít i mimo městské regiony. Zatímco pro mladého člověka s malými zkušenostmi může být vstup do podnikatelské komunity obtížný, vstup do coworkingové komunity je mnohem snazší. Existují různé typy coworkingových prostorů zaměřených na různé skupiny (studenty, specifická odvětví atd.) Často pořádají různé akce a v některých případech poskytují i specializovaná školení. 

Coworkingový prostor zřízený organizací „Podnikavci Novohradu“ spojuje skupinu nadšenců, kteří hledají možnosti uplatnění a rozvoje jednoho z nejméně rozvinutých regionů na Slovensku. Usilují o to, aby se Novohrad stal atraktivním místem pro život, aby zde mladí lidé chtěli začít podnikat a vytvářet hodnoty. 

Kromě pořádání desítek vzdělávacích a motivačních seminářů, tvůrčích dílen a networkingu je jednou z ústředních aktivit tohoto prostoru to, že tým zakládajících členů zve různé inspirativní lidi a vzdělané odborníky jako lektory či přednášející. Krom toho také pracují na svém rozvoji, aby byl spolehlivými mentory pro nové spolupracovníky, studenty, freelancery a vůbec pro všechny, kdo potřebují tu správnou motivaci nebo jen stabilní zázemí bez počátečních investic.

Mentoring 

Mileniálové si cení mentorství – učí se od svých mentorů, získávají přístup do jejich sítě a doufají, že to urychlí jejich růst (Finley, nedatováno).

Mentoring, včetně vzájemného mentoringu, by měl být součástí rozvoje silné startupové komunity. 

• Podle zpráv OECD však existuje značná mezera ve vzdělávání a podnikatelského poradenství v oblasti podnikatelského koučinku a mentoringu. Jedná se přitom o jednu z nejúčinnějších podpor pro podnikatele z nedostatečně zastoupených a znevýhodněných skupin, protože jde o individuální podporu, kterou lze přizpůsobit jejich potřebám. V současné době však existuje jen málo programů koučování a mentoringu (OECD 2020a, b, c).

PŘÍKLAD

ERASMUS pro mladé podnikatele je program, který pomáhá novým evropským podnikatelům získat dovednosti potřebné k založení nebo vedení vlastního úspěšného podniku v jiných evropských zemích. Mladí podnikatelé se setkávají a vyměňují si znalosti a nápady o vedení podniku se zkušenějšími podnikateli z jiných evropských zemí, s nimiž pobývají a pracují po dobu 1 až 6 měsíců. Tato akce je částečně financována Evropskou komisí. 

Projekt YesClima se zaměřil na mladé nezaměstnané ve věku 25–29 let v Řecku a Španělsku, kteří již mají odbornou nebo akademickou kvalifikaci. NEET zde byli podporováni v rozvoji kompetencí v odvětví Green-tec. Každému účastníkovi byl přidělen projekt, za který byl zodpovědný (např. energetické audity ve školách, energetické poradenství nebo nové služby orientované na zákazníka v oblasti obnovitelných zdrojů energie). Pro každý projekt byly společně vytvořeny konkrétní milníky. Po celou dobu realizace projektu účastníky doprovázeli mentoři. U každého milníku se konala evaluační schůzka, na které účastníci hodnotili svůj vlastní pokrok a byli podporováni při úpravě své strategie. Tento projekt byl velmi úspěšný a velká část účastníků je stále zaměstnaná nebo samostatně výdělečně činná. 

Financování 

Mladým lidem brání v zahájení podnikání i to, že mají méně finančních zdrojů a obtížně se dostávají k externím finančním prostředkům včetně dluhového financování. 

• Tradičně se očekává, že podnikatelé nejprve získají peníze od svých přátel a rodiny, protože věřitelé nebo poskytovatelé grantů považují toto počáteční získávání prostředků za známku životaschopnosti společnosti. Přátelé a rodina mladých podnikatelů, kteří pocházejí z méně privilegovaného prostředí, však často nemají významné finanční prostředky, které by mohli investovat do jejich podnikatelských nápadů.
• Potřeby mladých podnikatelů v oblasti financování budou ovlivněny tím, na jakou oblast se chtějí ve svém podnikání orientovat. Některé z nich z nich usilují pouze o samostatnou výdělečnou činnost, aby přežili, zatímco jiní se mohou rozhodnout pro strukturálnější a velmi zřetelně růstově orientovaný přístup. Specifickou kategorií jsou startupy založené lidmi s vyšším (vysokoškolským nebo i terciárním) vzděláním s globálním potenciálem, kteří usilují o velké investice od andělských investorů nebo fondů rizikového kapitálu. 
• Nejčastěji používanými finančními mechanismy na podporu podnikatelů jsou přímé dotace, půjčky a záruky. Tyto mechanismy jsou však přístupné všem a neexistují žádná zvláštní ustanovení pro osoby z některé z klíčových cílových skupin. 

PŘÍKLADY 

Finanční prostředky na podporu podnikání mladých lidí  

Pro mladé podnikatele je k dispozici také účelová finanční podpora. Velká část této podpory se týká vysokoškolského vzdělávání, např. Akademická síť andělských investorů v Polsku (OECD 2020b). 

„Podpora w Starcie“ zase patří k iniciativám na financování nezaměstnané mládeže v Polsku. Je určena mladým absolventům (studentům posledních ročníků a absolventům do čtyř let po získání diplomu) a registrovaným nezaměstnaným převážně ve věku 15–29 let (zejména těm, kteří se neúčastní vzdělávání a odborné přípravy – skupině NEET). 

Na Slovensku poskytuje Slovenská záruční a rozvojová banka studentům vysokých škol počáteční kapitál na rozvoj podnikatelských aktivit během studia nebo po jeho ukončení. Úvěr lze použít na financování nákupu movitého i nemovité majetku, rekonstrukci/modernizaci majetku, financování investičního projektu (až do výše 80 % nákladů projektu) nebo financování běžných podnikatelských potřeb souvisejících s rozvojem podnikání. Dále banka poskytuje tzv. úvěr „Moje půda pro mladé zemědělce“, což je dlouhodobý úvěr na nákup zemědělské půdy pro zemědělské prvovýrobce. Úvěr je určen mladým zemědělcům do 40 let, kteří mají odpovídající odborné dovednosti a schopnosti a zakládají zemědělský podnik poprvé (OECD 2020c).

Prostředky na podporu rozvoje podnikání žen

V Polsku existují zvýhodněné možnosti financování pro podniky vedené ženami na celostátní i regionální úrovni. Mnohé z nich jsou spolufinancovány z fondů EU, včetně programu Horizont 2020 a mikrofinancování EaSI (Inicjatywa Mikro, Mikropożyczka TISE, BIZnest). V roce 2015 Polská agentura pro rozvoj podnikání (PARP) otevřela úvěrový fond pro ženy, který poskytuje zvýhodněné úvěry na založení nebo rozšíření podniků provozovaných ženami. Tyto nabídky obvykle spojují finanční podporu s dalšími formami pomoci a často mají pozitivní hodnocení (OECD 2020b). 

V České republice poskytuje Raiffeisen Bank zvýhodněné úvěry pro ženy podnikatelky, které jsou členkami platformy WOMEN s.r.o. Výhodou je odpuštění vstupního poplatku za zpracování žádosti o úvěr, který je obvykle stanoven na 0,5 % z požadované výše úvěru. Tato podpora je financována z vlastních zdrojů banky a nevyužívá veřejné prostředky. Jinak platí stejná pravidla jako pro všechny ostatní (OECD 2020a). 

Finanční prostředky na podporu rozvoje podniků založených NEETs

Nezaměstnaní, a to zejména ti, kteří jsou evidováni na úřadech práce a po určitou dobu hledají zaměstnání, mohou požádat o příspěvek na zahájení samostatné výdělečné činnosti. Tento nástroj je přizpůsoben nezaměstnaným a je poskytován prostřednictvím místních úřadů práce. V případě zájmu může žadatel absolvovat podnikatelské školení, které je poskytováno prostřednictvím úřadu práce. Žádost o dotaci je třeba předložit spolu s podnikatelským plánem včetně finančního plánu, které posuzuje k tomu určená komise. 

K dispozici jsou také některé mikropůjčky a záruky za úvěry, ale tento sektor není dostatečně rozvinutý. 

Fondy na podporu rozvoje podnikání mladých lidí se zdravotním postižením

Celkově jsou nejčastěji využívaným nástrojem pro podnikatele z nedostatečně zastoupených a znevýhodněných skupin granty. Nejčastěji využívanými finančními mechanismy na podporu podnikatelů z nedostatečně zastoupených a znevýhodněných skupin v České republice a na Slovensku jsou přímé dotace, které obvykle poskytuje Úřad práce prostřednictvím podprogramů operačních programů (OECD 2020a, c).

5. Druhy evaluace podle stádia projektu

Existují různé druhy evaluace, které se liší především podle fáze projektu, kdy jsou prováděny. Jedná se o předběžnou (ex-ante), procesní (mid-term), průběžnou (on-going) nebo následnou (ex-post) evaluaci (Druhy evaluace, 2013).

Tabulka 1: Druhy evaluace podle stádia projektu 

Stádium projektu	Cíl	Druhy evaluace
Fáze konceptualizace	Pomáhá předcházet plýtvání zdroji, přizpůsobit projekt potřebám příjemce, identifikovat potenciální problémové oblasti a zvýšit šanci na úspěch.	Ex-ante evaluace
Fáze realizace	Optimalizuje projekt, měří jeho potenciál dosažení cílů a navrhuje zlepšení za účelem zvýšení účinnosti, relevantnosti a efektivity.	On-going nebo mid-term evaluace
Fáze dokončení projektu	Přináší poznatky o důvodech úspěšnosti/neúspěšnosti projektu, jeho užitečnosti, udržitelnosti a dopadu a upozorňuje na možná zlepšení pro další projekty.	Ex-post evaluace

Zdroj: upraveno podle materiálu Nanda, 2017 

Níže uvádíme stručnou charakteristiku vybraných druhů evaluace. 

Tabulka 2: Charakteristika vybraných druhů evaluace

Ex-ante evaluace (předběžná)
Tato evaluace se používá před realizací projektu; generuje údaje o potřebě projektu a buduje základy pro následné monitorování. Identifikuje také oblasti, které je třeba zlepšit, a může poskytnout hlubší pochopení toho, jaké by měly být priority projektu. Pomáhá projektovým manažerům určit případné problémové oblasti a oblasti, na které je potřeba se zaměřit, a zvyšuje povědomí o vašem projektu mezi cílovou populací již před zahájením projektu. Kdy ji použít:  Tvorba nového projektu Rozšíření projektu	Pomáhá program včas zlepšit. Umožňuje projektovým manažerům projekt zpřesnit nebo zlepšit.
Mid-term nebo on-going evaluace (procesní nebo průběžná)
Procesní evaluace probíhá po zahájení realizace projektu a hodnotí účinnost, relevantnost a efektivitu postupů realizovaných v rámci programu. Generované údaje slouží k identifikaci neefektivních procesů a jejich optimalizaci a k informování externích stran o stavu projektu. Kdy ji použít:  Po zahájení implementace projektu. Během realizace aktuálního projektu.	Přináší možnost vyhnout se problémům díky jejich včasné identifikaci. Umožňuje správcům projektu určit, jak projekt funguje.
Ex-post evaluace (následná)
Tato evaluace se provádí po ukončení projektu nebo na konci projektového cyklu. Poskytuje údaje o tom, do jaké míry projekt přinesl užitek cílové skupině. Tato evaluace je užitečná pro správce projektu, neboť pomáhá obhájit projekt, ukázat, čeho bylo pomocí projektu dosaženo, a lobovat za pokračování nebo rozšíření projektu. Kdy: Na konci projektu Na konci projektového cyklu	Poskytuje údaje pro zdůvodnění pokračování projektu. Pomáhá lépe posoudit účinnost a efektivitu projektu.

Zdroj: upraveno podle materiálu Nanda, 2017

6. Jak zhodnotit dopad projektu?

Stejně jako neexistuje jediný „správný“ model určitého typu projektu na podporu podnikavosti, neexistuje ani jediný „správný“ způsob evaluace. Můžete se rozhodnout pro neformálnější přístup, nebo naopak více strukturovaný přístup. Obojí je v pořádku, pokud to bude odpovídat vašim potřebám. V každém případě je samozřejmě důležité evaluaci naplánovat, aby vám přinesla užitečné/smysluplné výsledky.

Vzhledem k tomu, že tento soubor nástrojů je určen organizacím, které realizují nebo plánují realizovat projekty na podporu podnikavosti zaměřené na mladé lidi, zjištění dopadu projektu, jeho měření a nepřetržitého zlepšování lze dosáhnout pomocí specifického typu evaluace – dopadové evaluace. 

Dopadovou evaluaci můžeme chápat a provádět různými způsoby. Pamatujte si, že je tento typ evaluace klíčový pro analýzu změn, které nastaly díky vašemu projektu. Na základě výsledků dopadové evaluace budete moci změnit a/nebo zlepšit stávající projekt a také lépe naplánovat budoucí projekty. Tato evaluace se nicméně nejčastěji používá k analýze příčinné souvislosti, tj. k určení toho, nakolik jsou pozorované změny způsobeny aktivitami a vlivem projektu. 

Tabulka 3: Charakteristika dopadové evaluace

Charakteristické rysy dopadové evaluace
Kdy?	Na konci projektu Po určité předem definované době po skončení projektu V předem zvolených intervalech v rámci projektu
Co?	Hodnotí plánovanou změnu kvality života cílové populace Vysvětluje, co by se bývalo stalo, kdyby nedošlo k realizaci projektu
Proč?	Prokázání dopadu projektu na základě porovnání beneficientů projektu s kontrolními skupinami (které se neúčastnily projektu) Získání podrobnějších informací, které pomohou přijmout doporučení pro přípravu nových projektů a/nebo rozhodnutí týkajících se přijatých strategických rozhodnutí a financování
Jak?	Makroskopický přezkum projektu spojený s průzkumem mezi účastníky projektu, jehož cílem je zjistit dosažené účinky. Užitečné jsou poznatky členů projektového týmu i podněty účastníků projektu, přičemž pro srovnání je potřeba mít kontrolní skupinu neúčastníků (shodnou s příjemci projektu nebo velmi podobnou, pokud jde o některé rysy).
Otázky, které je třeba zodpovědět	Které změny v životě účastníků projektu lze přisoudit vašemu projektu? O co přišly osoby, které se projektu neúčastnily?

Zdroj: Nanda, 2017

7. Fáze hodnocení

Možná vám pomůže, když si představíte proces evaluace jako cyklus zahrnující přípravu, sběr informací, analýzu informací, použití informací, další přípravu atd. 

V níže uvedeném rámci životního cyklu evaluace projektu/akce na podporu podnikavosti, který je základem této části dokumentu, nazýváme tyto fáze: 

• Příprava – úspěch prováděné evaluace závisí do značné míry na tom, jak budete uvažovat a jaká rozhodnutí přijmete v této fázi
• Shromažďování informací – je potřeba shromáždit informace, které budou nejrelevantnější pro váš účel, a to způsobem, který zaručí jejich spolehlivost
• Analýza informací – musíte uspořádat a interpretovat shromážděné informace a určit klíčová zjištění
• Použití informací – v této fázi probíhá předávání zjištění a rozhodování o budoucnosti na základě výsledků evaluačního procesu

 

Obrázek 1: Životní cyklus evaluace projektů/akcí na podporu podnikavosti mladých lidí 

V následujících kapitolách se každému z těchto kroků budeme věnovat trochu podrobněji a poskytneme vám podpůrné nástroje, které vám v jednotlivých fázích pomohou.

8. Příprava evaluace

Obrázek 2: Životní cyklus evaluace projektů/akcí na podporu podnikavosti mladých lidí – 1. fáze

Než začnete připravovat evaluaci, měli byste se zamyslet nad akcí/projektem na podporu podnikavosti, které chcete hodnotit, a definovat: 

• Čeho chce tento projekt dosáhnout a proč:
  • Je jeho cílem rozvíjet určité podnikatelské dovednosti? Jaké dovednosti a kolik lidí je má získat?
  • Je zaměřen na rozvoj nových podniků? Kolik podniků má být založeno a podpořeno? Jaké úrovně jejich rozvoje má být dosaženo?
• Z jakých předpokladů vychází a jaká jsou rizika:
  • Jaké mezery a nedostatky se vyskytují v cílové skupině v oblasti dovedností? 
  • Jaká je její motivace a postoj k podnikavosti? 
  • Jaké zdroje jsou k dispozici? Jaké překážky bránící rozvoji podnikavosti je třeba překonat?
• A jak po realizaci projektu poznáte, že byl úspěšný:
  • Jaké jsou ukazatele dosažení cílů projektu?
  • Jak poznáte, že tyto výsledky jsou zásluhou hodnoceného projektu (např. jak poznáte, že zvýšený počet nových podniků je výsledkem projektu?)

 

Naplánovat dobrý projekt/akci na podporu podnikavosti mladých lidí může být poměrně obtížné. Pokud chcete navrhnout dobrý projekt, musíte dobře znát situaci v daném regionu a definovat skutečný problém, který lze vyřešit pomocí intervence, která je předmětem evaluace. K dalším nezbytným požadavkům patří stanovení cílových skupin a jejich potřeb, specifikace cílů dosažitelných v daném časovém rámci a pomocí dostupných zdrojů a návrh nejvhodnějších aktivit. Aktivity musí být navrženy tak, aby sloužily generování výstupů a výsledků, které povedou k dosažení definovaných dílčích cílů a základního cíle.

Realizátoři projektu musí navíc při jeho realizaci vidět širší souvislosti a mít na paměti klíčové otázky: čeho se snaží dosáhnout, proč a jak to chtějí dokázat? 

• Plánují rozvíjet určité podnikatelské dovednosti? 
• Zajistit, že bude vypracován určitý počet podnikatelských plánů? 
• Zvýší se počet nových podniků o určité procento? 
• Jaká jsou rizika a výchozí předpoklady (např. jaké má cílová skupina mezery v dovednostech)? 
• Jaká je její motivace a postoj k podnikání? 
• Jaké zdroje jsou k dispozici za účelem dosažení plánovaných výsledků a jak po realizaci projektu zjistíte, zda je úspěšný?
• A konečně, jak poznáte, že pozorované účinky jsou důsledkem hodnoceného projektu?

Klíčem k přípravě na návrh evaluace je pochopení logiky projektu, které vám poskytne informace o údajích, které získáte v rámci projektu a které lze použít při hodnocení. Součástí žádosti o finanční podporu projektu často bývá tzv. logický rámec (též logická rámcová matice neboli „Logframe“). Pokud to tak není, můžete logiku projektu sestavit sami tak, že si položíte klíčové otázky týkající se sedmi klíčových oblastí projektu:

• Účel – proč byl tento projekt zahájen? Jaký problém má řešit? Jaká změna se očekává? 
  • Pokud bude dosaženo výsledků, pak mohou u cílové skupiny nastat určité účinky. Například zvýšení znalostí může vést ke změně chování účastníků.
• Výsledky – jaké výsledky se očekávají? (Např. zvýšení znalostí/podnikatelských dovedností účastníků, založení vlastní firmy účastníky projektu apod.)
• Výstupy – jaké jsou očekávané výstupy?
  • Popis přímých výsledků činností. V souladu s logikou „jestliže – pak“ to znamená, že pokud je prováděna určitá činnost, pak se očekávají určité výsledky. Příkladem jsou podnikatelské plány vytvořené v rámci projektu či osvědčení o dovednostech vystavená účastníkům projektu. 
• Aktivity – jaké činnosti byly naplánovány k dosažení výstupů? (např. workshopy, školení, mentoring).
• Ukazatele dosažených výsledků – jak zjistíme, zda byl projekt úspěšný?
• Prostředky ověření – jak lze vykázané výsledky ověřit?
• Rizika a předpoklady – z jakých předpokladů vychází struktura projektu a jaká jsou rizika dosažení plánovaných výsledků?

 

Vzor Logiky projektu najdete v části 12.3.1. 

8.1 Koncepce evaluace 

Stejně jako při přípravě projektu vyžaduje dobrá evaluace zodpovězení souboru klíčových otázek, které vám pomohou definovat koncepci evaluace. 

Vhodné je začít zodpovězením 5 základních otázek: 

PROČ budete evaluaci provádět? Je nutné definovat smysl a účel evaluace, protože na této otázce závisí další části její koncepce.

CO budete hodnotit a jaké zdroje k tomu potřebujete? Předmět a rozsah evaluace musí být jasně stanoveny, jinak se může stát, že budete provádět hodnocení, na které nemáte zdroje, odborné znalosti ani čas. V této fázi je třeba formulovat evaluační otázky a evaluační kritéria.

KDO bude evaluaci provádět? Bude se jednat o sebehodnocení (evaluaci provedou pracovníci realizující projekt), interní hodnocení (evaluaci provedou vlastní pracovníci, kteří se nepodílejí na realizaci projektu) nebo externí hodnocení (externí hodnotitel). Každý typ má své výhody a nevýhody. 

KDY budete evaluaci provádět? Před zahájením projektu (ex-ante)? V průběhu realizace projektu (mid-term nebo on-going)? Nebo po skončení projektu (ex-post)? 

JAK budete evaluaci provádět? Jaké zdroje informací použijete? Jaké metody a nástroje sběru potřebných údajů použijete? Jaké nástroje? 

Následující části vás provedou odpověďmi na tyto otázky. 

8.2 Jasně definujte smysl a účel, předmět a rozsah evaluace

Co chcete zjistit? Co se chcete z výsledků evaluace dozvědět? Jakým způsobem chcete výsledky využít?

PŘÍKLAD

Definování účelu hodnocení

Junior Achievement Slovensko (JA Slovensko) již více než 25 let pomáhá učitelům rozvíjet podnikavost, ekonomické myšlení a finanční gramotnost studentů na Slovensku.

Posláním JA Slovensko je pomáhat učitelům rozvíjet u žáků základních a středních škol podnikavost, ekonomické myšlení a finanční gramotnost. Děje se tak především prostřednictvím zážitkového vzdělávání, na kterém se podílejí zkušení odborníci. JA Slovensko je členem celosvětové sítě 115 organizací JA Worldwide a členem sítě 41 organizací JA Europe. Tato síť přináší vzdělávání a rozvoj dovedností v oblasti připravenosti na zaměstnání, finanční gramotnosti a podnikatelského myšlení po celém světě již celých 100 let.

Programy organizace JA Slovensko 

V programech „Aplikovaná ekonomie“ a „Podnikání v cestovním ruchu“ mají studenti možnost vést svůj první skutečný podnik ve studentské firmě. Program „Dovednosti pro úspěch“ pomáhá rozvíjet dovednosti potřebné pro uplatnění na trhu práce a vytvoření vlastního nápadu. Rozvoj etických aspektů podnikání a morálních hodnot jednotlivce je předmětem programu „Etika v podnikání“. Finanční gramotnost žáků zvyšují programy „Víc než peníze“ a „Já a peníze“, které jsou vytvořeny v souladu s Národním standardem finanční gramotnosti. Ti nejmladší se mohou připravovat na své budoucí povolání prostřednictvím programu „Základy podnikání“.

Rozsah evaluace v rámci JA

JA Slovensko dlouhodobě využívá dostupné možnosti evaluace s ohledem na vlastní časová a finanční omezení. Hlavním smyslem evaluace je posoudit nárůst znalostí účastníků na základě testování jejich dovedností na začátku a na konci vzdělávacího cyklu/školního roku. Cílem je porovnat výsledky a určit pokrok za období přibližně 10 měsíců, a dospět tak k závěru, zda program splňuje potřeby cílové skupiny, nebo je potřeba něco zlepšit. 

Zdroj: Bednárová, 2021; Junior Achievement Slovensko, nedatováno

Je potřeba jasně definovat předmět a rozsah evaluace. Budete hodnotit specifický projekt zaměřený na podporu podnikavosti? Nebo jen část projektu? Co přesně se chcete dozvědět? 

Jsou cíle a aktivity projektu v souladu s cíli a prioritami organizace?

 

PŘÍKLAD

Evaluace se zaměří na program „Víc než peníze“.

Test finanční gramotnosti: Žáci zapojení do programu „Víc než peníze“ absolvují na začátku školního roku „ústřední vstupní“ test. Cílem testování je zjistit jejich počáteční úroveň znalostí v oblasti finanční gramotnosti.

Na konci školního roku žáci absolvují ústřední výstupní test. Jeho cílem je ověřit úroveň znalostí, které studenti dosáhli po absolvování programu.

Zdroj: Bednárová, 2021; Junior Achievement Slovensko, nedatováno

 

8.3 Definování evaluačních kritérií a evaluačních otázek

Dalším krokem je volba evaluačních kritérií souvisejících s účelem evaluace. Kritéria představují perspektivu, skrze kterou se můžete podívat na svůj projekt a formulovat evaluační otázky.

Kritéria popisují požadované vlastnosti nebo aspekty projektu, které chcete ověřit/posoudit: intervence by měla např. odpovídat potřebám příjemců, být konzistentní s ostatními intervencemi a účinná z hlediska dosažení plánovaných cílů a výsledků, výsledků by mělo být dosaženo efektivním způsobem a intervence by měla mít pozitivní a dlouhodobý dopad (OECD, nedatováno). 

Budete také muset formulovat několik klíčových otázek (evaluačních otázek), na které chcete pomocí evaluace najít odpovědi. Například budete chtít vědět, jaký přínos měla účast v hodnoceném projektu pro účastníky nebo zda projekt dosáhl toho, co se od něj očekávalo, nebo zda se všechny strany zapojené do projektu účastnily podle plánu.

Kritérium: RELEVANTNOST

Evaluační otázka: VEDE INTERVENCE KE SPRÁVNÝM VÝSLEDKŮM? 

Určuje, do jaké míry odpovídají cíle a koncepce intervence potřebám příjemců.

Kritérium: ÚČINNOST 

Evaluační otázka: DOSÁHLA INTERVENCE SVÝCH CÍLŮ?

Určuje, do jaké míry intervence dosáhla nebo má dle očekávání dosáhnout svých výstupů, výsledků a cílů.

Kritérium: EFEKTIVITA

Evaluační otázka: JAK DOBŘE JSOU VYUŽÍVÁNY ZDROJE?

Určuje, do jaké míry intervence přináší nebo pravděpodobně přinese plánované výstupy a výsledky hospodárným způsobem a včas. 

Kritérium: UŽITEČNOST

Evaluační otázka: JAK UŽITEČNÉ JSOU VÝSLEDKY PROJEKTU PRO JEHO PŘÍJEMCE?

Určuje, do jaké míry byly výstupy a výsledky projektu užitečné pro jejich příjemce.

Kritérium: DOPAD 

Evaluační otázka: JAKÝ JE PŘÍNOS INTERVENCE?

Určuje, v jakém rozsahu intervence vyvolala významné, pozitivní či negativní, zamýšlené či nezamýšlené účinky na vyšší úrovni.

Kritérium: UDRŽITELNOST

Evaluační otázka: BUDOU VÝSLEDKY (popř. PŘÍNOSY) INTERVENCE TRVALÉ?

Určuje, do jaké míry budou dosažené výsledky udržitelné v čase, po ukončení projektu a jeho financování.

Kritérium: KONZISTENTNOST (SOUDRŽNOST) 

Evaluační otázka: JAK INTERVENCE ZAPADÁ DO ŠIRŠÍHO RÁMCE? 

Synergické efekty a propojení hodnoceného projektu s dalšími projekty realizovanými stejnou organizací nebo širší program v rámci daného projektu.

 

Všechny vaše evaluační otázky musejí souviset s rozsahem a cílem (cíli) evaluace. Zachovávejte v tomto ohledu jednoduchost a dosažitelnost. Níže jsou uvedeny některé příklady možných evaluačních otázek a souvisejících evaluačních kritérií navržených pro existující projekt. 

 

PŘÍKLAD č. 1

Výsledek projektu: rozvoj dovedností pro dosažení úspěchu – základní dovednosti pro uplatnění na trhu práce a aktivní přístup k rozvoji podnikatelského myšlení, vlastní práce, schopnost řešit problémy, identifikovat, navrhnout a rozvíjet vlastní nápad.

Evaluační otázky: Do jaké míry bylo dosaženo plánovaných výsledků (ÚČINNOST)? Odpovídají cíle, aktivity a výsledky projektu cílům a prioritám dané organizace (SOUDRŽNOST)? Jsou výsledky projektu užitečné pro jeho příjemce (UŽITEČNOST)? Jsou výsledky projektu udržitelné (UDRŽITELNOST)? Jak efektivně byly využity zdroje projektu (EFEKTIVITA)?

 

PŘÍKLAD č. 2

Produktivní cesty po ukončení projektu: 

Cíl: Zlepšit přechod mladých lidí z univerzity k možnosti začít podnikat. 

Evaluační otázka: Jak a do jaké míry pomáhá projekt mladým lidem při úspěšném přechodu k podnikání nebo zaměstnání (DOPAD)?

PŘÍKLAD č. 3 

Hmatatelné výsledky pro účastníky s nižší kvalifikací: 

Cíl: Vybavit účastníky s nižší úrovní vzdělání dovednostmi potřebnými k založení podniků v rámci jejich komunit do konce projektu. 

Hodnoticí otázka: Jak je projekt schopen využít podnikatelské dovednosti těchto mladých lidí a pomoci transformovat jejich nápady v ziskové podniky (UŽITEČNOST).

Zdroj: zpracováno interně

V níže uvedené tabulce najdete příklady evaluačních kritérií a souvisejících otázek. 

 

Tabulka 4: Evaluační kritéria a související otázky

OTÁZKA	EVALUAČNÍ KRITÉRIA
Byl rozpočet projektu dostatečný k řádnému splnění plánu?	Efektivita
Do jaké míry bylo dosaženo plánovaných cílů a výsledků?	Účinnost
Jak byly využity zdroje projektu?	Efektivita
Co se nepovedlo a proč?	Účinnost, dopad
Odpovídají cíle a aktivity projektu cílům a prioritám organizace?	Konzistentnost
Jsou dosažené výsledky trvalé?	Udržitelnost
Co napomohlo realizaci projektu?	Efektivita
Co zpomalilo realizaci projektu?	Efektivita
Jak je projekt vnímán komunitou?	Dopad
Do jaké míry byly výsledky projektu užitečné pro jeho příjemce?	Užitečnost
Do jaké míry odpovídal projekt potřebám jeho příjemců?	Relevantnost

Zdroj: zpracováno interně

Po definování otázek, na které by mělo vaše hodnocení odpovědět, je potřeba přistoupit ke stanovení evaluačních ukazatelů, které jsou klíčem k měření účinnosti projektu.

8.4 Ukazatele projektu

Ukazatele projektu měří účinky projektu ve srovnání s dílčími cíli a hlavním cílem projektu. V tomto kontextu se ukazatel používá jako referenční hodnota pro měření zamýšlených účinků projektu. Ukazatele mohou být kvantitativní (např. počet, index, poměr nebo procento) nebo kvalitativní (zobrazující stav něčeho spíše kvalitativně, např. zda je místní po dokončení projektu místní ekosystém začínajících podniků, tzv. start-upů, rozvinutější než před zahájením projektu – podle názorů klíčových informátorů nebo soudě podle kvality místních předpisů týkajících se podnikatelských aktivit). Ukazatele vám mohou ukázat, zda projekt přinesl očekávané výsledky. Proč je definování ukazatelů v procesu evaluace důležité? (Výběr ukazatelů projektu, 2013)

1. V počáteční fázi projektu jsou ukazatele důležité pro definování způsobu měření úspěšnosti intervence a úrovně nebo dynamiky konkrétního ukazatele, která bude z hlediska splnění příslušného cíle považována za uspokojivou.
2. V průběhu realizace projektu pomáhají ukazatele posoudit postup projektu a upozornit na oblasti, které je třeba případně zlepšit. 
3. V závěrečné fázi poskytují ukazatele základ, který může zpochybnit hodnocení projektu.

Existují tři typy projektových ukazatelů, které jsou všeobecně uznávány a mohou být použity při provádění evaluace na základě takových kritérií, jako je efektivita, účinnost nebo dopad:

 

• Procesní ukazatele: slouží k měření projektových procesů nebo činností. Může to být například „počet vzdělávacích aktivit uspořádaných v období XY“.

• Ukazatele výsledků: měří výsledky projektu. Výsledky jsou to, co vyplyne z projektu. Například to může být „jak se zlepšila úroveň podnikatelských dovedností“.

• Ukazatele dopadu: měří dlouhodobé dopady projektu nebo jednoduše dopad projektu, například „počet nových podniků založených mladými podnikateli“.

Také další kritéria (relevantnost, užitečnost, konzistentnost) a s nimi související evaluační otázky mohou mít své vlastní ukazatele, ale každý vhodný ukazatel musí mít určité charakteristické rysy (Bureau of Educational and Cultural Affairs, nedatováno), které jsou uvedeny v tabulce 5.

Tabulka 5: Charakteristika ukazatelů

Charakteristický rys	Popis
Specifický:	Pravděpodobně nejdůležitější vlastností ukazatelů je, že by měly být přesné nebo dobře definované. Jinými slovy, ukazatel nesmí být nejednoznačný. V opačném případě přinese různá interpretace ukazatelů různými lidmi pro každý z nich jiné výsledky.
Měřitelný	Ukazatel musí být měřitelný. Pokud ukazatel nelze měřit, pak nesmí a neměl by být používán jako indikátor.
Dosažitelný	Ukazatel je dosažitelný, pokud výkonnostní cíl přesně specifikuje množství nebo úroveň toho, co má být měřeno, aby bylo dosaženo výsledku. Ukazatel by měl být dosažitelný jako výsledek programu, i jako reálné měřítko. Cíl související s ukazatelem by měl být dosažitelný.
Relevantní	Odůvodněnost zde znamená, že ukazatel skutečně měří to, co má měřit. Pokud například zamýšlíte měřit dopad projektu na rozvoj specifických podnikatelských dovedností, musí zvolený ukazatel měřit právě toto, a nic jiného.
Časově vázaný	Systém (konkrétně systém monitorování a hodnocení a související ukazatele) umožňuje sledovat pokrok nákladově efektivním způsobem s požadovanou frekvencí po určité období.

Zdroj: upraveno podle materiálu Selecting project indicators, 2013; Bureau of Educational and Cultural Affairs, nedatováno

 

8.5 Určení typu potřebných informací

Měření úspěšnosti může vyžadovat shromažďování informací před projektem, v jeho průběhu i po jeho skončení. Musíte předem určit typy informací, které budete potřebovat, a zajistit, aby byly připraveny a k dispozici, až je budete potřebovat.

Existují dvě široké kategorie informací, o kterých můžete uvažovat:

• Kvantitativní informace: jedná se o informace, které se týkají počítání a měření věcí, jako je návštěvnost, setkání nebo výsledky.
• Kvalitativní: tyto informace se týkají pocitů, názorů, myšlenek, vnímání, postojů, změny chování a přesvědčení lidí a mohou zahrnovat například zlepšený postoj účastníků ke konkrétním akcím v rámci projektu zjištěný na základě pozorování, rozhovorů a formulářů zpětné vazby.

Níže uvádíme několik nápadů, jak pomocí otázek získat různé kategorie informací.

Vzor otázek týkajících se hodnocení projektu 

Pokud víte, jaký je hlavní smysl a účel evaluace (viz předchozí část), můžete se zamyslet nad konkrétními otázkami, které použijete v rámci nástrojů pro sběr kvalitativních a kvantitativních informací (např. testů, dotazníků atd.).

Otázky, které lze použít v nástrojích pro sběr kvantitativních údajů 

• • Kolik školení zaměřených na rozvoj podnikatelských dovedností bylo uspořádáno? 
  • Kolik pracovníků organizace a širší podnikatelské komunity bylo zapojeno do programu mentoringu? 
  • Jak vzrostl počet účastníků po zapojení místní podnikatelské komunity do projektu mentoringu? 
  • Jak vzrostl počet účastníků, kteří se rozhodli zúčastnit akcí v rámci projektu, z důvodu programu mentoringu? 
  • Kolik účastníků získalo díky účasti v projektových aktivitách pozitivní výsledky? 

• Kolik účastníků bylo na začátku programu a kolik účastníků program dokončilo? 

 

Otázky, které lze použít v nástrojích pro sběr kvalitativních údajů 

• Jaký byl váš názor na to mít mentora předtím, než jste se zapojil/-a do projektu? 
• Jaký je váš názor nyní, když máte již rok zkušenost s mentorováním? 
• Které aspekty této zkušenosti se vám zdály nejpříjemnější (pokud vůbec nějaké)? 
• Které aspekty této zkušenosti byly pro vás náročné (pokud vůbec nějaké)? 
• Jakou radu byste dal/-a ostatním účastníkům, kteří se do programu mentoringu zapojí příští rok? 
• Proč někteří účastníci program ukončili? 
• Zamyslete se, prosím, nad obdobím po zahájení vaší účasti v projektu. Všiml/-a jste si nějaké významné změny ve způsobu vašeho života v tomto období? 
• (Pokud ano) Uveďte, prosím, oblasti, ve kterých jste tyto změny pozoroval/-a. Uveďte, prosím, co bylo hlavním faktorem, který každou z těchto změn způsobil.
• Zamyslete se, prosím, nad obdobím po zahájení vaší účasti v projektu. Všiml/-a jste si nějaké významné změny ve způsobu fungování vašeho start-upu v tomto období? 
• (Pokud ano) Uveďte, prosím, oblasti, ve kterých jste tyto změny pozoroval/-a. Uveďte, prosím, co bylo hlavním faktorem, který každou z těchto změn způsobil. 
• (Pokud byl jako hlavní faktor uveden projekt) Které konkrétní workshopy váš start-up nejvíce posunuly? 
• Je v projektu něco, co by se podle vás mělo udělat jinak (co se týče organizace, lektorů, časů atd.)? Co byste rád/-a změnil/-a?
• Co by mělo být jinak (pokud vůbec něco), abyste mohl/-a více využít kontakt s ostatními účastníky a mít prospěch z toho, že jste součástí této komunity? 

 

8.6 Jasné určení zainteresovaných stran

Na každé akci na podporu podnikavosti mladých lidí se podílí více zainteresovaných stran. Zainteresované strany mohou být různé, od zástupců partnerů projektu, včetně podnikatelských inkubátorů, akcelerátorů, univerzit, přes orgány místní nebo regionální správy, organizace zaměstnavatelů, dárce, mentory, školitele a kouče, až po pracovníky projektu a účastníky. 

Budete se muset zamyslet nad tím, pro koho je vaše evaluace určena, kdo jsou ve vašem případě zainteresované strany, zda a jak mohou být některé z nich zapojeny do procesu evaluace, jaké informace vám mohou poskytnout nebo jaká evaluační kritéria a evaluační otázky by pro ně mohly být důležité.

Mají-li být závěry evaluace skutečně implementovány, pak je nezbytné určit potřeby zainteresovaných stran, pokud jde o evaluaci, již ve fázi přípravy. V opačném případě se vám nemusí podařit tyto potřeby uspokojit, protože výsledky evaluace nepřinesou informace, které zainteresované strany očekávají. 

Pokud je to možné, zapojte zainteresované strany do evaluace. Získáte tak komplexní pohled a jinou perspektivu. Důležité je zapojit zejména cílovou skupinu (příjemce), se kterou budete každopádně v kontaktu. Jednoduchým nástrojem, který zajistí zapojení zainteresovaných stran do evaluace, je participatorní hodnocení.

 

8.7 Identifikace potenciálních zdrojů pomoci

Než začnete shromažďovat informace, promyslete si, jakou pomoc byste mohli potřebovat a kdy.

Potenciální zdroje pomoci 

• Během přípravné a plánovací fáze vaší evaluace by vám mohla pomoci nezávislá osoba, například někdo z jiné organizace, která realizuje podobné projekty, zainteresovaná strana nebo podnikatel. 
• Externí odborníci by vám mohli pomoci s koncepcí evaluace, návrhem průzkumů a analýzou dat a také s metodickým dohledem nad vašimi výzkumnými nástroji (scénáře rozhovorů a dotazníky). 
• Shromažďování některých informací by měla nejlépe provádět nezávislá třetí osoba (např. sběr a analýza některých údajů externím odborníkem, statistické údaje shromážděné orgány veřejné správy atd.).

Zainteresované strany by se v závislosti na povaze projektu mohly podílet na návrhu koncepce evaluace, podpořit shromažďování údajů a pomoci interpretovat výsledky a formulovat doporučení, přičemž by mohly do projektu vnést své zkušenosti a odborné znalosti.

 

8.8 Identifikace zdrojů informací, které chcete shromáždit 

Chcete-li získat dobrý přehled o účastnících projektu, měli byste zvážit využití interních informací, jako jsou např.: 

• záznamy o docházce;
• míra udržení účastníků;
• údaje týkající se sledování po skončení projektu (např. údaje o vývoji podniků založených účastníky, o zaměstnanosti příjemců projektu, o účasti na programech mentoringu atd.);
• portfolia účastníků o vývoji podniků účastníků během projektu (např. technologie, sociální podniky, podnikání, nové nápady);
• záznamy o chování účastníků (např. přestávky, odhodlání a nasazení, udržení jejich počtu);
• názory účastníků, rodičů, odborných asistentů nebo instruktorů na jednotlivé aspekty projektu včetně jejich potřeb a spokojenosti;
• údaje o dosaženém úspěchu účastníků (např. výsledky testů před projektem a po projektu).

 

Z hlediska realizátora akcí na podporu podnikavosti mladých lidí můžete zvážit: 

• rozhovory s firemními dobrovolníky;
• evidenci finanční a věcné podpory;
• úroveň mediálního pokrytí nebo dosahu komunikačních a propagačních aktivit;
• dotazování účastníků na jejich spokojenost (např. pomocí průzkumu a rozhovorů);
• počty účastníků, na které měly činnosti nebo projekty přímý či nepřímý dopad;
• údaje o prodeji nebo jiné důkazy o marketingovém úspěchu;
• rozhovory s pracovníky projektu.

 

V zájmu objektivity výsledků evaluace byste měli vzít v úvahu také informace, které mohou být k dispozici z externích zdrojů. K takovým informacím patří různé statistiky, průzkumy nebo analýzy, jejichž zadavatelem jsou: 

• úřady práce, které mohou vést např. statistiku počtu absolventů evidovaných jako nezaměstnaní ve sledovaném období;
• obce, které sledují podnikatelské aktivity v příslušném regionu;
• střední školy, vysoké školy a jiné vzdělávací instituce, které mohou poskytnout statistické informace o absolventech/klubech absolventů;
• vláda/ministerstvo práce a sociálních věcí apod., které se zabývají systematickým řešením problematiky zaměstnanosti a podnikání skupiny NEET; 
• nevládní organizace zaměřené na mladé lidi (např. neziskové organizace spolupracující s univerzitami, jako jsou AIESEC, IASTE, ELSA),
• nebo prostory pro vytváření sítí, jako jsou komunitní centra, střediska volného času, co-workingové prostory atd. 

 

Využijte co nejlépe informace, které jsou k dispozici:

historii projektu lze sledovat prostřednictvím takových dokumentů, jako jsou např.: 

• plánovací dokumenty, zejména logika projektu nebo logický rámec projektu, dokumenty k žádosti o grant atd.;
• komunikace – e-maily, záznamy telefonických rozhovorů mezi partnery;
• původní časové plány a rozpočty;
• obchodní nebo strategické plány;
• zápisy ze schůzek;
• dokumentace ke konzultacím s komunitou;
• memoranda;
• finanční záznamy.

Další informace lze získat prostřednictvím rozhovorů s osobami, které byly zapojeny do projektu od samého začátku. 

Můžete zjistit, co si lidé pamatují, pokud jde o začátky projektu: 

• počáteční očekávání a motivace k účasti v projektu, změny v očekáváních v průběhu projektu a to, do jaké míry byla očekávání naplněna;
• počáteční role a odpovědnosti;
• očekávané a skutečné problémy;
• navrhované způsoby jejich řešení.

Tímto způsobem si můžete udělat obrázek o tom, jak se projekt vyvíjel a zda stále plní svůj původní účel. 

Existuje mnoho různých metod sběru dat z různých informačních zdrojů, z nichž každá má své výhody a nevýhody; jedná se například o sekundární analýzu údajů, rozhovory, případové studie, pozorování a průzkumy. Další nápady, jak shromažďovat informace z různých zdrojů, najdete v části 9 „Shromažďování informací“.

8.9 Model dopadové evaluace 

Dopadová evaluace je typ evaluace zaměřený na faktory, které způsobily pozorovanou změnu u cílové skupiny hodnoceného projektu. Vyvozené závěry může podpořit využití kombinace následujících strategií (Peersman, 2015):

• odhad, co by se stalo, kdyby hodnocený projekt neexistoval, v porovnání se zjištěnou situací;
• kontrola konzistentnosti důkazů kauzálních vztahů popsaných v logickém rámci projektu;
• vyloučení alternativních vysvětlení prostřednictvím logického procesu založeného na důkazech.

Existují tři typy modelu (designu) evaluace, které umožňují realizaci těchto strategií. Experimentální a kvaziexperimentální model je založen na principu porovnávání situace před intervencí a po ní u dvou skupin – v intervenční skupině tvořené účastníky, kteří jsou přímými beneficienty hodnoceného projektu, a dále ve druhé skupině, již tvoří osoby s podobnou charakteristikou, které však tato intervence/projekt nezasáhly.

• Experimentální modely – ve kterých se „druhá skupina“ nazývá kontrolní skupina a mechanismus zařazení do této skupiny i do intervenční skupiny je náhodný. Díky těmto vlastnostem se tento design často nazývá randomizovaná kontrolovaná studie (RCT). 

Hlavním předpokladem RCT je, že počet osob, které mají zájem o váš projekt, je vyšší než počet účastníků, kterým můžete poskytnout podporu. Intervenční a kontrolní skupina by si měly být podobné z hlediska takových vlastností, jako je věk, úroveň vzdělání, zaměstnanecký status atd. Náhodný výběr lze provádět různými způsoby, např. zařazením pomocí počítače nebo losováním. Hlavní zásadou je, že všechny osoby mají stejnou šanci být vybrány do obou skupin.

• Kvaziexperimentální modely – ve kterých se „druhá skupina“ nazývá srovnávací skupina a je sestavena pomocí různých technik, které zajišťují optimální podobnost nebo řízenou odlišnost od intervenční skupiny. Mechanismus výběru do obou skupin není náhodný (srovnávané skupiny např. obsahují pouze osoby, které se přiblížily hranici přijetí do projektu, a jsou vybrány z příjemců projektu a z uchazečů, kteří nebyli do projektu zařazeni). 

• Neexperimentální modely – které systematicky zkoumají, zda jsou důkazy v souladu s tím, co by se dalo očekávat, kdyby intervence přinášela plánované dopady (např. posloupnost a načasování projektových aktivit a účinků probíhá tak, jak předpokládá logika projektu), a také zda by neprojektové faktory mohly poskytnout alternativní vysvětlení pozorovaných účinků.