NARZĘDZIOWNIK EWALUACYJNY

Twój sposób na lepsze projekty wspierające zatrudnienie młodzieży

 

Autorzy: Monika Bartosiewicz-Niziołek, Sławomir Nałęcz, Zofia Penza-Gabler, Ewa Pintera

 

Narzędziownik Ewaluacyjny – PDF

Narzędziownik Ewaluacyjny e-Book

 

WPROWADZENIE

 

Celem tego narzędziownika jest przedstawienie praktycznych narzędzi wspomagających ewaluację projektów wspierających zwiększenie zatrudnienia ludzi młodych, w tym osób, które mają trudności w przejściu z edukacji szkolnej na rynek pracy (NEETS). 

Głównymi odbiorcami narzędziownika są organizacje pozarządowe i inne podmioty, które chcą analizować swoje projekty w wyżej wymienionym obszarze. Taka ewaluacja może mieć na celu: 

• pomiar skuteczności projektu w osiąganiu celów i efektów projektu (produkty, rezultaty), 
• ocenę przydatności projektu dla jego beneficjentów/uczestników oraz trwałości osiągniętych efektów, 
• lepsze dostosowanie projektu do potrzeb jego beneficjentów i rynku pracy,
• zbadanie wpływu projektu na szerszą grupę osób, które nie uczestniczyły w nim bezpośrednio (np. rodziny, przyjaciół beneficjentów projektu), 
• ocenę efektywności projektu pod względem zasobów zaangażowanych w projekt.

Narzędziownik jest materiałem pomocniczym do kursu „Towards better youth employment actions – blended learning course on evaluation”, który znajduje się na ogólnodostępnej platformie szkoleniowej. W trakcie tego kursu możesz zdobyć wiedzę na temat ewaluacji dostosowaną do Twoich potrzeb (na poziomie podstawowym lub zaawansowanym). Natomiast narzędziownik ma charakter praktyczny – poza przedstawieniem podstawowych informacji o ewaluacji, zawiera instrukcje, narzędzia i przykłady, które zostały opracowane w celu rozwijania umiejętności ewaluacyjnych oraz wsparcia procesu wykorzystania wiedzy nabytej podczas kursu. Służą temu m.in. zestawy pytań, tabele i szablony ułatwiające zaprojektowanie i zaplanowanie ewaluacji, zbieranie niezbędnych informacji oraz formułowanie wniosków i rekomendacji, mających na celu udoskonalenie projektów wspierających zatrudnienie osób młodych, realizowanych przez Twoją organizację. 

Narzędziownik został opracowany przez Fundację Rozwoju Demokracji Lokalnej im. Jerzego Regulskiego (FRDL) we współpracy z Channel Crossing (Czechy), Forschungsinstitut für Innovative Arbeitsgestaltung und Prävention (Niemcy), PEDAL Consulting (Słowacja), w ramach projektu Youth Impact, finansowanego ze środków Mechanizmu Finansowego EOG oraz Norweskiego Mechanizmu Finansowego. Projekt ten ma na celu dostarczenie praktycznych narzędzi i usług wspierających potencjał podmiotów, które wdrażają rozwiązania na rzecz zatrudnienia i przedsiębiorczości młodzieży, w zakresie ewaluacji wpływu ich działań. Projekt jest realizowany w latach 2019–2022.

 

Istnieje wiele sposobów rozumienia pojęcia ewaluacji. Zgodnie z podejściem przyjętym w projekcie Youth Impact głównym celem ewaluacji jest ocena projektu służąca jego udoskonaleniu. Ocena ta oparta jest na dowodach zebranych przy użyciu metodologii nauk społecznych.

Nasze podejście odwołuje się do szeroko rozumianej ewaluacji wpływu (ang. impact evaluation). Jest to oparta na wiarygodnych danych refleksja nad efektami projektu. Pozwala zrozumieć czynniki wpływające na bieżące i odroczone zmiany, koncentruje się także na trwałości osiąganych rezultatów oraz oddziaływaniu projektu, które wykracza poza jego bezpośrednich odbiorców. Ewaluacja ta pozwala również na sformułowanie rekomendacji wspierających zarządzanie projektem, które przyczyniają się do skutecznej i efektywnej realizacji jego celów, jak również misji organizacji. 

Nasze podejście jest również podejściem partycypacyjnym, uwzględniającym potrzeby różnych interesariuszy i angażującym ich w planowanie i kolejne  etapy ewaluacji.

Tak rozumiana ewaluacja nie tylko pozwala określić wartość danego projektu oraz zrozumieć przyczyny sukcesów i porażek towarzyszących jego realizacji. Jest też przydatnym narzędziem zarządzania dla organizacji nastawionych na misję społeczną i innych instytucji „uczących się”. 

 

KORZYŚCI Z DOBRZE PRZEPROWADZONEJ EWALUACJI:

• Pozwala przewidzieć różne trudności, zanim jeszcze projekt się rozpocznie oraz dostrzec problemy w trakcie jego realizacji , a także umożliwia zaplanowanie działań minimalizujących zidentyfikowane ryzyka.
• Dostarcza rekomendacji służących udoskonaleniu projektu (realizowanego obecnie  albo już zakończonego), aby lepiej odpowiadał na potrzeby odbiorców, osiągał trwalsze i bardziej użyteczne rezultaty, miał szerszy wpływ, czy realizował zaplanowane cele przy mniejszym zużyciu zasobów.
• Pozwala ocenić, w jakiej skali zamierzone efekty projektu były rzeczywiście wynikiem działań projektowych*. Ponadto ułatwia podjęcie decyzji, czy warto dany projekt kontynuować, upowszechnić lub wykorzystać w pracy z inną grupą docelową. 
• Zwiększa motywację pracowników – angażowanie zespołu projektowego w ewaluację (szczególnie na etapie jej projektowania oraz interpretacji wyników) zwiększa poczucie sprawczości, podkreśla związek pomiędzy  wykonywaną pracą a celami projektu, misją organizacji i własnymi wartościami.
• Zwiększa kompetencje pracowników – od kwestii związanych z zarządzaniem projektem, po wiedzę na temat mechanizmów zmian zachodzących w efekcie jego realizacji.
• Wpływa na podniesienie poziomu zaufania i współpracy z partnerami (także przy  następnych projektach), dzięki uwzględnieniu perspektywy i potrzeb informacyjnych zewnętrznych interesariuszy.
• Umożliwia wykazanie osiągniętych efektów i poprawia współpracę z grantodawcami i sponsorami, zachęcając ich do finansowania kolejnych przedsięwzięć. 

Przykład: W uzasadnieniu wniosku o dofinansowanie można przytoczyć wyniki ewaluacji, która dotyczyła wcześniejszego/ podobnego przedsięwzięcia. Przytoczenie wiarygodnych danych może pomóc w przekonaniu grantodawców, że Twój projekt jest wart dofinansowania.

• Pomaga w promowaniu organizacji.

Przykład: Wyniki ewaluacji, w tym studia przypadków (case studies), można wykorzystać w mediach społecznościowych do promocji działań organizacji. Mogą to być np. historie młodych ludzi, którzy dzięki wsparciu Twojej organizacji nabyli nowe kompetencje, a następnie znaleźli satysfakcjonującą pracę lub z sukcesem prowadzą własną firmę.

 

Podsumowując, ewaluacja niesie ze sobą wiele korzyści. Wprowadzenie jej do codziennej pracy może być bardzo użytecznym wsparciem dla zarządzania organizacją – wzmacniania wiarygodności i poprawy wizerunku, kształcenia i motywowania personelu, pozyskiwania środków, a przede wszystkim skutecznego wypełniania wyznaczonej misji.

---

*Taką możliwość zapewnia tzw. ewaluacja wpływu (ang. impact evaluation), o której mowa w rozdziale 2.4 .

II. JAK PRZYGOTOWAĆ SIĘ DO EWALUACJI?

 

 

“You can’t do “good” evaluation if you have a poorly planned program”. Beverly Anderson Parsons (1999)

 

W narzędziowniku przedstawiamy praktyczne sposoby prowadzenia ewaluacji wpływu Przedmiotem analizy są efekty działań projektowych (produkty, rezultaty, oddziaływanie) i ich zgodność z teorią zmiany. Teoria zmiany określa, dlaczego i w jaki sposób ma nastąpić pożądana zmiana.

 

2.1. Co musisz wiedzieć o projekcie, aby zaplanować jego ewaluację?

 

W narzędziowniku przedstawiamy praktyczne sposoby prowadzenia ewaluacji wpływu Przedmiotem analizy są efekty działań projektowych (produkty, rezultaty, oddziaływanie) i ich zgodność z teorią zmiany. Teoria zmiany określa, dlaczego i w jaki sposób ma nastąpić pożądana zmiana.

Graficznym przedstawieniem teorii zmiany może być tzw. model logiczny, w którym zestawia się to, co organizacja realizująca przedsięwzięcie musi zgromadzić (nakłady/zasoby), prace, które musi wykonać (działania projektowe), z efektami, jakie zamierza osiągnąć. Model logiczny dla danego projektu tworzy się według następującego schematu.

 

 

Tabela 1. Przykład łańcucha zmian w projekcie aktywizacji zawodowej młodzieży z małego miasta

ZASOBY	DZIAŁANIA	PRODUKTY	REZULTATY	ODDZIAŁYWANIE
Jakie zasoby zostały zmobilizowane do projektu?	Jakie działania są wykonywane w ramach projektu?	Jakie produkty/usługi zostały dostarczone beneficjentom?	Bezpośrednie efekty w grupie docelowej	Długoterminowe efekty na lokalnym rynku pracy
Budżet Personel Trenerzy Wyposażenie Program szkolenia	Szkolenia Warsztaty Usługi agencji zatrudnienia	Młode kobiety z małego miasta ukończyły szkolenia Beneficjentki wzięły udział w warsztatach Beneficjentki skorzystały z usług agencji zatrudnienia	Rozwinięte umiejętności techniczne Zmiana postaw wobec zatrudnienia z pasywnych na aktywne wśród uczestników Skrócony czas szukania pracy	Zmniejszone bezrobocie wśród młodych dorosłych w danym miasteczku

 

Źródło: Opracowanie własne na podstawie: Guide on Measuring Decent Jobs for Youth – Monitoring, evaluation and learning in labour market programmes. Note 3: Establishing a monitoring system, Międzynarodowa Organizacja Pracy. Genewa, 2018.

Teoria zmiany i odpowiadający jej model logiczny powinny być częścią dokumentacji projektowej. W praktyce zdarza się, że model logiczny ani teoria zmiany nie zostały opracowane lub są bardzo wybiórcze. Brak opisu logiki projektu (np. założeń wskazujących jak definiuje się sukces) uniemożliwia przeprowadzenie ewaluacji i tym samym zweryfikowanie, czy założona zmiana miała miejsce oraz czy nastąpiła ona w efekcie realizacji działań projektowych.

 

Co zrobić, jeśli w dokumentacji projektowej brakuje modelu logicznego?

W takiej sytuacji konieczne jest odtworzenie logiki, według której realizowany jest projekt, np. w oparciu o wywiady z kierownictwem i personelem projektu, a także istniejących dokumentów, takich jak np. strategia/ plan realizacji projektu, uzasadnienie jego wdrożenia, wniosek o dofinansowanie, umowa partnerska, itp. W rekonstrukcji logiki projektu może być pomocna poniższa tabela.

 

Narzędzie 1. (Re)konstrukcja logiki ewaluowanego projektu

 

Narzędzie 2. Tabela wskaźników efektów projektu (produktów, rezultatów, oddziaływania)

 

Narzędzie 2. Tabela wskaźników efektów projektu (produktów, rezultatów, oddziaływania) wraz ze źródłami informacji umożliwiającymi weryfikację ich poziomu.

	Jakie wskaźniki będą użyte do oceny osiągnięcia planowanych efektów?	Kto/co może być źródłem informacji, w oparciu o które zweryfikujemy poziom wskaźników?
PRODUKTY dobra materialne i usługi, które otrzymuje lub wytwarza odbiorca w trakcie realizacji projektu W odniesieniu do celów szczegółowych, operacyjnych	Liczba sporządzonych autoanaliz mocnych stron odbiorców projektu	Odbiorcy projektu, psycholog, doradca zawodowy
	Liczba CV wypracowanych w ramach projektu Liczba przykładowych listów motywacyjnych	Odbiorcy projektu i doradca zawodowy
	Liczba przeprowadzonych diagnoz psychologicznych Liczba diagnoz preferencji i predyspozycji zawodowych Liczba przygotowanych Indywidualnych Planów Działania	Psycholog, doradca zawodowy, opiekun staży
REZULTATY (TWARDE I MIĘKKIE) Bezpośrednie i natychmiastowe efekty projektu (w postaci materialnej i niematerialnej) W odniesieniu do celów szczegółowych, operacyjnych	Liczba sprawozdań sporządzonych przez osoby prowadzące poszczególne działania projektowe (psychologa, doradcę zawodowego, trenerów/ szkoleniowców, opiekunów staży)	Psycholog, doradca zawodowy, trenerzy/ szkoleniowcy, opiekunowie staży
	Liczba osób, które wzięły udział w szkoleniach Liczba osób uczestniczących w stażach Liczba zaświadczeń o ukończeniu danego typu szkolenia Liczba zaświadczeń o ukończeniu staży	Listy obecności na szkoleniach i stażach   Dokumentacja fotograficzna Listy potwierdzające odbiór zaświadczeń ze szkoleń i staży Umowy stażowe
	Liczba godzin przeprowadzonych zajęć (szkoleń, doradztwa psychologicznego i zawodowego, staży) Liczba osób, które nabyły nowe kompetencje, tj, wiedzę i umiejętności (porównanie przed i po zakończeniu szkoleń) Liczba osób, u których wzrosła motywacja do aktywizacji zawodowej (podjęcia zatrudnienia lub założenia własnej działalności gospodarczej)	Dokumentacja projektowa (dzienniki/ konspekty zajęć podpisane przez osoby prowadzące), Dzienniczki stażystów Testy wiedzy i sprawdziany umiejętności przeprowadzone przed rozpoczęciem i po zakończeniu szkoleń Opinia doradcy zawodowego, wyniki badania motywacji do podjęcia zatrudnienia
ODDZIAŁYWANIE Konsekwencje projektu wykraczające poza bezpośrednie i natychmiastowe efekty, zmiany, które nastąpiły w otoczeniu odbiorców, efekty odroczone W odniesieniu do celów ogólnych, strategicznych	Liczba młodych osób bezrobotnych w regionie objętym projektem (przed i po jego zakończeniu) Liczba osób, które uzyskały zatrudnienie w efekcie udziału w projekcie Liczba osób, które założyły działalność gospodarczą/ własne firmy w efekcie udziału w projekcie (w tym samozatrudnionych)	Powiatowy Urząd Pracy, Bank Danych Lokalnych, informacje udzielone przez odbiorców projektu i ich otoczenie społeczne (rodziny, bliskich)

Źródło: Opracowanie własne

Więcej przykładów formułowania wskaźników w projektach dotyczących zatrudnienia młodych można znaleźć w publikacji „Guide on Measuring Decent Jobs for Youth. Monitoring, evaluation and learning in labour market programmes, NOTE 3. ESTABLISHING A MONITORING SYSTEM” (s. 6–9).

 

2.2. Kiedy przystąpić do opracowania koncepcji i planu ewaluacji?

Koncepcję ewaluacji warto opracować przed rozpoczęciem projektu lub nawet w trakcie jego planowania, gdyż dzięki temu można:

• zainicjować pogłębioną refleksję nad logiką i spójnością działań projektowych, ich przełożeniem na cele projektu, a także czynnikami ułatwiającymi i utrudniającymi ich osiągnięcie;
• zaplanować z wyprzedzeniem pozyskanie informacji (danych) umożliwiających odpowiedź na pytania ewaluacyjne (np. bez początkowego pomiaru wiedzy i umiejętności odbiorców szkolenia, wykonanego przed rozpoczęciem tego działania, niemożliwe będzie rzetelne wykazanie uzyskanej zmiany, tj. przyrostu kompetencji, który powinien nastąpić w wyniku tego szkolenia);
• wygospodarować odpowiednie środki na przeprowadzenie ewaluacji oraz wpisać je do harmonogramu działań projektowych, które posłużą do zebrania odpowiednich danych, ich przeanalizowania oraz raportowania;
• zaplanować gromadzenie wielu informacji w najbardziej efektywny sposób (najtańszy, najszybszy, najprostszy) podczas działań projektowych lub po ich zakończeniu.

Warto pamiętać, że ewaluacja jest wieloetapowym procesem, który trzeba dobrze zaprojektować i zaplanować, a następnie krok po kroku zrealizować.

Etapy procesu ewaluacji:

1. Diagnoza potrzeb ewaluacyjnych
2. Konceptualizacja i planowanie ewaluacji
3. Gromadzenie informacji – realizacja badania
4. Analiza danych oraz wnioskowanie
5. Raportowanie wyników
6. Wykorzystanie wyników ewaluacji

 

2.3. Jak diagnozować potrzeby ewaluacyjne interesariuszy projektu

Ani konceptualizacji, ani planowania ewaluacji nie należy rozpoczynać bez ustalenia, komu i do czego są potrzebne informacje, wnioski i rekomendacje z ewaluacji. Warto rozpocząć diagnozę potrzeb ewaluacyjnych od interesariuszy projektu, który ma podlegać ewaluacji.

Interesariuszami projektu są osoby/podmioty (instytucje, organizacje) w różny sposób zaangażowane w realizację danego projektu, np. jego beneficjenci, zespół projektowy, kadra realizująca działania projektowe (np. trenerzy, psychologowie, doradcy zawodowi), partnerzy projektu (współpracujące organizacje lub instytucje), sponsorzy/ grantodawcy itd.) 

Udział interesariuszy projektu w jego ewaluacji jest bardzo ważny, ponieważ są to potencjalni sojusznicy ewaluatora. Mogą oni wspierać cały proces ewaluacyjny, w tym wdrażanie rekomendacji doskonalących projekt. Dzięki zaangażowaniu w działania ewaluacyjne różnych  interesariuszy można nie tylko usprawnić komunikację i ulepszyć współpracę z partnerami, beneficjentami oraz kadrą projektową, lecz także nakłonić grantodawców do inwestowania w obecnie realizowany projekt czy jego kolejną edycję. Zainteresowanie innych osób/podmiotów ewaluacją danego projektu znacznie ułatwi prowadzenie jej w sposób partycypacyjny, polegający na angażowaniu interesariuszy w cały proces ewaluacyjny, zaczynając od diagnozy potrzeb informacyjnych.   

Najlepszym sposobem na zdiagnozowanie potrzeb ewaluacyjnych, zapewniającym jednocześnie wysoki poziom partycypacji interesariuszy, jest przeprowadzenie  warsztatu / wywiadu grupowego z przedstawicielami wszystkich podmiotów (organizacji, instytucji) i grup osób zaangażowanych w dany projekt. 

W przypadku, gdy odbiorcami projektu jest młodzież, NEETs lub inne osoby, które mogą odczuwać obawy przed publicznym wypowiadaniem się lub wyrażaniem swoich opinii, należy najpierw przeprowadzić oddzielne spotkanie z udziałem tych beneficjentów, a następnie zaprosić ich przedstawicieli do udziału w warsztacie, w którym będą uczestniczyć także inni interesariusze. Tego typu warsztat z młodzieżą lub innymi odbiorcami projektu o relatywnie słabej pozycji społecznej należy opierać na wartościach wzmacniających podmiotowość odbiorców projektu (patrz przykład z Participatory evaluation with young people, p. 7–8). 

OPIS PRZYKŁADOWEGO WARSZTATU Z INTERESARIUSZAMI Spotkanie z interesariuszami powinno się rozpocząć od omówienia jego celu oraz przedstawienia się wszystkich uczestników/czek. Następnie warto zaprezentować korzyści wynikające z ewaluacji projektu, a także porozmawiać o tym, na ile i w jaki sposób może ona być przydatna dla poszczególnych interesariuszy. Po takim wstępie warto rozdać osobom uczestniczącym w warsztacie małe karteczki samoprzylepne i poprosić je o udzielenie odpowiedzi na następujące pytania:  Czego chcę się dowiedzieć dzięki ewaluacji? Dlaczego jest to ważne? Do czego chcę wykorzystać tę wiedzę? [w ten sposób określone zostaną CELE EWALUACJI]. Zebrane karteczki należy pogrupować (najlepiej na tablicy np. typu flipchart) w taki sposób, by podobne sprawy i powiązane z nimi elementy projektu znajdowały się obok siebie. Zgłoszone zagadnienia można podzielić według następujących obszarów: działania np. rekrutacja odbiorców projektu, diagnoza ich potrzeb, poradnictwo psychologiczne, przeprowadzenie szkoleń, doradztwo zawodowe, organizacja staży, działania promocyjno-informacyjne, produkty np. opracowane Indywidualne Plany Działania, sporządzone w  ramach ćwiczeń cv i listy motywacyjne, wydane zaświadczenia o odbytych kursach i stażach, listy obecności, programy szkoleń, sprawozdania trenerów prowadzących szkolenia, materiały szkoleniowe, materiały promocyjne, rezultaty np. wzrost kompetencji miękkich (umiejętności społecznych) i twardych (umiejętności zawodowych), zmiana postaw uczestników projektu, wzrost motywacji do poszukiwania pracy, znalezienie odpowiedniej pracy, utrzymanie zatrudnienia, aktywizacja społeczna, inne kwestie np. komunikacja z odbiorcami projektu, sposób zarządzania projektem. Kolejnym krokiem jest omówienie z interesariuszami wyłonionych kwestii/elementów projektu, zastanowienie się wspólnie, które z nich są najważniejsze. Finalnie nie powinno ich być więcej niż kilka [w ten sposób wstępnie określony zostanie ZAKRES EWALUACJI]. Następnie każde z wyłonionych do ewaluacji zagadnień priorytetowych warto omówić pod następującymi względami (a na flipcharcie kolejni uczestnicy lub moderator spisują wnioski): Pod jakim kątem/względem dana kwestia powinna być rozpatrywana? [tu wybierasz KRYTERIA EWALUACYJNE] na przykład:  adekwatność do potrzeb odbiorców / społeczności lokalnej / rynku pracy (pracodawców), skuteczność – osiąganie założonych efektów (produktów, rezultatów i celów), użyteczność wypracowanych rezultatów dla różnych grup docelowych projektu (np. NEETs, pracodawców), efektywność – stosunek poniesionych nakładów (zasobów) do osiągniętych efektów projektu, trwałość wypracowanych rezultatów po zakończeniu projektu, oddziaływanie – jak działania projektowe wpłynęły na beneficjentów i ich otoczenie społeczne/ środowisko. Na jakie pytania uwzględniające ww. kryteria powinna odpowiedzieć ewaluacja? Odnośnie każdego z priorytetowych zagadnień ewaluacyjnych należy sformułować co najmniej jedno takie pytanie. [W ten sposób wstępnie określisz PYTANIA EWALUACYJNE) Jakie informacje / dane są potrzebne do udzielenia odpowiedzi na każde z tych pytań? [W ten sposób wstępnie zidentyfikujesz ZAKRES POTRZEBNYCH INFORMACJI] Skąd i w jaki sposób można pozyskać takie informacje/ dane? [W ten sposób wstępnie określisz ŹRÓDŁA I METODY BADAWCZE] W jaki sposób interesariusze mogą wspomóc proces ewaluacji? (np. poprzez pomoc w pozyskiwaniu informacji/ danych, bezpośredni udział w badaniu, interpretowanie i rozpowszechnianie wyników ewaluacji) [w ten sposób zachęcasz ich do wsparcia ewaluacji] Na zakończenie warto jeszcze dowiedzieć się, w jakiej formie interesariusze chcieliby otrzymać wyniki ewaluacji. Czy interesariusze chcieliby otrzymać wyniki w postaci raportu (tj. rozbudowanego dokumentu tekstowego), prezentacji multimedialnej, infografiki, na ile szczegółowo i obszernie wyniki powinny być przedstawione poszczególnym grupom interesariuszy)?

Źródło: Opracowanie własne

Informacje zebrane podczas warsztatu z udziałem interesariuszy powinny posłużyć przygotowaniu koncepcji i planu ewaluacji (zob. rozdz. 2.3). W związku z tym warto podsumować kluczowe wyniki diagnozy potrzeb informacyjnych interesariuszy w dwóch poniżej przedstawionych tabelach.

 

Narzędzie 3. Tabela podsumowująca diagnozę ewaluacyjnych potrzeb interesariuszy projektu

 

Informacje o oczekiwaniach poszczególnych interesariuszy w zakresie formy przedstawienia i sposobów wykorzystania wyników ewaluacji będą przydatne na etapie planowania ich rozpowszechnienia (patrz Rozdział 6.3.).

 

2.4. Jak zaprojektować i zaplanować ewaluację?

Informacje zebrane w czasie warsztatu z udziałem interesariuszy posłużą do przygotowania koncepcji i planu ewaluacji. Koncepcję ewaluacji, czyli pomysł na to, jak ją przeprowadzić, można przygotować w trzech krokach. 

 

 

Pierwszy i drugi krok obejmują następujące elementy:   

• przedmiot ewaluacji – co chcemy ewaluować (np. dany projekt, działania statutowe organizacji),
• zakres ewaluacji – jak duża część projektu zostanie objęta ewaluacją, np. cały projekt czy tylko wybrane elementy (dane działania, efekty), 
• cel/cele ewaluacji – po co ją prowadzimy, do czego wykorzystamy wyniki ewaluacji,
• rodzaj ewaluacji – na jakim etapie realizacji projektu będziemy ją prowadzić: przed rozpoczęciem działań projektowych (ewaluacja ex-ante), w trakcie ich trwania (ewaluacja bieżąca lub okresowa), po zakończeniu projektu (ewaluacja ex-post),
• kryteria ewaluacyjne – cechy wskazujące, pod jakim względem projekt jest oceniany (np. trafność, skuteczność, efektywność, użyteczność, oddziaływanie, trwałość),
• pytania ewaluacyjne – ogólnie sformułowane pytania dotyczące zagadnień istotnych z punktu widzenia oceny wartości i jakości ewaluowanego projektu,
• realizator ewaluacji – kto będzie ją przeprowadzał, np. zespół realizujący projekt (autoewaluacja), specjalista ds. ewaluacji zatrudniony przez organizację wdrażającą projekt (ewaluacja wewnętrzna) czy zakontraktowany przez nią podmiot zewnętrzny (ewaluacja zewnętrzna)*, 

Informacje te możemy przedstawić w formie tabeli koncepcji ewaluacji projektu. Przykład takiej tabeli i jej zastosowanie do konkretnego projektu przedstawiono poniżej. 

---

*Zalety i wady różnych rodzajów ewaluacji wyłonionych ze względu na umiejscowienie realizującego ją podmiotu zostały omówione w zdalnym kursie (Moduł I).

---

 

Narzędzie 4. Koncepcja ewaluacji projektu – część 1.

1. Przedmiot ewaluacji: jaki projekt chcesz ewaluować?	Projekt aktywizacji młodych dorosłych dofinansowany ze środków zewnętrznych
2. Zakres ewaluacji: jaką część projektu chcesz ewaluować (całość, wybrane działania – które z nich)?	Ewaluacją zostaną objęte wszystkie działania/ zadania projektowe, tj. rekrutacja odbiorców, szkolenia mające na celu rozwój kompetencji twardych i miękkich (psychospołecznych), doradztwo psychologiczne i zawodowe oraz staże.
3. Jaki etap realizacji projektu chcesz poddać ewaluacji?	Zakończenie projektu (ewaluacja ex-post)
4. Kto będzie realizował ewaluację?	Osoby zajmujące się realizacją ewaluowanego projektu (autoewaluacja)
5. Cel ewaluacji i planowane wykorzystanie jej wyników. Cele można odnieść do głównych funkcji ewaluacji: edukacyjnej, decyzyjnej, rozwojowej, sprawozdawczej, promocyjnej, proceduralnej. Cele ewaluacji powinny być powiązane z kryteriami i pytaniami ewaluacyjnymi.	Po co prowadzisz ewaluację? Co chcesz osiągnąć za jej pomocą? Do czego wykorzystasz wiedzę, którą pozyskasz z ewaluacji? Głównym celem ewaluacji jest ulepszenie kolejnej edycji projektu i zwiększenie jego oddziaływania. Chcemy się dowiedzieć, czy zaproponowany model aktywizacji zawodowej osób młodych umożliwił realizację założonych efektów, jakie czynniki wpływały na ten proces, a także na ile osiągnięte rezultaty były adekwatne, przydatne i trwałe. Wyniki ewaluacji wykorzystamy także do zwiększenia efektywności projektu w celu osiągania założonych efektów przy pomocy mniejszych zasobów.
6. Kryteria* i pytania ewaluacyjne**: pod jakim kątem chcemy oszacować przedmiot ewaluacji (*) oraz czego chcemy się o nim dowiedzieć (**)? Kryteria ewaluacyjne* – aspekty projektu, które poddajemy ewaluacji (np.: adekwatność, skuteczność, efektywność, użyteczność, oddziaływanie, trwałość). Pytania ewaluacyjne** są to ogólnie sformułowane pytania dotyczące kwestii, które są dla nas ważne z punktu widzenia oceny wartości / jakości projektu. Pytania powinny być powiązane z wybranymi kryteriami ewaluacyjnymi, ale można sformułować pytanie nieodnoszące się do żadnego z ww. kryteriów. Pytania mogą odnosić się do: ·  procesów i działań służących realizacji  przedsięwzięcia, ·  osiąganych efektów, a także przyczyn badanych zjawisk, sposobu funkcjonowania przedsięwzięcia (np. systemu zarządzania).	1. Kryterium: adekwatność Pytania: W jakim stopniu działania projektowe (takie jak rekrutacja do projektu, szkolenia, doradztwo, staże) były dostosowane do potrzeb uczestników/czek, a w jakim do potrzeb pracodawców? Jakie zmiany w projekcie pozwoliłyby w większym stopniu dostosować go do potrzeb obu tych grup docelowych? 2. Kryterium: skuteczność Pytania: W jakim stopniu zostały osiągnięte założone cele, produkty i rezultaty projektu? Czy jakichś założeń nie udało się zrealizować i dlaczego tak się stało? 3. Kryterium: efektywność Pytania: Czy uzyskane efekty odpowiadają poniesionym nakładom? Czy można było osiągnąć takie same efekty przy wykorzystaniu mniejszych zasobów (finansowych, czasowych, ludzkich, technicznych, organizacyjnych)? 4. Kryterium: użyteczność Pytania: W jakim stopniu wypracowane rezultaty projektu są przydatne dla jego odbiorców, tj. osób młodych oraz pracodawców? Czy i jak można zwiększyć tę przydatność? 5. Kryterium: trwałość Pytania: Czy wypracowane efekty utrzymują się w czasie po zakończeniu finansowania projektu? Jakie czynniki sprzyjają trwałości wypracowanych rezultatów? 6. Kryterium: oddziaływanie Pytanie: W jakim stopniu realizacja projektu wpłynęła na poziom aktywności zawodowej i społecznej osób młodych na terenie objętym działaniami projektowymi? Czy efekty projektu wykraczają poza jego bezpośrednich odbiorców, a jeśli tak to na czym to zjawisko polega i jakie mechanizmy go powodują? 7. Inne: Jakie elementy ułatwiały a jakie utrudniały wdrażanie projektu z punktu widzenia jego realizatorów (zespołu projektowego i kadry prowadzącej dane działania)? Jakie elementy ułatwiały/ utrudniały beneficjentom udział w projekcie?

Źródło: Opracowanie własne

Trzeci etap tworzenia koncepcji ewaluacji wymaga znajomości różnych metod i narzędzi badawczych, które są przedstawione rozdziale III. Z tego też względu część planowania ewaluacji dotyczącą metodologii zbierania danych do ewaluacji zostanie przedstawiona w podrozdziale 3.3. (przykład tego etapu projektowania ewaluacji jest przedstawiony w narzędziu 6) 

Informacje dotyczące dostępności potrzebnych danych, jak również możliwości uzyskania wsparcia ze strony poszczególnych interesariuszy zostaną wykorzystane podczas planowania procesu ewaluacji oraz szacowania zasobów niezbędnych do jej przeprowadzenia. Plan ewaluacji powinien obejmować takie elementy jak: jej harmonogram (w podziale na poszczególne etapy), zasoby niezbędne do przeprowadzenia wszystkich etapów ewaluacji (ludzkie, czasowe, finansowe, informacyjne), a także planowaną formę/y raportu ewaluacyjnego. 

Informacje te możemy przedstawić w formie tabeli planowania ewaluacji. Poniżej przedstawiono przykład takiej tabeli i jej zastosowanie do konkretnego projektu. 

 

Narzędzie 5. Tabela planowania ewaluacji

1. Harmonogram realizacji ewaluacji Ile czasu zajmie realizacja poszczególnych czynności/ zadań?	1. Opracowanie koncepcji i przygotowanie badania ewaluacyjnego (przygotowanie narzędzi badawczych, organizacja badania): 4-6 tygodni 2. Gromadzenie informacji/ danych: ok. 12 tygodni 3. Analiza zebranych danych (ilościowych, jakościowych): 3-4 tygodnie 4. Sporządzenie raportu ewaluacyjnego: 4 tygodnie
2. Dostępne zasoby, które można wykorzystać do przeprowadzenia ewaluacji.	a) Ludzkie: (liczba i kompetencje osób potrzebnych do przeprowadzenia ewaluacji) Ewaluacja będzie prowadzona przez 3 osoby z zespołu projektowego, które mogą być wspomagane przez zewnętrznego specjalistę (ewaluatora) na poszczególnych etapach tego procesu, np. oceny spójności koncepcji ewaluacji i narzędzi badawczych, w tym pod kątem ich poprawności metodologicznej, konsultowania procesu analizy danych oraz treści raportu. Osoby prowadzące ewaluację mają doświadczenie w realizacji badań ilościowych (sondaży) oraz jakościowych (wywiady indywidualne i grupowe, analiza dokumentacji). b) Czasowe: (ile czasu łącznie zajmie realizacja ewaluacji) ok. 20 tygodni (osoby prowadzące ewaluację jednocześnie będą realizować inne obowiązki zawodowe. Czas realizacji badania został wydłużony ze względu na okres wakacyjny, w którym może się wiązać z trudnościami w dostępie do osób badanych. c) Finansowe: (jakie środki planujemy przeznaczyć na ewaluację, np. procent od budżetu projektu/ przedsięwzięcia) ok. 1–10 % całego budżetu projektu. d) Informacyjne: (jakie dane potrzebne do udzielenia odpowiedzi na pytania ewaluacyjne są obecnie dostępne, jakie raporty, dokumenty, statystyki możemy wykorzystać) Raport z analizy potrzeb grup docelowych projektu, sprawozdania osób prowadzących szkolenia, doradztwo i staże, dane z urzędu pracy dotyczące poziomu bezrobocia wśród osób młodych w regionie objętym projektem, informacje nt. zawodów deficytowych oraz potrzebach kadrowych pracodawców w tym regionie, dane z monitoringu projektu, informacje (w tym w formie raportów ewaluacyjnych) dot. podobnych projektów (szczególnie realizowanych w zbliżonych warunkach), produkty wypracowane w ramach projektu (autoanaliza mocnych stron beneficjentów, indywidualne plany działania, cv, przykładowe listy motywacyjne), dokumentacja projektowa dotycząca wypracowanych rezultatów (listy obecności, wydane zaświadczenia ukończenia szkoleń i staży, wstępne/ początkowe pomiary poziomu kompetencji miękkich i twardych uczestników/czek projektu
3. Forma prezentacji wyników ewaluacji (np. raport, prezentacja multimedialna, infografiki)	Prezentacja multimedialna oraz infografika do zamieszczenia na stronie internetowej projektu

Źródło: Opracowanie własne

 

Jak widać w powyższej tabeli, informacje są jednym z zasobów do przeprowadzenia ewaluacji. Istnieje wiele źródeł danych, które mogą być przydatne w tym celu. W kontekście projektów dotyczących zatrudnienia młodzieży jednym z najważniejszych obszarów postępów przewidzianych w projektach są kompetencje ogólne i zawodowe. Źródłem informacji o początkowym i końcowym poziomie tych umiejętności wśród beneficjentów projektów powinni być trenerzy kompetencji. Dlatego warto współpracować z nimi w zakresie gromadzenia i wykorzystywania danych o poziomie kompetencji przed i po szkoleniu. Pomiar powinien uwzględniać wielostronne spojrzenie na umiejętności osób szkolonych (perspektywa trenera, samoocena uczestnika szkolenia i test psychometryczny), być adekwatny i spójny z treścią szkolenia. Przykładowe zestaw takich narzędzi znajduje się w załączniku **. Pozwalają one na pomiar ośmiu kompetencji kluczowych „koniecznych do osobistej samorealizacji, bycia aktywnym obywatelem, spójności społecznej i uzyskania szans na zatrudnienie”, o których mowa w Zaleceniu 2006/962/WE Parlamentu Europejskiego i Rady w sprawie kompetencji kluczowych w procesie uczenia się przez całe życie*.

---

* Zalecenie Parlamentu Europejskiego i Rady z dnia 18 grudnia 2006 r. w sprawie kompetencji kluczowych w procesie uczenia się przez całe życie (2006/962/WE) określa osiem następujących kompetencji kluczowych: 1) porozumiewanie się w języku ojczystym; 2) porozumiewanie się w językach obcych; 3) kompetencje matematyczne i podstawowe kompetencje naukowo-techniczne; 4) kompetencje informatyczne; 5) umiejętność uczenia się; 6) kompetencje społeczne i obywatelskie; 7) inicjatywność i przedsiębiorczość; oraz 8) świadomość i ekspresja kulturalna

---

 

2.5. Jak zaplanować ewaluację wpływu? 

Kluczowym wyróżnikiem ewaluacji wpływu jest fakt, że prowadzona w ten sposób ocena efektów projektu uwzględnia nie tylko wpływ działań projektowych, lecz także wpływ czynników zewnętrznych (pozaprojektowych). Aby ocenić realny wpływ (netto) projektu, konieczne jest zaplanowanie i przeprowadzenie ewaluacji w sposób umożliwiający stwierdzenie, czy realizacja projektu spowodowała zamierzoną zmianę i w jakim stopniu wpłynęły na nią czynniki pozaprojektowe.

Przeprowadzenie ewaluacji wpływu pozwala zebrać różnego rodzaju informacje, które są bardzo użyteczne dla rozwoju projektu:

1) dane o faktycznym wpływie projektu na osiągnięcie oczekiwanej zmiany to kluczowa informacja dla decyzji o powtarzaniu, powielaniu, doskonaleniu lub zaprzestaniu prowadzenia danego projektu ponieważ:

a) czynniki pozaprojektowe mogły przyczynić się do zajścia zmiany (oczekiwanej w projekcie), przez co wpływ (netto) ewaluowanego projektu byłby mniejszy niż wskazywała na to prosta różnica między wartością końcową wskaźnika rezultatu a jego wartością bazową (mierzoną na początku projektu),

b) zewnętrzne czynniki mogły przeciwdziałać zajściu oczekiwanej w projekcie zmiany, przez co wpływ (netto) projektu byłby większy niż różnica między wartością końcową a wartością bazową wskaźnika rezultatu.

2) informacja o zróżnicowaniu i mechanizmach wpływu poszczególnych elementów projektu na osiągnięcie oczekiwanej zmiany jest bardzo pomocna w ulepszaniu projektu,

3) zidentyfikowanie silnie oddziaływujących czynników zewnętrznych oraz mechanizmów ich wpływu na planowaną w projekcie zmianę może być wykorzystane do modyfikacji działań projektowych, tak by lepiej współpracowały z procesami wspierającymi zmianę i lepiej radziły sobie z niwelowaniem czynników przeciwnych.

Zależnie od tego, która z powyższych kwestii stanowi priorytet w ewaluacji danego projektu, jak i od ograniczeń w dostępie do odpowiednich danych stosuje się różne modele ewaluacji wpływu wraz z odpowiednimi do nich metodami zbierania danych.

 

Tabela 1. Różne podejścia do projektowania ewaluacji wpływu.

Rodzaje ewaluacji wpływu	Podstawa wnioskowania przyczynowego	Wymagania	Przykłady
Modele eksperymentalne	Wnioskowanie „kontrfaktyczne” porównuje zmianę wskaźnika rezultatu zmiany w grupie beneficjentów z tym, co by się stało, gdyby projekt nie był realizowany	Porównanie  zmian w grupie beneficjentów ze zmianami w grupie porównawczej: z pretestem albo bez	Eksperyment z losowym doborem do grupy eksperymentalnej i  kontrolnej    Modele quasi-eksperymentalne
Modele statystyczne	Korelacja między wskaźnikiem rezultatu i wskaźnikiem produktu (realizacji działań projektowych) przy kontroli czynników zakłócających	Duża próba, grupy porównawcze lub dane z poprzednich okresów i dane o czynnikach  zakłócających	Regresja statystyczna
Modele oparte na teorii	Identyfikacja mechanizmów, które tłumaczą zaobserwowane zmiany, i empiryczna weryfikacja ich działania	Mocna teoria zmiany (istniejąca lub zrekonstruowana na potrzeby ewaluacji)	Śledzenie procesów prowadzących do oczekiwanej zmiany
Modele oparte na studiach przypadków	Porównanie uzyskanych rezultatów w ramach poszczególnych przypadków i pomiędzy w różnymi przypadkami (pomiędzy projektami) pod kątem ewentualnych czynników przyczynowych	Mocna teoria Do porównania potrzeba danych z kilku projektów (przypadków)	Jakościowa analiza porównawcza
Modele oparte na partycypacji	Postrzegany związek przyczynowy z punktu widzenia osób, na które wpłynęła interwencja (projekt)	Wykwalifikowani  facylitatorzy	Samoocena zmiany (ang. reflexive counterfactuals) Ranking i punktacja Ocena najważniejszej zmiany (narracji)

Źródło: Emily Woodhouse, Emiel de Lange, Eleanor J Milner-Gulland, Evaluating the impacts of conservation interventions on human wellbeing: Guidance for practitioners, International Institute for Environment and Development, London 2016.

 

Modele eksperymentalne i quasi-eksperymentalne służą do określenia, jaką część zaobserwowanej projekcie zmiany można przypisać faktycznemu wpływowi działań projektowych (wpływ netto). Za miarę wpływu działań projektowych uznaje się różnicę odnotowaną pomiędzy pomiarem wskaźnika przed rozpoczęciem i po zakończeniu projektu w grupie jego odbiorców (zmiana w tzw. grupie eksperymentalnej, uczestniczącej w działaniach projektowych) po skorygowaniu jej o wpływ czynników pozaprojektowych. Wpływ czynników pozaprojektowych szacuje się na podstawie pomiaru zmiany wskaźnika rezultatu,  w grupie osób, które nie uczestniczyły w projekcie, a są możliwie najbardziej podobne do beneficjentów. 

• W modelach eksperymentalnych (RCT, Random Controlled Trials) potencjalni odbiorcy są losowo przypisani do grupy beneficjentów objętych działaniem projektu (grupa eksperymentalna) oraz do grupy nie objętej działaniem projektu (grupa kontrolna). Losowy dobór do grup pozwala zagwarantować, że obie grupy nie różnią się od siebie*. Zatem zmiany mierzonego wskaźnika w grupie kontrolnej można przypisać tylko czynnikom pozaprojektowym, zaś w grupie eksperymentalnej – łącznemu wpływowi działania projektu i czynników pozaprojektowych. 
• W modelach quasi-eksperymentalnych nie występuje losowy dobór grup. Grupa kontrolna dobierana jest do danej grupy eksperymentalnej (beneficjentów projektu) w taki sposób, by obie grupy były do siebie jak najbardziej podobne. Grupa kontrolna pełni analogiczną funkcję jak modelach eksperymentalnych. 

Aby zastosowanie modelu eksperymentalnego lub quasi-eksperymentalnego było możliwe, działania ewaluacyjne muszą być skoordynowane z działaniami projektowymi, a zatem należy je odpowiednio wcześnie zaplanować. Na przykład, gdy spodziewasz się nadwyżki kandydatów na beneficjentów projektu lub gdy projekt będzie realizowany w kilku edycjach i możesz zrobić łączną rekrutację, a przydział do grup możesz przeprowadzić metodą losową. W ten sposób uzyskasz losowo wybraną grupę eksperymentalną (która będzie jako pierwsza objęta działaniami projektowymi) oraz grupę kontrolną (osoby wylosowane do kolejnej edycji projektu). Tuż po wyłonieniu grup należy przeprowadzić w nich pomiar bazowy (oraz pomiar końcowy w obu grupach po zakończeniu projektu).

Jeśli beneficjentów ewaluowanego projektu wybiera instytucja zewnętrzna (np. Powiatowy Urząd Pracy), warto również sprawdzić, jaka procedura selekcji jest tam stosowana. Jeśli ta procedura daje możliwość doboru grupy kontrolnej lub porównawczej, w której można zmierzyć wskaźnik rezultatu projektu – należy to zweryfikować i zaplanować pomiar w tej grupie w tym samym czasie, w którym jest on przeprowadzany w ewaluowanym projekcie.

Ważnym aspektem ewaluacji wpływu jest kontrola tzw. efektu rozlewania się (ang. spill over effect), polegającego na rozprzestrzenianiu się wpływu działań projektowych poza grupę eksperymentalną, w szczególności na osoby z grupy kontrolnej. Zagrożenie efektem spill over jest tym większe, im więcej odbiorcy ewaluowanego projektu mają kontaktów z osobami z grupy kontrolnej.

 

---

*Gdy grupa eksperymentalna lub grupa kontrolna jest mała, należy zastosować dobór warstwowo-losowy (zamiast prostego doboru losowego), aby upewnić się, że obie grupy mają podobną strukturę według cech, które mogą wpłynąć na zamierzony wynik projektu (np. struktura wykształcenia powinna być podobna w grupach eksperymentalnej i kontrolnej. W przeciwnym razie grupa o wyższym poziomie wykształcenia może robić większe postępy w nabywaniu umiejętności, które mają być rozwijane w ewaluowanym projekcie).

---

 

W modelach opartych na teorii planowanie i interpretacja ewaluacji wpływu wymaga skorzystania teorii zmiany, aby zweryfikować spójność wyników ewaluacji z logiką projektu oraz zweryfikować wpływ czynników pozaprojektowych. Badanie spójności faktów z logiką projektu koncentruje się na identyfikacji dowodów, które mogłyby potwierdzić związki przyczynowo-skutkowe, oraz na zebraniu danych, które potwierdzą te związki lub im zaprzeczą. W tym podejściu kluczowe jest jak najwcześniejsze zaplanowanie, jakiego rodzaju dane należy zebrać w trakcie realizacji projektu, aby zweryfikować:

– przyczynowo-skutkową więź między działaniami, produktami, rezultatami  i oddziaływaniem składającymi się na logiczny model zmiany,

– osiągnięcie kolejnych etapów w przyczynowo-skutkowym łańcuchu rezultatów pośrednich (tzw. milestones) prowadzących do efektu mierzonego wskaźnikiem końcowym,

Weryfikowanie wpływu czynników pozaprojektowych – polega na analogicznym jak wyżej zaplanowaniu i sprawdzenia innych niż działania projektowe czynników zmiany oczekiwanej jako rezultaty i cel projektu.

Model ewaluacji wpływu oparty na studiach przypadków (ang. case studies) stosujemy np. gdy ewaluowany projekt stanowi część większego programu, realizowanego w różnych miejscach i/lub przez różne organizacje. Może to stanowić okazję do pozyskania danych porównawczych, które zostaną wykorzystane w tym modelu. Przy tego rodzaju  ewaluacji należy zgromadzić jak najwięcej informacji dotyczących nie tylko wskaźnika rezultatu, który mierzysz w ewaluowanym projekcie, lecz także wszystkich istotnych czynników mogących wpływać na zmiany wartości tego wskaźnika. Zestaw tych czynników określa się na podstawie teorii zmiany. Warto pamiętać, że w tym modelu można też wykorzystać informacje o podobnych projektach realizowanych w przeszłości. Niezależnie od tego, skąd pochodzą analizowane przypadki, ważne jest, by pozyskać z nich z góry określony zestaw informacji. Końcowa analiza opiera się na tabeli podsumowującej dane ze wszystkich analizowanych przypadków, dotyczące występowania zamierzonej zmiany oraz dane o projektowych oraz pozaprojektowych czynnikach, które na tę zmianę mogły mieć wpływ.

Narzędzie 6. Tabela służąca do podsumowania wyników analizy przypadków (case studies) 

	Zjawisko 1: Ponad 50% młodzieży NEET, która uczestniczyła w projekcie, ma pracę lub jest zaangażowana w kształcenie bądź szkolenie 1 rok po zakończeniu projektu	Zjawisko 2:  NEET uczestniczący w projekcie przeszli intensywne szkolenie w zakresie kompetencji społecznych	Zjawisko 3: NEET uczestniczący w projekcie przeszli szkolenie zawodowe	Zjawisko 4: (czynnik pozaprojektowy) NEET uczestniczący w projekcie otrzymali 6-miesięczne zatrudnienie wspomagane, organizowane przez Urząd Pracy zaraz po zakończeniu projektu
Przypadek 1: Aktualnie ewaluowany projekt, którego wynik jest wyświetlany w 1. kolumnie	1	1	1	1
Przypadek 2: Ten sam projekt realizowany 2 lata wcześniej przez tego samego realizatora	1	1	1	1
Przypadek 3: Inny projekt w ramach tego samego programu (oczekiwany ten sam rezultat), inny realizator	0	1	0	0
Przypadek 4: NEET otrzymujący jedynie zatrudnienie wspomagane, organizowane przez Urząd Pracy	0	1	1	1

0 – zjawisko nie miało miejsca, 1 – zjawisko miało miejsce

W powyższej tabeli przedstawiono podsumowanie analizy 4 przypadków, w których rezultat (posiadanie pracy lub uczestnictwo w kształceniu/szkoleniu zawodowym, stwierdzone 1 rok po zakończeniu projektu) był analizowany w szeregu przypadków pod kątem trzech czynników. Dwa z nich stanowiły różne bodźce projektowe (szeroko zakrojone szkolenie kompetencji społecznych i szkolenia zawodowe), a czwarty to zatrudnienie zewnętrzne – wspomagane przez 6 miesięcy po zakończeniu projektu). Analiza wykazała, że to intensywny trening kompetencji społecznych może być uznany za przyczynę zamierzonego efektu.
Źródło: Opracowanie własne

 

Modele partycypacyjne to niedoceniane choć dostępne rodzaje ewaluacji wpływu. Nie gwarantują one tak dużej wiarygodności i precyzji, jak model eksperymentalny lub quasi-eksperymentalny, nie są też tak przekonujące jak analiza przypadków. Są za to możliwe do zastosowania nawet w małych projektach. W ramach tych modeli należy odwołać się do percepcji uczestników ewaluowanego projektu i na podstawie uzyskanych od nich informacji oceniać, jaki wpływ miał projekt. Duże znaczenie ma więc metodologia zbierania danych, gdyż badani mają tendencję do dostosowywania się do tego, co w ich mniemaniu może chcieć usłyszeć badacz, zwłaszcza gdy jest nim ktoś z personelu projektowego.

• Jednym z modeli partycypacyjnych jest model, który można nazwać samooceną zmiany (ang. reflexive counterfactuals). Jego zaletą jest to, że może być stosowany po zakończeniu projektu. Z drugiej strony technika ta jest narażona na opisane wcześniej zagrożenie tzw. wpływem badacza. W ramach ‘reflexive counterfactuals’ beneficjenci są proszeni o porównanie swojej obecnej sytuacji z tą sprzed udziału w projekcie, pod kątem tego, co się zmieniło na lepsze, a co na gorsze. Następnie proszeni są o ocenienie wagi poszczególnych korzyści i kosztów oraz wybranie tych, które uznają za najważniejsze. Za pomocą różnych technik badawczych możemy również zapytać o przyczyny poszczególnych zmian i w ten sposób zidentyfikować, które z nich były związane z projektem.
• Innym modelem partycypacyjnego badania wpływu projektu jest „Ocena najważniejszej zmiany” (ang. MSC, Most Significant Change). Opiera się on na generowaniu i pogłębionej analizie historii zmian, jakie zaszły w życiu beneficjentów. Te historie zmian powinny być zaobserwowane i odnotowane przez różnych interesariuszy projektu (w tym także samych beneficjentów). Właściwości tej techniki badawczej pozwalają na stosowanie jej po zakończeniu projektu.

Na koniec trzeba jeszcze wspomnieć o możliwości prowadzenia ewaluacji wpływu opartej na metodach statystycznych. Podstawą jest tu  analiza korelacji (współwystępowania) wskaźnika rezultatu i wskaźników działań podejmowanych w ewaluowanym projekcie*. Takie analizy wykonuje się na dużych zbiorach danych, co z czyni ten rodzaj ewaluacji mało użytecznym dla organizacji prowadzących projekty dla relatywnie małej grupy odbiorców**.

Więcej informacji na temat ewaluacji wpływu można znaleźć w kursie on-line (Moduł V).

---

*W takich analizach podstawową metodą jest regresja, w której badana jest siła związku między wskaźnikiem oczekiwanego rezultatu a wskaźnikiem konkretnego działania przeprowadzonego w ramach ewaluowanego projektu, przy statystycznej kontroli (wyłączeniu) wpływu innych czynników, zakłócających badaną relację. 

**Problemem utrudniającym korzystanie ze statystycznych metod ewaluacji wpływu przez małe i średnie organizacje jest, obok skali prowadzonych projektów, także konieczność korzystania z zaawansowanego oprogramowania statystycznego i wykwalifikowanych analityków.

---

 

III. GROMADZENIE DANYCH

 

3.1. Jakie są główne typy metod badań ewaluacyjnych 

Aby oszacować wartość projektu w odniesieniu do przyjętych kryteriów oraz odpowiedzieć na pytania ewaluacyjne, należy w poprawny sposób zebrać niezbędne informacje. Temu celowi służą metody i narzędzia badawcze. Metody badawcze oznaczają określony sposób gromadzenia informacji – jakościowy lub ilościowy – przy pomocy specjalnie w tym celu opracowanych narzędzi, takich jak np. scenariusze wywiadów, arkusze obserwacji czy kwestionariusze. W tym rozdziale możesz prześledzić, czym się różnią te metody i narzędzia badawcze.

Metody jakościowe umożliwiają zbieranie danych w sposób pogłębiony i elastyczny, ale nie pozwalają na poznanie skali badanych zjawisk, ponieważ obejmują niewielką liczbę osób (np. trenerów, wybranych beneficjentów). Z kolei metody ilościowe stosuje się w przypadku dużych grup liczących kilkadziesiąt lub więcej osób. W przypadku liczniejszych grup (np. powyżej 400–500 osób) metody te umożliwiają uogólnienie wniosków uzyskanych w badaniu reprezentatywnej, losowo dobranej próby na całą populację, tj. społeczność interesującą badacza, w tym osoby, które nie uczestniczyły bezpośrednio w danym badaniu. Warunkiem  generalizacji jest reprezentatywność próby osób badanych, czyli maksymalne podobieństwo ich cech socjodemograficznych do populacji, z której zostały wyłonione.

 

Tabela 2. Porównanie jakościowych i ilościowych metod badań ewaluacyjnych.

	Metody  jakościowe	Metody ilościowe
Najczęściej wykorzystywane metody ewaluacyjne i odpowiadające im narzędzia badawcze	Analiza dokumentacji – dyspozycje do analizy dokumentów Pogłębiony wywiad indywidualny (IDI) –-  scenariusz wywiadu IDI, Zogniskowany wywiad grupowy (FGI) – scenariusz wywiadu FGI Obserwacja – arkusz obserwacji Studium przypadku – opracowywane na podstawie informacji zebranych przy pomocy ww. metod	Sondaż (survey) realizowany: a) z udziałem ankietera – wywiad ankieterski oparty na kwestionariuszu papierowym (PAPI) lub elektronicznym (CAPI), wywiad telefoniczny wspierany komputerowo (CATI)  –  kwestionariusz  wywiadu b) bez udziału ankietera – wypełniana samodzielnie przez respondentów/ki ankieta internetowa (CAWI) lub papierowa (w tym audytoryjna) – kwestionariusz ankiety
Cel stosowania	Poznanie, zrozumienie, opis i wyjaśnienie badanych zjawisk i procesów	Określenie skali, natężenia, częstotliwości badanych zjawisk,  ich współwystępowania oraz zależności pomiędzy nimi
Typowe pytania	Co się dzieje? W jaki sposób? Jak to przebiega? Dlaczego?	Ile? W jakim stopniu? Jak często? W związku z czym?
Perspektywa badacza	Konkretne przypadki (osoby, działania, procesy) w celu poznania ich specyfiki, złożoności, różnorodności, przebiegu zdarzeń, rozumienia związków przyczynowo-skutkowych	Zjawiska i cechy grup jednostek ważne dla ewaluowanego projektu (najczęściej beneficjenci), badane w celu poszukiwania ogólnych prawidłowości i schematów
Sposób doboru próby	Dobór celowy (nielosowy) – badacz sam decyduje kogo przebadać (np. na podstawie tego, że dana osoba posiada potrzebne informacje)	Dobór losowy lub nielosowy (np. ochotnicy). W projektach liczących np. do 300 osób stosuje się próbę wyczerpującą, która obejmuje wszystkich beneficjentów.
Liczebność badanej próby	Małe próby, tj. kilka, kilkanaście przypadków	Duże próby, tj. liczące co najmniej kilkadziesiąt osób
Uogólnianie wyników	Nie można generalizować wyników ze względu na brak reprezentatywności badanej próby (wnioski z badania odnoszą się wyłącznie do osób, które w nim uczestniczyły)	Jest możliwość generalizowania wyników z badania wylosowanej próby na szerszą populację (osób, które nie brały w nim udziału), jeżeli próba ta jest reprezentatywna.

Źródło: Opracowanie własne

 

Oba opisane powyżej  rodzaje metod mają swoje mocne i słabe strony, dlatego w badaniu ewaluacyjnym zawsze warto stosować zarówno metody jakościowe, jak i ilościowe. Podejście to jest zgodne z zasadą triangulacji, której stosowanie ma na celu zapewnienie wysokiej jakości gromadzonych informacji. Triangulacja oznacza także wykorzystywanie różnych źródeł informacji, typów zbieranych danych, technik analitycznych oraz teorii wyjaśniających zidentyfikowane zależności/mechanizmy, a także różnych osób prowadzących ewaluację (których kompetencje powinny się uzupełniać). Zapewnienie zróżnicowania tych elementów umożliwia:

• całościowe poznanie i zrozumienie ewaluowanego obiektu,
• uwzględnienie różnych punktów widzenia i aspektów badanego zjawiska,
• uzupełnienie i pogłębienie gromadzonych danych,
• weryfikację zebranych informacji,
• zwiększenie obiektywności formułowanych wniosków.

 

3.2. Jakie metody i narzędzia są zazwyczaj używane w ewaluacji

Aby ułatwić wybór metod najbardziej odpowiednich dla danej koncepcji ewaluacji poniżej zamieszczono krótkie opisy  najpopularniejszych z nich: 

1. metody jakościowe

• analiza dokumentacji (desk research),
• pogłębiony wywiad indywidualny (IDI)
• zogniskowany wywiad grupowy (FGI)
• obserwacja
• studium przypadku

2. metody ilościowe (sondaże)

• wywiady kwestionariuszowe prowadzone przy pomocy ankietera – przy użyciu kwestionariusza papierowego (PAPI), wspomagany komputerowo (CAPI), lub telefoniczny (CATI),
• badania ankietowe realizowane bez udziału ankietera – samodzielnie wypełniana ankieta internetowa (CAWI) lub papierowa, w tym audytoryjna –  wypełniana w jednym miejscu i czasie jednocześnie przez grupę osób.

3. metody aktywne/ warsztatowe (mieszane, tj. jakościowo-ilościowe).

 

3.2.1. Analiza dokumentacji

Analiza dokumentacji (ang. desk research) to najłatwiej dostępna metoda zbierania informacji, w której wykorzystuje się dane zastane, tj. takie, które powstały niezależnie od działań badaczy. 

Wśród danych zastanych można wyróżnić dane wewnętrzne (powstające na potrzeby ewaluowanego projektu) oraz dane zewnętrzne:

• Dane wewnętrzne są to informacje tworzone przy okazji przygotowywania i realizacji działań projektowych (np. wniosek projektowy, scenariusze szkoleń, listy obecności, umowy, zdjęcia, filmy i materiały o projekcie zamieszczane w internecie, posty i reakcje w mediach społecznościowych). W przypadku projektów szkoleniowych dla młodzieży poszukującej pracy mogą to być także wyniki pomiaru kompetencji beneficjentów na początku i na końcu udziału w projekcie (testów wiedzy, umiejętności, badania postaw itp.)

• Dane zewnętrzne są to informacje, które mogą dotyczyć tego badanego zjawiska, procesów czy grupy docelowej, lecz zostały zebrane niezależnie od ewaluowanego projektu (np. statystyki, repozytoria danych, raporty, artykuły, książki, filmy, zdjęcia i inne materiały dostępne w internecie). W przypadku ewaluacji projektów dotyczących zatrudnienia warto korzystać z informacji o analogicznych projektach, a także danych  dotyczących zatrudnienia młodzieży zamieszkałej w danej miejscowości, którymi dysponują np. urzędy pracy, ZUS, GUS, urzędy marszałkowskie itp. 

Analiza dokumentacji jest podstawową metodą zbierania informacji nt. danego projektu, dostarcza wiedzy nt. potrzeb jego odbiorców i kontekstu ewaluowanego projektu. 

 

WARUNKI ZASTOSOWANIA: coraz więcej instytucji publicznych udostępnia dane administracyjne zgodnie z zasadą transparentności działania instytucji publicznych oraz partycypacji obywatelskiej (koncepcja open government). Ważna jest jednak ocena rzetelności i trafności pozyskanych danych w oparciu o informacje metodologiczne zawarte w dokumentacji źródłowej.

 

ZALETY:

• dostępność – szczególnie gdy chodzi o informacje zamieszczone w internecie, 
• duża różnorodność – możemy skorzystać z dowolnych danych/materiałów związanych z prowadzoną ewaluacją, 
• brak lub niskie koszty pozyskania informacji – większość dokumentów jest dostępna bezpłatnie,
• w przypadku danych zewnętrznych – brak obciążenia danych wpływem badacza.

WADY: 

• zróżnicowana wiarygodność danych – trzeba uwzględniać rzetelność źródła informacji oraz kontekst ich powstawania (w jakich warunkach, kto i po co je zgromadził i analizował),
• ograniczenia w dostępie i korzystaniu z danych wewnętrznych ze względu na ochronę danych osobowych, prawa autorskie i majątkowe.

3.2.2. Pogłębiony wywiad indywidualny (IDI)

Wywiad indywidualny ma formę bezpośredniej rozmowy badacza z osobą badaną, prowadzonej na ogół przy użyciu scenariusza. Wywiad ten umożliwia uzyskanie obszernych, wnikliwych oraz pogłębionych informacji, poznanie opinii, doświadczeń, interpretacji i motywów postępowania osoby badanej, zbadanie faktów z jej perspektywy, a także zrozumienie jej poglądów. 

WAŻNE Język wywiadu powinien być zawsze dostosowany do rozmówcy. W wywiadach (szczególnie tymi z osobami młodymi) należy posługiwać się prostym językiem i unikać specjalistycznego słownictwa, które może powodować niezrozumienie zadawanych pytań i onieśmielać rozmówców.

 

WARUNKI STOSOWANIA: wywiad indywidualny najlepiej przeprowadzać w pomieszczeniach wyciszonych i gwarantujących dyskrecję. Częstą praktyką jest nagrywanie wywiadu, jednak badany nie zawsze musi się na to zgodzić. W takim wypadku badacz sporządza notatki na bieżąco i uzupełnia je zaraz po zakończeniu spotkania. Zalecane jest prowadzenie wywiadu przez osobę spoza personelu projektu, by uniknąć sytuacji, w które rozmówca może czuć się skrępowany wyrażaniem szczerych opinii.

 

ZALETY:

• możliwość omówienia skomplikowanych i szczegółowych zagadnień, 
• lepsze zrozumienie punktu widzenia osoby badanej („wejście w jej buty”), 
• poznanie faktów w kontekście sytuacyjnym,
• elastyczność – możliwość dostosowania się do rozmówcy oraz zadawania dodatkowych pytań niezamieszczonych w scenariuszu 

WADY:

• niechęć niektórych badanych do wyrażania szczerych opinii spowodowana brakiem anonimowości,
• wpływ cech osobowościowych badanego na uzyskiwane wyniki np. trudność w pozyskaniu informacji od osób małomównych, nieśmiałych, wycofanych. 

 

NARZĘDZIE BADAWCZE: realizacja wywiadu może być wspomagana przez scenariusz wywiadu indywidualnego, który zawiera listę pytań lub zagadnień do omówienia z rozmówcą.  Osoba prowadząca wywiad może zmieniać kolejność pytań lub dodawać pytania nie uwzględnione w scenariuszu, jeśli jest to potrzebne dla lepszego zrozumienia danej kwestii. 

 

PRZYKŁAD SCENARIUSZA POGŁĘBIONEGO WYWIADU INDYWIDUALNEGO Z ZESPOŁEM PROJEKTOWYM (KADRĄ PROJEKTU) I. Wdrażanie projektu 1. Czy brał(a) Pan(i) wcześniej udział w realizacji podobnych projektów? Jeśli tak, to w jakich? W jakich rolach Pan(i) w nich uczestniczył(a)? 2.  Jakie są Pani/Pana obecne obowiązki związane z realizacją tego projektu? II. Proces wdrażania projektu 1.  W jaki sposób przebiegał proces rekrutacji uczestników projektu? Czy pozyskano zakładaną liczbę osób? Czy napotkano na jakieś utrudnienia w procesie rekrutacji? Na czym one polegały? Czy projekt cieszył się zainteresowaniem jego adresatów? 2.  Czy osoby biorące udział w tym projekcie zgłaszały jakieś uwagi nt. jego realizacji? Czego one dotyczyły? Czy w związku z tym wprowadzono jakieś zmiany? 3.  Czy projekt był dotychczas modyfikowany z jakiś innych powodów? Na czym polegały te zmiany? Czym były spowodowane? 4.  Czy projekt wymaga dalszych zmian? W jakim zakresie? Co mogłoby usprawnić jego realizację? Czy projekt wymaga uzupełnienia o jakieś dodatkowe elementy? Jeśli tak, to jakie? 5.  Czy w projekcie osiągane są zaplanowane produkty i rezultaty? Czy proces ten przebiega zgodnie z założonym harmonogramem? 6.  Czy dostrzega Pan(i) jakieś zagrożenia dla realizacji projektu/osiągnięcia założonego poziomu produktów i rezultatów? Jeśli tak, to jakie? W jaki sposób można im przeciwdziałać? III. Ocena dotychczasowych osiągnięć 1. Jakie elementy ułatwiały realizację projektu? 2. Jakie elementy utrudniały wdrażanie projektu? Jakie były przyczyny tych trudności? W jaki sposób usiłował(a) Pan(i) sobie z nimi poradzić? 3. Czy brakowało Pani/Panu jakiś zasobów (ludzkich, czasowych, organizacyjnych, technicznych, finansowych), dzięki którym realizacja projektu byłaby łatwiejsza? Jakie inne zmiany mogłyby się przyczynić do łatwiejszej realizacji tego projektu? 4. Jakie zmiany pomogłyby bardziej dostosować projekt do potrzeb odbiorców? 5. Proszę wymienić mocne/słabe strony tego projektu.

Źródło: Opracowanie własne

SZABLON: SCENARIUSZ POGŁĘBIONEGO WYWIADU INDYWIDUALNEGO

 

3.2.3. Zogniskowany wywiad grupowy (FGI)

Wywiad grupowy to rozmowa z grupą ok. 6-8 osób, prowadzona przez moderatora, który podaje zagadnienia do dyskusji oraz wspiera jej przebieg. Uczestnicy FGI są dobierani zgodnie z założeniami określonymi przez badacza oraz ich znajomością danych zagadnień.

 

WAŻNE  W przypadku młodzieży dyskusja powinna być podzielona na krótsze części, angażujące wszystkich uczestników, aby zbyt szybko się nie zdekoncentrowali/znudzili. Warto wykorzystywać narzędzia multimedialne, elementy grywalizacji czy niestandardowe rozwiązania np. papierową kostkę z pytaniami, rzucaną samodzielnie przez uczestników spotkania. W dyskusji pomocny jest flipchart, na którym zapisuje się spostrzeżenia grupy.

 

WARUNKI STOSOWANIA: jednym z kluczowych warunków powodzenia wywiadu grupowego jest trafny dobór osób dysponujących określonymi informacjami, którymi będą  się wymieniać. Ważne jest zagwarantowanie komfortu uczestnikom spotkania poprzez zorganizowanie go w sali odpowiedniej wielkości, wyciszonej, z wygodnymi miejscami do siedzenia oraz kwadratowym lub okrągłym stołem, który umożliwia wszystkim kontakt wzrokowy. 

 

ZALETY

• poznanie różnych punktów widzenia, uwzględnienie odmiennych opinii uczestników grupy,
• wzajemna weryfikacja i uzupełnianie informacji przez różnych uczestników dyskusji,
• możliwość obserwowania interakcji zachodzących pomiędzy osobami badanymi,
• pozyskiwanie istotnych informacji w relatywnie krótkim czasie.

WADY

• dynamika procesów grupowych, w tym presja na spójność opinii może prowadzić do nieujawnienia zdania mniejszości, np. z powodu zdominowania wywiadu przez lidera grupy rówieśniczej, 
• ryzyko przeniesienia na forum grupy konfliktów czy złych relacji personalnych, obniżające efektywność badania oraz wiarygodność uzyskanych wyników,
• trudności organizacyjne (konieczność zebrania grupy osób w danym miejscu i czasie, zapewnienie odpowiednio wyposażonej sali). 

 

NARZĘDZIE BADAWCZE: narzędziem, którym posługuje się moderator w tej metodzie, jest scenariusz wywiadu grupowego, zawierający zasady dyskusji grupowej, określone zagadnienia/pytania i wytyczne dotyczące różnych form aktywności, w jakie moderator ma angażować uczestników. 

 

PRZYKŁADOWY SCENARIUSZ ZOGNISKOWANYCH WYWIADÓW GRUPOWYCH (FGI) REALIZOWANYCH W RAMACH BADANIA POTRZEB SZKOLENIOWYCH I. CELE BADANIA FGI: ·        uzyskanie wstępnych informacji nt. potrzeb szkoleniowych młodych ludzi · zgromadzenie danych służących skonstruowaniu kwestionariusza wywiadów telefonicznych (CATI), które będą realizowane w II etapie badania II. GRUPA DOCELOWA: – osoby odpowiedzialne za zarządzanie personelem i/lub szkoleniami w organizacjach III. PROGRAM SPOTKANIA 1.     WSTĘP (czas trwania – ok. 30 minut) a)     Przywitanie i wyjaśnienie celu spotkania (tekst: Szanowni Państwo, nazywam się … i witam na spotkaniu, które zostało zorganizowane przez… w celu zebrania informacji na temat potrzeb szkoleniowych młodych ludzi. Nasze spotkanie jest realizowane w ramach projektu „XYZ”. Projekt ten jest finansowany przez….i realizowany we współpracy z… Celem projektu jest…) b)     przedstawienie się uczestników FGI c)     informacja o nagrywaniu wywiadu, zapewnienie o anonimowości (tekst: przebieg naszego spotkania będzie rejestrowany w formie zapisu audio. Jest to konieczne ze względu na brak możliwości dokładnego notowania Państwa wypowiedzi. Zapewniam, że nikt nie będzie imiennie cytowany, a zapis naszej rozmowy oraz wszelkie dane osobowe dotyczące jej uczestników zostaną wykorzystane wyłącznie w celach badawczych i nie będą ujawniane osobom postronnym) omówienie zasad dyskusji grupowej (tekst: w celu ułatwienia przebiegu naszej rozmowy proponuję kierowanie się w jej trakcie następującymi zasadami: · każda osoba ma prawo do wyrażania własnego zdania – nie obowiązuje nas jednomyślność. Każda opinia jest dla nas ważna i cenna – nie ma dobrych, ani złych wypowiedzi, zależy nam na tym, by były one szczere, · nie przerywamy sobie nawzajem – w danym momencie mówi tylko jedna osoba. Zwracamy się przede wszystkim do innych uczestników spotkania, a nie do osoby prowadzącej, · w razie nieporozumienia prosimy o wyjaśnienie danej kwestii. Osoba prowadząca spotkanie będzie się upewniała, czy dobrze rozumie Państwa wypowiedzi i zbierała wyrażane opinie w formie wniosków, · ściszamy bądź wyłączamy telefony komórkowe, rozmowy telefoniczne prowadzimy wyłącznie na zewnątrz, · prosimy o trzymanie się przez uczestników spotkania tematów, którym jest ono poświęcone – rolą moderatora będzie m.in. sprowadzanie dyskusji na właściwe tory i pilnowanie, by uczestnicy nie odchodzili od głównego wątku dyskusji. 2. DYSKUSJA OTWIERAJĄCA (czas trwania – ok. 70 minut)   2.1. Skala potrzeb szkoleniowych młodych ludzi (ok. 35 minut) Czy młodzi ludzie uczestniczą w szkoleniach? Jaki jest ich zakres tematyczny / wymiar czasowy / forma? Jakie czynniki utrudniają młodym ludziom udział w szkoleniach? Jakie warunki powinny być spełnione, by młodzi ludzie brali udział szkoleniach? Jakie bariery mogą utrudniać im udział w szkoleniach? 2.2.  Motywacja młodych ludzi do udziału w szkoleniach (ok. 35 minut) Czy i w jakim stopniu młodzi ludzie są zainteresowani udziałem w szkoleniach? Czy występują jakieś różnice w zakresie potrzeb szkoleniowych ze względu na płeć? Z czego one wynikają? W jaki sposób można motywować te dwie grupy młodych osób do podnoszenia swoich kwalifikacji?      Jak duże jest zainteresowanie szkoleniami e-learningowymi? Czy młodzi ludzie mieli okazję uczestniczyć w tego rodzaju szkoleniach? Jeśli tak, to w jakich? Jakimi szkoleniami młodzi ludzie są najbardziej zainteresowani – stacjonarnymi, mieszanymi, zdalnymi? 3. KWESTIE SZCZEGÓŁOWE (czas trwania – ok. 70 minut)   3.1.  Obszary tematyczne szkoleń – priorytetyzacja (ok. 30 minut) Proszę wskazać tematykę szkoleń, które powinny być realizowane przez młode osoby w ramach kształcenia stacjonarnego / zdalnego / mieszanego: zakresy oraz obszary tematyczne i konkretne zagadnienia (burza mózgów). Które z tych szkoleń powinny być realizowane w pierwszej kolejności? 3.2.  Warunki udziału w szkoleniach (ok. 40 minut) a) Kiedy powinny się odbywać szkolenia? Czy młodzi ludzie będą mieli możliwość udziału w w nich w ciągu dnia? Czy szkolenia stacjonarne powinny odbywać się w systemie wieczorowym lub weekendowym? Gdzie mogą się one odbywać? b) Czy młodzi ludzie dysponują sprzętem umożliwiającym korzystanie z e‑learningu? c)  Jak długo powinny trwać zdalne szkolenia (wymiar godzinowy)? d) Co może utrudniać młodym ludziom udział w kształceniu na odległość? 4. PODSUMOWANIE (czas trwania – ok. 15 minut) zebranie uzyskanych informacji (ew. doprecyzowanie pewnych kwestii) – wnioski informacja o sposobie wykorzystania zgromadzonych wyników podziękowanie za udział w spotkaniu

Źródło: Opracowanie własne

 

3.2.4. Obserwacja

Metoda ta polega na uważnym przyglądaniu się i przysłuchiwaniu badanym osobom oraz sytuacjom (zjawiskom, zdarzeniom). Obserwacja może mieć charakter uczestniczący, częściowo uczestniczący lub nieuczestniczący, w zależności od stopnia zaangażowania badacza, który może występować w roli aktywnego uczestnika obserwowanych przez siebie zdarzeń bądź zewnętrznego, niezaangażowanego obserwatora.
Obserwację można prowadzić w sposób jawny (uczestnicy wiedzą, że są obserwowani), częściowo jawny (o obserwacji wiedzą wybrane osoby, np. trener i/lub organizator szkolenia) lub niejawny (o obserwacji wie jedynie obserwator).

 

WARUNKI STOSOWANIA: jeśli obserwacja ma charakter nieuczestniczący, obserwator nie powinien wchodzić w  kontakt/relacje z obserwowanymi osobami, gdyż niesie to ryzyko braku obiektywizmu w odnotowywaniu i interpretowaniu faktów. 

 

ZALETY:

• pozyskanie informacji o danym zdarzeniu/procesie w trakcie jego przebiegu,
• poznanie faktów pozbawionych interpretacji uczestników zdarzeń (badanie rzeczywistych zachowań, a nie subiektywnych relacji bądź deklaracji),
• ułatwienie  interpretowania badanych zdarzeń,
• możliwość poznania zjawisk zazwyczaj ukrywanych, niezauważalnych lub niechętnie omawianych.

WADY:

• ryzyko wpływania badacza na przebieg zdarzeń (świadomość badanych, że są obserwowani może zmieniać ich zachowania),
• ograniczony zasięg obserwacji, trudność w uzyskaniu dostępu do wszystkich zjawisk,
• ryzyko subiektywności (badacz może przejąć stereotypy funkcjonujące w danym środowisku, postrzegać i interpretować zdarzenia na korzyść obserwowanej grupy).

 

NARZĘDZIE BADAWCZE: obserwacja może być prowadzona przy użyciu narzędzia badawczego, którym jest arkusz obserwacji. Jego stosowanie ogniskuje uwagę obserwatora na wybranych zagadnieniach oraz umożliwia odnotowywanie istotnych informacji (np. zachowań osób uczestniczących w obserwowanych wydarzeniach), które mogą mieć charakter nie tylko jakościowy, lecz także ilościowy (tzw. check lista).

PRZYKŁADOWY ARKUSZ OBSERWACJI SZKOLENIA

 

3.2.5. Studium przypadku

Jest to pogłębiona analiza danego zagadnienia oparta na informacjach pochodzących z różnorodnych źródeł, zebranych różnymi metodami. Jej wyniki są prezentowane w narracyjnej formie. Analizowanym „przypadkiem” może być nie tylko osoba czy grupa osób,ale także określone działania, projekt, grupa projektów itp. 

Studium przypadku stosuje się, aby:

• dogłębnie poznać i zrozumieć dane zjawisko wraz z jego kontekstem, przyczynami i konsekwencjami,
• zilustrować określone zagadnienie za pomocą realistycznego, szczegółowo opisanego  przykładu, 
• wygenerować hipotezy do dalszych badań,
• przedstawić oraz przeanalizować najlepsze/najgorsze praktyki, aby zarekomendować co warto, a czego nie należy robić.   

WARUNKI ZASTOSOWANIA: metoda ta wymaga czasu na zebranie i analizę różnorodnych danych dotyczących badanego zjawiska/obiektu, jego kontekstu oraz zachodzących procesów czy mechanizmów. Studium przypadku najlepiej wykorzystywać jako uzupełnienie innych metod badawczych.

 

ZALETY:

• stanowi źródło wyczerpujących informacji na dany temat,
• wykorzystuje różne punkty widzenia, dzięki czemu nadaje opisowi i analizie szerszą perspektywę,
• uwzględnia kontekst badanych zjawisk.

WADY:

• zazwyczaj wymaga posłużenia się różnymi źródłami informacji, czasem trudno dostępnymi,
• jest pracochłonna i czasochłonna,
• w przypadku przedstawienia niepełnych danych można się narazić na zarzut małej wiarygodności.

 

3.2.6. Wywiady kwestionariuszowe prowadzone przez ankieterów

Metody kwestionariuszowe opierają się na standaryzacji, która pozwala zbierać i zliczać dane ilościowe w ujednolicony sposób, a także umożliwia ich analizę statystyczną. Standaryzacja obejmuje:

• narzędzie badawcze (kwestionariusz wywiadu) – kolejność, treść i formę pytań zadawanych respondentom,
• sposób zapisu odpowiedzi respondentów poprzez wybór jednej opcji (na skali) lub kilku możliwości do wyboru z zestawu gotowych odpowiedzi,
• zachowanie ankieterów, którzy są zobowiązani postępować w trakcie wywiadu zgodnie z instrukcjami zawartymi w kwestionariuszu.

Informacje udzielone przez respondentów są zapisywane w bazie danych, a następnie poddawane analizie statystycznej.

Wywiady kwestionariuszowe są realizowane przez przeszkolonych ankieterów, którzy odczytują respondentom pytania z kwestionariusza i zapisują uzyskane odpowiedzi. Wyróżniamy następujące techniki tego rodzaju badań:

• wywiad bezpośredni przy użyciu kwestionariusza papierowego – PAPI (ang. Paper and Pencil Interview),
• wywiad bezpośredni wspomagany komputerowo – CAPI (ang. Computer-Assisted Personal Interview),
• wywiad telefoniczny wspomagany komputerowo – CATI (ang. Computer-Assisted Telephone Interview).

 

3.2.6.1.  Wywiad bezpośredni przy użyciu kwestionariusza papierowego (PAPI) lub elektronicznego (CAPI) 

Obie opisywane tu techniki mają charakter terenowy i są realizowane w bezpośrednim kontakcie respondenta z ankieterem przy użyciu kwestionariusza wywiadu w wersji papierowej (PAPI) lub elektronicznej, wyświetlającej się w laptopie czy na tablecie (CAPI). Ankieter odczytuje pytania zawarte w kwestionariuszu, a następnie zaznacza w nim odpowiedzi udzielone przez respondenta. 

 

WARUNKI STOSOWANIA: szeroki zakres tematyczny oraz wymagane bezpośrednie (F2F) spotkanie ankietera/ki z respondentem/ką. Do przeprowadzenia wywiadu najlepiej nadaje się miejsce odizolowane od hałasów i obecności osób trzecich (w warunkach domowych/ zawodowych należy zadbać o to, by osoby postronne, takie jak członkowie rodziny czy współpracownicy, nie wpływali na odpowiedzi osoby badanej). 

 

ZALETY:

• bezpośredni, bliski kontakt z badanymi (możliwość obserwowania sygnałów niewerbalnych, reagowania na niezrozumienie pytania czy zmęczenie respondenta),
• większa gotowość respondentów do odbycia dłuższego wywiadu i odpowiedzi na trudniejsze pytania niż przy wywiadzie telefonicznym (CATI),
• w przypadku CAPI zaletą jest automatyczne zapisywanie informacji w bazie danych.

WADY:

• wyższe koszty, obejmujące czas i koszt dojazdu oraz umówienia osobistego spotkania z respondentem,
• brak poczucia anonimowości u respondenta, 
• nieświadomy wpływ osoby ankietera na odpowiedzi respondenta (efekt ankieterski), 
• w przypadku PAPI ankieter musi po zakończeniu wywiadu ręcznie wprowadzić dane z kwestionariusza do bazy danych, co jest czasochłonne, stanowi dodatkowy koszt i wiąże się z ryzykiem pomyłek.

 

3.2.6.2.  Computer-Assisted Telephone Interview (CATI)

Ten wywiad jest realizowany drogą telefoniczną. Ankieter odczytuje respondentowi pytania z ekranu komputera, a następnie zaznacza odpowiedzi w elektronicznym kwestionariuszu. 

 

WARUNKI STOSOWANIA: badanie utrwalonych opinii i postaw, z wykorzystaniem pytań nie wymagających dłuższego namysłu ze względu na krótki czas trwania wywiadu (max. 10-15 minut), a także specyficzny kanał przekazu i odbioru informacji (brak możliwości kilkukrotnego jej przeczytania we własnym tempie).  

 

ZALETY

• krótszy czas realizacji oraz niższy koszt dotarcia do respondenta w porównaniu z wywiadami bezpośrednimi (PAPI, CAPI),
• elastyczność czasowa – możliwość dostosowania pory wywiadu do preferencji respondenta oraz przerwania rozmowy i jej późniejszego kontynuowania w dogodnym momencie,
• łatwość zarządzania i kontroli pracy ankieterów,
• automatyczne zapisywanie danych w trakcie wywiadu.

WADY:

• możliwa trudność w uzyskaniu numerów telefonów do osób badanych (ze względu na brak dostępu i/lub ochronę danych osobowych), zaś w przypadku pracodawców – brak spersonalizowanych kontaktów (dysponowanie wyłącznie numerami telefonów recepcji/centrali),
• czas trwania wywiadu ograniczony do 10-15 minut (ze względu na chwiejną koncentrację i krótkotrwałe zaangażowanie respondentów),
• skłonność badanych do wybierania skrajnych wartości na skali, bądź początkowych i końcowych odpowiedzi (wynikająca ze specyficznego kanału przekazu informacji, który nasila tzw. efekt pierwszeństwa oraz efekt świeżości). 

 

3.2.7. Badania ankietowe realizowane bez udziału ankietera

Badania ankietowe polegają na tym, że respondent samodzielnie odczytuje pytania i zaznacza odpowiedzi w kwestionariuszu ankiety . 

WARUNKI STOSOWANIA: badania ankietowe mogą być realizowane w formie papierowej lub on-line (tj. ankiety internetowej CAWI, ang. Computer-Assisted Web Interview). W tym drugim przypadku respondenci otrzymują link do strony internetowej z kwestionariuszem ankiety, którą mogą wypełnić na komputerze, tablecie lub smartfonie. Po udzieleniu odpowiedzi dane przesyłane są na serwer, gdzie są automatycznie zapisywane w bazie danych. 

Bardzo efektywnym sposobem zbierania danych ilościowych jest badanie audytoryjne, które polega na wypełnianiu ankiet przez osoby znajdujące się jednocześnie w tym samym pomieszczeniu np. w sali szkoleniowej, konferencyjnej czy w szkole. W przypadku tej techniki badawczej należy zadbać o to, by osoby badane samodzielne wypełniały ankiety (bez udziału innych osób).

ZALETY:

• krótki czas pozyskania informacji (szczególnie w przypadku ankiety audytoryjnej),
• niższy koszt realizacji w porównaniu z wywiadami realizowanymi przez ankieterów,
• poczucie anonimowości u osób wypełniających ankietę,
• brak efektu ankieterskiego. 

WADY:

• brak ankietera może zmniejszać motywację respondentów do wypełnienia kwestionariusza, 
• brak kontroli nad procesem wypełniania ankiety,
• ryzyko konsultowania odpowiedzi z innymi osobami,
• skonstruowanie dobrego kwestionariusza ankiety wymaga dużych kompetencji i jest dość pracochłonne (dopracowane instrukcje, objaśnienia i forma graficzna).

WAŻNE Kwestionariusz ankiety powinien: być krótki, łatwy, i atrakcyjny graficznie, by zachęcić do jego wypełnienia, posiadać niezbędne wskazówki i objaśnienia (które w przypadku innych metod są  udzielane przez ankietera), mieć klarowne reguły przejścia, tj. instrukcje (wersja papierowa) lub algorytmy (w wersji elektronicznej) prowadzące respondenta do  odpowiednich dla niego pytań (na podstawie wcześniejszych odpowiedzi niepasujące pytania są pomijane).

 

PRZYKŁADOWY KWESTIONARIUSZ ANKIETY DLA UCZESTNIKÓW SZKOLEŃ

 

3.2.8 METODY AKTYWNE / WARSZTATOWE W GRUPOWEJ PRACY Z MŁODZIEŻĄ 

Poniżej prezentujemy dodatkowe metody zbierania danych (głównie jakościowych), które ze względu na aktywną formę mogą być szczególnie użyteczne podczas grupowej pracy z młodzieżą, ponieważ angażują, integrują grupę, ułatwiają współpracę oraz wspomagają rozwój kompetencji miękkich.

Metody aktywne to warsztatowe sposoby gromadzenia informacji, które mogą  uzupełniać „klasyczne” metody badań ewaluacyjnych. Pozwalają one na uzyskanie szybkiej informacji zwrotnej na temat danego działania, poznanie ocen, odczuć i wrażeń uczestników, a także wypracowanie rekomendacji. Z metod tych warto korzystać podczas warsztatów,  szkoleń czy konferencji m.in. po to, by uatrakcyjnić spotkanie, poznać uczestników i lepiej dostosować działania projektowe do ich potrzeb. 

 

ZALETY:

• szybkość (informację zwrotną otrzymujemy podczas danych zajęć/spotkania),
• swobodna atmosfera,
• projekcyjny charakter zadań/pytań powoduje, że łatwiej jest formułować krytyczne opinie oraz proponować nowe rozwiązania,
• możliwość łącznego zbierania danych jakościowych i ilościowych,
• pobudzenie autorefleksji,
• korzystny wpływ na samopoczucie uczestników (zaspokojenie potrzeby ekspresji, akceptacji, integracji).

WADY:

• brak możliwości generalizowania uzyskanych wniosków na szerszą zbiorowość (nie uczestniczącą w spotkaniu),
• konieczność moderowania/facylitowania przez doświadczonego szkoleniowca/moderatora,
• brak anonimowości uczestników w przypadku grupowego zgłaszania i dyskutowania opinii (zagrożenie dobrostanu psychicznego i relacji grupowych dla osób szczególnie wrażliwych lub mających słabą pozycję w grupie).

Poniżej przedstawiamy przykłady aktywnych metod realizowanych w formie warsztatowej.

 

SZNUREK NA PRANIE

Jest to wizualna metoda zbierania danych jakościowych, której celem jest poznanie oczekiwań odbiorców projektu.

Każdy uczestnik dostaje rysunki z ubraniami (np. koszula, majtki, spodnie, skarpetki), które symbolizują rodzaj ich oczekiwań wobec projektu – mogą to być np. nadzieje, obawy, potrzeby, propozycje itp. Uczestnikom wyznacza się odpowiednią ilość czasu na zastanowienie i uzupełnienie poszczególnych rysunków (części garderoby). Po zapisaniu pomysłów każdy z nich „wiesza swoje ubrania” na sznurku zawieszonym lub narysowanym w sali. Uczestnicy mogę przeczytać na głos swoje oczekiwania i obejrzeć „pranie” innych.

 

TELEGRAM

Ta metoda powala szybko podsumować część spotkania (warsztatu, szkolenia), by poznać nastroje panujące w grupie.

Uczestników poproś o przemyślenie danego fragmentu zajęć i opisanie swoich refleksji za pomocą trzech słów: pozytywnego, negatywnego i podsumowującego (np. intensywny – zmęczenie – satysfakcja). Każda osoba czyta swoje słowa, co pozwala na wspólne podsumowanie zajęć (można je spisać na samoprzylepnych karteczkach, a następnie przykleić na flipcharcie itp.)

 

RĘCE

Celem tej metody jest poznanie opinii o wybranych aspektach projektu lub jego części (np. szkolenia, stażu), a także podsumowanie przebiegu i efektów danych zajęć. Osoby  biorące udział w warsztacie otrzymują kartki papieru, na których mają odrysować swoją dłoń. Każdemu z palców zostaje przypisana jedna kategoria oceny ocenianego obiektu, np.

·   na kciuku – co było najmocniejszą/najlepszą stroną szkolenia/projektu,

·   na wskazującym – o czym opowiem znajomym,

·   na środkowym – co było najsłabszą stroną szkolenia/ projektu,

·   na serdecznym – co bym zmienił/a (element wymagający poprawy),

·       na małym – czego się nauczyłem/am lub dowiedziałem/am.

Uczestnicy wpisują na każdym z palców swoje opinie zgodnie z powyższymi kategoriami. Ćwiczenie może posłużyć poznaniu opinii pojedynczych osób i/lub zostać wykorzystane do dyskusji grupowej.

 

RÓŻA EWALUACYJNA

Ta metoda służy do zbierania opinii na temat wielu aspektów projektu/działania projektowego jednocześnie. Jest to metoda wizualna, pozwalająca na zbieranie ilościowych danych – opinii nt. różnych aspektów ocenianego obiektu z wykorzystaniem wspólnej skali.

Uczestnicy otrzymują kartki, na których narysowana jest „róża ewaluacyjna”. Rysunek jest inspirowany „różą wiatrów” – zamiast kierunków świata zamieszcza się na nim różne aspekty ocenianego obiektu, które chce się poddać ocenie (np. przydatność danego szkolenia, atrakcyjność sposobu przekazywania treści, odpowiednia ilość czasu przeznaczona na szkolenie). Osie podzielone są na odcinki, którym przypisana jest wybraną wartości (np. skalę 1-6, gdzie 1 jest najsłabszą oceną, a 6 – najlepszą). Uczestników poproś o zaznaczenie swoich opinii na każdej osi “ewaluacyjnej róży”. Następnie można połączyć punkty i uzyskać atrakcyjny wizualnie obraz swoich opinii (efekt finalny przypomina wykres radarowy).

 

GADAJĄCA ŚCIANA

Celem tej metody jest zebranie opinii o wartości danego działania projektowego lub całego projektu. Dzięki jej zastosowaniu uzyskujemy dane jakościowe (rodzaje opinii) oraz ilościowe (ile osób podziela daną opinię).

Na ścianie rozwieś cztery duże arkusze papieru. Na każdym z nich umieść  pytanie  dotyczące przeprowadzonych zajęć, np. 

• Kartka nr 1: Czego nowego nauczyłeś/aś się podczas szkolenia?
• Kartka nr 2: Jak wykorzystasz nabytą podczas szkolenia wiedzę?
• Kartka nr 3: Co Ci się najbardziej podobało podczas zajęć?
• Kartka nr 4: Co Ci się najmniej podobało podczas zajęć?
• Kartka nr 5: Co byś zmienił/a w tych zajęciach?

Uczestnicy zapisują swoje odpowiedzi na każdym arkuszu lub – jeśli dana opinia już się na nich znajduje – dodają przy niej plus/kropkę. Na zakończenie prowadzący podsumowuje zapisy i zachęca grupę do dyskusji, dzięki której można wypracować rekomendacje. Taka forma zbierania opinii zachęca do większej otwartości, uczestnicy zyskują poczucie sprawczości oraz przełamują opór przed publicznym wypowiadaniem się.

 

KOSZ I WALIZKA

Dzięki tej metodzie można uzyskać podsumowanie szkolenia lub innej aktywności projektowej. Pozwala ona zebrać informacje, które elementy uczestnicy uznali za uczestników przydatne, zbędne czy brakujące. 

Na tablicy/ flipcharcie narysuj walizkę, kosz i worek. Każdy z rysunków symbolizuje jedną kategorię opinii o ewaluowanym działaniu:

• walizka: „Co zabieram ze sobą z tych zajęć?” (co mi się przyda, wykorzystam w przyszłości)
• kosz: „Co było zbędne na szkoleniu?” (co mi się nie przyda, było niepotrzebne),
• worek: „Czego zabrakło?” (co powinno się pojawić, o co można uzupełnić kolejne szkolenie).

Następnie można prosić uczestników/czki o ustne wypowiedzi lub zapisanie opinii na samoprzylepnych karteczkach czy bezpośrednio na rysunkach na flipcharcie. 

 

PRAKTYCZNE WSKAZÓWKI DOT. PROWADZENIA DZIAŁAŃ GRUPOWYCH Warto by uczestnicy siedzieli w kole, aby każdy mógł widzieć pozostałe osoby. Dla zwiększenia ich zaangażowania można zaproponować, aby sami wskazywali kolejną osobę, która się ma wypowiedzieć, np. poprzez rzucanie piłeczki (rozwiązanie to można stosować, pod warunkiem, że w grupie nie ma osób dyskryminowanych). Wypowiedzi ustne należy notować – może to robić osoba prowadząca zajęcia w trakcie ich trwania (np. na tablicy, flipcharcie) lub jej pomocnik.

 

3.3. Jak dobrać odpowiednie metody badawcze?

Metody badawcze muszą być dobrze dopasowane do koncepcji i planu ewaluacji. Aby dokonać trafnego wyboru należy rozważyć, czy dane metody odpowiadają: 

• celowi, przedmiotowi, zakresowi i rodzajowi ewaluacji, a także przyjętym kryteriom i pytaniom ewaluacyjnym – czy dzięki tym metodom zdobędziesz informacje, które są niezbędne do udzielenia odpowiedzi na pytania ewaluacyjne?
• źródłom danych, z których planujesz pozyskać informacje – czy  pozwolą na uzyskanie informacji nt. grupy, która weźmie udział w badaniu ewaluacyjnym? 
• specyfice respondentów – czy metody te uwzględniają liczebność grupy, możliwości percepcyjne, zdolności komunikacyjne, stan zdrowia badanych itp.?
• okolicznościom zbierania danych – czy w momencie realizacji badania będą dostępni respondenci oraz wszystkie potrzebne dane? Czy wybrana metoda odpowiada miejscu gromadzenia danych?
• posiadanym zasobom – czy metoda wymaga udziału wykwalifikowanych, niezależnych badaczy i innych zasobów (organizacyjnych, technicznych, finansowych, czasowych)? Czy będziesz w stanie samodzielnie posłużyć się tymi metodami? Czy Twoje zasoby umożliwiają ich wykorzystanie?

Znajomość metod badawczych (ilościowych oraz jakościowych) i związanych z nimi narzędzi pomoże w przygotowaniu drugiej części koncepcji ewaluacji (zob. rozdz. 2.4., narzędzie 4), która zostanie uzupełniona o kwestie metodologiczne, odnoszące się do gromadzenia informacji umożliwiających udzielenie odpowiedzi na pytania ewaluacyjne.

Narzędzie 6. Matryca logiczna badania ewaluacyjnego (KONCEPCJA EWALUACJI CZ.2)

Kryterium Pod jakim kątem oceniasz ewaluowany projekt? Przenieś tu kryteria wpisane w tabeli ewaluacji cz. 1 (narzędzie 4)	Pytanie ewaluacyjne Czego chcesz się dowiedzieć?  Przenieś tu pytania wpisane w tabeli ewaluacji cz. 1 (narzędzie 4)	Źródło informacji Kto lub co może być źródłem informacji umożliwiających udzielenie odpowiedzi na pytania ewaluacyjne? Uwzględnij różne źródła (min. 2-3 do każdego pytania)	Metoda badawcza W jaki sposób uzyskasz informacje? Uwzględnij zarówno metody jakościowe, jak i ilościowe	Narzędzie badawcze Przy pomocy czego zgromadzisz informacje? Uwzględnij zarówno narzędzia jakościowe, jak i ilościowe
Adekwatność	W jakim stopniu działania projektowe (takie jak rekrutacja do projektu, szkolenia, doradztwo, staże) były dostosowane do potrzeb uczestników/czek oraz pracodawców?	1. Zespół projektowy 2. Osoby prowadzące rekrutację, szkolenia, doradztwo, staże 3. Odbiorcy projektu (osoby młode) 4. Pracodawcy 5. Raport z diagnozy potrzeb odbiorców projektu	1. FGI – wywiad grupowy 2. IDI – wywiady indywidualne 3. FGI/ IDI z wybranymi osobami oraz sondaż (CAWI – ankieta internetowa) 4. Sondaż (CATI – ankieta telefoniczna) 5.Analiza dokumentacji	1. Scenariusz FGI 2. Scenariusz IDI 3. Scenariusz FGI/IDI + kwestionariusz ankiety CAWI 4. Kwestionariusz wywiadu CATI 5. –
Skuteczność	W jakim stopniu zostały osiągnięte założone cele i rezultaty (twarde, miękkie) projektu? Czy jakichś założeń nie udało się zrealizować i dlaczego tak się stało?	1. Dokumenty projektowe (diagnozy, zaświadczenia, wyniki badania przyrostu kompetencji)   2. Zespół projektowy 3. Trenerzy, psycholog, doradca zawodowy 4. Odbiorcy projektu 5. Pracodawcy	1. Analiza dokumentacji 2. FGI 3. IDI 4. FGI/ IDI z wybranymi osobami oraz sondaż (CAWI – ankieta internetowa) + obserwacja wybranych zajęć 5. CATI – ankieta telefoniczna	1. Dyspozycje do analizy dokumentów 2. Scenariusz FGI 3. Scenariusz IDI 4. Scenariusz FGI/ IDI, kwestionariusz ankiety CAWI, arkusz obserwacji 5. Kwestionariusz wywiadu CATI
Efektywność	Czy uzyskane efekty odpowiadają poniesionym nakładom? Czy można było osiągnąć takie same efekty przy wykorzystaniu mniejszych zasobów?	1. Zespół projektowy 2. Dokumentacja finansowa 3. Eksperci ds. rozliczeń w innych projektach 4. Koordynatorzy analogicznych projektów	1. FGI 2. Analiza dokumentacji 3. FGI/ IDI 4. Jw.	1. Scenariusz IDI 2. Dyspozycje do analizy dokumentacji 3. Scenariusz FGI/ IDI 4. Jw.
Użyteczność	W jakim stopniu wypracowane rezultaty projektu są przydatne dla jego odbiorców, tj. osób młodych oraz pracodawców? Czy i jak można zwiększyć tę przydatność?	1. Zespół projektowy 2. Kadra projektu prowadząca dane zajęcia 3. Odbiorcy projektu (osoby młode) 4. Pracodawcy	1. FGI  2. IDI  3. FGI/ IDI z wybranymi osobami, studium przypadku oraz CAWI  4. CATI	1. Scenariusz FGI 2. Scenariusz IDI 3. Scenariusz FGI/IDI + kwestionariusz ankiety CAWI 4. Kwestionariusz wywiadu CATI
Trwałość	Czy wypracowane efekty utrzymują się w czasie po zakończeniu finansowania projektu? Jakie czynniki sprzyjają trwałości wypracowanych rezultatów?	1. Odbiorcy projektu (osoby młode) 2. Otoczenie odbiorców (rodzina, bliscy) 3. Pracodawcy 4. Zespół projektowy	1. FGI/ IDI z wybranymi osobami oraz sondaż (CAWI) 2. FGI/IDI, studium przypadku + ankieta telefoniczna 3. Sondaż (CATI) 4. FGI	1. Scenariusz FGI/IDI + kwestionariusz ankiety CAWI 2. Scenariusz FGI/IDI + kwestionariusz wywiadu CATI 3. Kwestionariusz wywiadu CATI 4. Scenariusz FGI
Oddziaływanie	W jakim stopniu realizacja projektu wpłynęła na poziom aktywności zawodowej i społecznej osób młodych na terenie objętym działaniami projektowymi? Czy efekty projektu wykraczają poza jego bezpośrednich odbiorców, a jeśli tak to na czym to zjawisko polega i jakie mechanizmy je powodują?	1. Dane lokalnego urzędu pracy 2. Pracownik lokalnego urzędu pracy 3. Eksperci ds. rynku pracy 4. Odbiorcy projektu 5. Otoczenie społeczne odbiorców projektu (rodzina, bliscy) 6. Pracodawcy	1. Analiza dokumentacji 2. IDI 3. FGI/ IDI 4. FGI/IDI, studium przypadku + CAWI 5. FGI/ IDI + CATI 6. CATI	1. – 2. Scenariusz IDI 3. Scenariusz FGI/ IDI 4. Scenariusz FGI/ IDI + kwestionariusz ankiety CAWI 5. Scenariusz FGI/ IDI + kwestionariusz wywiadu CATI 6. Kwestionariusz wywiadu CATI
Inne	Jakie elementy ułatwiały a jakie utrudniały wdrażanie projektu z punktu widzenia jego realizatorów (zespołu projektowego i kadry prowadzącej dane działania)? Jakie elementy ułatwiały/ utrudniały beneficjentom udział w projekcie?	1. Zespół projektowy 2. Osoby prowadzące rekrutację, szkolenia, doradztwo, staże 3. Odbiorcy projektu (osoby młode) 4. Pracodawcy 5. Otoczenie społeczne odbiorców projektu (rodzina, bliscy)	1. FGI – wywiad grupowy 2. IDI – wywiady indywidualne 3. FGI/ IDI z wybranymi osobami + sondaż (CAWI – ankieta internetowa) 4. Sondaż (CATI – ankieta telefoniczna) 5. 3. FGI/ IDI z wybranymi osobami + sondaż (CATI – ankieta telefoniczna)	1. Scenariusz FGI 2. Scenariusz IDI 3. Scenariusz FGI/IDI + kwestionariusz ankiety CAWI 4. Kwestionariusz wywiadu CATI 5. Scenariusz FGI/IDI + kwestionariusz wywiadu CATI

Źródło: Opracowanie własne

 

3.4. Jak konstruować narzędzia badawcze?

Często popełnianym błędem jest rozpoczynanie ewaluacji od tworzenia narzędzi badawczych, np. ankiety dla odbiorców projektu. Warto pamiętać o tym, że nie da się wybrać właściwych metod badawczych ani przygotować trafnych narzędzi pomiaru (np. scenariuszy, kwestionariuszy, arkuszy obserwacji) w oderwaniu od całościowej koncepcji ewaluacji. Dlatego do konstruowania narzędzi badawczych przystąp po określeniu: 

• • przedmiotu, zakresu i celu ewaluacji, 
  • kryteriów oraz pytań ewaluacyjnych, 
  • badanych zbiorowości oraz metod badawczych. 

Bez odniesienia się do powyższych elementów nie jesteś w stanie stworzyć poprawnego narzędzia badawczego, ponieważ umieścisz w nim pytania niezwiązane z celem badania, uniemożliwiające udzielenie odpowiedzi na pytania badawcze czy ustosunkowanie się wobec przyjętych kryteriów ewaluacyjnych. Nnarzędzia opracowane w oderwaniu od koncepcji ewaluacji zawierają nieprzydatne pytania, są przeładowane, nie wnoszą istotnych informacji i nie pozwalają na sformułowanie sensownych rekomendacji. 

Pytania zamieszczone w narzędziach badawczych stanowią uszczegółowienie pytań ewaluacyjnych, które ewaluatorzy zadają sobie samym, a nie respondentom! Nie należy mylić tych dwóch rodzajów pytań, ponieważ są one formułowane w językach dostosowanych do potrzeb:

• ewaluatorów / interesariuszy ewaluacji → pytania ewaluacyjne,
• badanych grup osób (ankietowani, respondenci) → pytania w narzędziach badawczych.

Jeśli nie masz pewności, czy dane pytanie należy zadać osobom badanym, spróbuj rozważyć, czy będą one w stanie udzielić odpowiedzi i informacja, którą uzyskasz, pozwoli Ci odpowiedzieć na pytania ewaluacyjne lub sformułować przydatne rekomendacje. 

 

JAK ZADAWAĆ PYTANIA OSOBOM BADANYM?

• Liczba pytań zamieszczonych w narzędziach badawczych musi być adekwatna do celu, przyjętej metody badawczej oraz czasu trwania badania. 
• Narzędzia badawcze powinny mieć przejrzystą strukturę, z wyodrębnionymi głównymi zagadnieniami (np. „powody przystąpienia do projektu”, „ocena różnych rodzajów wsparcia”, „efekty udziału w projekcie”). Poszczególne zagadnienia tematyczne należy pogrupować (np. kwestie organizacyjne).
• Pytania powinny być zadawane w określonym porządku. Na początku narzędzia umieść pytania wstępne (stosunkowo łatwe), po nich pytania wprowadzające w dany temat (niezbyt trudne), a następnie pytania zasadnicze (kluczowe dla celu badania). Najtrudniejsze pytania należy umieścić w środku narzędzia. Na końcu zadaj pytania podsumowujące i zamykające. 
• Pytania powinny być zadawane w logicznej kolejności, która nie może zaskakiwać czy wprawiać osoby badanej w zakłopotanie. Każde pytanie powinno wypływać z poprzedniego lub – w przypadku wywiadu – nawiązywać do wypowiedzi rozmówcy.
• Należy posługiwać się językiem zrozumiałym dla osób badanych – używaj możliwie krótkich zdań, bez specjalistycznych terminów, skrótów, żargonu projektowego.
• Pytania trzeba formułować precyzyjnie – np. nie powinno być wątpliwości, jakiego okresu one dotyczą (nie pytaj „czy w ostatnim czasie…”, ale „czy w ciągu ostatniego tygodnia/ miesiąca/roku…”).
• Nie należy pytać o kilka spraw naraz („jakie są silne i słabe strony projektu?”) ani stosować pytań w formie negacji („czy nie należy…”, „czy nie wolisz…”). Każdy z tych błędów utrudnia zrozumienie pytań i interpretację uzyskanych odpowiedzi. 
• Pytania nie powinny mieć drażliwego charakteru, ponieważ mogłyby prowadzić do ujawniania traumatycznych przeżyć lub deklarowania zachowań/przekonań sprzecznych z prawem czy moralnością. Gdy nie jesteś w stanie zapewnić badanym pełnej anonimowości, nie pytaj ich o stan majątkowy, sprawy rodzinne czy zdrowotne.
• Nie zadawaj pytań sugerujących odpowiedź – nie przedstawiaj żadnej z opcji jako zgodnej z prawem czy moralnością, nie powołuj się na autorytety ani na opinię większości. 

 

PRZYKŁAD PRZEŁOŻENIA KRYTERIUM I PYTANIA EWALUACYJNEGO NA PYTANIA W NARZĘDZIU BADAWCZYM

I. Kryterium: UŻYTECZNOŚĆ (perspektywa: punkt widzenia odbiorców; cel ewaluacji: doskonalenie działań projektowych) II. Pytanie badawcze: W jakim stopniu szkolenie było użyteczne dla uczestników/czek? III. Przykładowe pytania scenariusza IDI z trenerem: 1)  Jakie elementy szkolenia były Pani/Pana zdaniem najbardziej, a jakie najmniej przydatne dla kursantów i dlaczego? 2) Czy to szkolenie mogłoby być bardziej przydatne dla jego uczestników/czek? Co należałoby zmienić, żeby tak było? Dlaczego sądzi Pan(i), że dzięki tej zmianie kurs będzie bardziej przydatny? IV. Przykładowe pytania ankiety dla odbiorców szkolenia: 1) Proszę wskazać elementy szkolenia, które były dla Pani/ Pana najbardziej przydatne (kafeteria: X, Y, Z) 2) Proszę wskazać elementy szkolenia, które były dla Pani/Pana najmniej przydatne (kafeteria: X, Y, Z) 3) Czy to szkolenie mogłoby być dla Pani/Pana bardziej przydatne? (kafeteria: tak; nie; nie wiem) + pytanie otwarte dla osób, które na powyższe odpowiedziały „tak” – Co należałoby zmienić w tym szkoleniu, żeby było ono dla Pani/ Pana bardziej przydatne? (miejsce na wpisanie odpowiedzi……………………………)

Źródło: Opracowanie własne

Różnice pomiędzy ilościowymi i jakościowymi narzędziami badawczymi, struktura / budowa scenariuszy i kwestionariuszy oraz najczęściej popełniane błędy w ich tworzeniu zostały omówione w zdalnym kursie, w Module III . 

V. ANALIZA DANYCH

 

Gdy już zakończysz proces zbierania danych, przejdź do etapu ich analizy. Oznacza to zebranie całego materiału badawczego (informacji pozyskanych różnymi metodami), odpowiedzenie na jego podstawie na pytania ewaluacyjne i ocenienie projektu (czyli przedmiotu ewaluacji), z perspektywy przyjętych kryteriów. Dlatego warto na tym etapie powrócić do koncepcji ewaluacji, która pełni rolę kompasu, prowadzącego badacza przez cały proces badawczy (nie tylko gromadzenie danych, lecz także ich analizę, wnioskowanie na ich podstawie i formułowanie rekomendacji).

Celem analizy danych jest:

• zestawienie i weryfikacja zebranych informacji,
• opis, ocena i zestawienie uzyskanych danych ilościowych i jakościowych (sprawdzenie, na ile są one rzetelne i spójne),
• identyfikacja i wyjaśnienie różnych zależności przyczynowo-skutkowych, które  pozwolą na zrozumienie mechanizmów badanych zjawisk,
• interpretacja wyników ewaluacji w odniesieniu do szerszej wiedzy nt. przedmiotu ewaluacji,
• uzyskanie szczegółowych odpowiedzi na pytania badawcze i wiarygodną ocenę przedmiotu ewaluacji z perspektywy przyjętych kryteriów,
• wyciągnięcie wniosków z zebranych informacji i sformułowanie na tej podstawie użytecznych rekomendacji.

 

W analizie danych należy pamiętać o zasadzie triangulacji, czyli zestawianiu danych uzyskanych np. z różnych źródeł, za pomocą różnych metod badawczych, przez różnych badaczy. Dzięki temu mamy możliwość uzupełnienia, pogłębienia i zweryfikowania poszczególnych informacji, tak by uzyskać pełen obraz ewaluowanego projektu.

 

Choć w czasie analizy danych podejmujemy czynności wspólne dla obu rodzajów danych (ilościowych i jakościowych), takie jak redukcja, prezentacja czy wnioskowanie, w odniesieniu do każdego z nich uzyskujemy wyniki w innej formie. Porównanie tych danych przedstawiono w poniższej tabeli.

 

Tabela 3. Czynności w zakresie analizy danych

CZYNNOŚCI	DANE ILOŚCIOWE	DANE JAKOŚCIOWE
redukcja danych	np. obliczanie procentów, średnich i innych miar	selekcja, upraszczanie, uogólnienie, podsumowanie
prezentacja wyników (przedstawienie ich w spójnej formie)	tabele, wykresy, rysunki	opracowania tekstowe, streszczenia, schematy, matryce, sieci powiązań
wyprowadzanie wniosków i ich weryfikacja	statystyczne testowanie hipotez dotyczących związku pomiędzy badanymi zjawiskami	dostrzeżenie wzorców, regularności, odstępstw, tworzenie wyjaśnień

   Źródło: Opracowanie własne

 

Przed rozpoczęciem analizy danych należy sprawdzić, czy wszystkie materiały badawcze zostały zanonimizowane, a więc czy nie zawierają danych osobowych (imion, nazwisk, adresów, w tym e-mailowych, numerów telefonów, a także innych informacji umożliwiających identyfikację respondentów/ek itp.). Osobom badanym, które uczestniczyły w jakościowej części ewaluacji (wywiadach indywidualnych czy grupowych), należy nadać pseudonimy, np. uwzględniające istotne dla badacza cechy. Dane osobowe respondentów/ek sondaży należy oddzielić od ich wyników ilościowych.

 

Możemy wyróżnić cztery zasadnicze etapy analizy danych:

1. Selekcja i porządkowanie zgromadzonego materiału badawczego (czynności wstępne) – podczas tego etapu sprawdza się poprawność i kompletność danych, weryfikuje rzetelność poszczególnych informacji (dzięki triangulacji), a także usuwa dane bezużyteczne z punktu widzenia celu ewaluacji. Na tym etapie należy zebrać wszystkie zgromadzone informacje oraz ułatwić ich dalszą analizę – nagrania z wywiadów można dosłownie przepisać (sporządzić transkrypcję) lub opracować zgodnie z wcześniej przygotowanym schematem (w którym zamieszcza się streszczenie wypowiedzi osób badanych). W przypadku sondażu odrzuć ankiety wypełnione w niewielkim stopniu itd.

2. Konstruowanie kategorii analitycznych (wybór rodzaju kodowania oraz zakodowanie danych – ich kategoryzowanie i klasyfikowanie), czyli przypisywanie poszczególnym pozyskanym informacjom kodów/„etykiet”, które reprezentują określone kategorie informacji oraz pozwalają na uporządkowanie materiału badawczego. 

• W przypadku pytań zamkniętych kody odpowiedzi przyjmują zazwyczaj postać liczbową (np. „kobieta”=1, „mężczyzna”=2), która umożliwia analizowanie uzyskanych wyników przy pomocy programów statystycznych (lub arkuszy kalkulacyjnych). Najpierw należy sporządzić instrukcję kodową, zawierającą nazwy kodów oraz liczbę dopuszczalnych odpowiedzi w danym pytaniu itp. Ankiety papierowe wymagają ręcznego zakodowania – w tym celu należy ponumerować odpowiedzi w ankiecie, zakodować odpowiedzi i wprowadzić te kody do bazy danych. Ankiety elektroniczne są kodowane automatycznie. 
• W przypadku pytań otwartych i innych danych jakościowych kody odpowiedzi mają postać słowną (np. ocena organizacji szkoleń, przygotowanie trenera). Kody do danych jakościowych można zaplanować przed lub po zapoznaniu się z całością materiału. Ten pierwszy sposób nazywany jest kodowaniem zamkniętym („odgórnym”) – wymaga dobrej znajomości problemu badawczego i/lub oparcia się na konkretnej teorii. Drugi sposób to kodowanie otwarte („oddolne”) – polega na tworzeniu kategorii zidentyfikowanych w zebranym materiale (np. odnoszących się do pytań badawczych). W obu przypadkach należy opracować schemat kodowania, który uporządkuje kody (ustalić hierarchię kodów, kody nadrzędne/zbiorcze i szczegółowe), dzięki czemu będziemy mogli przedstawić zebrane informacje w spójnej formie.

 

Tabela 4. Przykład kodowania jakościowego

Ocena poszczególnych modułów szkoleniowych (kod nadrzędny):	Rodzaje odpowiedzi osób badanych objęte poszczególnymi kodami
adekwatność szkoleń (kod szczegółowy)	Dostosowanie szkoleń do potrzeb respondenta, dostosowanie przekazywanej wiedzy do poziomu jego kompetencji
organizacja szkoleń (kod szczegółowy)	Czas trwania (za długo/za krótko), ilość przekazywanych informacji (za mało/za dużo), ocena formy prowadzonych zajęć (wykłady, warsztaty), proporcje teoria/ćwiczenia, ilość czasu przeznaczonego na dyskusję i pytania.
ocena osób prowadzących zajęcia (kod szczegółowy)	Sposób przekazywania wiedzy, posługiwanie się przykładami, zachęcanie do zadawania pytań, wymiany doświadczeń przez uczestników szkolenia

Źródło: Opracowanie własne

 

Informacje odpowiadające danym kodom można zestawiać w jednej tabeli, co ułatwia wyszukiwanie elementów podobnych czy wspólnych dla osób badanych, jak i takich, które je różnicują. Pozwala również dostrzec zależności między cechami czy sytuacją badanych a ich wypowiedziami.

 

Narzędzie 7. Tabela podsumowująca informacje pochodzące z wywiadów

	osoba 1	osoba 2	osoba 3
Informacje nt. osoby badanej (miejsce zatrudnienia, staż pracy, udział w innych szkoleniach z tej tematyki)
Adekwatność szkoleń do potrzeb badanego (tematyka, poziom, sposób prowadzenia zajęć, ocena materiałów szkoleniowych, brakujące elementy, sposób organizacji)
Wpływ i trwałość efektów szkoleń (przydatność zdobytej wiedzy i umiejętności, ich wpływ na sytuację zawodową i rozwój osobisty)
Podsumowanie (mocne i słabe strony szkoleń, dodatkowe uwagi, rekomendacje – co i w jaki sposób należy zmienić w przyszłości)

Źródło: Opracowanie własne

 

3. Analiza i interpretacja otrzymanych wyników (wyjaśnienie i ocena przez badacza danego zagadnienia/problemu) 

Analiza danych jest istotnym elementem ewaluacji, ponieważ pozwala podsumować wyniki, a także znaleźć wspólne i rozbieżne elementy w zebranych materiałach. Sposób analizy danych warto określić i opisać już na etapie planowania ewaluacji. Dane uzyskane podczas ewaluacji można analizować na szereg sposobów. Najprostszym rozróżnieniem jest podział na: 

• analizę danych ilościowych (liczb, odpowiedzi na pytania zamknięte) – przy prostych analizach można posłużyć się np. programem MS Excel, zaś do bardziej skomplikowanych służą programy statystyczne np. SPSS czy Statistica, obsługiwane przez specjalistów, z usług których można w razie potrzeby skorzystać.

PRAKTYCZNA WSKAZÓWKA W przypadku mało licznych grup nie należy przedstawiać danych ilościowych w postaci procentów, czyli np. pisać, że 20% badanych w dziesięcioosobowej grupie ma daną opinię. Lepiej posłużyć się liczbami bezwzględnymi i napisać, że chodzi tu o 2 osoby.

• analizę danych jakościowych (np. tekstu, wypowiedzi z wywiadu) – przy prostych analizach wystarczy zestawić dane w tabeli/matrycy, zaś przy bardziej obszernym materiale badawczym warto skorzystać z programów ułatwiających analizę, np. QDA Miner, OpenCode, Weft QDA, Atlas.ti.

W poniższej tabeli przedstawiamy krótko kilka z nich:

 

Tabela 5. Opcje analizy danych liczbowych (ilościowych)

Analiza danych ilościowych (takich jak koszt, częstotliwość, cechy fizyczne itd.)	Funkcje w Excelu
Tabele częstości: uporządkowanie zebranych wartości danych w porządku rosnącym wraz z odpowiadającymi im częstotliwościami, aby zapewnić wyraźniejszy obraz zestawu danych.	CZĘSTOŚĆ
Tabele krzyżowe: uzyskanie wskazania częstotliwości występowania dwóch zmiennych (np. płci i częstotliwości uczęszczania do szkoły) występujących jednocześnie.	Funkcje tabeli przestawnych
Korelacja: technika statystyczna mająca na celu określenie, jak silnie powiązane są dwie lub więcej zmiennych.	WSP.KORELACJI
Miary tendencji centralnej: miara podsumowująca, która opisuje cały zbiór danych za pomocą pojedynczej wartości reprezentującej środek ich rozkładu (tj. średnia arytmetyczna, mediana, dominanta/modalna)	ŚREDNIA MEDIANA
Miary rozproszenia: podsumowująca miara opisująca rozkład wartości wokół wartości centralnej (m.in. odchylenie standardowe, wariancja)	ODCH.STANDARDOWE WARIANCJA

 

Tabela 6. Opcje analizy danych tekstowych (jakościowych)

Analizowanie słów (mówionych lub pisanych), w tym wywiadów, dokumentów czy odpowiedzi na pytania otwarte zawarte w kwestionariuszu.

Analiza treści: redukcja dużych ilości nieustrukturyzowanych treści tekstowych do danych istotnych dla pytań badawczych (ewaluacyjnych).

Narracje: konstruowanie spójnych narracji o zmianach zachodzących w życiu osoby, społeczności, w zakresie programu lub polityki.

Linie czasu: lista kluczowych zdarzeń uporządkowana chronologicznie.

Kodowanie tematyczne: nagrywanie lub identyfikacja fragmentów tekstu lub obrazów połączonych wspólnym tematem lub ideą, umożliwiające przyporządkowanie fragmentów tekstu do przyjętych kategorii.

Oprac. własne na podstawie: Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence.

 

WAŻNE Podczas analizy danych niezwykle ważne jest określenie, jakie zmiany zaszły w efekcie realizacji projektu oraz jaką rolę odegrały w nich poszczególne działania. Należy więc odpowiedzieć na pytanie, w jakim stopniu działania projektowe wpłynęły na osiągnięcie założonych wskaźników rezultatów i jaka była rola działań projektowych wśród innych czynników kształtujących oczekiwane zmiany.

W trakcie analizy danych  warto odwołać się do opisywanej wcześniej teorii zmiany przyjętej w ramach opisu logiki projektu. Przy planowaniu zmiany na początku projektu przyjęto pewne założenia dotyczące warunków, które muszą zostać spełnione (zapewnione zasoby,  zrealizowane działania), żeby można było osiągnąć dane rezultaty, czyli zaplanowano łańcuch przyczynowo-skutkowy. Ewaluacja weryfikuje tę teorię – może ją potwierdzić lub wykazać w niej pewne luki (np. brakujące/ zbędne elementy) i zarekomendować udoskonalenia na przyszłość.

Istnieją trzy ogólne strategie wnioskowania przyczynowego. Zastosowanie kombinacji tych strategii może zwykle pomóc w zwiększeniu wiarygodności wyciągniętych wniosków:

Podejście kontrfaktyczne	Oszacowanie tego, co by się stało, gdyby nie było danego projektu; oznacza to użycie metod eksperymentalnych, quasi-eksperymentalnych (czyli także grupy kontrolnej lub porównawczej) czy modelowania statystycznego
Sprawdzenie spójności dowodów ze związkiem przyczynowym	Identyfikowanie wzorców spójnych ze związkiem przyczynowym, który zapisany jest w teorii zmiany, a następnie poszukiwanie dowodów potwierdzających i/lub odrzucających ten związek. Jest to m.in.: sprawdzenie osiągnięcia rezultatów pośrednich, porównanie wyników z przewidywaniami ekspertów, sprawdzanie czasu wystąpienia oddziaływania porównawcze studia przypadków, sprawdzanie spójności z istniejącą literaturą opracowywanie alternatywnych hipotez i ich analiza jakościową analizę porównawczą.
Wykluczanie alternatyw	Określenie możliwych alternatywnych wyjaśnień przyczynowych, a następnie poszukiwanie informacji w celu ustalenia, czy można je wykluczyć. Obejmuje m.in. śledzenie procesu, wykluczenie wyjaśnień technicznych modelowanie za pomocą analizy statystycznej identyfikację innych możliwych wyjaśnień, ich weryfikacje i ew. eliminowanie

Oprac. własne na podstawie: Rogers, P. (2014). Overview: Strategies for Causal Attribution, Methodological Briefs: Impact Evaluation 6, UNICEF Office of Research, Florence.

VI. RAPORTOWANIE

 

6.1. Jak wykorzystać wyniki analizy danych?

Po zakończeniu etapu analizy danych jakościowych i ilościowych dysponujesz dużą ilością informacji, które trzeba dobrze i zarazem mądrze wykorzystać. Dane te powinny się przełożyć na wiedzę, która umożliwić Ci podejmowanie trafnych decyzji w zakresie zarządzania projektem (np. jak lepiej dostosować go do potrzeb odbiorców, jak osiągnąć zbliżone efekty przy wykorzystaniu mniejszych zasobów, jak uzyskać możliwie największy wpływ i trwałość wypracowanych rezultatów).

Schemat 3. Zależności między wynikami (rezultatami analizy danych) a ich interpretacją, wnioskami i rekomendacjami. 

Źródło: Opracowanie własne

W oparciu o wyniki przeprowadzonych analiz wyciągamy wnioski, które odnoszą się do zjawisk czy problemów zidentyfikowanych podczas ewaluacji. Wnioski te dotyczą przede wszystkim tych zagadnień, które obejmowały pytania ewaluacyjne, ale mogą też obejmować kwestie, które zostały dodatkowo zdiagnozowane podczas badania. 

W raporcie ewaluacyjnym przedstawiamy nie tylko wyniki badania ewaluacyjnego, lecz także ich interpretację (czyli odniesienie do szerszej wiedzy nt. badanego zagadnienia), wnioski wypływające z uzyskanych danych oraz towarzyszące im rekomendacje. Powyższy schemat prezentuje zależności zachodzące pomiędzy tymi elementami. Aby ułatwić sobie przejście przez ten proces, możemy się posłużyć pytaniami, które towarzyszą kolejnym etapom (w powyższym schemacie oznaczono je kursywą). 

Z kolei poniżej zamieszczono przykład procesu formułowania wniosków i rekomendacji, dotyczących projektu szkoleniowego skierowanego do NEETs (wyniki odnoszą się do ilościowej części badania).  

 

Narzędzie 8. Porównanie przykładowych wyników, ich interpretacji, wniosków i rekomendacji 

WYNIKI	Szkolenia zawodowe odpowiadały na potrzeby 71% ich uczestników/czek. Szkolenia z zakresu kompetencji miękkich były przydatne dla 63% ich odbiorców/czyń. 85% osób pozostających bez pracy od 6 do 12 miesięcy chce wziąć udział w szkoleniach zawodowych, a 64% w szkoleniach z kompetencji miękkich. 26% osób bezrobotnych od 6 do 12 msc. i 9% osób długotrwale bezrobotnych (tj. od 3 do 5 lat) wyraziło chęć uczestnictwa w ww. szkoleniach.
INTERPRETACJA WYNIKÓW	Badanie potrzeb grupy docelowej umożliwiło dostosowanie oferty szkoleniowej do jej oczekiwań.    Dłuższy czas pozostawania bez zatrudnienia wpływa na obniżenie motywacji odbiorców/czyń projektu do udziału w szkoleniach aktywizujących. Jest to efekt braku wiary w możliwość znalezienia pracy, który nasila się w miarę upływu czasu.
WNIOSKI	Obie formy wsparcia o charakterze szkoleniowym, których celem była aktywizacja zawodowa osób bezrobotnych, były użyteczne i adekwatne do potrzeb większości odbiorców.  Osoby, które krócej pozostawały bez pracy były bardziej zainteresowane udziałem w szkoleniach aktywizujących niż długotrwale bezrobotni.
REKOMENDACJE	Zwiększenie stopnia adekwatności oferowanych w projekcie form wsparcia do potrzeb osób długotrwale bezrobotnych poprzez np. pogłębione badanie oczekiwań tej grupy odbiorców/czyń, zaoferowanie im doradztwa zawodowego, staży oraz indywidualnego wsparcia trenera pracy, a także kontaktu z osobami, które znalazły zatrudnienie po upływie dłuższego okresu czasu. Zwiększenie stopnia użyteczności prowadzonych szkoleń dzięki zmianom w zakresie ich programu, czasu trwania oraz sposobu prowadzenia polegającym na … (trzeba zaproponować konkretne modyfikacje w tych obszarach, na które np. wskazywały osoby badane).

Źródło: Opracowanie własne

Należy pamiętać o tym, by podczas formułowania wniosków wziąć pod uwagę różne uwarunkowania związane z badaniem ewaluacyjnym np. zastosowane metody (jakościowe, ilościowe), sposoby doboru prób czy stopień responsywności (poziom zwrotu ankiet), które mogą prowadzić do ograniczeń we wnioskowaniu. 

 

ZASADY FORMUŁOWANIA WNIOSKÓW: 

• Traktuj swoje wnioski krytycznie i z dystansem, stale poszukując alternatywnych wyjaśnień stwierdzonych zjawisk. Zawsze warto skonsultować sformułowane przez siebie wnioski z inną osobą, najlepiej bardziej doświadczoną, która – dzięki temu, że nie była zaangażowana w prowadzoną ewaluację – spojrzy na nie świeższym okiem niż Ty;
• Upewnij się, że poprawnie interpretujesz wypowiedzi osób badanych np. poprzez konfrontowanie z nimi sformułowanych wniosków. Jeśli nie masz całkowitej pewności co do danego wniosku, „zmiękcz” go poprzez stosowanie określeń „prawdopodobnie”, „możliwe, że”, „być może”.
• Nie uogólniaj wniosków na populację (tj. osoby, które nie wzięły udziału w badaniu), jeśli posługiwałeś/aś się metodami jakościowymi lub badana przez Ciebie próba nie była losowa. 

• O tym, jak unikać błędów we wnioskowaniu, dowiesz się z naszego zdalnego kursu (https://courses.youth-impact.eu/pl). 

JAK DOBRZE FORMUŁOWAĆ REKOMENDACJE?

• Pogrupuj je tematycznie (np. zarządzanie projektem, współpraca z partnerami, realizowane działania, efekty projektu).    
• Odnoś je zarówno do słabych, jak i mocnych stron przedmiotu ewaluacji. Nie koncentruj się wyłącznie na negatywach – wskazuj też obszary, które dobrze funkcjonują i nie wymagają zmian. Jeśli natomiast skoncentrujesz się wyłącznie na pozytywach, podważy to wiarygodność oceny.
• Zadbaj o to, by rekomendacje były szczegółowe, precyzyjne i realistyczne (możliwe do wdrożenia), dzięki czemu będą też praktyczne, trafne i użyteczne. 
• Każdemu zaleceniu przypisz adresata (z którym zostanie wcześniej uzgodnione), termin realizacji oraz stopień ważności, ponieważ zwiększa to szanse na jego wdrożenie. 

Wnioski i rekomendacje można przedstawić w zwięzłej tabeli jako podsumowanie czy streszczenie raportu bądź w postaci samodzielnego „produktu finalnego” przeprowadzonej ewaluacji. Poniżej znajduje się przykładowa tabela rekomendacji odnosząca się do ewaluacji projektu szkoleniowego:

Narzędzie 9a. Przykładowa tabela rekomendacji

Obszar problemowy: Organizacja szkolenia
Problem/zjawisko	Zajęcia są prowadzone do godziny 20:00.
Przyczyna	Organizatorzy chcą przeprowadzić szkolenie w ciągu jednego dnia, aby zaoszczędzić na wynajmie sali.
Skutek	Uczestnicy szkolenia są zmęczeni; o tak późnej porze nie są w stanie przyswajać wiedzy.
Skala ważności	Nieznaczny	Istotny	Kluczowy
Rekomendacje	Wcześniejsze rozpoczynanie i kończenie zajęć (najpóźniej o 18.00) lub ich realizacja w ciągu dwóch dni.
Korzyści	Lepsze przyswojenie wiedzy przez uczestników, a także większa satysfakcja z udziału w szkoleniu.
Adresat rekomendacji	Organizator szkolenia (wskazujemy konkretny podmiot)
Termin realizacji	Niezwłoczny (jeśli to możliwe warto podać konkretny termin)

Źródło: Opracowanie własne

W uproszczonej wersji tabela wniosków i rekomendacji może wyglądać tak:

Narzędzie 9b. Uproszczona tabela rekomendacji

 

6.2. Czym charakteryzuje się dobry raport?

Raport jest zwieńczeniem procesu ewaluacji, ponieważ prezentuje jej koncepcję, przebieg i wyniki badania, a także wnioski i rekomendacje, które na nich bazują. 

Diagram 4. Cykl ewaluacji

Podczas procesu ewaluacji mogą powstawać różne rodzaje raportów, np.:

Tabela 8. Typy raportów

Wstępny (metodologiczny) – szczegółowo opisuje koncepcję ewaluacji (przekazywany przed rozpoczęciem badania)	Końcowy – przedstawia koncepcję ewaluacji, wyniki badania oraz wnioski i rekomendacje (przekazywany po zakończeniu badania i przeanalizowaniu jego wyników)
Cząstkowy – obejmuje pewien zakres prowadzonej ewaluacji (np. zadania projektu, które już się zakończyły)	Całościowy – obejmuje pełen zakres realizowanej ewaluacji
Okresowy – opracowywany w ramach ewaluacji okresowej	Roczny, półroczny, kwartalny – przygotowany w ramach ewaluacji bieżącej (raport z tej ewaluacji nie musi obejmować danego przedziału czasu, a np. kolejne zadania projektowe)
W wersji roboczej – pierwsza wersja jest przekazywana interesariuszom w celu zgłoszenia uwag i naniesienia poprawek	W wersji finalnej – kolejna, skorygowana wersja ma zazwyczaj charakter ostateczny

Źródło: Opracowanie własne

Raport końcowy może zostać sporządzony w różnych formach, które – podobnie jak zakres prezentowanych w nich treści – powinny być dostosowane do potrzeb poszczególnych grup odbiorców (interesariuszy ewaluacji). Do przykładowych sposobów przedstawiania i promowania wyników ewaluacji należą:

• • Raport końcowy w wersji elektronicznej (rzadziej papierowej) rozpowszechniany wśród interesariuszy i/lub zamieszczony w internecie (np. na stronie projektu czy podmiotu zamawiającego ewaluację), 
  • Streszczenia raportów w postaci folderów/ broszur informacyjnych zawierających kluczowe wnioski i rekomendacje,
  • Prezentacja multimedialna podczas konferencji i spotkań np. z interesariuszami, partnerami,
  • Infografika zamieszczona na stronie projektu, przekazana mediom lokalnym, 
  • Postery (wydrukowane plakaty) prezentowane podczas różnych wydarzeń, np. konferencji, pikników,
  • Filmy (video prezentacje) skierowane do licznej widowni, w tym rozproszonej, zamieszczane w internecie,
  • Follow-up – prezentacja efektów wdrożenia rekomendacji.

Raport w wersji rozbudowanego dokumentu tekstowego może mieć następującą strukturę: 

• • Strona tytułowa – nazwa podmiotu zamawiającego ewaluację, nazwa podmiotu realizującego ewaluację (jeśli ewaluacja była zewnętrzna), data opracowania, autorzy, tytuł (np. ewaluacja ex-post projektu X),
  • Streszczenie – główne elementy koncepcji ewaluacji, kluczowe wyniki, wnioski i rekomendacje (konieczne w przypadku obszernych raportów),
  • Spis treści – umożliwiający automatyczne przejście do danej strony raportu,
  • Wykaz skrótów (i ew. definicji specjalistycznych pojęć)
  • Wprowadzenie – informacje nt. instytucji zlecającej, rodzaju i terminu jej realizacji, nazwy ewaluowanego projektu, źródeł jego finansowania, organizacji, która go realizowała
  • Przedmiot i zakres ewaluacji – zwięzły opis ewaluowanego przedsięwzięcia oraz elementów, które uwzględniono w ewaluacji,
  • Cele ewaluacji – wyjaśnienie, czemu ewaluacja miała służyć, czego po niej oczekiwano,
  • Kryteria i pytania ewaluacyjne – wskazanie, pod jakim kątem szacowano wartość przedmiotu ewaluacji / czego chciano się dowiedzieć przy pomocy ewaluacji, jakie informacje zdobyć,
  • Kwestie metodologiczne – opis źródeł informacji i zastosowanych metod badawczych, sposobów doboru prób, przebiegu badania, poziomów responsywności (jaki odsetek osób uczestniczył w badaniu w stosunku do planowanych). Warto opisać problemy, na które natrafiono podczas realizacji badania, a także sposoby i efekty radzenia sobie z nimi,
  • Opis wyników ewaluacji – opis zebranych podczas badania wyników jakościowych i ilościowych wraz z interpretacją, według przyjętego sposobu prezentacji (np. zgodnie z kryteriami / pytaniami ewaluacyjnymi). Wyniki pochodzące z różnych źródeł, uzyskane przy pomocy danych metod należy skonfrontować (triangulacja). W każdym rozdziale warto zamieścić podsumowania cząstkowe,
  • Wnioski i rekomendacje – zwięzła, ale treściwa odpowiedź na pytania ewaluacyjne. Wnioski muszą bazować na wynikach badania, a zalecenia ściśle się do nich odnosić,
  • Załączniki/aneksy (opcjonalnie) – np. wykorzystane narzędzia badawcze, zestawienia tabelaryczne, studia przypadku, itp.

Warto pamiętać, że niezależnie od tego, na jaką formę raportu się zdecydujemy, zarówno w przypadku ewaluacji zewnętrznej, jak i wewnętrznej wszelkie zmiany treści tego dokumentu wymagają zgody ewaluatora. 

• Jeżeli chcesz dowiedzieć się więcej nt. tabeli uwag do raportu ewaluacyjnego, kliknij TUTAJ.

Dobry raport ewaluacyjny powinien spełniać następujące warunki:

• jest adekwatny do warunków zamówienia i potrzeb odbiorców, został napisany zrozumiałym dla nich językiem,
• zawiera wykaz użytych skrótów (i ew. definicji kluczowych pojęć, gdy np. raport ma być prezentowany szerszemu audytorium, które może ich nie znać),
• ma przejrzystą i czytelną strukturę,
• ma zwięzłą formę, a jednocześnie wyczerpująco odpowiada na pytania ewaluacyjne (bez tzw. „lania wody”),
• opiera się na wiarygodnych i rzetelnych wynikach, które zostały poprawnie przeanalizowane,
• przedstawia nie tylko uzyskane wyniki, lecz także ich interpretację, wskazuje na związek pomiędzy danymi i wypływającymi z nich wnioskami,
• zawiera uprawnione wnioski i odnoszące się do nich użyteczne rekomendacje,
• zawiera elementy graficzne (tabele, wykresy, schematy) oraz cytaty z wypowiedzi respondentów, które uatrakcyjniają odbiór treści raportu.

W zweryfikowaniu jakości raportu ewaluacyjnego pomoże poniższa tabela, w której wyszczególnione kryteriami jego oceny. Można samodzielnie dobrać jej skalę (liczbową lub słowną) i ocenić własny lub zlecony raport.

Narzędzie 10. Tabely oceny jakości raportu

 

6.3. Jak dostarczyć odbiorcom ewaluacji to, czego potrzebują

Możliwość wykorzystania wyników ewaluacji jest uzależniona od jej rodzaju, tj. momentu/ cyklu życia projektu, w którym prowadzona jest ona prowadzona. 

Najwięcej możliwości wprowadzenia zmian daje nam ewaluacja ex-ante, realizowana w momencie, gdy ewaluowane przedsięwzięcie/projekt jeszcze się nie rozpoczął. W przypadku ewaluacji okresowej możliwość wykorzystania rekomendacji w celu wprowadzenia określonych zmian jest ograniczona, gdyż projekt jest w trakcie realizacji, poszczególne działania są stopniowo wdrażane. Niemniej jednak niektóre jego elementy mogą być jeszcze modyfikowane, np. po to, by lepiej dostosować prowadzone działania do potrzeb ich odbiorców/czyń, czy zapewnić osiągnięcie zaplanowanych wskaźników na założonym poziomie, bądź dostosować je do zmienionych warunków realizacji projektu. 

Z kolei wyniki ewaluacji ex-post mogą nam jedynie pomóc w planowaniu kolejnych (takich samych lub podobnych) przedsięwzięć, ponieważ ewaluowany projekt został już zakończony.

Czasami wyniki ewaluacji można wykorzystać już w bieżącej pracy, gdy są związane z kwestiami organizacyjnymi czy zarządczymi.

Rozpowszechnienie wyników ewaluacji (najczęściej w postaci wniosków i rekomendacji) wśród jej interesariuszy stanowi bardzo ważny etap.  Przyczynia się do lepszego zrozumienia potrzeby wprowadzenia zmian, wzmocnienia współpracy, zaangażowania oraz motywacji do działania, a także uzyskania wsparcia w tym procesie. 

Udostępnienie wyników ewaluacji innym osobom/podmiotom może świadczyć o zdolności Twojej organizacji do autorefleksji nad wartością i jakością prowadzonych działań oraz gotowości do podjęcia dyskusji nt. różnych aspektów przedmiotu ewaluacji, a także umiejętności oceny jego mocnych i słabych stron oraz chęci rozwoju i doskonalenia we współpracy z innymi interesariuszami.

 

Narzędzie 11. ROZPOWSZECHNIANIE WYNIKÓW EWALUACJI

ODBIORCA WYNIKÓW  Do kogo adresujesz informacje?	FORMA INFORMACJI W jakiej formie powinny być zaprezentować wyniki ewaluacji?	CEL Dlaczego chcesz informować odbiorców? Co chcesz uzyskać?	ZAWARTOŚĆ Co chcesz zakomunikować? O czym chcesz informować odbiorców?	DEADLINE Kiedy należy poinformować odbiorców
Nasza organizacja	dokument tekstowy	wprowadzenie zmian służących  udoskonaleniu projektu	napotykane trudności i możliwości usprawnień, wprowadzenie niezbędnych zmian do kolejnej edycji projektu	na bieżąco oraz jako podsumowanie projektu
Interesariusz/ Partner	prezentacja multimedialna	poprawa współpracy w realizacji projektu	przebieg procesu realizacji projektu, napotykane trudności, możliwości usprawnień	okresowo oraz na koniec projektu
Inni odbiorcy np. społeczność lokalna	infografika	zwiększenie poparcia społecznego dla projektu	stopień osiągnięcia założonych rezultatów, dostosowanie projektu do potrzeb odbiorców, jego użytecznosć	na zakończenie projektu

Źródło: Opracowanie własne

Gratulacje!

 

Jeśli czytasz te strony, prawdopodobnie wiesz już jak i po co przeprowadzić ewaluację swoich projektów, zwłaszcza jeśli są to projekty dotyczące zatrudnienia młodzieży, a nawet – jeśli interesuje Cię ocena ich wpływu (netto) na rzeczywistość.

Dzięki partycypacyjnemu podejściu do ewaluacji uzyskujesz informacje, które są istotne przy podejmowaniu kluczowych decyzji dotyczących projektu, a także bardzo ważne dla interesariuszy, w tym darczyńców. Dzięki włączeniu w ewaluację podbudowujesz beneficjentów i zespół projektowy – są lepiej poinformowany i bardziej zmotywowani. Wreszcie, jesteś na drodze do bardziej dopasowanego, efektywniejszego, trwalszego, skuteczniejszego, po prostu lepszego projektu!

W przygotowaniu ewaluacji pomogą Ci szablony narzędzi. Aby jeszcze lepiej zrozumieć ewaluację – weź udział w kursie on-line i działaniach networkingowych projektu Youth Impact. Więcej informacji znajdziesz na stronie internetowej: www.youth-impact.eu.

 

Dowiedz się więcej

Do wartościowych źródeł online, z których można dowiedzieć się więcej o ewaluacji należą m.in.:

• ILO Guide on Measuring Decent Jobs for Youth: Monitoring, evaluation and learning in labour market programmes
• Participatory evaluation with young people
• UNICEF methodological briefs

Bibliografia

 

Bibliografia

 

• Babbie E. (1st edition in 1975) The Practice of Social Research
• Babbie E. (1st edition in 1999) The Basics of Social Research.
• Bartosiewicz-Niziołek M., Marcinkowska-Bachlińska M., et al (2014) Zaproszenie do ewaluacji, zaproszenie do rozwoju [Invitation to evaluation, invitation to development], KOWEZiU, Warszawa www.koweziu.edu.pl/download.php?plik=zaproszenie-do-ewaluacji-zaproszenie-do-rozwoju.pdf (s.69-85)
• Bartosiewicz-Niziołek M. (2012) Ewaluacja programów i przedsięwzięć społecznych – katalog dobrych praktyk [Evaluation of social programs and undertakings – catalog of good practices], ROPS, Kraków http://www.rops.krakow.pl/publikacje/inne-wydawnictwa/ewaluacja-programow-i-przedsiewziec-spolecznych-katalog-dobrych-praktyk-123.html
• Bienias S., Gapski T., Jąkalski J. (2012) Ewaluacja. Poradnik dla pracowników administracji publicznej [Evaluation. A guide for public administration employees] Ministerstwo Rozwoju Regionalnego, Warszawa
• Blalock H. (1st edition in 1960) Social Statistics.
• Checkoway, B., Richards-Schuster, K. Participatory evaluation with young people, W.G. Kellogg Foundation
• Ferguson G. A., Takane Y. (1st edition in 1971) Statistical analysis in psychology and education.
• Flick, U. (1st edition in 2007). Designing Qualitative Research.
• Flick, U. (1st edition in 2007). Managing the Quality of Qualitative Research.
• Gibbs, Graham R. (2009) Analyzing Qualitative Data.
• Kloosterman, P., Giebel, K., Senyuva, O., (2007) T-Kit 10: Educational Evaluation in Youth Work, Council of Europe Publishing, https://pjp-eu.coe.int/documents/42128013/47261233/T-Kit_10.pdf/ 
• Kvale S. (2007) Doing Interviews.
• Lisowski G., Haman J., Jasiński, M (2008) Podstawy statystyki dla socjologów [Basics of statistics for sociologists], Warszawa
• Maziarz M., Piekot T., Poprawa M., i inni (2012) Jak napisać raport ewaluacyjny [How to write an evaluation report], Ministerstwo rozwoju Regionalnego, Warszawa
• Maziarz M., Piekot T., Poprawa M., i inni (2012) Język raportów ewaluacyjnych [Language of evaluation reports]. Ministerstwo rozwoju Regionalnego, Warszawa
• Miles, M. B., Huberman, A. M. (1st edition in 1983) Qualitative Data Analysis.
• Nikodemska-Wołowik A., M. (1999). Jakościowe badania marketingowe [Qualitative marketing research], Polskie Wydawnictwo Ekonomiczne, Warszawa
• Peersman, G. (2014). Overview: Data Collection and Analysis Methods in Impact Evaluation, Methodological Briefs: Impact Evaluation 10, UNICEF Office of Research, Florence. www.unicef-irc.org/publications/pdf/brief_10_data_collection_analysis_eng.pdf 
• Rapley T. (2007) Doing Conversation, Discourse and Document Analysis.
• Rogers, P. (2014). Overview: Strategies for Causal Attribution, Methodological Briefs: Impact Evaluation 6, UNICEF Office of Research, Florence. www.unicef-irc.org/publications/pdf/brief_10_data_collection_analysis_eng.pdf
• Silverman, D. (1^st edition 1993) Interpreting Qualitative Data.
• Wieczorkowska G., Kochański, P., Eljaszuk, M. (2005) Statystyka. Wprowadzenie do analizy danych sondażowych i eksperymentalnych [Statistics. Introduction to the analysis of survey and experimental data], Wyd. Naukowe Scholar, Warszawa
• Woodhouse, E i in. (2016) Evaluating the impacts of conservation interventions on human wellbeing. Guidance for practitioners. IIED, London, https://pubs.iied.org/14667IIED 
• W.K. Kellogg Foundation (2004) Logic Model, https://www.wkkf.org/resource-directory/resources/2004/01/logic-model-development-guide

Narzędzie 1. (Re)konstrukcja logiki ewaluowanego projektu

Narzędzie 2. Tabela wskaźników efektów projektu (produktów, rezultatów, oddziaływania)

Narzędzie 3. Tabela podsumowująca diagnozę ewaluacyjnych potrzeb interesariuszy projektu

Narzędzie 4. Koncepcja ewaluacji projektu

Narzędzie 5. Tabela planowania ewaluacji

SZABLON: SCENARIUSZ POGŁĘBIONEGO WYWIADU INDYWIDUALNEGO

PRZYKŁADOWY ARKUSZ OBSERWACJI SZKOLENIA

PRZYKŁADOWY KWESTIONARIUSZ ANKIETY DLA UCZESTNIKÓW SZKOLEŃ

Narzędzie 6. Matryca logiczna badania ewaluacyjnego

Narzędzie 7. Tabela podsumowująca informacje pochodzące z wywiadów

Narzędzie 8. Porównanie przykładowych wyników, ich interpretacji, wniosków i rekomendacji

Narzędzie 9a. Przykładowa tabela rekomendacji

Narzędzie 9b. Uproszczona tabela rekomendacji

Narzędzie 10. Tabely oceny jakości raportu

Narzędzie 11. Rozpowszechnianie wyników ewaluacji

Narzędziownik ewaluacji przedsiębiorczości 

Twój sposób na lepsze projekty wspierające przedsiębiorczość młodzieży

PDF

E-BOOK

 

Autorzy: PEDAL Consulting s.r.o (Bratysława, 2021)

1. Wstęp

Celem tego narzędziownika jest krótkie przedstawienie praktycznych narzędzi wspomagających ewaluację działań, służących wspieraniu przedsiębiorczości młodzieży. Innymi słowy, ideą tego narzędziownika jest wspieranie ewaluacji projektów skierowanych na działania podnoszące umiejętności przedsiębiorcze osób młodych w wieku 15–24 lata, które w większym stopniu niż inne grupy wiekowe w regionie wyszehradzkim borykają się z trudnościami w przejściu z edukacji szkolnej na rynek pracy.

Głównymi odbiorcami tego narzędziownika są centra rozwoju i wspierania przedsiębiorczości, firmy doradcze, inkubatory i akceleratory przedsiębiorczości, przedsiębiorstwa społeczne, organizacje pozarządowe i inne małe lub średnie podmioty, które chcą przeanalizować jeden ze swoich projektów lub działalność statutową w wyżej wymienionym obszarze. Taka analiza pozwoli na: 

• Ocenę skuteczności projektu w osiąganiu jego celów i rezultatów; 
• Ocenę trwałości i przydatności projektu dla jego uczestników i uczestniczek; 
• Ocenę, czy działania projektowe powinny być kontynuowane lub rozszerzane;
• Ewaluację wpływu projektu ze szczególnym uwzględnieniem interesariuszy i interesariuszek oraz szerszej społeczności (ich otoczenia społecznego)
• Pomiar efektywności projektu pod kątem zasobów zaangażowanych w jego realizację i osiągnięte rezultaty.

Narzędziownik jest materiałem pomocniczym do kursu e-learningowego „Twoja droga do lepszych projektów wspierających przedsiębiorczość młodych: Kurs e-learningowy w zakresie ewaluacji”, dostępnego na platformie szkoleniowej pod tym linkiem.

Główną ideą narzędziownika jest nakierowanie uczestników i uczestniczek projektu na jego praktyczne zastosowanie, dlatego opracowaliśmy szereg materiałów, które mogą w tym pomóc. Narzędziownik ma na celu wyposażenie organizacji, które zajmują się rozwojem i/lub zwiększeniem umiejętności przedsiębiorczych w praktyczne narzędzia do pomiaru i ciągłego doskonalenia ich wpływu.

Wreszcie, narzędziownik ma przede wszystkim pomóc Ci wydobyć jak najwięcej z Twoich projektów na rzecz wspierania przedsiębiorczości poprzez ewaluację. 

Narzędziownik został opracowany przez PEDAL Consulting (Słowacja), we współpracy z FIAP e.V. (Niemcy), Fundację Rozwoju Demokracji Lokalnej im. Jerzego Regulskiego (Polska) oraz Channel Crossings (Czechy), w ramach projektu Youth Impact, finansowanego ze środków Mechanizmu Finansowego EOG oraz Norweskiego Mechanizmu Finansowego. Projekt ten ma na celu dostarczenie praktycznych narzędzi i usług wspierających potencjał podmiotów działających na rzecz zatrudnienia i przedsiębiorczości młodzieży, w zakresie ewaluacji wpływu ich działań. Projekt jest realizowany w latach 2019–2022.

1.1 Charakterystyka docelowej grupy wiekowej

Młodzi ludzie należący do grupy 15–24 lat są w tym momencie nazywani pokoleniem Z (urodzeni po 1995 roku). Bywają opisywani również jako iGeneration – dorastali ze smartfonami i tabletami, a większość posiada dostęp do internetu w domu – są dobrze wykształceni, ale jednocześnie są najbardziej wrażliwą grupą na rynku pracy w UE. 

Jak wskazaliśmy powyżej, niniejszy narzędziownik ma na celu przekazanie organizacjom praktycznych narzędzi wspierających ewaluację projektów ukierunkowanych na zwiększenie umiejętności przedsiębiorczych młodych osób, które borykają się z trudnościami w przejściu z edukacji szkolnej na rynek pracy. 

Poniżej przedstawiamy kluczowe cechy grupy docelowej, które zostały wzięte pod uwagę podczas opracowania tego narzędziownika. 

Sytuację tych młodych osób, najczęściej określanych jako NEETs (z ang. not in employment, education or training) można opisać w następujący sposób. 

• w skład tej grupy wchodzi młodzież w wieku 15–24 lata tzw. pokolenie Z (więcej informacji na temat Pokolenia Z i wpływu jego specyfiki na kształt i formy działań wspierających przedsiębiorczość młodzieży oraz prowadzenia ewaluacji znajduje się w rozdziale 13.)
• stopa bezrobocia młodzieży NEET wyniosła 5.9% w 2017 (EUROSTAT)
• młodzież ta znajduje się w niełatwej sytuacji w dążeniu do przedsiębiorczości. Ma bardzo ograniczony dostęp do zasobów pieniężnych, kredytów i pożyczek bankowych, ponieważ jej historia bankowa jest bardzo krótka lub nie istnieje. W związku z tym tak młode osoby posiadają niewielki kapitał lub nie mają żadnego, na podstawie którego mogłyby tworzyć własne firmy lub przedsiębiorstwa. 
• młodzi, którzy chcieliby założyć własną firmę, znajdują się niekorzystnej sytuacji pod względem posiadanego doświadczenia. Po ukończeniu szkoły średniej lub wyższej, bez lub z niewielkim doświadczeniem zawodowym, lub po zaledwie kilkuletnim stażu pracy, nie są w stanie sprostać wymaganiom konkurencyjnego rynku i trudnościom związanym z prowadzeniem własnego przedsiębiorstwa. 
• W wyniku pandemii COVID-19 wiele młodych osób straciło zlecenia lub na progu wejścia na rynek pracy, zostało narażonych na ryzyko utraty pozyskiwania umiejętności i doświadczenia, koniecznego na wczesnych etapach ich karier zawodowych.

Więcej informacji na temat cech pokolenia Z i ich konsekwencji dla działań wspierających przedsiębiorczość młodzieży oraz przeprowadzania ewaluacji znajduje się w rozdziale 13. 

Stworzyliśmy ten narzędziownik, by pomóc organizacjom wspierającym przedsiębiorczość młodzieży w ocenie i przeprowadzeniu ewaluacji ich projektów oraz by zaradzić różnym trudnościom, które mogłyby wpłynąć na jej dążenie do wspierania młodych przedsiębiorców i przedsiębiorczyń w budowaniu skalowalnych i innowacyjnych przedsiębiorstw.

2. Jakie jest nasze podejście do ewaluacji? Jakie płyną z niej korzyści? 

Jeżeli prowadzisz działania wspierające przedsiębiorczość osób młodych (projekt lub program) lub zastanawiasz się nad uruchomieniem podobnego projektu, podejście do ewaluacji zaprezentowane w niniejszym narzędziowniku może Ci się przydać w uzyskaniu informacji na temat skuteczności wywierania zamierzonego wpływu przez Twój projekt. 

Mimo że nie ma jednej definicji ewaluacji, Program Narodów Zjednoczonych ds. Rozwoju (UNDP) definiuje ją jako ocenę działania, projektu, programu lub sposobu działania instytucji. Ewaluację należy przeprowadzać możliwie systematycznie i bezstronnie. Służy ona do analizy poziomu osiągnięcia zarówno oczekiwanych, jak i nieoczekiwanych rezultatów poprzez przyglądanie się łańcuchowi wyników, procesom, czynnikom wewnętrznym i związkom przyczynowo-skutkowym przy użyciu odpowiednich kryteriów. Ewaluacja powinna dostarczać wiarygodnych, użytecznych, opartych na dowodach informacji, które umożliwią w odpowiednim czasie uwzględnienie jej ustaleń, zaleceń i wniosków w procesach decyzyjnych organizacji i interesariuszy (UNDP, 2019). Odróżnia się ona od monitorowania i audytu. Więcej informacji znajdziesz w Rozdziale 12. 

Ewaluacja jest świetnym pomysłem, jeżeli chcesz:

• dowiedzieć się, jak dobrze osiągasz swoje cele i efekty;
• sprawdzić, czy potrzeby grup docelowych zostały odpowiednio zidentyfikowane i czy Twój projekt rozwiązuje realne problemy;
• odkryć, jaki wpływ ma Twój projekt lub Twoje działanie na uczestników/uczestniczki projektów i inne osoby;
• ocenić, czy wyniki projektu są adekwatne do poniesionych nakładów;
• poprawić rezultaty swoich partnerstw;
• zidentyfikować możliwości rozszerzenia zakresu Twoich działań;
• użyć wyników projektu w celu jego promocji;
• raportować postępy interesariuszom projektu lub kierownictwu;
• pozyskać fundusze, a także innych partnerów.

Nasze podejście polega na tym, że chcemy Ci pomóc w ewaluacji Twojego projektu, pokazać jego korzyści, a także wyposażyć Cię w przydatne narzędzia do wykorzystania w Twojej ewaluacji, jak również polecić proste i skuteczne metody wykorzystania ewaluacji do rozwoju Twojej działalności. 

Nie martw się, jeśli masz już istniejący projekt i nie prowadzisz jeszcze ewaluacji. Nigdy nie jest za późno! Pamiętaj jednak, że nie każdy rodzaj ewaluacji może zostać przeprowadzony na późniejszych etapach projektu. 

Podstawowe korzyści z ewaluacji:

• Zastosowanie ewaluacji wpływu pozwala na sprawdzenie nie tylko, czy planowane zmiany w projekcie rzeczywiście miały miejsce, lecz także na ile oczekiwane rezultaty projektu były faktycznie efektem działań projektowych. 
• Wnioski z ewaluacji przyczyniają się do optymalizacji działań dla konkretnego projektu. Pozwala to przewidzieć trudności przed rozpoczęciem projektu (ewaluacja ex-ante) lub zauważyć problemy na jego wczesnym etapie (ewaluacja bieżąca lub śródokresowa).
• Pomaga tworzyć rekomendacje na końcowym etapie projektu (ewaluacja ex-post) — rekomendacje mogą pomóc kierownictwu w podejmowaniu świadomych decyzji dotyczących poszczególnych działań lub nawet przyszłych projektów.
• Zakres możliwego wykorzystania ewaluacji w zarządzaniu zależy przede wszystkim od wybranych kryteriów ewaluacji. Przykładowo, zastosowanie kryterium efektywności projektu pozwala ocenić, czy w realizację projektu zaangażowana była wystarczająca liczba osób, pieniądze i czas, czy też zespołowi projektowemu brakowało jakichkolwiek kompetencji lub inne zasoby były niewystarczające. Na tej podstawie możesz zdecydować się na wzmocnienie swojego zespołu, budżetu lub planowania projektu.
• Wyniki ewaluacji mogą być narzędziem promującym Twoją organizację i Twoje osiągnięcia. Na przykład, studia przypadku przedstawiające historie odnoszących sukcesy odbiorców projektu lub dane pokazujące wzrost ich kompetencji mogą być prezentowane w mediach społecznościowych, na stronach internetowych lub podczas publicznych prezentacji promujących efektywność organizacji.
• Wyniki badań ewaluacyjnych mogą być wykorzystane w komunikacji ze sponsorami, w tym we wnioskach grantowych. Na przykład poprzez uwzględnienie danych dotyczących skuteczności, trwałości, trafności, użyteczności i innych cech realizowanych działań w odpowiedziach na standardowe pytania w formularzach wniosków o finansowanie podobnych projektów.
• Ewaluacja może być również pomocna w rekrutacji wolontariuszy, zwłaszcza gdy jej wyniki pokazują efekty pracy w organizacji, a także sposób w jaki jej działania poprawiły życie określonych osób lub społeczności.
• Angażowanie uczestników i uczestniczek w ewaluację projektu może zwiększyć ich entuzjazm i motywację. Przykładowo, dzięki temu, że mają wpływ na zakres i kryteria ewaluacji oraz uczestniczą w dzieleniu się opiniami na temat wyników wstępnych, wzrasta ich poczucie sprawczości, pokazuje związek między wykonaną pracą a celami, organizacją i wartościami projektu. Udział w procesie ewaluacji zwiększa wiedzę i upodmiotowienie w wielu obszarach wpływających na efektywność organizacji: od kwestii zarządzania po aspekty merytoryczne związane z tematyką projektu. 
• Zaangażowanie partnerów projektu w ewaluację – zwłaszcza tych, którzy pracują z jego beneficjentami. Zaangażowanie w ewaluację partnerów zewnętrznych projektu (np. pracodawców czy instytucji takich jak urzędy pracy lub zrzeszenia grup, na które ma wpływ projekt), pozwala na zdiagnozowanie problemów, które ograniczały skuteczność, trafność lub użyteczność projektu. Ponadto opisanie i rozwiązanie pytań nurtujących partnerów w raporcie ewaluacyjnym może znacząco zwiększyć poziom zaufania i współpracy z nimi w kolejnych projektach.
• W obszarze projektów związanych z aktywizacją zawodową, zatrudnieniem i przedsiębiorczością młodych ludzi udział beneficjentów ma kluczowe znaczenie dla powodzenia ich ewaluacji — pozwala ocenić, w jaki sposób działania projektowe wpłynęły na oczekiwane zmiany w życiu odbiorców. Ponadto, może pomóc w zaplanowaniu kolejnego projektu, aby zaspokoić ich potrzeby i przyczynić się do osiągnięcia celów projektu.
• Ewaluacja opiera się na metodologii nauk społecznych, dzięki czemu dostarcza rzetelnych odpowiedzi na pytania dotyczące konkretnego projektu i realizującej go organizacji.
• Ewaluacja projektu może przydać się również do porównania i ustalenia, które osoby i z jakimi cechami są w stanie założyć firmę i dlaczego inni są mniej skłonni to zrobić.

Podsumowując, ewaluacja niesie wiele korzyści. Problem jednak polega na tym, że wiedza o nich jest często abstrakcyjna, a nie oparta na doświadczeniu. Tymczasem systematyczne prowadzenie ewaluacji i jej różnych technik może wspierać zarządzanie organizacją, wzmocnienie jej wizerunku, szkolenie i motywowanie kadr, pozyskiwanie środków finansowych, a przede wszystkim skuteczne wypełnianie misji organizacji.

3. Jak używać tego narzędziownika

Sposób korzystania z tego narzędziownika zależy od etapu „cyklu życia” Twojego projektu wspierającego przedsiębiorczość młodzieży.

Jeżeli chcesz rozpocząć projekt i wprowadzić regularną ewaluację od początku, możesz użyć tego narzędziownika na etapie planowania etapów swojego projektu (ewaluacja ex-ante). 

Jeżeli masz istniejący już projekt, ale nie do końca wiesz, jak zmierzyć wpływ Twoich działań, ten narzędziownik pomoże Ci określić jakich informacji potrzebujesz, pokaże, jak je zebrać i co z nimi zrobić (ewaluacja śródokresowa i ewaluacja bieżąca).

Jeśli masz istniejący projekt i ewaluujesz to, co robisz, możesz skoncentrować się na sekcjach, które mogą udoskonalić Twoje podejście lub sprawdzić materiały w bibliografii na końcu tego dokumentu (ewaluacja ex-post).

4. Rodzaje działań wspierających przedsiębiorczość młodzieży

Nie ma jednego „prawidłowego” modelu działania wspierającego przedsiębiorczość młodzieży czy jedynego prawidłowego projektu działającego na rzecz przedsiębiorczości młodzieży. 

Niektóre z tych modeli koncentrują się na wspieraniu przedsiębiorstw w różnych fazach rozwoju, ich zasobach i wartościach. Inne natomiast są bardziej ukierunkowane na określone grupy osób, na przykład bezrobotną młodzież, kobiety, imigrantów, osoby z niepełnosprawnościami lub ofiary przymusowej migracji.

To, jak będzie wyglądał Twój projekt, będzie zależało od tego, co chcesz osiągnąć i jak chcesz to osiągnąć. Z kolei to, jak podejdziesz do ewaluacji, będzie zależeć od rodzaju projektu, jaki realizujesz oraz tego jakie są cele ewaluacji.

Kiedy już masz jasność co do rodzaju projektu, który masz lub chcesz mieć, będziesz mieć lepszą możliwość ustalenia, co i jak chcesz ocenić i co chcesz uzyskać z ewaluacji.

• twój projekt może mieć z góry określony przebieg lub może podlegać zmianom (w oparciu o twoje doświadczenia wynikające z jego realizacji), zaś ewaluacja może wskazać najlepszy sposób na osiągnięcie postępów. Ewaluacja może na przykład pokazać, czy Twój projekt wywiera wpływ, który chcesz osiągnąć. Może również wskazać że musisz: poprawić konkretny element projektu
• zredefiniować istniejące role i obowiązki
• włączyć dodatkowe zasoby
• zmienić strukturę projektu
• wprowadzić nowego partnera
• rozszerzyć istniejący projekt
• opracować nowy projekt
• lepiej planować nowe projekty

5. Rodzaje ewaluacji w zależności od etapu projektu

Istnieją różne rodzaje ewaluacji, które różnią się w zależności od etapu cyklu życia projektu. To ewaluacja ex-ante, śródokresowa, bieżąca i ex-post (Types of evaluation, 2013).

Tabela 1: Rodzaje ewaluacji w zależności od etapu projektu 

Etap projektu	Cel	Rodzaj ewaluacji
Faza konceptualizacji	Pomaga zapobiegać stratom, dostosowywać projekt do potrzeb odbiorcy oraz identyfikować potencjalne obszary ryzyka, jednocześnie zwiększając szanse na sukces.	Ewaluacja ex-ante
Faza realizacji projektu	Optymalizuje projekt, mierzy jego zdolność do osiągania celów i sugeruje ulepszenia w celu poprawy efektywności, trafności, skuteczności.	Ewaluacja bieżąca lub śródokresowa
Faza zakończenia projektu	Daje wgląd w sukcesy/porażki projektu, użyteczność, stopień osiągnięcia zaplanowanych celów i rezultatów, ich adekwatność, trwałość i wpływ oraz wskazuje potencjalne ulepszenia dla kolejnych projektów.	Ewaluacja ex-post

Źródło: Nanda, 2017 

Poniżej przedstawiamy krótką charakterystykę wybranych rodzajów ewaluacji. 

Tabela 2: Charakterystyka wybranych rodzajów ewaluacji

Ewaluacja ex-ante
Stosuje się ją przed realizacją projektu. Generuje dane dot. potrzeb, na które odpowiada projekt i stanowi podstawę do późniejszego monitorowania. Identyfikuje również obszary wymagające poprawy i może dać wgląd w to, jakie powinny być priorytety projektu. Pomaga to kierownikom projektów określić ich obszary zainteresowania i uwagi oraz zwiększa wiedzę na temat projektu wśród docelowej grupy odbiorców przed jego uruchomieniem. Ten rodzaj ewaluacji diagnozuje również kontekst (warunki), w jakich będzie realizowany projekt. Stosuje się ją podczas: Przygotowywania nowego projektu Rozwijania projektu	Pomaga we wczesnym ulepszaniu projektu. Pozwala dopracować lub ulepszyć projekt, aby lepiej odpowiadał potrzebom odbiorców i dopasować go do kontekstu w którym będzie realizowany (sytuacji prawnej, ekonomicznej, społecznej itp.)
Ewaluacja bieżąca lub śródokresowa
Ewaluacja procesu ma miejsce po rozpoczęciu realizacji projektu i analizuje, jak skuteczne, odpowiednie i wydajne są procedury projektu. Dane, które generuje, są pomocne w identyfikowaniu rozwiązań nieefektywnych, usprawnianiu procesów, a także mogą być wykorzystane do prezentowania wyników projektu podmiotom zewnętrznym.  Stosuje się ją:  podczas rozpoczęcia wdrażania projektu podczas realizacji projektu	Daje możliwość uniknięcia problemów poprzez ich wczesne rozpoznanie. Pozwala kierownikom projektu określić, jak dobrze działa projekt.
Ewaluacja ex-post
Przeprowadzana po zakończeniu projektu lub na jego końcowym etapie. Informuje nas o tym, jakie korzyści projekt przyniósł grupie docelowej, na ile przydatne i trwałe są jego rezultaty i jakie jest ich oddziaływanie. Pozwala uzasadnić potrzebę realizacji projektu, zaprezentować jego osiągnięcia i lobbować za kontynuacją lub rozszerzeniem.  Stosuje się ją: Pod koniec projektu Pod koniec danej edycji projektu	Dostarcza dane ulepszające projekt (uzasadniające jego kontynuowanie lub zakończenie). Daje wgląd w skuteczność, trwałość, efektywność i oddziaływanie projektu.

Oprac. na podstawie Nanda, 2017 

6. Jak ewaluować wpływ projektu?

Tak jak nie ma jednego „właściwego” modelu projektu w zakresie przedsiębiorczości, nie ma również jednego „właściwego” sposobu przeprowadzenia ewaluacji. 

Podejścia do ewaluacji mogą być mniej lub bardziej ustrukturyzowane. Możesz przyjąć takie podejście, które spełnia Twoje potrzeby. Bez względu jednak na co się zdecydujesz, w ewaluacji konieczna jest pewna ilość planowania, aby uzyskać użyteczne wyniki. 

Ponieważ ten narzędziownik jest skierowany do organizacji wdrażających lub rozwijających projekty z zakresu przedsiębiorczości osób młodych, to właśnie dzięki ewaluacji wpływu możesz ocenić czy Twój projekt wywarł zamierzony wpływ. 

Ewaluacja wpływu może być rozumiana i przeprowadzana na różne sposoby. Należy pamiętać, że ten rodzaj ewaluacji jest kluczowy w analizowaniu zmian, które zaszły w wyniku Twojego projektu. Na podstawie wyników ewaluacji wpływu będziesz w stanie dostosować i/lub ulepszyć istniejący projekt, jak również lepiej planować przyszłe projekty. Jednak ta ewaluacja jest najczęściej wykorzystywana do analizy przyczynowo-skutkowej, aby stwierdzić, w jakim stopniu zaobserwowana zmiana wynika z podejmowanych przez nas działań (i jest efektem wpływu projektu).

Tabela 3: Charakterystyka ewaluacji wpływu

Charakterystyka ewaluacji wpływu
Kiedy?	Na koniec projektu lub na określonych wcześniej etapach, które pozwalają zmierzyć rezultaty projektu (jednak zaprojektowanie koncepcji ewaluacji i zebranie niektórych danych może być potrzebne już wcześniej)  Po upływie określonego czasu od zakończenia projektu Na wcześniej wybranych etapach realizacji projektu (np. w połowie)
Co?	Ocenia faktyczną zmianę wywołaną przez projekt w kontekście różnicy w dobrostanie grupy docelowej zaobserwowanej w ramach testów wstępnych i końcowych Tłumaczy, co by się stało, gdyby projekt nie został przeprowadzony.
W jakim celu?	By udowodnić wpływ projektu poprzez porównywanie beneficjentów z grupą kontrolną, która nie brała udziału w projekcie. Dostarcza danych, przydatnych w tworzeniu rekomendacji dotyczących przygotowania nowych projektów lub/i decyzji dotyczących polityk i finansowania.
Jak?	Całościowa ocena wpływu projektu połączona z badaniem uczestników/uczestniczek projektu w celu określenia osiągniętych efektów. Dodatkowo przydatne będą w tym spostrzeżenia kadry projektu oraz porównanie uzyskanych efektów z wynikami grupy kontrolnej (złożonej z osób które nie brały udziału w projekcie).
Pytania do zadania	Jakie zmiany w życiu uczestników i uczestniczek projektu można przypisać Twojemu projektowi? Jakich korzyści i zmian nie doświadczyły osoby, które nie uczestniczyły w projekcie?

Źródło: Nanda, 2017

W tym narzędziowniku skupiamy się na ewaluacji wpływu w jej szerokim znaczeniu, tj. zajmujemy się nie tylko modelami eksperymentalnymi i quasi-eksperymentalnymi (patrz rozdział 8.9).

7. Etapy ewaluacji

Pomocne może być myślenie o ewaluacji jako procesie obejmującym przygotowanie, zbieranie informacji, analizę danych, zastosowanie informacji, dalsze przygotowania itd. Proces ten może być realizowany cyklicznie w odniesieniu do danego lub podobnego projektu. 

W ramach procesu ewaluacji działań wspierających przedsiębiorczość młodzieży, widocznego na obrazku poniżej, który jest punktem wyjścia dla rozważań w tej części narzędziownika, poszczególne jego etapy zostały nazwane w następujący sposób: 

• Przygotowanie – sukces Twojej ewaluacji w dużym stopniu zależy od sposobu myślenia o projekcie i decyzji, które podejmiesz na tym etapie,
• Zbieranie informacji – musisz zebrać informacje najbardziej istotne dla Twojego celu w sposób gwarantujący ich wiarygodność,
• Analiza informacji – musisz uporządkować i zinterpretować informacje, a także sformułować kluczowe wnioski, 
• Zastosowanie informacji – etap dzielenia się wnioskami i podejmowania decyzji dotyczących przyszłości na podstawie wyników procesu ewaluacji. 

Rys. 1: Cykl działań ewaluacyjnych w projektach wspierających przedsiębiorczość młodzieży

W następnych sekcjach omówimy każdy z tych kroków bardziej szczegółowo i udostępnimy Ci kilka narzędzi, które mogą Ci pomóc w tym procesie.

8. Przygotowanie ewaluacji

Rys. 2: Ewaluacja działań wspierających przedsiębiorczość młodzieży – Cykl życia – Etap 1 

Zanim rozpoczniesz przygotowywanie swojej ewaluacji, musisz zastanowić się nad działaniem wspierającym przedsiębiorczość, które chcesz ocenić i zdefiniować: 

• Co zamierza osiągnąć ten projekt i dlaczego:
  • Czy ma rozwijać pewne umiejętności w zakresie przedsiębiorczości? Jakie umiejętności uwzględnia i ile osób ma je zdobyć?
  • Czy skupia się na rozwijaniu nowych biznesów? Ile firm ma powstać, ile ma uzyskać wsparcie? Jaki poziom ich rozwoju ma osiągnąć projekt? 
• Ryzyka i założenia:
  • Jakie są braki w umiejętnościach grupy docelowej? 
  • Jaki jest poziom ich motywacji i stosunek do przedsiębiorczości? 
  • Jakie zasoby są dostępne? Jakie przeszkody w rozwoju biznesów będzie trzeba pokonać? 
• Jak możesz stwierdzić, że projekt odniósł sukces po jego wdrożeniu: 
  • Jakie są wskaźniki osiągnięcia celów projektu? 
  • Skąd będziesz wiedział/a, że te efekty są rezultatem ewaluowanego projektu (np. skąd będziesz wiedzieć, czy zwiększenie liczby firm jest rezultatem projektu?)

Planowanie dobrego działania wspierającego przedsiębiorczość młodzieży może być trudnym zadaniem. Stworzenie dobrego projektu wymaga rozumienia sytuacji w regionie oraz zdefiniowania realnego problemu, który może zostać rozwiązany przez ewaluowany projekt. Inne istotne wymagania to identyfikacja grup docelowych i ich potrzeb, określenie celów możliwych do osiągnięcia w określonych ramach czasowych i dostępnych zasobów, zaprojektowanie odpowiednich działań. Działania muszą być zaprojektowane tak, aby służyły wytworzeniu produktów i rezultatów, które prowadzą do osiągnięcia określonych celów i celu nadrzędnego.

Ponadto realizatorzy projektu muszą widzieć szerszy obraz podczas wdrażania projektu, pamiętając o kluczowych pytaniach: co chcą osiągnąć, dlaczego i jak chcą to udowodnić?

• Czy planują rozwijać konkretne umiejętności przedsiębiorcze?
• Czy mogą zapewnić, że zostanie opracowana określona liczba biznes planów? 
• Czy mogą zapewnić, że liczba nowych firm wzrośnie o pewną liczbę punktów procentowych? 
• Jakie są ryzyka i prawdopodobieństwo ich wystąpienia (np. jakie są luki w umiejętnościach grupy docelowej)?
• Jakie są ich motywacje i stosunek do przedsiębiorczości? 
• Jakie zasoby są dostępne do osiągnięcia planowanych rezultatów i jak można stwierdzić, czy projekt odniósł sukces po jego wdrożeniu? 
• I wreszcie skąd będziesz wiedzieć, że obserwowane efekty są efektem ewaluowanego projektu? 

Zrozumienie logiki projektu jest kluczem do przygotowania się do zaprojektowania ewaluacji. Dostarcza informacji na temat danych wytworzonych w ramach projektu, które można wykorzystać w ewaluacji. Często w ramach aplikowania o wsparcie finansowe przygotowywana jest matryca logiczna lub ramy logiczne projektu. Jeśli nie masz takiego dokumentu, możesz samodzielnie zrekonstruować logikę projektu, zadając pytania dotyczące siedmiu kluczowych obszarów projektu: 

• Cel — dlaczego ten projekt został zainicjowany? Jaki problem należy rozwiązać? Jaka zmiana jest oczekiwana? 
  • Jeśli rezultaty zostały osiągnięte, to pewne efekty projektu mogą ujawnić się w grupie docelowej. Na przykład, wzrost wiedzy może prowadzić do zmiany zachowań uczestników i uczestniczek. 
• Rezultaty — jakich rezultatów oczekujemy? (np. wzrost wiedzy/umiejętności przedsiębiorczych wśród uczestników i uczestniczek, zakładanie własnych firm przez uczestników i uczestniczki projektu). 
• Produkty
  • Bezpośrednie policzalne efekty działań opisane w projekcie. Zgodnie z logiką “jeśli (…), to (…)„ oznacza to, że konkretne działanie prowadzi do uzyskania lub wytworzenia określonych produktów. Przykładami są biznesplany opracowane w ramach projektu; certyfikaty umiejętności wydawane uczestnikom i uczestniczkom projektu. 
• Działania — jakie czynności zaplanowano w celu uzyskania zaplanowanych rezultatów i produktów? (np. warsztaty, szkolenia, mentoring) 
• Wskaźniki —skąd będziemy wiedzieć, czy osiągnięte zostały założone cele, produkty i rezultaty?
• Sposoby weryfikacji — jak można zweryfikować wyniki? 
• Ryzyka i założenia — jakie są czynniki zewnętrzne niezależne od realizatora projektu, które mogą mieć wpływ na jego przebieg (zarówno pozytywny jak i negatywny)? 

Szablon Matrycy Logicznej można znaleźć w sekcji 12.3.1. 

8.1 Koncepcja ewaluacji

Podobnie jak przy opracowywaniu projektu, dobra ewaluacja wymaga odpowiedzi na zestaw kluczowych pytań, które pomogą Ci zdefiniować koncepcję ewaluacji. 

Dobrym początkiem jest znalezienie odpowiedzi na 5 pytań:

DLACZEGO zamierzasz przeprowadzić ewaluację? Konieczne jest zdefiniowanie celu ewaluacji, ponieważ od tego pytania zależą pozostałe elementy koncepcji. 

CO zamierzasz ewaluować i jakich zasobów potrzebujesz w tym celu? Przedmiot i zakres ewaluacji muszą być jasne i łączyć się z odpowiedzią na pytanie o cel ewaluacji, w przeciwnym razie może się to skończyć przeprowadzeniem ewaluacji, którą nikt nie jest zainteresowany. Na tym etapie należy sformułować pytania i kryteria ewaluacyjne. Pozwala to stworzyć ramy ewaluacji i pamiętać o tym, DLACZEGO ją przeprowadzasz. 

KTO przeprowadzi ewaluację? Czy będzie to autoewaluacja (osoby realizujące projekt przeprowadzają ewaluację), ewaluacja wewnętrzna (ewaluacja przeprowadzana jest przez osoby z zespołu, nieuczestniczące w realizacji projektu) czy ewaluacja zewnętrzna (z ewaluatorem z zewnątrz)? Każda z tych opcji ma swoje plusy i minusy. 

KIEDY zamierzasz przeprowadzić ewaluację? Przed rozpoczęciem projektu (ewaluacja ex-ante)? W trakcie realizacji projektu (ewaluacja śródokresowa lub bieżąca)? Czy po zakończeniu projektu (ewaluacja ex-post)?

JAK przeprowadzisz ewaluację? Z jakich źródeł informacji będziesz korzystać? Z jakich metod i narzędzi zbierania niezbędnych danych skorzystasz? W jaki sposób włączysz interesariuszy w ewaluację, jeśli planujesz zastosować podejście partycypacyjne?

Poniższe rozdziały poprowadzą Cię przez te pytania.

8.2 Jasno określ cel i zakres swojej ewaluacji

Czego chcesz się dowiedzieć? Czego chcesz się nauczyć z wyników ewaluacji? Jak planujesz wykorzystać wyniki?

PRZYKŁAD

Zdefiniowanie celu ewaluacji

Od ponad 25 lat Junior Achievement Slovakia (JA Slovakia) pomaga nauczycielom rozwijać przedsiębiorczość, myślenie ekonomiczne i umiejętności z zakresu finansów wśród słowackich uczniów szkół podstawowych i średnich. 

Odbywa się to przede wszystkim za pomocą uczenia się przez doświadczenie, w które zaangażowani są doświadczeni profesjonaliści. JA Slovakia jest członkiem światowej sieci 115 organizacji JA i członkiem sieci 42 europejskich organizacji JA. Od 100 lat sieć ta zapewnia na całym świecie edukację i rozwój umiejętności w zakresie gotowości do pracy, finansów i przedsiębiorczości. 

Projekty na rzecz przedsiębiorczości i zatrudnienia prowadzone przez organizację 

W programach „Ekonomia stosowana” i „Przedsiębiorczość w turystyce” studenci mają możliwość prowadzenia pierwszego prawdziwego biznesu w firmie studenckiej. Umiejętności zatrudniania i tworzenia własnego pomysłu rozwijane są w programie „Umiejętności dla sukcesu”. Rozwój etycznych aspektów biznesu i wartości moralnych jednostki jest przedmiotem programu „Etyka w biznesie”. Umiejętności uczniów w zakresie finansów wzrastają dzięki programom „Więcej niż pieniądze” oraz „Ja i pieniądze”, które stworzone są zgodnie z Krajowymi Standardami Edukacji Finansowej (National Financial Literacy Standard). Najmłodsi mogą przygotować się do przyszłego zawodu poprzez program „Podstawy Biznesu”. 

Zakres ewaluacji w JA Slovakia

JA Slovakia od dawna korzysta z dostępnych opcji ewaluacji biorąc pod uwagę ograniczenia finansowe i czasowe. Głównym celem ewaluacji jest ocena wzrostu wiedzy uczestników i uczestniczek projektów poprzez sprawdzenie ich umiejętności na początku edukacji/roku akademickiego i na końcu. Celem jest porównanie wyników i określenie postępów w okresie około 10 miesięcy, aby sprawdzić, czy program odpowiada na potrzeby grupy docelowej lub czy potrzebne są jakieś ulepszenia. 

Źródło: Bednárová, 2021; Junior Achievement Slovensko, n.o., n.d.

Przedmiot i zakres ewaluacji muszą być jasno określone. Czy zamierzasz ewaluować konkretny projekt wspierający przedsiębiorczość? A może tylko jego część? Czego dokładnie chcesz się dowiedzieć?

Czy cele projektu, działania są zgodne z celami i priorytetami organizacji?

PRZYKŁAD

Ewaluacja dotyczyć będzie programu „Więcej niż pieniądze”. 

Test umiejętności finansowych: uczniowie i uczennice uczestniczący/e w programie „Więcej niż pieniądze” przystępują do wstępnego testu na początku roku szkolnego. Celem przeprowadzenia testów jest określenie początkowego poziomu wiedzy uczniów w zakresie znajomości finansów. 

Pod koniec roku szkolnego, uczniowie i uczennice przystępują do testu końcowego. Jego celem jest weryfikacja poziomu wiedzy uzyskanej przez nich w efekcie ukończenia programu. 

Źródło: Bednárová, 2021; Junior Achievement Slovensko, n.o., n.d.

8.3 Zdefiniuj kryteria i pytania ewaluacji 

Następnym krokiem jest podjęcie decyzji o kryteriach ewaluacji, które powiązane są z celem ewaluacji. Kryteria zapewniają perspektywę, z której możesz spojrzeć na swój projekt i sformułować pytania ewaluacyjne.

Kryteria opisują pożądane atrybuty lub aspekty projektu, które chcesz zweryfikować/ocenić: np. projekt powinien być adekwatny do potrzeb beneficjentów/ek, spójny z innymi przedsięwzięciami, skuteczny w osiąganiu zaplanowanych celów i rezultatów, dostarczać rezultaty w efektywny sposób i mieć trwały pozytywny wpływ (OECD, b.d).

Będziesz także musiał/a określić kilka kluczowych pytań ewaluacyjnych, na które chcesz znaleźć odpowiedzi w ramach ewaluacji. Na przykład, możesz zapytać, w jaki sposób uczestnicy i uczestniczki odnieśli korzyści z udziału w ewaluowanym projekcie lub czy osiągnęli to, czego oczekiwano, lub czy wszystkie zaangażowane w projekt strony uczestniczyły w nim zgodnie z planem.

Kryterium: TRAFNOŚĆ/ ADEKWATNOŚĆ 

Pytanie ewaluacyjne: Czy projekt wspierający przedsiębiorczość młodzieży odpowiada na zidentyfikowane problemy młodzieży w danym regionie? 

Stopień, w jakim cele interwencji i sposób jej realizacji odpowiadają na potrzeby beneficjentów i beneficjentek.

Kryterium: SKUTECZNOŚĆ

Pytanie ewaluacyjne: Czy projekt osiągnął swoje cele i rezultaty? 

Stopień, w jakim projekt osiągnął planowane produkty, rezultaty i cele. 

Kryterium: EFEKTYWNOŚĆ

Pytanie ewaluacyjne: Jak dobrze wykorzystywane są zasoby?

Stopień, w jakim projekt dostarczy planowane produkty i rezultaty zgodnie z założonym budżetem i harmonogramem. 

Kryterium: UŻYTECZNOŚĆ

Pytanie ewaluacyjne: Na ile przydatne są rezultaty projektu? 

Stopień, w jakim produkty i rezultaty projektu były przydatne dla ich odbiorców/odbiorczyń.

Kryterium: WPŁYW/ ODDZIAŁYWANIE

Pytanie ewaluacyjne: Jakie zmiany wywołał projekt? 

Stopień, w którym projekt wygenerował znaczące, pozytywne lub negatywne, zamierzone lub niezamierzone skutki wykraczające poza bezpośrednich uczestników projektu. 

Kryterium: TRWAŁOŚĆ 

Pytanie ewaluacyjne: Czy rezultaty projektu (korzyści) będą trwałe?

Stopień, w którym osiągane rezultaty będą trwałe w czasie po zakończeniu projektu i jego finansowania. 

Trwałość można zdefiniować jako zdolność kluczowych interesariuszy do utrzymania korzyści z interwencji – po zaprzestaniu finansowania przez darczyńców – dzięki wysiłkom wykorzystującym lokalnie dostępne zasoby. 

Kryterium: SPÓJNOŚĆ

Pytanie ewaluacyjne: Na ile projekt jest zbieżny z innymi programami?

Określenie, w jakim stopniu cele i rezultaty projektu są zgodne z założeniami (zidentyfikowanymi problemami) określonymi w dokumentach programowych, strategiach i politykach dot. wsparcia zatrudnienia i przedsiębiorczości młodzieży.

Wszystkie pytania ewaluacyjne muszą być związane z zakresem i celem/celami ewaluacji. Powinny być zrozumiałe i przydatne (tj. pozwalające na wykorzystanie uzyskanych informacji). Poniżej znajduje się kilka przykładów możliwych pytań ewaluacyjnych i powiązanych kryteriów ewaluacyjnych zaproponowanych dla istniejącego projektu. 

 

PRZYKŁAD 1

Rezultat projektu: poprawa umiejętności kluczowych gwarantujących sukces — podstawowe umiejętności w zakresie zatrudnienia i proaktywnego podejścia do rozwoju przedsiębiorczości, własnej pracy, umiejętności rozwiązywania problemów, identyfikowania, projektowania i rozwijania własnego pomysłu.

Pytania ewaluacyjne: W jakim stopniu osiągnięto planowane rezultaty (skuteczność)? Czy cele, działania i rezultaty projektu są zgodne z celami i priorytetami organizacji (spójność)? Czy rezultaty projektu są przydatne dla jego odbiorców i odbiorczyń (użyteczność)? Czy wyniki projektu są trwałe (trwałość)? Jak efektywne było wykorzystanie zasobów projektu (efektywność)? 

 

PRZYKŁAD 2

Cel projektu: Poprawa szans absolwentek i absolwentów uczelni na rozpoczęcie własnej działalności 

Pytanie ewaluacyjne: W jaki sposób i w jakim stopniu projekt pomaga młodzieży w pomyślnym przejściu do przedsiębiorczości lub pracy (wpływ)?

 

PRZYKŁAD 3

Rezultat projektu: wyposażenie uczestników i uczestniczek o niższych kwalifikacjach w umiejętności niezbędne do rozpoczęcia działalności gospodarczej w ich społecznościach do końca projektu. 

Pytanie ewaluacyjne: W jaki sposób projekt może wykorzystać umiejętności tych młodych osób w zakresie przedsiębiorczości i pomóc przekształcić ich pomysły w dochodowe przedsiębiorstwa (użyteczność)?

Źródło: opracowanie własne

W tabeli znajdziesz przykładowe kryteria i pytania ewaluacji.

Tabela 4: Kryteria i pytania ewaluacyjne

Pytanie	Kryterium ewaluacji
Czy budżet projektu był wystarczający do prawidłowego zrealizowania projektu?	Efektywność
W jakim stopniu osiągnięto zaplanowane cele i efekty?	Skuteczność
Jak wykorzystywane są zasoby projektu?	Efektywność
Co poszło nie tak i dlaczego?	Skuteczność, Wpływ
Czy cele projektu, działania są zgodne z celami i priorytetami organizacji?	Spójność
Czy uzyskane efekty są trwałe?	Trwałość
Co pomogło w realizacji projektu?	Efektywność
Co spowolniło realizację projektu?	Efektywność
Jak społeczność postrzega projekt?	Wpływ
W jakim stopniu efekty projektu były przydatne dla jego odbiorców i odbiorczyń?	Użyteczność
W jakim stopniu projekt odpowiadał na potrzeby jego odbiorców i odbiorczyń?	Adekwatność

Źródło: opracowanie własne

Po sformułowaniu pytań, na które powinna odpowiedzieć Twoja ewaluacja, powinieneś/powinnaś przyjrzeć się wskaźnikom, które są kluczowe dla pomiaru efektów projektu.

8.4 Wskaźniki projektu

Wskaźniki projektu są miarą stopnia osiągnięcia założonych efektów projektu. W tym kontekście wskaźnik służy jako punkt odniesienia do pomiaru założonych celów, rezultatów i produktów. Wskaźniki mogą być:

• ilościowe – dostarczają informacji wyrażanych liczbowo (np. liczba, współczynnik lub procent) 
• jakościowe – dostarczają informacji o charakterze jakościowym (np. opinie kluczowych informatorów na temat tego, czy po zakończeniu projektu lokalny ekosystem start-upów jest bardziej rozwinięty niż był wcześniej; lub opinie nt. zmian w lokalnych przepisach dotyczących działalności gospodarczej, itp.). 

Wskaźniki mogą pokazać, czy Twój projekt przyniósł oczekiwane rezultaty. 

Dlaczego definiowanie wskaźników jest ważne w procesie ewaluacji (Selecting project indicators, 2013)?

1. W początkowej fazie projektu, wskaźniki są ważne dla określenia, w jaki sposób będzie mierzony sukces projektu oraz jaki poziom danego wskaźnika lub jego dynamiki należy uznać za zadowalający dla osiągnięcia danego celu.
2. Podczas realizacji projektu wskaźniki pomagają ocenić postęp projektu i wskazać obszary, które można poprawić.
3. W końcowej fazie projektu wskaźniki stanowią podstawę, do oceny jego skuteczności. 

Istnieją 3 rodzaje wskaźników projektowych, które są powszechnie uznawane i mogą być wykorzystywane podczas ewaluacji w oparciu o takie kryteria jak skuteczność, efektywność lub wpływ: 

1. Wskaźniki procesu służą do pomiaru procesów lub działań projektowych. Na przykład może to być „liczba szkoleń zorganizowanych w okresie XY”.
2. Wskaźniki rezultatu mierzą zmiany zaistniałe w wyniku działań projektowych. Np. „W jakim stopniu poprawił się poziom umiejętności w zakresie przedsiębiorczości?”.
3. Wskaźniki wpływu mierzą długoterminowe efekty projektu, np. „liczba nowych start-upów założonych przez młodych przedsiębiorców”.

Również inne kryteria, takie jak trafność, użyteczność i spójność oraz związane z nimi pytania ewaluacyjne mogą mieć własne wskaźniki, ale każdy wskaźnik musi spełniać cechy szczególne (Bureau of Educational and Cultural Affairs, b.d.), które zostały wymienione poniżej w Tabeli 5.

Tabela 5: Charakterystyka wskaźników 

Cechy wskaźników	Opis
Sprecyzowany	Prawdopodobnie najważniejszą cechą wskaźników jest to, że powinny one być precyzyjne lub dobrze zdefiniowane. Innymi słowy, wskaźniki nie mogą być niejednoznaczne. W przeciwnym razie różne interpretacje wskaźników przez różne osoby oznaczają różne wyniki dla każdego z nich.
Mierzalny	Wskaźnik musi być mierzalny, czyli określony w sposób pozwalający wyrazić liczbowo stopień jego realizacji
Osiągalny	Wskaźnik jest osiągalny, jeśli dokładnie określa ilość lub poziom tego, co ma być mierzone w celu osiągnięcia efektu/rezultatu. Wskaźnik powinien być realistyczny i możliwy do osiągnięcia w wyniku projektu. Wartość samego wskaźnika powinna również być osiągalna.
Adekwatny	Musi być spójny z założeniami projektu Adekwatność w tym przypadku oznacza, że wskaźnik faktycznie mierzy to, co powinno być zmierzone.
Określony w czasie	Musi wskazywać termin jego osiągnięcia (być zakotwiczony w czasie).

Źródło: Selecting project indicators, 2013; Bureau of Educational and Cultural Affairs, b.d.

8.5 Określ rodzaj potrzebnych informacji

Pomiar sukcesu może wymagać zebrania informacji przed, w trakcie projektu i po jego zakończeniu. Musisz wcześniej określić rodzaj informacji, która Ci się później przyda i upewnić się, że jest ona gotowa i dostępna, gdy będziesz jej potrzebować. 

Należy wziąć pod uwagę dwie szerokie kategorie informacji: 

• Ilościowe: dotyczą liczenia i mierzenia takich elementów jak na przykład frekwencja, liczba szkoleń, liczba godzin przeprowadzonych zajęć lub wyniki testów wiedzy.
• Jakościowe: dotyczą opinii, ocen, myśli, percepcji, postaw, zmian zachowania, przekonań i mogą obejmować np. opinie nt. zrealizowanych zajęć (zebrane na podstawie obserwacji, wywiadów i sprawozdań).

Poniżej znajduje się kilka pomysłów na to, jak za pomocą pytań można zebrać różne kategorie informacji. 

Przykładowe pytania do ewaluacji projektu

Gdy znany jest główny cel ewaluacji, a także kryteria i pytania ewaluacyjne (patrz poprzedni rozdział), możesz przystąpić do formułowania konkretnych pytań, które umieścisz w narzędziach badawczych służących do zbierania informacji jakościowych i ilościowych (np. testy, kwestionariusze, itp.)

Pytania, które możesz wykorzystać w narzędziach gromadzących dane ilościowe:

• Ile zorganizowano szkoleń mających na celu na rozwijanie umiejętności przedsiębiorczych?
• Ilu pracowników/pracownic z organizacji i środowiska biznesowego było zaangażowanych w program mentoringowy?
• Jak zmieniła się liczba uczestników i uczestniczek po zaangażowaniu lokalnej społeczności biznesowej w projekt mentoringowy?
• Jak zmieniła się liczba uczestników i uczestniczek po uruchomieniu programu mentoringowego?
• Ilu uczestników/uczestniczek osiągnęło pozytywne wyniki biorąc udział w zajęciach?
• Ilu uczestników/uczestniczek było na początku programu i ilu go ukończyło?

Pytania, które możesz wykorzystać w narzędziach gromadzących dane jakościowe:

• Jakie były Twoje odczucia związane ze wsparciem mentora/ki przed przystąpieniem do projektu?
• Co sądzisz o tym doświadczeniu teraz, gdy byłeś/aś pod opieką mentora/ki od roku?
• Co w programie mentoringowym spodobało Ci się najbardziej i dlaczego?
• Jakie elementy programu mentoringowego uznałeś/aś za trudne?
• Jaką radę dałbyś/dałabyś innym uczestnikom przychodzącym do programu mentoringowego w przyszłym roku?
• Dlaczego Twoim zdaniem niektórzy uczestnicy zakończyli udział w programie?
• Pomyśl proszę o czasie, w którym zacząłeś/łaś uczestniczyć w programie. Czy zaobserwowałeś/aś jakąś znaczącą zmianę w swoim życiu?
  (Jeśli tak) Wymień obszary, w których zaobserwowałeś/aś zmiany. Powiedz proszę, jaki był główny czynnik, który spowodował każdą z tych zmian?
• Pomyśl proszę o czasie, w którym zacząłeś/łaś uczestniczyć w programie. Czy zaobserwowałeś/aś w tym okresie jakieś znaczące zmiany w funkcjonowaniu Twojego start-upu?
  (Jeśli tak) Wymień obszary, w których zaobserwowałeś/aś te zmiany. Powiedz proszę, jaki był główny czynnik, który spowodował te zmiany.
• (Jeżeli projekt został wymieniony jako główny czynnik) Które warsztaty miały największy wpływ na Twój start-up i dlaczego?
• Czy w projekcie jest coś, co Twoim zdaniem powinno być zrobione w inny sposób (kwestie dotyczące organizacji, wykładowców, czasu, itp.)? Co chciałbyś/chciałabyś, żeby uległo zmianie?
• Co powinno się zmienić, abyś mógł/mogła w większym stopniu wykorzystywać kontakt z innymi uczestnikami i uczestniczkami i czerpać korzyści z bycia częścią społeczności?

8.6 Jasno określ swoich interesariuszy

W każdym działaniu wspierającym przedsiębiorczość młodzieży jest wielu interesariuszy. Zainteresowane strony mogą obejmować przedstawicieli partnerów projektu, w tym inkubatorów przedsiębiorczości, akceleratorów, władz lokalnych lub uczelni wyższych, organizacje pracodawców, darczyńców, mentorów, trenerów, coachów, zespół projektowy oraz uczestników i uczestniczek.

Będziesz musiał/a pomyśleć o odbiorcach swojej ewaluacji, kim są interesariusze, czy i w jaki sposób niektórzy z nich mogą być zaangażowani w proces ewaluacji, jakie informacje mogą Ci dostarczyć lub jakie kryteria ewaluacji i pytania byłyby dla nich ważne.

Jeżeli wnioski z ewaluacji mają zostać wdrożone, to istotne jest zidentyfikowanie potrzeb interesariuszy w zakresie ewaluacji w fazie przygotowawczej projektu. W przeciwnym razie możesz nie być w stanie ich spełnić, ponieważ wyniki ewaluacji nie dostarczą interesariuszom oczekiwanych przez nich informacji. 

Jeśli to możliwe, włącz interesariuszy do ewaluacji. Pozwoli to na kompleksowy wgląd i zmianę perspektywy. Szczególnie ważne jest zaangażowanie grupy docelowej (beneficjentów), tym bardziej że będziesz z nią pracować podczas realizacji projektu, a więc będziesz mieć z nią stały kontakt. Ewaluacja partycypacyjna jest prostym narzędziem zapewniającym włączenie interesariuszy do ewaluacji. 

8.7 Zidentyfikuj potencjalne źródła wsparcia w gromadzeniu danych

Przed zebraniem informacji zastanów się, kiedy i jakiego rodzaju pomocy możesz potrzebować. 

Potencjalne źródła wsparcia w zbieraniu informacji:

• Niezależna osoba, jak na przykład ktoś z innej organizacji realizującej podobne projekty, interesariusz lub firma, może pomóc w przygotowaniu i planowaniu części Twojej ewaluacji.
• Eksperci zewnętrzni mogą pomóc w opracowaniu koncepcji ewaluacji i analizie danych, jak również w opiece metodologicznej nad przygotowaniem narzędzi badawczych (scenariuszami wywiadów, kwestionariuszami).
• Czasami warto zlecić zbieranie informacji niezależnym osobom (np. powierzyć zbieranie i analizowanie niektórych danych ekspertowi zewnętrznemu, lub wykorzystać statystyki gromadzone przez władze publiczne, itp.).

W zależności od charakteru projektu, jego interesariusze mogliby uczestniczyć w projektowaniu koncepcji ewaluacji, wspierać zbieranie danych, pomagać w interpretacji wyników i formułowaniu rekomendacji wnosząc swoje doświadczenie i wiedzę ekspercką do projektu.

8.8 Zidentyfikuj źródła informacji, które chcesz zebrać 

Aby uzyskać możliwie szerokie spojrzenie na projekt należy zebrać informacje z różnych źródeł. Możesz pomyśleć o wykorzystaniu informacji wewnętrznych, takich jak:

• Listy obecności
• Wskaźnik rotacji (utrzymania uczestników)
• Śledzenie informacji po zakończeniu projektu (np. dane dotyczące rozwoju przedsiębiorstw uruchomionych przez uczestników i uczestniczki, dane dotyczące statusu zatrudnienia beneficjentów/ek projektu, udziału w mentoringu itp) 
• Śledzenie informacji dotyczących rozwoju firm uruchomionych przez uczestników i uczestniczki w trakcie projektu (np. technologia, przedsiębiorstwo społeczne, biznes, nowatorskie pomysły). 
• Zapisy zachowań uczestników i uczestniczek (np. przerwanie udziału, poziom zaangażowania).
• Opinie uczestników i uczestniczek, rodziców, asystentów lub instruktorów na temat poszczególnych aspektów projektu.
• Dane o osiągnięciach uczestników i uczestniczek (np. wyniki testów wstępnych i testów końcowych).

Z perspektywy realizatora/ki działań wspierających przedsiębiorczość młodzieży, możesz pomyśleć o:

• wywiadach z wolontariuszami 
• ewidencji wsparcia finansowego i rzeczowego
• poziomie obecności w mediach lub zasięgu działań komunikacyjnych i rozpowszechniających 
• pytaniu uczestników i uczestniczek o ich zadowolenie (np. za pomocą ankiety i wywiadów)
• liczbie uczestników i uczestniczek, na których działania lub projekty mają bezpośredni i pośredni wpływ
• danych dotyczących sprzedaży lub innych dowodach sukcesu marketingowego
• wywiadach z personelem projektu. 

By zapewnić obiektywność wyników ewaluacji, powinieneś/powinnaś wziąć pod uwagę informacje, które mogą pochodzić ze źródeł zewnętrznych. Mogą to być statystyki, raporty lub analizy opracowane przez:

• urzędy pracy, które mogą prowadzić statystyki liczby absolwentów zarejestrowanych jako bezrobotni w monitorowanym okresie;
• gminy, które mogą monitorować działalność gospodarczą w danym regionie, 
• szkoły średnie, wyższe i inne placówki oświatowe, które mogą udostępniać statystyki na temat swoich absolwentów/klubów absolwentów;
• instytucje rządowe / ministerstwo pracy, spraw społecznych itp, które mogą systematycznie monitorować zatrudnienie i przedsiębiorczość młodzieży NEET.
• organizacje pozarządowe zajmujące się młodzieżą (np. organizacje pozarządowe współpracujące z uczelniami, takie jak AIESEC, IASTE, ELSA)
• lub organizacje i instytucje sieciujące, takie jak domy kultury, centra integracyjne, ośrodki animacyjne, przestrzenie coworkingowe itp.

W pełni wykorzystaj dostępne informacje. Historię projektu można prześledzić dzięki takim dokumentom jak:

• plany, dokumenty, w szczególności takie jak matryca logiczna projektu, wniosek o dofinansowanie itp.
• korespondencja i komunikacja — e-maile, zapisy rozmów telefonicznych pomiędzy partnerami
• oryginalne harmonogramy i budżety
• plany biznesowe lub strategiczne
• notatki ze spotkań
• raporty z konsultacji społecznych
• dokumenty finansowe.

Inne informacje możesz zebrać, przeprowadzając wywiady z osobami, które były zaangażowane od pierwszych dni projektu. 

Możesz również dowiedzieć się, co ludzie pamiętają z fazy rozpoczęcia projektu:

• ich początkowe oczekiwania i motywacje do przystąpienia do projektu, zmiany oczekiwań w trakcie realizacji projektu oraz w jakim stopniu oczekiwania zostały spełnione 
• podział ról i obowiązków 
• oczekiwane i rzeczywiste wyzwania
• proponowane sposoby radzenia sobie z nimi.

W ten sposób możesz zbudować obraz tego, jak projekt ewoluował i czy nadal służy pierwotnie zamierzonemu celowi. 

Istnieje wiele różnych metod zbierania danych z różnych źródeł informacji, takich jak desk research, wywiady, studia przypadków, obserwacje i sondaże. Każda z nich ma swoje wady i zalety. Zobacz Rozdział 9 „Zbieranie informacji”, aby uzyskać więcej informacji na temat sposobów zbierania informacji z różnych źródeł.

8.9 Projektowanie ewaluacji wpływu

Ewaluacja wpływu to rodzaj ewaluacji koncentrującej się na czynnikach, które spowodowały zaobserwowaną zmianę w grupie docelowej ewaluowanego projektu. Stosowanie kombinacji następujących strategii może być pomocne w wyciąganiu wniosków (Peersman, 2015):

• ocenianie, co by się stało, gdyby nie doszło do realizacji ewaluowanego projektu i porównanie takiego stanu z zaistniałą zmianą,
• Sprawdzanie spójności dowodów (źródeł i sposobów weryfikacji) potwierdzających przyczynowo-skutkowe opisane w matrycy logicznej projektu, 
• Wykluczanie alternatywnych wyjaśnień poprzez logiczny, oparty na dowodach proces.

Istnieją trzy modele, które umożliwiają realizację tych strategii. Modele eksperymentalne i quasi-eksperymentalne opierają się na zasadzie porównywania sytuacji przed i po interwencji w dwóch grupach — jednej składającej się z beneficjentów bezpośrednich (uczestniczących w projekcie) i drugiej, w skład której wchodzą osoby o podobnych cechach, które nie korzystały ze wsparcia w ramach projektu. 

1. W modelach eksperymentalnych ta druga grupa nazywana jest grupą kontrolną, a przypisanie do niej , jak również do grupy objętej działaniami projektu/interwencji, opiera się na mechanizmie doboru losowego. Ze względu na to ten model po angielsku jest nazywany RCT, Random Controlled Trials, co oznacza randomizowane (losowe) kontrolowane badania (badania eksperymentalne).

Głównym warunkiem RCT jest to, aby liczba osób zainteresowanych Twoim projektem była większa niż liczba uczestników, którym możesz udzielić wsparcia. Grupa eksperymentalna i grupa kontrolna powinny być podobne pod względem takich cech jak: wiek, poziom wykształcenia, status na rynku pracy itp. Losowy dobór próby może odbywać się na różne sposoby, np. może być ona generowana komputerowo. Główną zasadą jest to, że wszystkie jednostki mają równe szanse zostać wybranymi do obu grup.

2. Modele quasi eksperymentalne — w których „druga grupa” jest nazywana grupą porównawczą i jest tworzona przy użyciu podobnych technik w celu zapewnienia optymalnego podobieństwa lub kontrolowanej różnicy w stosunku do grupy badanej. Selekcja do obu grup opiera się na mechanizmie nielosowym (np. w porównywanych grupach znajdują się tylko osoby, które znajdowały się blisko granicy przyjęcia do projektu, a wybierane są spośród odbiorców projektu oraz kandydatów, którzy nie uczestniczyli w projekcie).
3. Modele nieeksperymentalne — w których systematycznie sprawdza się, czy dowody są zgodne z tym, czego można by oczekiwać, gdyby interwencja przyniosła planowane skutki (np. czy kolejność i harmonogram działań i efektów projektu przebiegają zgodnie z założeniami logiki projektu), a także czy pozaprojektowe czynniki mogą stanowić alternatywne wyjaśnienie zaobserwowanych skutków.

9. Zbieranie informacji

Rys. 4: Ewaluacja działań wspierających przedsiębiorczość młodzieży – Cykl życia – Etap 2 

Ta sekcja narzędziownika dotyczy różnych sposobów zbierania informacji oraz tego, w jaki sposób możesz skorzystać z poszczególnych źródeł informacji, stosując różne metody ewaluacji. 

Ewaluacja może wykorzystywać metody ilościowe lub jakościowe, jednak najczęściej obejmuje je obie, ponieważ mogą się wzajemnie uzupełniać i równoważyć swoje słabości (CTSA, 2011).

9.1 Metody ilościowe

Metody ilościowe dostarczają informacji ilościowych, które mierzą skalę (ile), intensywność (w jakim stopniu) i częstotliwość (jak często) badanych zjawisk, np. efekty realizacji projektu (odsetek osób, które skorzystały z wiedzy oraz umiejętności nabyte w ramach projektu w celu wypracowania i wdrażania ich biznesplanów).

Dane ilościowe mogą być zbierane za pomocą sondaży (przy użyciu np. kwestionariuszy, pre i post- testów, przeglądu istniejących dokumentów i baz danych lub poprzez gromadzenie danych) z wykorzystaniem różnych kanałów komunikacji. Zwłaszcza pandemia COVID-19 spowodowała szersze wykorzystanie kanałów komunikacji online, metod (np. wywiadu internetowego wspomaganego komputerowo — CAWI) i narzędzi (np. interaktywnych prezentacji typu Mentimeter).

Sondaże

Sondaże opierające się na samodzielnie wypełnianych kwestionariuszach (papierowych lub internetowych) są szybkim i niedrogim sposobem dowiedzenia się, co ludzie myślą, robią i jaka jest ich sytuacja. Pytania ankietowe mogą być również zadawane przez ankieterów podczas rozmowy telefonicznej lub bezpośredniej, ale takie metody są znacznie bardziej kosztowne. 

Na przykład możesz przeprowadzić ankietę wśród odbiorców projektu, aby zobaczyć, jakie korzyści odnieśli z udziału w projekcie oraz w wyniku doświadczeń biznesowych lub branżowych. Powinieneś/powinnaś przeprowadzić badanie ankietowe wśród uczestników i uczestniczek projektu, by dowiedzieć się, czego nauczyli się, uczestnicząc w poszczególnych działaniach, oraz sprawdzić, czy mają jakieś sugestie dotyczące poprawy wyników lub samych procesów. 

Możesz również przeprowadzić ankietę wśród rodziców lub opiekunów młodzieży biorącej udział w projekcie, aby dowiedzieć się, jaki wpływ projekt wywarł na ich dzieci. Jeżeli chcesz pokazać zmianę wywołaną przez ewaluowaną interwencję, musisz zebrać informacje przed i po realizacji projektu (np. poziom wiedzy lub nabytych umiejętności). 

Pamiętaj, że pytania w Twoich narzędziach ewaluacyjnych (które są ankietami do samodzielnego wypełnienia lub wypełniane przez ankieterów) muszą być przede wszystkim ściśle związane z wybranymi kryteriami ewaluacji i pytaniami ewaluacyjnymi. Gdy Twoje narzędzia ewaluacyjne są gotowe, możesz przeprowadzić własną sondaż online za pomocą bezpłatnego oprogramowania online.

Dane ilościowe są łatwiejsze do analizy niż jakościowe, ponadto można je uogólniać. Oznacza to, że wyniki analizy można zastosować do szerszej grupy (populacji) niż tylko do osób biorących udział w badaniu (próba), pod warunkiem, że próba jest wystarczająco duża i dokładnie reprezentuje populację. Prawidłowo zebrane dane są wiarygodne, a ich dokładność można oszacować. Jednak zbieranie danych może być trudne ze względu na ograniczony dostęp do danych kontaktowych badanych osób, a także trudności w dotarciu do respondentów, ich brak czasu i motywacji, nie mówiąc już o poważnych konsekwencjach niedoskonałości zaprojektowanego kwestionariusza. Istnieją również ograniczenia w rodzaju informacji, które można uzyskać za pomocą danych ilościowych. Nie dają one pogłębionych informacji czy wyjaśnienia kontekstu realizacji projektu i natury bardziej złożonych problemów, takich jak przyczyny i konsekwencje badanych zagadnień. 

Aby pokazać zmianę spowodowaną ewaluowaną interwencją, dane takie, jak np. poziom wiedzy lub umiejętności rozwiniętych podczas projektu, liczba nowych zarejestrowanych firm, powinny zostać zebrane przed (pre-test) i po (post-test) realizacji projektu. W tym celu można wykorzystać różne testy i bazy danych. 

Oceny umiejętności

By mierzyć postępy uczestników, niektórzy realizatorzy działań wspierających przedsiębiorczość młodzieży mogą rutynowo przeprowadzać testy oraz inne metody oceny. Istnieje wiele narzędzi, które mogą być użyte w tych okolicznościach do sprawdzenia poziomu wiedzy, umiejętności lub postaw uczniów przed rozpoczęciem i po ukończeniu pojedynczych działań lub ich serii.  Jednak może być trudno wykazać, czy zmiana ta nastąpiła wyłącznie na skutek działań projektowych. Pamiętaj o zewnętrznych czynnikach, które mogły przyczynić się lub przeciwdziałać osiągnięciu obserwowanych efektów. Więcej informacji na temat oceny umiejętności znajdziecie w Narzędziowniku, w rozdziale 12.4

9.2 Metody jakościowe 

Metody te służą lepszemu poznaniu, głębszemu zrozumieniu i wyjaśnieniu procesu projektowego oraz jego efektów. Dane jakościowe mogą dostarczyć Ci szczegółowych informacji, odpowiadając na pytania o to, co się stało i jaki miało wpływ na osiągnięcie rezultatów itp. (np. co poszło dobrze, a co nie i dlaczego oraz jakie czynniki miały na to wpływ). 

Do zbierania danych jakościowych możesz wykorzystać wywiady pogłębione (indywidualne lub grupowe, tzw. fokusy), obserwacje, studia przypadku, jak również desk research, czyli analizę dokumentów obejmujących raporty, sprawozdania, relacje, pamiętniki, dzienniki zespołu projektowego, rejestry itp. 

Wywiad indywidualny 

Wywiad jest w zasadzie rozmową i może być ustrukturyzowany (realizowany na podstawie scenariusza z przygotowanym zestawem pytań), częściowo ustrukturyzowany lub nieustrukturyzowany (kiedy rozmówcy odpowiadają na pytania zadawane spontanicznie przez badacza). 

Wywiady mogą być prowadzone twarzą w twarz, lub przez telefon albo komunikator internetowy, na miejscu lub zdalnie.

Sposób prowadzenia rozmowy będzie zależeć od projektu, który ewaluujesz. Na przykład uczestnicy w projekcie mentoringowym lub stażowym mogą prowadzić mniej formalne, nieustrukturyzowane rozmowy na temat przebiegu działań, projektu lub warsztatów. Przeprowadzając wywiady z uczestnikami i uczestniczkami w fazie planowania projektu, możesz skorzystać z częściowo ustrukturyzowanych wywiadów telefonicznych lub twarzą w twarz. 

Zogniskowany wywiad grupowy (tzw. grupa fokusowa, fokus)

Grupa fokusowa to rodzaj wywiadu prowadzonego w małej grupie (5–8 osób) z udziałem moderatora. Na fokusy zwykle zaprasza się różne osoby w celu omówienia wspólnego tematu co do którego mogą mieć różne poglądy. Badania fokusowe mogą być przydatne, jeśli potrzebujesz zebrać kilku uczestników, rodziców, personel, trenerów, mentorów, interesariuszy projektu lub partnerów w jednym miejscu, aby omówić różne spojrzenia na projekt, jego wpływ i ich opinie na temat ewentualnych ulepszeń projektu. 

Do przeprowadzenia fokusa potrzebna jest osoba prowadząca dyskusję (moderator) oraz ewentualnie druga sporządzająca notatki. Najwygodniejszym sposobem (podobnie jak w przypadku wywiadów indywidualnych) jest poproszenie rozmówców i rozmówczynie o ich zgodę na nagrywanie. Następnie możesz podsumować przeprowadzone wywiady.

Obserwacja 

Obserwacja to metoda zbierania danych oparta na uważnym i systematycznym doświadczaniu (poprzez widzenie, słyszenie) różnych wydarzeń i zjawisk. 

Obserwacja może być przeprowadzona bez żadnego narzędzia (obserwacja swobodna) lub z pomocą arkusza obserwacji albo listy kontrolnej, która skupia uwagę obserwatorów na kwestiach takich, jak np. poziom aktywności i interakcji pomiędzy uczestnikami szkolenia (Bartosiewicz-Niziołek, M., Nałęcz, S., 2021). Takie narzędzie pozwala skupić się na istotnych dla Ciebie kwestiach (np. poziom aktywności i interakcje między uczestnikami szkolenia, zaangażowanie trenera, sposób przedstawiania problemów, angażowanie uczestników, sposób prowadzenia szkolenia). 

Możesz również użyć listy kontrolnej do obserwacji lub sporządzać notatki, by rejestrować aktywność uczestników lub personelu, jak również ich odpowiedzi. Arkusz obserwacyjny umożliwi Ci rejestrowanie dynamiki interakcji między uczestnikami i personelem. Zaangażowanie uczestników, rejestrowanie ich mowy ciała, komentarzy werbalnych, pytań, które zadają, okazywany stopień pewności siebie, lub stopień przestrzegania sugestii personelu czy mentora — to wszystko możesz zmierzyć za pomocą prostego systemu tak lub nie, lub odhaczania krzyżykiem odpowiedniego pola. Możesz również użyć prostego licznika, by zapisać np. liczbę uczestników zaangażowanych w działania w różnych momentach trwania projektu. 

Obserwacja powinna skupiać się na informacjach potrzebnych do znalezienia odpowiedzi na pytanie ewaluacyjne i powinna być przygotowana na jakiś czas przed przybyciem na miejsce obserwacji. 

Dobrym pomysłem jest zebranie informacji z innych źródeł poza zaobserwowanymi, aby uzyskać pełniejszy obraz wyników uczestników. 

Studium przypadku

Studium przypadku to dogłębna analiza konkretnego zjawiska lub doświadczenia. Może wyraźnie przedstawić, jaki wpływ (na przykład na jednostkę) wywiera ewaluowany projekt lub działanie. Studia przypadków potrafią ukazać istotę zjawiska kryjącą się za statystykami lub innymi informacjami. Są szczególnie skuteczne w połączeniu z innymi źródłami informacji. 

Na przykład studium przypadku dotyczące konkretnego uczestnika, może podkreślić zdobyte umiejętności i wiedzę oraz korzyści z uczestnictwa w projekcie zidentyfikowane przez tę osobę. Łącząc głos uczestników z innymi dowodami, można zbudować szeroki obraz wpływu projektu i zrozumieć procesy, które przyczyniły się do osiągnięcia jego rezultatów. Te dodatkowe dowody mogą obejmować komentarze zebrane od koordynatora projektu, innych pracowników, mentorów i rodziców lub opiekunów zaangażowanych uczestników. 

Analiza dokumentacji (Desk research)

Dokumenty mogą być przydatnym źródłem informacji o genezie Twojego projektu, jak również dostarczać informacji o przeprowadzonych działaniach, postępach beneficjentów itp. Pamiętaj o celu ewaluacji przy wyborze materiałów do analizy. Zwłaszcza w przypadku braku matrycy logicznej projektu, takie dokumenty mogą pomóc Ci w jej opracowaniu na późniejszych etapach projektu. 

Odpowiednie materiały mogą obejmować dane zastane dotyczące wczesnego planowania, takie jak plany biznesowe lub strategiczne, komunikację między partnerami i wykonawcami, dokumentację finansową, protokoły spotkań, umowy lub protokoły uzgodnień itp. 

Jeśli ewaluujesz projekt znajdujący się w zaawansowanym stadium realizacji prawdopodobnie będziesz mieć dostęp do niektórych z tych dokumentów i możesz je uwzględnić w swojej ewaluacji (np. raporty, diagnozy potrzeb, testy wiedzy lub umiejętności, sprawozdania trenerów i stażystów/uczestników, listy kontrolne). Możesz także zbierać informacje od osób, które od początku były zaangażowane w projekt. Dzięki tym materiałom możesz dowiedzieć się, co pamiętają na temat założeń projektu, poszczególnych działań, tego co chcieli osiągnąć i czy uważają, że cele projektu zostały spełnione. 

Jednym z najprostszych dokumentów, z których możesz skorzystać, jest lista kontrolna. Jest ona szybkim i łatwym sposobem na zapisywanie podstawowych informacji. Używa się jej, gdy w projekcie zostaną określone elementy lub działania, które mają zostać zarejestrowane.

Możesz użyć listy kontrolnej, aby: 

• podsumować działania, w które zaangażowali się uczestnicy, 
• śledzić postępy uczestników w czasie,
• zapisywać obserwacje — więcej informacji o nich znajdziesz poniżej,
• pokazać zadania, które ukończyli uczestnicy, lub które aspekty zadań zostały wykonane. 

Listy kontrolne mogą być prowadzone przez personel projektu lub personel pomocniczy, uczestników lub przez wszystkie strony. Przykład listy kontrolnej znajdziesz na dalszych stronach Narzędziownika. 

Jeżeli dopiero zaczynasz działanie wspierające przedsiębiorczość młodzieży, zachowaj podstawową dokumentację, która zawiera istotne informacje o projekcie. Może ona być przydatnym źródłem informacji do śledzenia postępów Twoich działań lub interwencji. 

Podczas analizy dokumentacji możesz skorzystać z takich danych zastanych jak pamiętniki, dzienniki, notatki z uwzględnieniem personalnych refleksji), która może dać Ci bogaty obraz doświadczeń ludzi. Wpisy te mogą pokazywać, jak zmieniło się myślenie lub rozumienie odbiorcy w wyniku udziału w projekcie. Mogą również pokazać, czego uczestnicy oczekiwali na początku i czy te oczekiwania zostały spełnione, czy praktykant/stażysta nabrał pewności siebie, zdobył określone umiejętności lub wiedzę. Dzienniki personelu mogą również śledzić rozwój uczniów lub samego zespołu w zakresie zawodowym. Z kolei partnerzy mogą zdecydować się na prowadzenie dziennika spotkań i działań w celu śledzenia postępów lub dokumentowania tego, co się działo. Tego rodzaju informacje mogą być szczególnie przydatne w przypadku ewaluacji skoncentrowanych na zmianie lub rozwoju w czasie. Warto pamiętać o uzyskaniu zgody właścicieli tych pamiętników, dzienników i notatek, zgodnie z ogólnym rozporządzeniem o ochronie danych (RODO). 

Możesz również skorzystać z referencji lub zaświadczeń, które są wyrazem wsparcia dla projektu okazanym przez osoby z zewnątrz. Referencje dostarczają dowodów na temat mocnych i słabych stron projektu. Zazwyczaj, choć nie zawsze, wystarczy o nie poprosić. Podobnie jak studia przypadków, referencje mogą dostarczyć Ci pełny obraz tego, co zostało osiągnięte z perspektywy uczestnika projektu lub nawet osoby spoza projektu. Pismo od władz lokalnych doceniające wykorzystanie innowacyjnego rozwiązania biznesowego do rozwiązania problemu społeczności, może być na przykład użyte do zademonstrowania wpływu projektu na konkretnym obszarze. Innym przykładem może być sytuacja, w której lokalna izba handlowa przekaże informacje zwrotne od przedsiębiorstw dotyczące wyników uczestników podczas działań mentorskich lub praktyk zawodowych realizowanych w ramach wspólnego projektu. 

Dodatkowo w ramach desk research przedmiotem analizy mogą być materiały wizualne. Materiały te mogą służyć jako dowód zaangażowania w działanie lub pokazać wpływ projektu na uczestników. Zdjęcia i filmy mogą stworzyć warunki do ewaluacji, pokazując środowisko, w którym odbywa się projekt i jakie osoby są w niego zaangażowane. W zależności charakteru działań, w które zaangażowani są uczestnicy, zdjęcia mogą pokazywać progres w kierunku produktu końcowego i sam produkt końcowy. Zgodę na wykonanie takich zdjęć należy uzyskać od uczestników, mentorów i innych interesariuszy przed ich wykonaniem. Tam gdzie to możliwe należy wziąć pod uwagę kto i z jakiego powodu wykonał te zdjęcia, by nadać im kontekst. 

9.3 Zalety i ograniczenia niektórych metod gromadzenia informacji 

Możesz nie mieć całkowitej pewności, jakich metod gromadzenia danych powinieneś/powinnaś użyć do swojej ewaluacji. Niektóre będą bardziej pasowały do Twoich celów niż inne. 

Żeby pomóc Ci zdecydować jakie informacje będą najlepsze dla Twojej oceny, spójrz na poniższą tabelę, która pokazuje najważniejsze zalety i ograniczenia poszczególnych metod zbierania informacji. Jednak warto pamiętać, że w badaniach ewaluacyjnych należy stosować zarówno metody jakościowe, jak i ilościowe, aby uzyskać uzupełniające się informacje, a tym samym mocniejsze dowody i pełny obraz ewaluowanego projektu lub jego efektów. 

Tabela 6: Zalety i ograniczenia metod zbierania informacji

Metody zbierania informacji	Główne zalety	Główne ograniczenia
Wywiady indywidualne	Pozwalają uchwycić pogłębioną perspektywę uczestników i uczestniczek.	Mogą być czasochłonne, jeśli chodzi o przeprowadzenie i analizę danych z wywiadów, wymagają wykwalifikowanego badacza.
Zogniskowane wywiady grupowe (fokusy)	Interakcje między uczestnikami i uczestniczkami dają szerszą perspektywę i umożliwiają konfrontację różnych opinii.	Mogą być trudne do zaaranżowania (wersja twarzą w twarz) i czasochłonne (jak wyżej); wymagają wykwalifikowanego moderatora.
Studia przypadków	Służą jako przykład i mogą zapewnić dogłębny i całościowy obraz wpływu na uczestników.	Dotyczą konkretnych przypadków i nie można ich uogólniać.
Obserwacje	Pozwalają analizować reakcje beneficjentów w naturalnym kontekście, aby bezpośrednio ocenić zaangażowanie uczestników i uczestniczek.	Pokazują tylko obserwowalne zachowanie, a nie poglądy uczestników i uczestniczek.
Desk research (analiza dokumentów, takich jak pamiętniki, dzienniki i notatki, referencje, zdjęcia, filmy, testy i inne oceny)	Może nadać kontekst projektowi na jego początku (m.in. wskazując wstępne oczekiwania i cele), a także na jego końcu projektu (np. możesz analizować wyniki testów i całą inną dokumentację w celu sprawdzenia wystąpienia poszczególnych działań projektowych, ich harmonogramu, skali, jakości i wyników.	Czasami trudno jest znaleźć dokumenty dotyczące wstępnego planowania.
Sondaże	Porównywalny i dający się uogólnić, a także szybki i tani sposób na uchwycenie poglądów, zachowań i faktów.	Brak możliwości uzyskania pogłębionej perspektywy.

Źródło: opracowanie własne 

Pamiętaj, że w badaniach ewaluacyjnych należy zawsze stosować różne rodzaje metod jednocześnie, ponieważ wzajemnie się one uzupełniają. Zastosowanie zarówno metod jakościowych, jak i ilościowych pozwala przezwyciężyć ich ograniczenia.

9.4 Narzędzia badawcze 

Narzędzia badawcze przypisane są do odpowiednich metod zbierania informacji z różnych źródeł. Prezentujemy je w poniższej tabeli: 

Tabela 7: Przegląd metod i narzędzi ewaluacyjnych 

Metody badawcze	Narzędzia badawcze
Metoda ilościowa – sondaż	Kwestionariusz ankiety do samodzielnego wypełnienia (papierowy, online) Kwestionariusz wywiadu wypełniany przez ankietera
Metody jakościowe: Wywiad (indywidualny, grupowy) Obserwacja Desk research	Scenariusz wywiadu Arkusz obserwacji lub lista kontrolna Instrukcje dotyczące analizy dokumentów

Źródło: opracowanie własne

Najczęściej narzędzia badawcze są przygotowywane od podstaw zgodnie z koncepcją ewaluacji, ponieważ pytania w nich zawarte w muszą odpowiadać nie tylko celowi ewaluacji, ale i jej kryteriom oraz pytaniom ewaluacyjnym. Kilka przykładowych pytań, które możesz wykorzystać w celu opracowania własnych narzędzi, zostało wymienionych w Rozdziale 8. 

10. Analizowanie informacji

Rys. 4: Ewaluacja działań wspierających przedsiębiorczość młodzieży – Cykl życia – Etap 3 

Ta faza polega na przeanalizowaniu zebranych informacji. Ten etap pozwoli Ci poznać odpowiedzi na Twoje pytania ewaluacyjne. Jest to ważny krok dla określenia, czy ewaluowany projekt przyniósł zmiany, osiągnął pożądane rezultaty i wpływ, spełnił potrzeby odbiorców, oraz czy był użyteczny i skuteczny.

Będziesz musiał/a przeanalizować informacje, które mają charakter zarówno ilościowy, jak i jakościowy. Informacje ilościowe to przede wszystkim liczby, jak np. dane zebrane za pomocą ankiet, ale także wyniki testów, frekwencji lub/i nieobecności, czy liczba (odsetek) uczestników, którzy osiągnęli zakładane rezultaty. Dane jakościowe, pozwalają poznać poglądy ludzi, zaobserwowane zachowania, doświadczenia i perspektywy.

Poprzez analizę różnych informacji i stosowanie różnych metod, możesz uzyskać wiarygodny obraz swojego projektu i wskazać wszelkie wymierne efekty, które przyniósł, a także wskazać jakie miał on skutki dla interesariuszy.

Analiza danych poprzez poszukiwanie wzorców lub trendów może wskazać, które elementy Twojego projektu odniosły sukces, a które można zmienić tak aby wpłynęły pozytywnie na rezultaty.

Na przykład, jeśli Ty i Twoi partnerzy prowadzicie projekt mający na celu zwiększenie zaangażowania uczestników, możecie śledzić ich wyniki w czasie, analizując zmiany w frekwencji lub końcowych rezultatach i wynikach.

Aby w pełni zrozumieć wpływ swojego projektu, możesz również przeanalizować informacje zwrotne na temat postaw beneficjentów od personelu projektu lub profesjonalnych doradców i mentorów. Jeżeli reprezentujesz akademię przedsiębiorczości, której zadaniem jest zapewnienie wsparcia mentorskiego uczestnikom i uczestniczkom kursu, to będziesz mierzyć sukces oceniając zarówno stopień zaangażowania uczestników, jak i postawy personelu wobec beneficjentów i wykonywanych przez nich zadań. 

10.1 Jak analizować zebrane informacje 

Analiza danych składa się z 4 etapów, które należy przeprowadzić, by móc wyciągnąć wnioski i zinterpretować wyniki ewaluacji.

• Anonimizacja — upewnij się, że ze zbiorów danych zostały usunięte wszelkie dane osobowe lub wrażliwe (np. imiona, dane kontaktowe, daty urodzenia itp.)
• Sprawdzanie jakości informacji — sprawdź kompletność i spójność danych, popraw oczywiste błędy, usuń informacje jeżeli nie masz możliwości zweryfikowania ich poprawności, wybierz dane istotne dla ewaluacji.
• Kodowanie i kategoryzacja danych – za pomocą zestawu kodów (np. symboli lub nazw kategorii danych)
• Analiza i interpretacja

Jakie są etapy analizy danych jakościowych? 

Analiza danych jakościowych obejmuje badanie, porównywanie, kontrastowanie oraz interpretowanie danych i składa się z następujących kroków: identyfikacja kluczowych informacji, kodowanie, grupowanie podobnych danych i ich redukowanie.

 Główne etapy analizy danych:

• Zapoznaj się z zebranymi informacjami.
• Przejrzyj transkrypcje wywiadów, zogniskowanych wywiadów grupowych lub odpowiedzi otwartych w ankietach i zaznacz kluczowe cytaty. Zidentyfikuj istotne informacje lub kategorie, które są ważne dla Twojej analizy. Nazwij każdą z kategorii nadając im odpowiednie „kody”. Kody można zdefiniować przed analizą danych lub po zapoznaniu się z całością zebranych informacji. Jeżeli kodowaniem zajmuje się więcej osób, spróbujcie kodować i porównywać niektóre części zakodowanych informacji. W ten sposób możesz sprawdzić, czy dane kodowane są w spójny sposób.
• Pogrupuj cytaty oznaczone tym samym kodem.
• Zidentyfikuj określone wzorce, które wyłoniły się w wyniku kodowania. Możesz także dojść do wniosku, że należy zebrać dodatkowe dane lub potwierdzić ich prawdziwość przy użyciu innych źródeł informacji. Na przykład, jeśli w zebranych danych znajdują się przeczące sobie cytaty, możesz zdecydować się na skontaktowanie się z kolejnymi osobami w celu uzyskania dodatkowych danych. Ponadto, może być konieczne wykonanie dodatkowej analizy. Może się na przykład okazać, że niektóre kategorie należy podzielić na podkategorie. 
• Używaj odpowiednich cytatów do opisywania wyników i ich interpretacji. 

Jakie są etapy analizowania danych ilościowych? 

Analiza danych ilościowych polega na wykonaniu podsumowania informacji zebranych z ankiet i testów. Zanim to zrobisz, musisz upewnić się, że Twoje dane występują w odpowiednim formacie. Będzie to zależało od oprogramowania, którego zamierzasz używać (np. specjalistycznych programów statystycznych, m.in R, STATA, SAS, SPSS, lub arkusze takie jak MS Excel, arkusze kalkulacyjne Google). Jeśli, na przykład, zbierałeś/aś dane za pomocą papierowych kwestionariuszy, będziesz musiał/a wprowadzić je do arkusza kalkulacyjnego lub do bazy danych. Musisz następnie usunąć wszystkie błędy, takie jak puste odpowiedzi, duplikaty i upewnić się, że każda ze zmiennych jest w odpowiednim formacie liczbowym, np. daty są sformatowane jako daty, liczby jako liczby, kwoty pieniędzy jako waluta (NCVO).

Zapoznaj się z tabelą w Rozdziałach 12.5.3 i 12.5.4, która zawiera opisy popularnych technik i obliczeń. Do prostych obliczeń, pozwalających Ci na uporządkowanie i przeanalizowanie danych, możesz użyć programu do obsługi arkuszy kalkulacyjnych, takiego jak MS Excel. Po wykonaniu wstępnych obliczeń, możesz zidentyfikować obszary, w których będzie potrzebna bardziej szczegółowa analiza. 

W kolejnym kroku musisz zastanowić się nad formą prezentacji danych. Pamiętaj, że dane powinny być łatwe do przedstawienia. Ogólnie zaleca się prezentowanie danych w formie tabeli lub wykresu, szczególnie w przypadku informacji, które są najważniejsze dla osób korzystających z Twojej ewaluacji. 

Teraz powinieneś/powinnaś być w stanie wyciągnąć kluczowe wnioski. Należy tutaj rozważyć takie elementy jak: (Cottage Health):

• Czy wynik 80% (na przykład) jest dobry czy zły? Skąd masz tę pewność? Możesz zdecydować o tym, porównując swoje dane z danymi z poprzedniego roku lub z innymi podobnymi interwencjami. 
• Czy zauważalne są jakieś wzory, motywy lub trendy? Na przykład, czy jedna grupa stale osiąga więcej lub mniej niż inne grupy?
• Czy możesz wyjaśnić niektóre z mniej powszechnych odpowiedzi? Możesz tu potrzebować analizy jakościowej. 
• Czy w danych jest coś, co Cię zaskoczyło?
• Czy wiesz dlaczego niektóre wyniki są takie jakie są? Czy możesz połączyć wartości procentowe z danymi jakościowymi, które wyjaśniają dlaczego niektórzy osiągnęli rezultaty, a inni nie? 

10.2 O czym należy pamiętać podczas analizy zebranych informacji

Wskazówki dotyczące analizowania informacji 

• Aby ułatwić analizę danych, możesz przekształcić informacje słowne na liczbowe. Możesz to zrobić poprzez kategoryzację odpowiedzi pod kątem tematów, które poruszają istotne aspekty projektu. 
• Takie podejście pozwoli Ci podsumować duże ilości informacji, w postaci częstotliwości (liczb), procentów lub rankingów. Pozwala to również spojrzeć na więcej niż jedną cechę (zmienną) jednocześnie, co przyda Ci się, jeśli chcesz dowiedzieć się w jaki sposób mogą być one powiązane. Na przykład, możesz zainteresować się tym, jak frekwencja w projekcie lub osiągnięte wyniki różnią się w przypadku dziewcząt i chłopców. 
• W zależności od ilości i rodzaju zebranych informacji, możesz samodzielnie je przeanalizować, skorzystać z pomocy kolegów lub partnerów, zewnętrznego eksperta/organizacji specjalizujących się w analizie danych.
• Analizę danych można przeprowadzić za pomocą specjalistycznych programów statystycznych, standardowych programów biurowych lub internetowych (np. MS Excel, arkusz kalkulacyjny Google) lub ręcznie (np. za pomocą papieru i ołówka z kalkulatorem) – w zależności od skali analizowanych danych i dostępnych zasobów.
• W niektórych przypadkach możesz porównać swoje wyniki z wynikami krajowymi lub regionalnymi. Jeśli jednak wybierzesz takie podejście, pamiętaj, że każde porównanie musi uwzględniać kontekst, w którym zebrano dane. 
• Wzorce, trendy i motywy mogą Ci pomóc odpowiedzieć na pytania ewaluacyjne, zidentyfikować nieoczekiwane wyniki i ujawnić możliwe luki w Twoich informacjach. 
• Czasami Twoja analiza będzie obejmować porównanie tego, co ludzie powiedzieli lub napisali na początku działania lub projektu z tym, co mówili i pisali później. W tym celu można wykorzystać zarówno dane ilościowe jak i jakościowe.
• Twój projekt może wymagać bardziej regularnego zbierania informacji, więc zastanów się nad tym, w jaki sposób dane mogą być zbierane i analizowane wielokrotnie podczas projektu, aby jak najlepiej pokazać Twoje osiągnięcia.
• Twoja analiza powinna być zgodna z celem ewaluacji, co oznacza, że powinna odpowiedzieć na pytanie czy na przykład Twój projekt osiągnął lub nie osiągnął pożądanych rezultatów i dlaczego. W przypadku jednorazowego projektu mogą to być podstawowe porównania przed rozpoczęciem realizacji i po zakończeniu projektu, pokazujące, czy i jak coś się zmieniło. W przypadku projektów długoterminowych lub w przypadku, gdy poszukiwane jest dalsze finansowanie projektu, możesz potrzebować głębszej analizy, by określić, czy istnieją wystarczające miary sukcesu projektu, które pozwolą uzasadnić chęć jego kontynuowania. 

Jak zapewnić etyczne zarządzanie danymi? 

Teraz, gdy już zebrałeś/aś te wszystkie dane i nie możesz się doczekać aż je wykorzystasz, ważne jest byś pamiętał/a o przepisach prawnych dotyczących etycznego zarządzania danymi. Poniżej znajdziesz fragment o tym, jak możesz etycznie zarządzać danymi uzyskanymi w wyniku Twoich działań ewaluacyjnych. 

Zgodnie z Rozporządzeniem Parlamentu Europejskiego i Rady (UE) 2016/679 z dnia 27 kwietnia 2016 r. w sprawie ochrony osób fizycznych w związku z przetwarzaniem danych osobowych i w sprawie swobodnego przepływu takich danych oraz uchylenia dyrektywy 95/46/WE (ogólne rozporządzenie o ochronie danych), realizacja projektu jak również jego ewaluacja musi być zgodna z wymaganiami w zakresie RODO.

Podejście etyczne służy natomiast spełnieniu wymogu określonego w art. 19 rozporządzenia w sprawie zakładania przedsiębiorstw (UE nr 1291/2013), stwierdzającego, że wszystkie prowadzone działania badawcze i innowacyjne muszą być zgodne z zasadami etycznymi i odpowiednimi przepisami krajowymi, unijnymi i międzynarodowymi, w tym z Kartą Praw Podstawowych Unii Europejskiej oraz Europejską Konwencją Praw Człowieka i jej protokołami uzupełniającymi.

Biorąc pod uwagę zarządzanie danymi na dużą skalę w odniesieniu do działań związanych z ewaluacją, faza wdrażania zapewnia dostosowanie procesu gromadzenia danych do acquis communautaire, z należytym poszanowaniem technik wykorzystywania danych objętych zakresem RODO. W tym celu zdecydowanie zaleca się wyznaczenie wewnętrznego inspektora ochrony danych, odpowiedzialnego za ich zabezpieczenie i przetwarzanie zgodnie z obowiązującymi przepisami. 

10.3 Wyciąganie wniosków i rekomendacji

Jaka jest różnica między wynikami, wnioskami i rekomendacjami? 

• wyniki są rezultatem analizy danych: są przedstawiane w formie tabel, wykresów i/lub opisów tekstowych zaobserwowanych faktów. 
• wnioski odpowiadają na pytanie „co z tego wynika?”, które może się pojawić podczas analizowania wyników. Wynikom powinny towarzyszyć interpretacje, czyli wyjaśnienia, które pozwalają spojrzeć na wyniki w szerszym ujęciu. Wnioski powinny zatem stanowić syntetyczną odpowiedź na pytania ewaluacyjne.
• Kolejnym krokiem w analizie danych jest odpowiedź na pytanie „co teraz?”. Rekomendacje opierają się na uzyskanych wynikach i wnioskach oraz podpowiadają, w jaki sposób projekt można ulepszyć, jak zmniejszyć ryzyko jego niepowodzenia, a nawet czy dany program powinien być kontynuowany w dotychczasowej formie. 

Postępuj zgodnie z wymienionymi poniżej krokami, aby wyciągnąć prawidłowe, oparte na dowodach wnioski i rekomendacje (Kuhn, 2020). 

Wyniki to zweryfikowane dane bez jakiejkolwiek interpretacji. Używanie wyrażeń opartych na danych, np. „x kobiet na y uczestników wzięło udział w szkoleniu” sprawia, że Twoje wyniki są tak jasne i nie zniekształcone, jak to tylko możliwe. W przypadku analizy jakościowej może być trudno nie przejść bezpośrednio do wniosków. Jednak wszystko inne na tym etapie może być tylko nieuzasadnionymi założeniami lub pochopnymi wnioskami, które mogą zaszkodzić wiarygodności analizy. 

Po etapie wyników, osoba analizująca dane może przejść do następnego kroku — wyciągania wniosków. Wnioski są formułowane na podstawie wyników ewaluacji. Odpowiadają na pytanie „Co z tego wynika?”, które może pojawić się podczas opracowywania wstępnych wyników. Powinny być one uzupełnione o interpretacje, czyli wyjaśnienia uwzględniające kontekst projektu. Im więcej wyjaśnień opartych na dowodach będziesz mógł/mogła podać, tym łatwiej będzie je przełożyć na rzetelne raporty (oparte na danych) i przyszłe decyzje.

Kolejny krok analizy ma odpowiedzieć na pytanie „co teraz?”. Należy opierać się na tym, co działa lub na ulepszeniu tego, co nie działa w projekcie oraz na tym, co byłoby zalecane. Rekomendacje muszą być konkretne, wykonalne tj. możliwe do zrealizowania w ramach dostępnych zasobów ludzkich, technicznych i finansowych. Dlatego należy je konsultować z adresatami rekomendacji. 

Przykład 1 – zbyt szeroka rekomendacja: Zainwestuj więcej zasobów w personel.

Przykład 2 – dobra rekomendacja: Zainwestuj więcej zasobów w poprawę elementów sprzyjających lepszej efektywności personelu, w szczególności w rozwijanie potencjału pracowników zaangażowanych w zarządzanie projektem oraz organizację dobrych praktyk. Jeśli wysiłki na rzecz budowy potencjału zespołu zostaną połączone ze szkoleniami w zakresie zarządzania i komunikacji może to znacznie poprawić skuteczność ich pracy. 

11. Wykorzystanie informacji

Rysunek 5: Ewaluacja działań wspierających przedsiębiorczość młodzieży – Cykl życia – Etap 4

 

Ta faza cyklu polega na dzieleniu się wynikami ewaluacji i podejmowaniu świadomych decyzji dotyczących projektu i jego przyszłych kierunków. 

11.1 Raportowanie

W ramach opracowywania koncepcji ewaluacji, powinieneś/powinnaś określić różne grupy interesariuszy, ich potrzeby i oczekiwania, a także sposób przedstawienia im wyników ewaluacji. 

Wśród pytań, które należy sobie postawić, można znaleźć następujące: 

• Jakim interesariuszom należy przedstawić wyniki ewaluacji? 
• Co musisz uwzględnić w różnego rodzaju raportach? 
• Czy wyniki ewaluacji zostaną przedstawione im w formie roboczej? 

Podczas przygotowywania wyników ewaluacji, weź pod uwagę potrzeby kluczowych interesariuszy, aby określić: 

• kiedy
• i w jakiej formie chcą otrzymywać wyniki ewaluacji. 

Zdecyduj także, kogo zaangażujesz w konsultacje roboczej wersji raportu i czy planujesz zastosować podejście partycypacyjne w procesie wyciągania wniosków i formułowania rekomendacji (patrz Moduł 5 kursu e-learningowego). 

Punkty do rozważenia przy wyborze formy raportu ewaluacyjnego:

Wyniki ewaluacji mogą być podsumowywane i prezentowane w różnych formach dla różnych interesariuszy. 

Podejmując decyzję o formie raportu, miej na uwadze:

• cel raportu i jaki to ma wpływ na wybór formatu. Raport może mieć na celu: 
  • opisanie wyników ewaluacji i ich konsekwencji dla realizacji projektu, 
  • sformułowanie podstaw do decyzji planistycznych lub finansowych, 
  • utrzymanie zaangażowania interesariuszy, 
  • szerokie rozpowszechnianie wyników ewaluacji.
• W jaki sposób interesariusze chcieliby otrzymywać informacje (np. raporty pisemne, infografiki, prezentacje multimedialne lub połączenie tych wszystkich form)? 
• Jaka jest preferowana długość raportu (lub czas trwania w przypadku prezentacji audiowizualnej)? 
• Czy potencjalni odbiorcy mają dostęp do technologii informacyjnej (co pozwala zdecydować, czy używać form internetowych)? 

Poniższa tabela może posłużyć do zebrania informacji o potrzebach interesariuszy w zakresie prezentacji wyników ewaluacji: 

Ewaluowany projekt: Data przeprowadzenia analizy potrzeb interesariuszy:
Interesariusze	Dlaczego są zainteresowani wynikami ewaluacji	Jakie informacje powinni otrzymać?	W jakiej formie powinni otrzymać informacje	Kiedy powinni otrzymać informacje?

Źródło: opracowanie własne na podst. Bartosiewicz-Niziołek, M., Nałęcz, S., Penza-Gabler, Z., Pintera, E. (2021) Narzędziownik ewaluacyjny. Twój sposób na lepsze projekty wspierające zatrudnienie młodzieży. 

Formaty raportów 

Sprawozdania tekstowe są główną formą sporządzania raportów ewaluacyjnych. Jednak długie raporty, pełne szczegółów metodologicznych niekoniecznie muszą być właściwą formą prezentacji wyników ewaluacji dla wszystkich interesariuszy. 

Prezentacja raportu powinna pomóc czytelnikowi szybko i łatwo zrozumieć najważniejsze ustalenia.

Raporty mogą być prezentowane na różne sposoby, np.: 

• W formie tekstowej (patrz rozdział 12.5.5)
• podczas wydarzeń
• jako materiały prezentacyjne 
• w kreatywny i/lub interaktywny sposób 

Więcej informacji na temat raportowania znajduje się w module 5 kursu e-learningowego. 

11.2 Rozpowszechnianie wyników ewaluacji 

• Dzielenie się wynikami badania może dać możliwość innym do zabrania głosu na temat wyników ewaluacji. 
• Może pomóc interesariuszom zaangażować się w projekt, wpłynąć na jego kolejne etapy lub wpłynąć na partnerów, aby zrewidowali swój punkt widzenia. 
• To, z kim i w jaki sposób zdecydujesz się podzielić swoimi ustaleniami, będzie zależało od oczekiwań każdej ze stron w projekcie i przede wszystkim od powodu, dla którego przeprowadzasz ewaluację. 
• Jeśli w grę wchodzi również finansowanie i musisz spełnić oczekiwania pewnej grupy lub organizacji, możesz chcieć opisać wyniki ewaluacji dostarczając odpowiedzi na pytania, które interesują właśnie tych odbiorców.
• Jeżeli chcesz pokazać światu lub tylko lokalnej społeczności jak wspaniały jest Twój projekt, możesz upublicznić jego wyniki. Na przykład, możesz umieścić podsumowanie w swoich biuletynach informacyjnych, rocznych raportach lub na stronie internetowej. 
• Wizualizacja wyników ewaluacji może pomóc w dotarciu z informacją do odbiorcy. Dobrze zaprojektowana infografika może w prosty i przejrzysty sposób zilustrować wyniki ewaluacji. Oczywiście rodzaj wizualizacji powinien być dopasowany do odbiorców.
• Udostępniaj dane trenerom, mentorom i wykładowcom. Mogą dzięki temu doskonalić swoje działania. 

11.3 Podejmowanie świadomych decyzji 

Przeprowadzenie ewaluacji i podzielenie się jej wynikami jest już za Tobą. Jesteś teraz w stanie podejmować świadome decyzje dotyczące tego, czy kontynuować projekt w jego obecnej formie czy wprowadzić pewne zmiany. 

Na przykład, ewaluacja może wykazać, że ewaluowane działanie wspierające przedsiębiorczość młodzieży powinno być kontynuowane we współpracy z tym samym partnerem, ale dotyczyć nowego wyzwania. Ewaluacja może również wykazać, że podobne działanie może zostać przeprowadzone z innym partnerem lub zespołem specjalistów. 

Jest to moment, w którym Ty i Twoi partnerzy musicie otwarcie porozmawiać o przyszłości ewaluowanego projektu wspierającego przedsiębiorczość młodzieży. 

Poniżej znajdziesz kilka przykładów pytań, które mogą Ci pomóc na tym etapie Twojej ewaluacji:  

• Czy nadal będziesz robić rzeczy w ten sam sposób?
• Czy potrzebujesz rozwinąć lub wzbogacić projekt?
• Czy Twój model może być replikowany gdzie indziej?
• Czy Twój projekt dobiegł końca? Jeśli tak, jaki jest najlepszy sposób na jego sfinalizowanie?
• Jak przekażesz swoją decyzję interesariuszom?
• Która część projektu była najbardziej korzystna dla odbiorców, a która najmniej?

12. Specyfika pracy z młodzymi w wieku 15-24 lata

Ta grupa jest również znana jako iGeneration, ponieważ dorastała ze smartfonami i tabletami, a większość z nich ma dostęp do Internetu w domu. Chociaż są na dobrej drodze, aby stać się najlepiej wykształconym pokoleniem, są również najbardziej narażoną na wykluczenie, jeśli chodzi o ich pozycję na rynku pracy w UE. 

Z powodu COVID-19 pokolenie Z zmierza teraz w jeszcze bardziej niepewną przyszłość. Kryzys koronawirusa ogromnie zakłócił jego edukację i perspektywy pracy. Szczególnie mocno dotknął starszych członków tej grupy. Jest wysoce prawdopodobne, że oni sami lub ktoś w ich rodzinie stracił pracę lub obniżone zostało jego wynagrodzenie. 

Młodzież w ostatnich latach edukacji (średniej lub wyższej) mogła stracić dostęp do projektów, staży lub innych działań pomagających jej zdobyć doświadczenie i/lub rozwinąć umiejętności potrzebne do odniesienia sukcesu na rynku pracy lub w biznesie. Te efekty COVID-19 jeszcze bardziej pogorszyły pozycję tej grupy na rynku pracy (Parlament Europejski, 2020). 

Z drugiej strony badania wskazują, że pokolenie Z jest na dobrej drodze, aby stać się najbardziej przedsiębiorczym pokoleniem w historii. Podczas gdy najstarsi członkowie tego pokolenia mają niewiele ponad 24 lata, niektórzy z nich już działają jako przedsiębiorcy – opracowują pomysły biznesowe w oparciu o nowe aplikacje, prowadzą kanały na YouTube, produkują kosmetyki czy innego rodzaju wyroby rękodzielnicze. 

Chociaż ich pomysły nadal obejmują produkty i usługi, które zaspokajają podstawowe ludzkie potrzeby – jedzenie, zabawę, kontaktowanie się i użyteczność, to wnoszą oni do świata biznesu pewne wyjątkowe cechy i doświadczenia, które zapewniają ich pokoleniu przewagę w biznesie. 

Następny rozdział zawiera przegląd cech pokolenia Z, które należy wziąć pod uwagę przygotowując projekt mający na celu wsparcie przedsiębiorczości młodzieży i budowanie karier pokolenia Z. (na podstawie Shafin Diamond Tejani, 2020; Dave Clark, 2019 i Fundacja Annie E. Casey, 2021). 

12.1 O czym należy pamiętać przygotowując projekty wspierające przedsiębiorczość młodzieży

Pokolenie Z:

Ceni edukację

• Członkowie pokolenia rzadziej porzucają szkołę średnią i częściej zapisują się na studia. 
• Dlatego zasadne byłoby włączenie szkoleń z zakresu przedsiębiorczości do edukacji formalnej lub współpraca ze szkołami przy prowadzeniu tego typu kursów. 

Uznaje przedsiębiorczość za oczywistość:

• Dla poprzednich pokoleń „bycie przedsiębiorcą” nie było ugruntowaną ścieżką kariery. Pokolenie Z ma natomiast mnóstwo wzorów do naśladowania – od Elona Muska po wpływowych YouTuberów. Również mentorzy są łatwiej dostępni. 
• Zaangażowanie niektórych popularnych przedsiębiorców jako prelegentów, trenerów lub mentorów może być dobrą decyzją dla Twojego projektu. 

To cyfrowi tubylcy, mają dostęp do tańszych i bardziej powszechnych narzędzi IT i używają ich mądrze:

• Pokolenie Z żyje w świecie umożliwiającym im natychmiastowe (zdalne) kontakty społeczne, które otwierają je na różne wpływy, pomysły i możliwości. Młodzi ludzie są oswojeni z najnowszymi narzędziami IT i kanałami przekazu oraz rozumieją wartość brandingu i autopromocji. Co więcej, często rozpoczynają własną działalność na bazie projektów wynikających z pasji, którymi dzielą się w swoich sieciach społecznościowych (na przykład tutoriale makijażowe na YouTubie, tworzenie projektów na Instagramie). Często, zaczynając od pasji kontynuują działalność jako firmę, którą uruchomili za pomocą aplikacji na swoim telefonie. 
• Przygotowując projekt mający na celu wspieranie przedsiębiorczości młodzieży, możesz rozważyć elementy mające na celu dalszą poprawę umiejętności cyfrowych lub dostarczenie inspirujących wzorów do naśladowania. Wykorzystanie technologii do prowadzenia biznesu, np. do marketingu – to konieczność.

Pragmatycy, nastawieni biznesowo:

• To pokolenie zostało ukształtowane przez presję ekonomiczną, z jaką borykały się ich rodziny i społeczności podczas kryzysu gospodarczego w latach 2008–2010. To spowodowało, że to pokolenie stało się bardziej samoświadome, wytrwałe, realistyczne, innowacyjne i samowystarczalne niż poprzednie pokolenia. Poza zostało ono dotknięte kryzysem COVID-19, który ogromnie zakłócił ich edukację i perspektywy pracy. Jeśli chodzi o pracę, pokolenie Z postrzega ją jako środek do celu, co oznacza, że praca jest wykonywana ze względów ekonomicznych. Chętnie zaakceptuje pracę, która zapewnia stały dochód i niezbędne świadczenia, nawet jeśli nie jest to wymarzone zajęcie. 
• Rozpoczęcie działalności gospodarczej jako dodatkowego źródła dochodu, które pomoże poprawić stabilność finansową, może być postrzegane jako atrakcyjna opcja dla tego pokolenia. 

Słabo rozwinięte umiejętności społeczne: 

• Choć technologia na wiele sposobów ułatwiła życie potencjalnym przedsiębiorcom Pokolenia Z, to wpłynęła ona również na ograniczenie umiejętności społecznych jego członków. Wielu młodych ludzi wpada w pułapkę ciągłego porównywania się do innych ze względu na treści prezentowane media społecznościowe. 
• Włączenie szkolenia ukierunkowanego na rozwój umiejętności społecznych i zapewnienie wsparcia psychologicznego może być ważne, aby pomóc im odnieść sukces w karierze.

Nie boją się barier: 

• Pokolenie Z w mniejszym stopniu niż poprzednie pokolenia obawia się przeszkód. Brak referencji (zaświadczeń, certyfikatów) nie jest dla nich barierą na drodze do kariery. 
• Wzbogacenie projektu wspierającego przedsiębiorczość młodzieży o elementy budujące jej odporność na niepowodzenia może mieć istotne znaczenie dla uczestniczek/ uczestników. 

Zmotywowani, by coś zmienić:

• Pokolenie Z ma duże ambicje, wykraczające poza osobiste osiągnięcia. Chcą rozwiązać problemy, takie jak zmiany klimatyczne i kwestie sprawiedliwości społecznej. Ponadto na zdrowie psychiczne tego pokolenia mają wpływ globalne wyzwania, takie jak zmiana klimatu – co prowadzi do zwiększonego poziomu stresu. 
• Rozważ skoncentrowanie działań wspierających przedsiębiorczość młodzieży na celach zrównoważonego rozwoju. 

Ich zachowanie odzwierciedla ich wartości:

• Pragmatyzm skłania pokolenie Z do zbadania i oceny szeregu opcji przed podjęciem decyzji, co jest postrzegane jako wyraz wartości i tożsamości młodzieży. Młodzi są na przykład są bardziej skłonni do kupowania zrównoważonych produktów i marek i często są gotowi zapłacić za nie więcej.

Uczą się po drodze:

• Jako najlepiej wykształcone pokolenie, pokolenie Z bardzo ceni naukę. Woli jednak inne sposoby uczenia się. Obecnie łatwiej niż kiedykolwiek znaleźć kursy online na dowolny interesujący temat, skontaktować się z inkubatorem dla młodych przedsiębiorców — i to wszystko podczas nauki. 
• Udostępnienie niektórych treści lub szkoleń i innych działań online uczyniłoby program bardziej atrakcyjnym dla tej grupy. 

Zmiana jest mile widziana:

• Dzięki cyfryzacji to pokolenie ma ogromną wiedzę i ekspozycję na wiele różnych tematów. Dzięki tej wiedzy nieustannie poszukuje nowych pomysłów i doświadczeń. 
• Dlatego też każdy projekt skierowane do tego pokolenia musi być dynamiczny i dostarczać wiele inspiracji i nowych bodźców. 

12.2 Specyfika Pokolenia Z wpływająca na ewaluację

To nasi pierwsi „cyfrowi tubylcy” 

• Pokolenie Z charakteryzuje się natywnym wykorzystaniem technologii. Ponieważ młodzi ludzie szukają informacji przede wszystkim w Internecie, to organizacje próbujące do nich dotrzeć powinny uwzględnić Internetowe kanały komunikacji aniżeli metody tradycyjne. 
• Oprócz tego ważne jest, aby zwracać uwagę na to, jak materiały są prezentowane wizualnie. Ta generacja na co dzień korzysta z różnych narzędzi, platform czy aplikacji. Aby przyciągnąć ich uwagę, korzystaj z atrakcyjnych wizualnie materiałów i maksymalnie wykorzystuj dostępne narzędzia online. Na przykład narzędzia takie jak mentimenter, survio itp. pomagają przygotować ankiety, które nie tylko profesjonalnie wyglądają, ale także ułatwiają analizę danych. 

Wolą komunikację online :

• Ponieważ członkowie pokolenia Z spędzają dużo czasu w Internecie, często prowadzą rozmowy z wykorzystaniem technologii. Odpowiadanie na ankietę online lub udział w wydarzeniu online może być dla nich bardziej naturalne. 
• Preferowanie komunikacji online spowodowało ograniczenie umiejętności społecznych wielu członków Pokolenia Z. Dlatego prowadzenie badań jakościowych (wywiadów indywidualnych i grupowych) online może być lepszym wyborem, aby zapewnić ich zaangażowanie. 

Być w kontakcie:

• Ze względu na ich obecność w Internecie i preferencje dotyczące komunikacji online, trzeba korzystać z odpowiednich kanałów komunikacji, aby się z nimi skontaktować. W przeciwieństwie do poprzednich pokoleń członkowie pokolenia Z wolą korzystać z różnych platform komunikacyjnych i mediów społecznościowych, m.in. Instagram, TikTok itp. 
• Poznaj potencjalnych uczestników swojej ewaluacji, aby określić najlepszy sposób dotarcia do nich. 

Chcą być wysłuchani:

• Dzięki dostępowi do tak dużej ilości informacji młodzi ludzie mają silne opinie i chcą, aby ich wysłuchano. Wierzą, że ich pomysły są tak samo wartościowe, jak pomysły członków innych pokoleń. 
• Jednak o ich uwagę konkuruje wiele inicjatyw. Jest wysoce prawdopodobne, że zaangażują się jedynie w te w działania, które uznają za interesujące i istotne. 

12.3 Etyczne podejście do angażowania młodych ludzi w ewaluację

Zaangażowanie młodych ludzi w ewaluację wymaga zachowania zasad etyki. Poniżej przedstawiamy kilka kluczowych punktów w tym zakresie (Schenk i Williamson, 2005; UNICEF, 2002): 

• Surowe zasady etyczne są szczególnie ważne podczas pracy z dziećmi i młodzieżą ze względu na różnicę w pozycji władzy między uczestnikiem a badaczem. Na przykład należy przestrzegać zasady zgody rodzica lub opiekuna dziecka na udział w projekcie/badaniu. 
• Interes dziecka musi być głównym czynnikiem we wszystkich działaniach dotyczących dzieci. Badacze muszą rozważyć, w jaki sposób ewaluacja będzie zgodna z interesem dziecka. Musi istnieć mechanizm nadzoru etycznego, aby chronić interesy dzieci i młodzieży biorących udział w projekcie. 
• Jeżeli gromadzenie informacji nie przyniesie bezpośredniej korzyści zaangażowanym dzieciom i młodzieży lub ich społeczności, ewaluacja nie powinna być kontynuowana. 
• Uczestnictwo w ewaluacji może wiązać się z kosztami społecznymi lub indywidualnymi. Badacze są odpowiedzialni za ochronę dzieci przed narażeniem ich na ryzyko, nawet jeśli są chętne do udziału w badaniu. 
• Poglądy młodych ludzi muszą być brane pod uwagę we wszystkich sprawach, które ich dotyczą – nie powinny być wykorzystywane jedynie jako źródło danych. Badacze są odpowiedzialni za zapewnienie dzieciom i młodzieży informacji potrzebnych do formułowania swoich poglądów i podejmowania decyzji o ich wyrażaniu. 
• Badacze powinni upewnić się, że ewaluacja jest zaprojektowana w sposób, który nie powoduje wykluczenia. Wymaga to zwrócenia uwagi na bariery społeczno-ekonomiczne płci, wieku, pochodzenia etnicznego, niepełnosprawności itp. 
• Dzieci znajdujące się w szczególnie trudnej sytuacji życiowej wymagają zapewnienia dodatkowych środków, aby chronić ich dobro. 
• Ważne jest, aby zamierzony cel i odbiorcy ewaluacji byli jasno zdefiniowani oraz aby istniały wystarczające zasoby ludzkie i finansowe do prowadzenia badań w sposób etyczny. 
• Menedżerowie zlecający ewaluację są odpowiedzialni za zagwarantowanie, że problemy etyczne zostaną zidentyfikowane i rozwiązane podczas projektowania koncepcji i metodologii ewaluacji.

13. Jak zaangażować odpowiednich interesariuszy – ewaluacja partycypacyjna

Podczas przygotowywania ewaluacji (wpływu) warto rozważyć włączenie w ten proces różne strony, takie jak beneficjenci projektu, organizacje młodzieżowe, kadra projektu, potencjalni partnerzy (np. lokalni organizatorzy wsparcia przedsiębiorczości, instytucje edukacyjne, społeczność przedsiębiorców, eksperci), a także darczyńcy, przedstawiciele samorządów czy mediów – czyli interesariuszy zainteresowanych projektem. Podejście angażujące interesariuszy w proces ewaluacji nazywamy ewaluacją partycypacyjną. Podejście to można zastosować w przypadku ewaluacji dowolnego projektu. 

Jednocześnie interesariusze mogą być zaangażowani w różne zadania: 

• diagnozowanie potrzeb informacyjnych
• identyfikację pytań ewaluacyjnych, które należy zadać
• zbieranie informacji o projekcie 
• zrozumienie tych informacji – analiza informacji 
• wykorzystywanie informacji – decydowanie, co zachować, co skorygować lub zmienić w projekcie. 

Jednak rodzaj i poziom zaangażowania interesariuszy może się różnić. Aby zmaksymalizować skuteczność podejścia partycypacyjnego, należy wziąć pod uwagę: 

• cel zaangażowania interesariuszy, 
• rodzaj interesariuszy, 
• sposób ich angażowania (Participatory Evaluation, n.d). 

Więcej informacji na temat ewaluacji partycypacyjnej i technik partycypacyjnych znajdziesz w kursie e-learningowym. 

13.1. Zalety ewaluacji partycypacyjnej

Poniżej przedstawiamy niektóre z głównych zalet ewaluacji partycypacyjnej: 

• Daje lepsze spojrzenie zarówno na początkowe potrzeby beneficjentów projektu, jak i na jego ostateczne efekty. 
• Mówi, co zadziałało, a co nie, z perspektywy najbardziej bezpośrednio zaangażowanych osób – beneficjentów i pracowników. 
• Może ci powiedzieć, dlaczego coś działa lub nie działa. Beneficjenci często są w stanie dokładnie wyjaśnić, dlaczego nie zareagowali na określoną technikę lub podejście, co daje większą szansę na odpowiednie dostosowanie projektu do ich potrzeb. 
• Wzmacnia interesariuszy. Ewaluacja partycypacyjna daje osobom, z którymi często nie konsultuje się projektów (zwłaszcza personelowi niższego szczebla i beneficjentom) możliwość bycia pełnoprawnymi partnerami w realizacji projektu. 
• Może dać głos tym, którzy często nie są słyszani. Beneficjentami projektów są często osoby o niskich dochodach i stosunkowo niskim poziomie wykształcenia, które rzadko mają szansę zabrania głosu. Angażując ich od samego początku w ewaluację projektu, zapewniasz, dajesz im prawi i możliwość wypowiedzenia się we własnym imieniu. 
• Uczy umiejętności, które można wykorzystać w pracy i w innych dziedzinach życia, wzmacnia pewność siebie i poczucie własnej wartości. 
• Pokazuje ludziom, w jaki sposób mogą przejąć większą kontrolę nad swoim życiem. Pokazuje znaczenie działań podejmowanych w ramach projektu dla grupy docelowej. 
• Zachęca interesariuszy do zaangażowania w projekt. 
• Zachęca do współpracy. 

14. Narzędziownik

Narzędziownik zawiera szablony, tabele i listy kontrolne, które mogą Ci pomóc na różnych etapach Twojej ewaluacji (lista nie jest wyczerpująca). Są to:

• Lista kontrolna Ewaluacji i Cyklu Rozwoju Projektu
• Narzędzia do wykorzystania w fazie przygotowań ewaluacji,
• Narzędzia do zbierania informacji,
• Narzędzia do analizowania informacji,
• Narzędzia używane do korzystania z informacji,
• Umiejętności miękkie wymagane do skutecznego prowadzenia projektu z zakresu przedsiębiorczości młodzieży.

14.1 Różnice między ewaluacją, monitoringiem i audytem

Tabela 8: Monitoring, ewaluacja, audyt

	Audyt	Monitoring	Ewaluacja
Definicja	Ocena: – Legalności i prawidłowości wydatków i dochodów projektu – Zgodności z prawem i regulacjami – Sprawnego, efektywnego, oszczędnego wykorzystania środków projektu	Bieżąca analiza postępów projektu pod kątem osiągnięcia zaplanowanych rezultatów mające na celu usprawnienie podejmowania decyzji.	Ocena efektywności, wpływu, trafności, użyteczności i trwałości działań projektu.
Kto?	Zwykle prowadzony przez agencje zewnętrzne	Odpowiedzialność kierownictwa wewnętrznego	Firmy zewnętrzne (badawcze/doradcze), specjaliści wewnętrzni lub autoewaluacja
Kiedy?	Śródokresowo, ex-post, na zakończenie	Na bieżąco	Zwykle na zakończenie (ex-post), ale także na początku (ex-ante), śródokresowa i bieżąca
Dlaczego?	Zapewnia wiarygodność i daje poczucie bezpieczeństwa interesariuszom	Sprawdza postępy, pozwala podejmować działania naprawcze, służy aktualizowaniu planów.	Pozwala na wyciągnięcie wniosków mających zastosowanie w innych projektach. Zapewnia wiarygodność i daje podstawy do rozwoju.

Źródło: European Commission – Europe Aid Cooperation Office, 2004

14.2 Lista kontrolna ewaluacji i cyklu rozwoju projektu

Tabela 9: Lista kontrolna ewaluacji i cyklu rozwoju projektu

Addressed	Tak (ii) Nie (x) lub brak pewności
PRZYGOTOWANIE Czego chcesz się dowiedzieć? Jakie informacje Ci pomogą? Czy masz jasno określone cele ewaluacji? Czy istnieje kluczowe pytanie ewaluacyjne (lub pytania), które będą motywem przewodnim dla Twojej ewaluacji? Czy wiesz już jakiego rodzaju informacji potrzebujesz? Czy masz odpowiednie umiejętności i wiedzę, by je zebrać? Kto będzie realizował poszczególne zadania ewaluacyjne? Czy potrzebne jest wsparcie z zewnątrz? Czy znasz swoich interesariuszy? Czy wiesz czy, jak i na jakich warunkach mogą być zaangażowani w ewaluację? Czy znasz ich oczekiwania wobec ewaluacji? Czy wiesz jakie istotne informacje są już dostępne? Czy wiesz, kto może pomóc Ci znaleźć potrzebne informacje? Czy każdy „partner” będzie miał możliwość wniesienia wkładu do ewaluacji?
ZBIERANIE INFORMACJI Jak będziesz zbierać informacje? Skupiasz się na zbieraniu odpowiednich informacji, czy raczej dużej ilości informacji? Czy wiesz jakimi metodami mają być zbierane informacje (ilościowe, jakościowe)? Czy ustaliłeś/aś proces gromadzenia informacji (istniejących i/lub dodatkowych)? Kto będzie je zbierał i ile czasu to zajmie?
ANALIZA INFORMACJI Jak będziesz analizować dane? Jakich danych ilościowych i jakościowych potrzebujesz do analizy? Jakich metod analitycznych użyjesz? Czy masz możliwość przeanalizowania danych? Co mówią Ci zebrane przez Ciebie informacje? Czy zidentyfikowałeś/aś główne tematy, wzorce i trendy? Czy masz jasność co do głównych rezultatów swojego projektu? Czy istnieją jakieś dodatkowe (tj. nieprzewidziane) rezultaty projektu? Czy zidentyfikowałeś/aś sposoby, w jakie Twoje działanie wspierające przedsiębiorczość młodzieży może zostać ulepszone?
WYKORZYSTANIE INFORMACJI Czego możesz nauczyć się z wyników ewaluacji? Czy Twój projekt odpowiada na potrzeby odbiorców/społeczności lokalnych? W jakim stopniu osiągnięto cele i oczekiwane rezultaty? Co należy poprawić w Twoich istniejących lub przyszłych projektach? Jakie procesy wewnętrzne należy usprawnić? Czy masz kanały komunikacji i narzędzia do dzielenia się i promowania tego, czego się nauczyłeś/aś? Czy istnieje możliwość rozszerzenia lub rozbudowania projektu? Czy przekazałeś/aś istotne informacje zwrotne swoim interesariuszom (odpowiedziałeś/aś na interesujące ich pytania w formie ustnej lub pisemnej)? Czy uczestnicy zostali zaproszeni do omówienia ustaleń (w razie potrzeby)? Czy status projektu — ukończony, w trakcie itp. — jest zrozumiały? Czy osiągnięto wyznaczone cele ewaluacji? Czy potrzebujesz coś zmienić w projekcie? Czy ustaliłeś/aś jak będziesz dalej postępować z projektem?

Źródło: opracowanie własne

14.3. Narzędzia do wykorzystania w fazie przygotowania ewaluacji

14.3.1 Matryca logiczna

Jest to narzędzie, za pomocą którego możesz zrekonstruować logikę ewaluowanego przez Ciebie projektu.

Rys. 6: Matryca logiczna

Efekty	Obiektywnie weryfikowalne wskaźniki	Sposoby i źródła weryfikacji	Założenia (czynniki krytyczne dla powodzenia realizacji projektu)
CEL OGÓLNY: Szerszy problem, do którego rozwiązania przyczyni się projekt	Ilościowe sposoby pomiaru lub jakościowe sposoby oceny osiągnięcia celu w czasie	Efektywne kosztowo metody i źródła pozwalające określić poziom wskaźników	(Cel ogólny a cel nadrzędny np. Programu) Czynniki zewnętrzne niezbędne do utrzymania trwałości efektów
CELE SZCZEGÓŁOWE / REZULTATY: Bezpośredni wpływ na obszar projektu lub grupę docelową, tj. zmiana lub korzyść, którą ma przynieść projekt.	Ilościowe sposoby pomiaru lub jakościowe sposoby oceny stopnia osiągnięcia oczekiwanej zmiany (celu szczegółowego) w czasie.	Efektywne kosztowo metody i źródła pozwalające określić poziom wskaźników	(Cele szczegółowe a cel ogólny) Warunki zewnętrzne niezbędne do tego, aby osiągnięta zmiana mogła przyczynić się do osiągnięcia celu projektu.
PRODUKTY: Są to skonkretyzowane efekty możliwe do osiągnięcia bezpośrednio po zakończeniu działań projektowych, które służą osiągnięciu celu projektu.	Ilościowe sposoby pomiaru lub jakościowe sposoby oceny stopnia osiągnięcia oczekiwanych produktów	Efektywne kosztowo metody i źródła pozwalające określić poziom wskaźników	(Produkty a cele szczegółowe/ oczekiwana zmiana) Czynniki pozostające poza kontrolą projektu, które – jeśli wystąpią – mogą ograniczyć osiągnięcie rezultatów, a przez to wpłynąć na zmianę.
DZIAŁANIA: Są to zadania do wykonania, które należy zrealizować, aby uzyskać założone produkty.	NAKŁADY: podsumowanie nakładów potrzebnych do zrealizowania działań (na podstawie budżetu projektu)	Sprawozdanie finansowe zgodne z umową dotacyjną	(Działania a produkty) Czynniki pozostające poza kontrolą projektu, które – jeśli wystąpią – mogą ograniczyć działania, a przez to wpłynąć na osiągnięcie produktów.

Źródło: Department for International Development, 2007

Poniższa tabela zawiera dodatkowe informacje na temat elementów matrycy logicznej.

Tabela 10: Różnica między nakładami, działaniami, produktami, rezultatami i wpływem.

Nakłady / zasoby	Nakłady to te zasoby, których używamy w projekcie do jego realizacji, w tym ludzkie, finansowe lub sprzętowe. Nakłady adekwatne do działań gwarantują, że dostarczenie zamierzonych rezultatów projektu będzie możliwe.
Działania	Działania to czynności, które wykonuje personel/pracownicy, by osiągnąć cele projektu.
Produkty	To pierwszy poziom efektów związanych z projektem. Produkty to dobra, usługi dostarczane odbiorcom projektu lub przez ich dostarczane, które umożliwiają osiągnięcie założonych rezultatów. Na przykład, produktami projektu mogą być: liczba przeprowadzonych szkoleń z zakresu przedsiębiorczości społecznej, liczba spotkań z odnoszącymi sukcesy przedsiębiorcami lub liczba wydanych publikacji edukacyjnych.
Rezultaty	Jest to drugi poziom efektów projektu, które osiągane są w miarę postępu w realizacji projektu. Rezultaty umożliwiają osiągnięcie celów projektu. Może to być na przykład podniesienie poziomu wiedzy na tematy związane z biznesem lub założeniem start-upu.
Wpływ (oddziaływanie)	Jest to trzeci poziom efektów projektu, który jest jego długoterminowym skutkiem i wykracza poza bezpośrednich uczestników projektu. Najczęściej bardzo trudno jest ustalić wyłączny wpływ projektu, ponieważ kilka innych projektów może prowadzić do tego samego celu. Przykładem może być wzrost liczby nowych firm w regionie, zmniejszenie bezrobocia czy wskaźnika NEET w danym mieście.

Źródło: Różnica między nakładami, działaniami, produktami, rezultatami i wpływem, 2013

14.3.2 Wskaźniki rezultatów uczestników

Wskaźniki można opracować dla różnych etapów projektu. Rysunek 7 przedstawia przykłady wskaźników rezultatu dla Programu Szkoleń na rzecz Zatrudnienia w ramach / Programu Rozwoju Kadr (The Urban Institute, What Works, b.d.).

W zależności od złożoności i długości projektu , możesz podzielić go na kilka etapów i opracować wskaźniki rezultatu dla poszczególnych etapów projektu.

Rys. 7: Przykład wskaźników rezultatu kandydata

Źródło: The Urban Institute, What Works, b.d.

14.3.3 Identyfikacja interesariuszy ewaluacji

Każde działanie wspierające przedsiębiorczość młodzieży może mieć wielu interesariuszy. Znajomość interesariuszy może pomóc Ci określić, na jakie pytania które chcieliby zadać powinna odpowiedzieć ewaluacja, jaką powinny mieć one formę oraz na kiedy wyniki ewaluacji mogą być potrzebne.

Lista interesariuszy ma na celu pomóc Ci określić, kto może być zainteresowany Twoją ewaluacją. Zastanów się, kto powinien wziąć udział w ewaluacji i z kim będziesz musiał/a podzielić się wynikami, by Twoje późniejsze rekomendacje zostały wdrożone.

Tabela 11: Lista interesariuszy

Potencjalni interesariusze ewaluacji	Tak / Nie
Odbiorcy projektu (obecnie uczestniczący w projekcie)
Odbiorcy projektu, którzy zakończyli udział w projekcie
Trenerzy
Mentorzy
Centra innowacji (przedstawiciel)
Akceleratory Biznesu (przedstawiciel)
Fundusze podwyższonego ryzyka i prywatne spółki kapitałowe
Personel Projektu
Coachowie
Anioły Biznesu
Badacze
Lokalne władze administracyjne (przedstawiciel)
Partnerzy projektu
Wolontariusze
Inne instytucje realizujące podobne projekty (przedstawiciel)
Lokalni pracodawcy
Kto jeszcze? (Dodaj te osoby, które odnoszą się do Twojego projektu)

Źródło: opracowanie własne

Po zidentyfikowaniu interesariuszy należy również pomyśleć o wartości dodanej, jaką mogą oni wnieść do ewaluacji oraz o ich motywacji do zaangażowania się w ten proces. Na tej podstawie możesz zdecydować o tym, jakie informacje chcesz wykorzystać, jaki będzie Twój kluczowy przekaz oraz jakich kanałów komunikacji użyjesz w swoim projekcie.

Interesariuszy można podzielić na 4 grupy pod względem ich wpływu, zainteresowania i poziomu uczestnictwa w ewaluowanym projekcie (Product plan, b.d.).

Rys. 8: Schemat „Siatka wpływu”

Źródło: Product plan, b.d.

1. Duży wpływ (władza), duże zainteresowanie: najważniejsi interesariusze. Ich zadowolenie z ewaluacji powinno być traktowane priorytetowo — informuj ich na bieżąco, zapraszaj na ważne spotkania, proś o opinie.
2. Duży wpływ, niskie zainteresowanie: ze względu na ich wpływ powinno się pracować nad tym, by byli usatysfakcjonowani. Ale ponieważ nie wykazali większego zainteresowania Twoim projektem, nadmierny kontakt może ich zniechęcić. Należy wziąć pod uwagę częstotliwość kontaktowania się z nimi oraz ilość przekazywanych informacji.
3. Mały wpływ, duże zainteresowanie: Powinieneś/aś informować te osoby i regularnie się z nimi kontaktować.
4. Mały wpływ, niskie zainteresowanie: informuj te osoby od czasu do czasu, ale nie przesadzaj.

14.4 Metody i narzędzia do wykorzystania w fazie zbierania informacji

Poniżej znajdziesz kilka metod i narzędzi, które możesz wykorzystać w tej fazie ewaluacji.

14.4.1 Identyfikacja odpowiednich metod zbierania potrzebnych informacji

Mając na uwadze cel ewaluacji, określ metody i narzędzia zbierania informacji, które będą najlepiej mu odpowiadać. Podsumowanie każdego rodzaju zbioru narzędzi i metod można znaleźć w Rozdziale 9 „Zbieranie informacji”.

Tabela 12: Tabela planowania gromadzenia danych

Pytanie ewaluacyjne

Które informacje są najbardziej istotne do odpowiedzi na pytanie ewaluacyjne?

Jakie informacje będą możliwe do zebrania?

Źródła informacji wewnętrzne (np. dokumentacja projektowa, zespół projektu, beneficjenci projektu), zewnętrzne (np. władze lokalne, lokalne środowisko biznesowe, instytucje edukacyjne)

Do zebrania jakich informacji będziesz potrzebować pomocy?

Kto może Ci pomóc? (np. kolega, niezależni eksperci, współpracownicy partnera, uczestnicy projektu, ewaluator zewnętrzny)

Źródło: opracowanie własne

Tabela 13: Lista kontrolna do zidentyfikowania narzędzi, które można użyć do zgromadzenia potrzebnych informacji

Pytanie ewaluacyjne	Metoda gromadzenia danych	Narzędzie	Od kogo będą zbierane dane?	Kiedy dane będą zbierane?	Gdzie dane będą zbierane?
pytanie ewaluacyjne 1
pytanie ewaluacyjne 2
pytanie ewaluacyjne x

 

14.4.2 Potencjał i cele osobiste uczestników – arkusz samooceny

To narzędzie jest ważne dla oceny potencjału i celów uczestników. Pomoże ono znaleźć dla nich odpowiednie miejsce w projekcie, a także wykorzystać ich potencjał. Jest to formularz który może nie być zrozumiały dla wszystkich uczestników (w szczególności dla ofiar przymusowej migracji, jak uchodźców, imigrantów lub osób z niepełnosprawnościami), którzy mogą potrzebować pomocy od instruktorów w udzieleniu odpowiednich informacji.

To narzędzie, jak i oceny osobowości zostały stworzone w oparciu o narzędzia dostępne na platformie mfa-jobnet.de oraz Psychometrics (link www.mfa-jobnet.de i https://www.psychometrics.com) z niezbędnymi modyfikacjami, aby pasowały do naszego modułu ewaluacji. Jednak oryginalne źródło zawiera więcej testów, które mogą pomóc w ocenie zatrudnialności kandydatów.

Tabela 14: Narzędzie samooceny do oceny osobistych potencjałów i celów

Edukacja/Umiejętności
W jakich obszarach byłem/byłam dotychczas aktywny/a w swoim życiu?
Czego mnie to nauczyło?
Jakie umiejętności dzięki temu zyskałem/am? Jakie umiejętności rozwinąłem/am w codziennych czynnościach? Jakie kompetencje ogólne zdobyłem/am dzięki doświadczeniom zawodowym i pozazawodowym?
Jakie posiadam dodatkowe umiejętności, ukończone szkolenia?
Jakie posiadam dyplomy, certyfikaty itp.?
Które z moich stopni naukowych są uznawane w kraju?
Które nie są?
Gdzie pracowałem/am wcześniej? a) w kraju ojczystym b) w innym państwie UE c) w innych krajach Jakie mam inne doświadczenie zawodowe?
Co szczególnie mi się spodobało, co mnie interesowało w pracy i podczas szkoleń?
Jakie mam inne kwalifikacje (np. kursy językowe, szkolenia komputerowe, prawo jazdy itp.)?
Jakie umiejętności i kompetencje nabyłem/am w różnych miejscach i krajach? (Nie tylko zawodowo, także w życiu codziennym)
Gdzie z nich korzystam dzisiaj?
Czego chcę się nauczyć?
Które z moich umiejętności mogę dobrze wykorzystać w kraju, w którym mieszkam?
Czy są obszary, w których mam zupełnie inne umiejętności niż obecni koledzy i znajomi?
Czy jest zawód, który chciałbym/chciałabym teraz podjąć?
Jeżeli nie: Co chcę robić zamiast tego?
Jakie miałem/am oczekiwania i pomysły po przybyciu do kraju?
Co jest inaczej niż się spodziewałem/am?
Czy jest to a) rozczarowanie? b) wyzwanie dla mnie?
W jaki sposób kontakty, które posiadam, mogą mi się przydać w realizacji moich pomysłów i planów?
Samoocena
Co udało mi się osiągnąć w życiu?
W czym zawsze byłem/am szczególnie dobry/a?
Co mi się zawsze podobało?
Które z moich kompetencji/umiejętności istotnych dla mojego przyszłego życia zawodowego chcę dalej rozwijać? W czym chcę być jeszcze lepszy/a?
Czego w ogóle nie lubię robić?
Które z moich umiejętności były szczególnie pomocne/ważne/skuteczne podczas mojego pobytu w tym kraju?
Ocena zewnętrzna
Jakie zdolności/mocne strony widzą we mnie inni?
Czym udało mi się zainspirować innych? Czym udało mi się zaimponować innym?
Za co otrzymałem/am wiele pochwał/uznania?
Praca
Jakie 5 cech powinna mieć praca, by do mnie pasowała?
Jak konkretnie wyobrażam sobie moją przyszłą pracę? Gdzie? Z kim? Na czym dokładnie polega moja praca?
Jaki jest mój cel?
Co mogę zrobić by osiągnąć swój cel?
W czym potrzebuję pomocy/wsparcia? Czego dokładnie potrzebuję?
Jakie trudności/przeszkody mogą pojawić się na mojej drodze?
WIEK
PŁEĆ:

Źródło: Stellenbörse für MFA und Arbeitgeber (b.d.) and Psychometrics Canada Ltd. (b.d.).

14.4.3 Arkusz samooceny: Umiejętności społeczne i wartości

Ten arkusz jest odpowiedni do pomiaru kompetencji społecznych i postaw uczestników przed i po projekcie, w celu oceny ich postępów. Należy jednak zauważyć, że nie jest to jedyne narzędzie pomiaru postępów, ponieważ może być subiektywne, a zmiana mierzona w ten sposób może wykazywać spadek tylko dlatego, że szkolenia uświadomiły beneficjentom ich słabości w określonych obszarach. Jednak samoocenę można uzupełnić innymi formami oceny zewnętrznej dokonywanej przez personel projektu (np. trenerów, mentorów, psychologów).

Tabela 15: Arkusz samooceny do oceny umiejętności społecznych i wartości

Imię i nazwisko:

Data:

	++	+	0	–	—
Umiejętności społeczne
Umiejętności komunikacyjne
Zwracam uwagę na to, co i jak mówią inni.
Ludzie mówią mi, że dobrze ich rozumiem.
Nawet w większych grupach potrafię wyrazić swoją opinię w sposób zrozumiały dla każdego.
Praca w zespole
Zależy mi na tym, aby zespół dobrze działał: dlatego dzielę się ważnymi doświadczeniami i wiedzą.
Ale lubię też, kiedy mogę uczyć się od innych.
Jeżeli jest to ważne dla grupy, mogę odstawić na bok moje osobiste zainteresowania.
Aktywnie uczestniczę w pracy grupowej, m.in zastanawiając się, jak najlepiej rozdzielić pracę.
Umiejętność radzenia sobie z konfliktami
Zanim się czymś zdenerwuję, wolę o tym spokojnie porozmawiać.
Nie mam problemu z tym, że inni mają inne zdanie niż ja.
Umiem z łatwością stwierdzić w rozmowach, czy jest to problem merytoryczny, czy też dwie osoby po prostu się ze sobą nie dogadują.
Kiedy pojawiają się konflikty, pracuję nad rozwiązaniem, które będzie pasowało wszystkim (moim celem nie jest moja wygrana).
Zdolność do przyjmowania krytyki
Jeśli ktoś krytykuje moją pracę lub moje zachowanie, zastanawiam się czy może mieć rację.
Jeśli mam coś do zarzucenia komuś innemu, wyjaśniam to bardzo konkretnie, przyjaznym tonem.
Rozumiem, że inni ludzie czasami popełniają błędy.
Relacje z innymi ludźmi
Lubię poznawać nowych ludzi.
Zwykle zachowuję spokój i obiektywizm, nawet gdy inni mnie denerwują.
Jeśli zauważę, że ktoś się denerwuje, mogę go uspokoić.
Wartości osobiste
Niezawodność
Zawsze przychodzę punktualnie na spotkania.
Jeżeli nie mogę pojawić się na spotkaniu, informuję o tym odpowiednio wcześniej.
Zawsze dotrzymuję terminów .
Nie muszę być stale nadzorowany/a: jeśli mam zadanie, to sam/a myślę o jego wykonaniu.
Odpowiedzialność
Oczywiście biorę odpowiedzialność za to, co robię.
Dbam o swoje zdrowie.
Bardzo uważam, by nikogo nie narazić na niebezpieczeństwo.
Z dużą starannością traktuję powierzony mi sprzęt lub materiały.

Źródło: Stellenbörse für MFA und Arbeitgeber (n.d.) and Psychometrics Canada Ltd. (n.d.).

14.4.4 Kwestionariusz samooceny własnych kompetencji

Ten arkusz służy do pomiaru kompetencji społecznych i postaw uczestników przed i po projekcie, w celu oceny ich postępów. Należy jednak zauważyć, że nie jest to jedyne narzędzie pomiaru postępów, ponieważ może być subiektywne, a zmiana mierzona w ten sposób może wykazywać spadek tylko dlatego, że szkolenia uświadomiły beneficjentom ich słabości w określonych obszarach.

+++ bardzo prawdziwe; ++ prawdziwe; + mniej prawdziwe.

Tabela 16: Arkusz samooceny własnych kompetencji

Samodzielność	+++	++	+
Niezależność
Sam/a podejmuję decyzje
Formułuję własną opinię i ją przedstawiam
Biorę odpowiedzialność za swoje działania
Planuję i wykonuję pracę bez pomocy z zewnątrz
W razie potrzeby zwracam się po pomoc z zewnątrz
Potrafię domagać się uznania
Elastyczność
Potrafię dostosować się do nowych sytuacji
Potrafię wykonywać różne zadania jednocześnie
Jestem otwarty/a na nowe lub nietypowe pomysły
Mogę z łatwością przełączyć się z jednego zadania na drugie.
Kreatywność
Potrafię znaleźć rozwiązanie problemu
Umiem sobie pomóc
Próbuję nowych możliwości
Mam kreatywne pomysły
Mogę osiągnąć wiele małymi środkami.
2. Kompetencje społeczne
Umiejętności komunikacyjne
Wyrażam się jasno w mowie i piśmie
Pytam gdy czegoś nie rozumiem
Umiem słuchać
Nie oceniam i nie wyciągam pochopnych wniosków
Umiejętność radzenia sobie z konfliktami
Umiem powiedzieć nie
Akceptuję ocenę innych
Potrafię oferować konstruktywną krytykę i odpowiednio reagować na krytykę
Rozpoznaję napięcie i potrafię o nim mówić
Radzę sobie z moimi mocnymi i słabymi stronami
Umiejętność pracy w zespole
Akceptuję podjęte decyzje
Razem z innymi wypracowuję rozwiązanie
Mogę też stać z tyłu w grupie
Dzielę odpowiedzialność za wyniki pracy
Mogę wziąć na siebie odpowiedzialność w grupie
3. Kompetencje merytoryczne
Nauka i technika pracy
Wiem gdzie i jak mogę uzyskać informacje
Umiem się skoncentrować
Jestem konsekwentny/a
Właściwie oceniam swoje możliwości
Organizacja pracy
Tworzę plan pracy i kontroluję go
Rozpoznaję powiązania w mojej pracy
Przewiduję konsekwencje i potrafię je oszacować
Rozumiem sedno spraw, którymi się zajmuję
4. Kompetencje zawodowe
Wiedza ekspercka
Znam terminy techniczne
Znam reguły i normy mojej pracy
Posiadam wiedzę techniczną/językową
Mam dobre wykształcenie
Wiedza praktyczna
Wdrażam specjalistyczną wiedzę
Prawidłowo wykonuję pracę
Wnoszę do mojej pracy to, czego się nauczyłem/am wcześniej
RAZEM

Źródło: Stellenbörse für MFA und Arbeitgeber (n.d.) and Psychometrics Canada Ltd. (n.d.).

14.4.5 Testy do pomiaru rozwoju umiejętności

Istnieje szereg testów, które mogą być wykorzystane do oceny umiejętności przedsiębiorczych beneficjentów działań wspierających przedsiębiorczość młodzieży (założycieli start-upów). Mierzenie umiejętności uczestników pomaga w planowaniu i optymalizacji projektu.

Te testy psychometryczne zostały opracowane na podstawie narzędzi dostępnych na platformach www.mfa-jobnet.de oraz https://www.psychometrics.com, wraz z niezbędnymi modyfikacjami, dopasowanymi do tego modułu ewaluacji. Jednak oryginalne źródło zawiera więcej testów, które mogą pomóc w ocenie zatrudnialności kandydatów.

Poniżej przedstawiamy kilka testów, z których możesz skorzystać:

• test inspiracji
• test świadomości
• test umiejętności
• test sieci

Test inspiracji (TI)

Każdy projekt z zakresu przedsiębiorczości ma inne wymagania dotyczące jego pomyślnej realizacji. Test inspiracji pozwala określić, jak ważna jest zgodność osobowości potencjalnego uczestnika z wymaganiami projektu oraz planowanymi rezultatami. Wyniki testów mogą być również wykorzystane do zbadania, w jakim stopniu projekt danego uczestnika/czki (np. pomysł na biznes) spełnia wymagania programu.

Testy inspiracji można przeprowadzić w formie wywiadów indywidualnych lub praktycznych ćwiczeń w zespołach.

Korzyści TI

TI zapewnia kompleksowy pomiar osobowości uczestników, jednocześnie pokazując, w jaki sposób będą:

• realizować swój projekt,
• komunikować się z innymi,
• rozwiązywać problemy,
• zarządzać zmianami,
• radzić sobie ze stresem.

Przykładowe pytania do wywiadu

Energia i motywacja

• Opowiedz mi o projekcie, nad którym wcześniej pracowałeś/aś, a który wymagał dużo energii i zaangażowania. Jakie były twoje obowiązki? Jaki był efekt końcowy?
• Wymień niektóre z najbardziej wymagających rzeczy, które zrobiłeś/aś. Jak sobie z nimi poradziłeś/aś?
• Wszystkim w pewnym momencie kończy się energia, dlatego opowiedz proszę o czasie, w którym musiałeś pracować nad zbyt wymagającym zadaniem. Co zrobiłeś/aś? Co zdarzyło się na końcu?

Ambicja

• Opowiedz mi o czasie, kiedy musiałeś/aś ciężko rywalizować, by odnieść sukces.
• Opowiedz mi o kilku trudnych celach, które sobie wyznaczyłeś/aś i jak je osiągnąłeś/aś?
• Opisz sytuację, w której, aby odnieść sukces, przyjąłeś/aś postawę niekonkurencyjną.
• Czy kiedykolwiek miałeś/aś do czynienia z projektem, w którym było niewiele miejsca na progres? Jak to było?

Przywództwo

• Jakie masz doświadczenie z kierowaniem ludźmi? Jak to wyglądało? Co było pozytywnego w tym doświadczeniu? Co byś zrobił/a inaczej? Jak mogłeś/aś być skuteczniejszym liderem?
• Opowiedz mi o sytuacji, w której musiałeś przekonać ludzi do podążania za tobą. Co zrobiłeś/aś? Czy udało ci się zachęcić ludzi do współpracy?
• Opowiedz mi o sytuacji, w której napotkałeś/aś trudności ze swoim zespołem. Jakie były trudności i jak je przezwyciężyłeś/aś?
• W jakim momencie przejąłeś/aś rolę lidera bez pytania?
• Podaj przykład trudnej roli lidera, którą przyjąłeś/aś.
• Opowiedz mi o sytuacji, w której musiałeś/aś podążać cudzym tropem.

Proces TI:

Wyniki testów inspiracji dla kandydatów/ek do udziału w projekcie mogą posłużyć jako benchmark (punkty odniesienia) dla Twojego projektu. Na podstawie testów można ocenić wyniki beneficjentów i sporządzić raport.

• Określ listę kryteriów (benchmark). Jednym z najskuteczniejszych sposobów ich identyfikacji jest zebranie informacji od osób, które dobrze znają projekt. Te osoby mogą określić wiedzę, umiejętności i cechy uczestników/czek potrzebne do odniesienia sukcesu w projekcie.
• Oceń uczestników/ek, używając do tego odpowiednich narzędzi
• Po zakończeniu testu inspiracji, obserwator może sporządzić raport, który wskaże, w jakim stopniu cechy osobowości uczestnika odpowiadają wymaganiom działań projektowych.

Raport TI zawiera między innymi: ogólną ocenę zgodności kandydata/ki (stopnia ich dopasowania) z działaniami projektowymi, ustaloną w oparciu o przyjęte dla projektu kryteria porównawcze (benchmarki), profil uczestnika, który pomaga zidentyfikować konkretne obszary dopasowania lub niedopasowania uczestników/ek oraz pogłębiony opis narracyjny dotyczący zachowań uczestników w środowisku pracy, pomagający określić obszary wymagające dalszego zbadania podczas kolejnych wywiadów oraz sprawdzić, czy udzielone przez uczestnika/czkę odpowiedzi są wiarygodne (a nie np. nadmiernie pozytywne).

Opracowano na podstawie Stellenbörse für MFA und Arbeitgeber (n.d.) and Psychometrics Canada Ltd. (n.d.).

Test świadomości (AT – Awareness Test)

Działania wspierające przedsiębiorczość młodzieży mają na celu rozwijanie umiejętności przedsiębiorczych. Dlatego też celem tego testu jest przedstawienie przeglądu różnych kompetencji i umiejętności miękkich, które mogą być rozwijane za pomocą środków poddanych ewaluacji i testowanych umiejętności.

1. Samozarządzanie — gotowość do przyjęcia odpowiedzialności, elastyczność, odporność, samodzielność, odpowiednia asertywność, zarządzanie czasem, gotowość do poprawy wyników zespołu w oparciu o informacje zwrotne i refleksyjne uczenie się.
2. Praca zespołowa — szacunek do innych, współpraca, negocjacje, przekonywanie, udział w dyskusji, świadomość współzależności z innymi.
3. Tolerancja/wrażliwość kulturowa — zdolność poszanowania osób z innych kultur, niedyskryminowanie ich.
4. Świadomość biznesowa — podstawowe zrozumienie kluczowych czynników sukcesu biznesowego, znaczenia satysfakcji klienta i budowania jego lojalności.
5. Myślenie krytyczne — obiektywne zbieranie i analizowanie informacji, wyciąganie uzasadnionych wniosków.
6. Rozwiązywanie problemów — analizowanie faktów i okoliczności w celu ustalenia przyczyny problemu, identyfikacji i wyboru odpowiednich rozwiązań.
7. Komunikacja — umiejętność skutecznego dostosowywania komunikatów do celu i odbiorców, korzystanie z najlepszych dostępnych narzędzi do ich komunikowania.
8. Zarządzanie czasem — umiejętność planowania i organizowania czasu pomiędzy różnymi czynnościami.
9. Elastyczność — umiejętność pracy w stale zmieniającym się środowisku i chęć poszukiwania rozwiązań typu win-win.
10. Odporność — zdolność do pracy pod presją.
11. Efektywność — zastosowanie zasady 80/20 i innych technik w celu uzyskania wyższych wyników w krótszym czasie. Przełączanie się między różnymi obowiązkami i robienie postępów z dnia na dzień.
12. Networking — rozwijanie sieci ułatwia tworzenie możliwości biznesowych, zawieranie umów partnerskich, znajdowanie podwykonawców lub przyszłych pracowników. Poszerza horyzonty PR, niosąc właściwy przekaz na wszystkich frontach.
13. Branding — budowanie spójnej marki osobistej i biznesowej dopasowanej do właściwych odbiorców.
14. Sprzedaż — wygoda w prowadzeniu działań informacyjnych i tworzeniu nowych możliwości biznesowych. Znalezienie odpowiednich kanałów sprzedaży, które zapewniają lepszą konwersję i duże inwestycje w ich rozwój. Budowanie lejków sprzedażowych i przewidywalnych możliwości wzrostu przychodów.

Pomoc beneficjentowi w zrozumieniu jego typu osobowości jest pierwszym krokiem do jego osobistego i przedsiębiorczego rozwoju. AT pomaga beneficjentom zrozumieć ich mocne strony, preferowany styl pracy, a ostatecznie pomaga im dostrzec ich potencjał. Używany indywidualnie, by zapewnić samoświadomość i jasność celu, AT pomaga również w lepszym zrozumieniu i docenieniu zespołów, co umożliwia ich lepszą współpracę.

AT można przeprowadzać podczas wywiadów indywidualnych lub podczas ćwiczeń praktycznych w zespołach.

Korzyści AT:

• Lepsze zrozumienie siebie i innych
• Poprawa umiejętności komunikacyjnych
• Umiejętność zrozumienia i zmniejszenia konfliktu
• Znajomość własnego stylu pracy, jego mocnych stron i obszarów rozwoju.

Pytania do wywiadu

ZAUFANIE SPOŁECZNE

Jeżeli projekt wymaga od jednostki pewności siebie i swobody w kontaktach z ludźmi we wszelkiego rodzaju sytuacjach społecznych, zastanów się nad niektórymi z następujących pytań:

• Podaj proszę przykład sytuacji, w której musiałeś/aś wchodzić w interakcje z grupą nieznajomych podczas pełnienia funkcji związanej z Twoją pracą. Co zrobiłeś/aś? Jaki był rezultat?
• Opowiedz mi proszę o sytuacji, w której musiałeś/aś wykazać się zaufaniem społecznym, aby osiągnąć cel.

PERSWAZJA
Jeśli projekt wymaga osoby, która czuje się komfortowo w negocjacjach, sprzedaży, wywieraniu wpływu i próbach przekonywania ludzi lub zmiany punktu widzenia, zastanów się nad niektórymi z następujących pytań:

• Podaj proszę przykład sytuacji, kiedy namówiłeś/aś innych do zakupu. Co zrobiłeś/aś, żeby ich przekonać?
• Opowiedz mi o sytuacji, w której zmieniłeś/aś czyjeś zdanie. Co zrobiłeś/aś lub powiedziałeś/aś, co sprawiło, że przyjęli Twoją perspektywę?
• Wymień czas, w którym negocjowałeś/aś, aby uzyskać to, czego chciałeś/aś. Jaki był rezultat?

INICJATYWA

Jeśli projekt wymaga osoby inicjującej identyfikowanie nowych możliwości i podejmowanie wyzwań, zastanów się nad niektórymi z poniższych pytań:

• Podaj proszę przykład sytuacji, w której ukończyłeś/aś projekt bez wsparcia innych. Jaki był wynik?
• Opowiedz mi o zidentyfikowanej przez Ciebie możliwości, którą inni przegapili.
• Opisz kilka nowych wyzwań, które podjąłeś/podjęłaś bez zachęty ze strony innych.
• Wymień kilka nowych obowiązków, które podjąłeś/podjęłaś dobrowolnie.
• Kiedy zidentyfikujesz potencjalną szansę, czego potrzebujesz, zanim zaczniesz nad nią pracować?
• Co wolisz, stałe czy często zmieniające się obowiązki projektowe i dlaczego?
• Opowiedz mi o niektórych okazjach, w których wykazałeś/aś inicjatywę.
• Podaj mi kilka przykładów, kiedy wykazałeś/aś inicjatywę.

Opracowano na podstawie Stellenbörse für MFA und Arbeitgeber (n.d.) and Psychometrics Canada Ltd. (n.d.).

Test umiejętności miękkich (SST — Soft-skills test)

Ten test pokazuje trudności w rozwijaniu kompetencji wymienionych w teście świadomości i w konsekwencji proponuje konkretną bazę wiedzy (lekcje), która może pomóc w rozwiązaniu tego problemu.

SST służy do pomocy uczestnikom i członkom ich zespołu w zapoznaniu się ze stylami konfliktów, z identyfikacją potencjalnych wyzwań oraz wyznaczeniem celów dotyczących tego, jak powinni radzić sobie z konfliktami jako grupa. W przypadku istniejących zespołów, SST pomaga członkom zespołu zrozumieć różne zachowania konfliktowe występujące w zespole, a także zidentyfikować wyzwania zespołu w zarządzaniu konfliktem i znaleźć konstruktywne sposoby radzenia sobie z tymi wyzwaniami.

SST można przeprowadzać w formie wywiadów indywidualnych lub ćwiczeń praktycznych w zespołach.

SST opisuje pięć różnych trybów konfliktu i umieszcza je w dwóch wymiarach:

• Asertywność — stopień, w jakim osoba stara się zaspokoić własne potrzeby.
• Kooperatywność — stopień, w jakim dana osoba stara się zaspokoić potrzeby innych osób.

Korzyści z SST

Dlaczego organizacje korzystają z SST?

• Łatwy do wypełnienia krótki kwestionariusz zajmuje tylko kilka minut i można go przeprowadzić online przed szkoleniem lub w formie papierowej na miejscu.
• Zapewnia pragmatyczne, sytuacyjne podejście do rozwiązywania konfliktów, zarządzania zmianą, rozwoju przywództwa, komunikacji, utrzymania uczestników i nie tylko.
• Umożliwia Twojej organizacji rozpoczęcie produktywnego dialogu na temat konfliktów.
• Może być używany jako samodzielne narzędzie przez pojedyncze osoby, w procesie grupowego uczenia się, jako część zorganizowanego warsztatu projektu szkoleniowego.

Pytania do wywiadu

RZETELNOŚĆ

Jeśli szukasz uczestników (beneficjentów) o wysokim poziomie niezawodności, zastanów się nad kilkoma z poniższych pytań:

• Opowiedz mi o projekcie, którego nie udało Ci się ukończyć na czas. Co się stało? Co zrobiłbyś/zrobiłabyś inaczej?
• Czy czujesz się komfortowo zostawiając projekt niedokończony, jeśli pojawi się coś innego?
• Podaj proszę przykład zadania, które musiałeś/aś wykonać poza normalnymi godzinami pracy. Jak wyglądało to doświadczenie?
• Czy możesz opisać czas, kiedy musiałeś/aś zmienić priorytety i pozostawić niedokończone zadanie, nad którym pracowałeś/aś? Co się stało? Jak wykonałeś/aś pierwsze zadanie?
• Wymień czas, w którym wykonanie zadania było dla Ciebie trudne. Co się stało i jak rozwiązałeś/aś te trudności?
• Opisz proszę czas, w którym musiałeś/aś bardzo ciężko pracować, aby wykonać swoje zadania zgodnie z harmonogramem.

TRWAŁOŚĆ

Jeśli projekt potrzebuje kogoś o wysokim poziomie wytrwałości, zastanów się nad kilkoma z poniższych pytań:

• Opowiedz mi proszę o trudnym zadaniu, które niedawno wykonałeś/aś. Co je utrudniło? Jak poradziłeś/aś sobie z tymi przeszkodami/trudnościami?
• Opisz proszę czas, kiedy miałeś/aś do wykonania wiele nudnych/nieciekawych zadań. Jak się zmotywowałeś/aś?
• Podaj proszę przykład projektu, z którego zrezygnowałeś/aś, ponieważ nie był już wart jego ukończenia.
• Opowiedz mi proszę o sytuacji, w której wykazałeś/aś się dużą wytrwałością.
• Opowiedz o niektórych przeszkodach, które pokonałeś/aś, a które wymagały dużo wytrwałości.
• Podaj przykład czegoś, z czego zrezygnowałeś/aś ponieważ uznałeś/aś, że nie jest to warte wysiłku.

Jeśli projekt obejmuje głównie zadania, które można szybko wykonać i ma niewiele przeszkód do pokonania, zastanów się nad niektórymi z poniższych pytań:

• Podaj proszę przykład projektu, z którego zrezygnowałeś/aś, ponieważ nie był wart zasobów potrzebnych do jego ukończenia.
• Opisz czas, kiedy miałeś do wykonania dużo nudnej pracy. Jak się zmotywowałeś/aś?
• Czy pracowałeś/aś kiedykolwiek nad projektem, który wymagał jedynie łatwej pracy bez wyzwań? Jak to było dla Ciebie? Było to przyjemne/nieprzyjemne?

DBAŁOŚĆ O SZCZEGÓŁY

Jeśli projekt obejmuje zadania wymagające wielu szczegółowych informacji lub badań, zastanów się nad poniższymi pytaniami:

• Opisz projekt, nad którym pracowałeś/aś i który wymagał dużo szczegółowej pracy.
• Jaka jest najbardziej szczegółowa praca, którą musiałeś/aś wykonać?
• Co jest gorsze dla Ciebie: opóźnienie projektu, czy ukończenie go na czas z niedoskonałościami?
• Jakie zadania, które musiałeś/aś wykonać w przeszłości, wymagały od Ciebie zwracania wyjątkowej uwagi na szczegóły?

Jeśli projekt nie wiąże się z badaniem wielu szczegółowych prac, ale wymaga kogoś, kto skupia się na globalnych problemach, najlepszych praktykach lub kwestiach, zastanów się nad niektórymi z poniższych pytań:

• Opowiedz proszę o sytuacji, kiedy zignorowałeś/aś szczegóły i skupiłeś/aś się na szerszej perspektywie.
• Opowiedz mi o czasie, kiedy ludzie z Twojego zespołu zbytnio skupiali się na szczegółach i przegapili szerszą perspektywę. Co zrobiłeś/aś, aby pomóc im ją ujrzeć? Czy istnieje coś takiego jak spędzanie zbyt dużo czasu skupiając się na szczegółach?
• Jakie masz doświadczenie w określaniu strategii/przejęciu szerszej perspektywy/wyznaczaniu dużych celów i priorytetów?

PRZESTRZEGANIE ZASAD
Jeśli projekt związany jest z wieloma procedurami operacyjnymi, których należy ściśle przestrzegać, rozważ kilka z poniższych pytań:

• Opisz swoje dotychczasowe doświadczenia związane z pracą w bardzo ustrukturyzowanym, związanym z regułami środowisku.
• Opisz swoje doświadczenia związane z pracą w środowisku bez struktur i zasad pracy.
• Czy możesz opowiedzieć o sytuacji, w której musiałeś/aś zignorować zasady lub procedury, aby pomyślnie wykonać swoją pracę?
• Jak ustalasz, kiedy zignorować procedury/zasady? Czy są sytuacje, w których uważasz, że należy ich cały czas przestrzegać? Jak dochodzisz do tego, że nadchodzi ten czas?

Jeśli projekt ma niewiele procedur lub zasad, lub nie ma ich wcale, i wymaga od jednostki określenia najlepszego sposobu wykonania swoich zadań, zastanów się nad niektórymi z następujących pytań:

• Opowiedz mi o niektórych nieskutecznych zasadach, które wciąż były przestrzegane w poprzednim centrum innowacji lub inkubatorze przedsiębiorczości.
• Czy możesz opowiedzieć mi o sytuacji, w której musiałeś/aś zignorować zasady lub procedury, aby pomyślnie wykonać swoje zadania?
• Jak ustalasz czy procedury/zasady mogą być zignorowane? Czy są sytuacje, w których uważasz, że należy ich cały czas przestrzegać? Jak określasz, że to dobry moment by to zrobić?
• Jak często spotykasz się z zasadami/procedurami, które Twoim zdaniem nie powinny już obowiązywać?
• Jak komfortowo czujesz się w pracy nad zadaniami bez wcześniejszego otrzymania wskazówek/instrukcji? Czy chciałbyś/chciałabyś otrzymać informację zwrotną, aby upewnić się, że prawidłowo wykonujesz swoje zadania?

PLANOWANIE
Jeśli projekt obejmuje dużo krótko- i długoterminowego planowania, zastanów się nad niektórymi z następujących pytań:

• Opowiedz mi o wykonanym zadaniu, które wymagało dużo planowania
• Podaj przykład długoterminowego celu lub planu, który ustanowiłeś. Czy zrealizowałeś/aś swoje cele?

Opracowano na podstawie Stellenbörse für MFA und Arbeitgeber (n.d.) oraz Psychometrics Canada Ltd. (n.d.).

Test networkingowy (NT — networking test)

Głównym jego celem jest usprawnienie działań w zakresie tworzenia sieci kontaktów i wymiany wiedzy w ramach działań wspierających przedsiębiorczość młodzieży, co umożliwi tworzenie skutecznych ekosystemów innowacji w całej Europie.

Korzyści NT?

• Łączy Twoje zainteresowania i preferencje z różnymi zadaniami, ustawieniami projektów i karierami.
• NT daje wyniki, z których możesz skorzystać, jeśli dopiero zaczynasz swoją działalność.

NT odbywa się w formie wywiadów indywidualnych lub praktycznych ćwiczeń w zespołach.

Pytania do wywiadu

STYL ROZWIĄZYWANIA PROBLEMÓW

INNOWACJA

Jeśli projekt wymaga kreatywnej i innowacyjnej osoby, zastanów się nad kilkoma z poniższych pytań:

• Opowiedz mi o problemie, który udało Ci się rozwiązać w innowacyjny sposób.
• Wymień oryginalne/kreatywne/nowe rozwiązanie, które wymyśliłeś/aś, aby rozwiązać problem.
• Rozwiązując problem, najpierw patrzysz na to, co było zadaniem w przeszłości, czy też wymyślasz zupełnie nowe rozwiązanie?
• Jakie są zalety/wady korzystania z istniejących rozwiązań?
• Jakie były Twoje najbardziej kreatywne pomysły na zadanie?
• Kiedy czegoś nie rozumiesz, pytasz, dopóki nie zrozumiesz?
• Czy często kwestionujesz to, co jest uważane za normalne?
• Lubisz obserwować ludzi? Czy często kwestionujesz to, co jest uważane za normalne?
• Lubisz obserwować to, co się dzieje na świecie w ramach innowacji?
• Czy obserwujesz jak ludzie zachowują się w sytuacjach, które mogą mieć wpływ na Twój start-up (np. gdzie i jak jeść, pić, ubierać się, robić zakupy itp.)? Czy obserwujesz otaczający Cię świat? Czy przychodzą Ci do głowy pomysły na nowe produkty i usługi?
• Czy jesteś żądny/a przygód, szczęśliwy/a, szukasz nowych doświadczeń?

Jeśli projekt nie bardzo wymaga rozwiązywania problemów, lub problemy wymagają jedynie stopniowych zmian lub praktycznych rozwiązań, rozważ niektóre z poniższych pytań:

• Czy rozwiązując problem, najpierw przyglądasz się temu jak był on rozwiązywany w przeszłości,, czy też wymyślasz zupełnie nowe rozwiązanie?
• Jaką wartość dostrzegasz w trzymaniu się ustalonych sposobów wykonywania zadania?
• Jakie są zalety/wady korzystania z wcześniejszych rozwiązań?
• Jakie były niektóre z Twoich najbardziej praktycznych rozwiązań problemów zadaniowych?
• Czy możesz określić się jako osoba innowacyjna lub praktyczna?

MYŚLENIE ANALITYCZNE

Jeśli projekt wymaga przeanalizowania dużej ilości informacji i podejścia do podejmowania decyzji, które jest logiczne, ostrożne i przemyślane, zastanów się nad niektórymi z następujących pytań:

• Ile informacji potrzebujesz aby poczuć się komfortowo podejmując decyzję? Jak zdobywasz te informacje?
• Opowiedz mi o swojej decyzji, którą podjąłeś/podjęłaś poprzez obszerne zbieranie informację i omawianie jej z innymi. Jak to poszło? Czy musiałeś/aś być tak ostrożny/a jak byłeś/aś, czy mogłeś/aś podjąć decyzję szybciej?
• Czy Twoi znajomi opisaliby Cię jako osobę analityczną i wyrachowaną, czy intuicyjną i spontaniczną? Jak sądzisz, dlaczego?
• Jaki proces przechodzisz, zanim podejmiesz decyzję?
• Opowiedz mi o ważnej decyzji, którą musiałeś/aś szybko podjąć.

Jeśli projekt wymaga szybkiego podejmowania decyzji, które nie pozwala na obszerne zebranie informacji, zastanów się nad kilkoma z poniższych pytań:

• Jak dużo informacji potrzebujesz aby poczuć się komfortowo podejmując decyzję? Jak zdobywasz te informacje?
• Opowiedz mi proszę o decyzji, którą podjąłeś/podjęłaś na podstawie swoich przeczuć. Jak poszło? Jak komfortowo podejmujesz decyzje w ten sposób?
• Czy Twoi znajomi opisaliby Cię jako osobę analityczną i wyrachowaną, czy intuicyjną i spontaniczną? Jak sądzisz, dlaczego?
• Kiedy musiałeś/aś polegać na swojej intuicji, aby podjąć decyzję?

RADZENIE SOBIE Z PRESJĄ I STRESEM

SAMOKONTROLA

Jeśli projekt wymaga od osoby (beneficjenta) wysokiego poziomu samokontroli, należy rozważyć niektóre z poniższych pytań:

• Co robisz, gdy jesteś sfrustrowany/a innymi? Opowiedz mi o sytuacji, kiedy byłeś/aś sfrustrowany członkiem/inią zespołu.
• Podaj proszę przykład, kiedy zachowałeś/aś spokój w trudnej sytuacji.
• Podaj proszę przykład sytuacji, w której byłeś zły/a na kogoś podczas zadania. Co zrobiłeś/aś?
• Opisz swoje poprzednie zadanie, podczas którego miałeś/aś do czynienia ze zdenerowanymi ludźmi.
• Jakie masz doświadczenie w kontaktach ze zirytowanymi klientami?
• Opowiedz proszę o sytuacji, w której miałeś/aś do czynienia ze zdenerwowanym klientem. Co zrobiłeś/aś? Jakie były efekty? Jak się potem czułeś/aś?

TOLERANCJA NA STRES

Jeśli projekt wymaga regularnych wyników przy wysokim poziomie stresu, rozważ kilka z poniższych pytań:

• Co robisz, aby złagodzić stres?
• Jak tolerujesz stres?
• Opowiedz o sytuacji, w której musiałeś/aś wykonać zadanie w dużym stresie.
• Jakie rodzaje aktywności są dla Ciebie stresujące?
• Opowiedz o czasie, w którym miałeś/aś trudności z radzeniem sobie ze stresującymi zadaniami. Co zrobiłeś/aś, żeby przetrwać ten czas?
• Z jakim rodzajem stresu trudno sobie radzisz?
• Czy istnieją stresujące czynności, z którymi nie możesz sobie poradzić? Wymień je.
• Co uważasz za najbardziej stresujące?
• Pod jakim rodzajem skrajnego stresu musiałeś/aś wykonywać zadania?
• Jakie były niektóre z najbardziej stresujących rzeczy, w które byłeś/aś zaangażowany/a?

Opracowano na podstawie Stellenbörse für MFA und Arbeitgeber (n.d.) oraz Psychometrics Canada Ltd. (n.d.).

14.4.6 Szablon modelu biznesowego — Business Model Canvas

Business Model Canvas jest dobrym narzędziem do oceny start-upu na początku i na końcu projektu — służy do pomiaru rozwoju biznesu.

Rys. 9/10: Business model canvas

 

Źródło: Strategyzer, n.d.

Jak używać BMC?

Business Model Canvas służy jako punkt wyjścia i pomaga start-upom w zwróceniu uwagi na wszystkie ważne aspekty rozwoju pomysłu biznesowego. Szablon jest podsumowaniem pomysłu/modelu. Poniższe pytania powinny pomóc im ocenić pomysł z różnych perspektyw.

Podsumowanie kroków dotyczących sposobu wykorzystania szablonu biznesplanu do oceny działań w ramach projektu wspierającego przedsiębiorczość:

Rozwój pomysłu na biznes/projekt z punktu widzenia start-upu:

• Który pomysł/plan jest dla mnie najlepszy?
• Co go wyróżnia spośród innych?

Wymagania założyciela

• Jakie są moje umiejętności, mocne i słabe strony?
• Jakich partnerów mam, czy ich potrzebuję?

 

Przegląd rynku

• Jaka jest moja grupa docelowa i czego potrzebują ci ludzie?
• Co oferują moi konkurenci?

 

Dobre strategie marketingowe i dystrybucji

• Jak mogłaby wyglądać dobra reklama?
• Jaki jest mój obszar działania i drogi dystrybucji?
• Czy mam dobrą strategię cenową?

Założenie organizacji/firmy

• Ilu pracowników potrzebuję i jakie powinny być ich umiejętności/kwalifikacje?
• Jak wygląda forma prawna mojej firmy?

 

Analiza i rozważenie możliwych szans i zagrożeń

 

Finansowanie

• Ile moi potencjalni klienci są skłonni zapłacić?
• Jakie będą moje nakłady?
• Czy mam plan finansowania i inwestycji?
• Czy istnieją alternatywne możliwości finansowania? Granty, darowizny.
• Jak wysokie są moje koszty utrzymania?

 

Pozyskiwanie dokumentów

• Czy potrzebuję innych dokumentów, np. ekspertyz, umów lub CV?
• Wymogi prawne?

 

Business model canvas		Zaprojektowano dla:	Autor/rzy projektu:	Data:
Kluczowi partnerzy Kim są nasi kluczowi partnerzy? Kim są nasi kluczowi dostawcy? Jakie kluczowe zasoby pozyskujemy od partnerów? Jakie kluczowe działania wykonują partnerzy? MOTYWACJE DO PARTNERSTWA Optymalizacja i oszczędność Zmniejszenie ryzyka i niepewności Pozyskanie określonych zasobów i działań	Kluczowe działania Jakie działania mają kluczowe znaczenia dla uzyskania korzyści? Nasze kanały dystrybucji? Relacje z klientami? Źródła przychodów? KATEGORIE Produkcja Rozwiązywanie problemów Platforma/Sieć	Korzyści Jaką wartość dostarczamy klientowi? Jakie problemy naszych klientów próbujemy rozwiązać? Jakie pakiety produktów i usług oferujemy dla każdego segmentu klientów? Jakie potrzeby klientów zaspokajamy? CHARAKTERYSTYKA Nowość efektywność Dostosowanie do potrzeb Design Marka/Status Redukcja kosztów Redukcja ryzyka Dostępność Wygoda/Użyteczność	Relacje z klientami Jakiego rodzaju relacji wymaga od nas każdy z segmentów klientów? Jakie z tych relacji już nawiązaliśmy? Jak są one zintegrowane z resztą naszego modelu biznesowego? Jak bardzo są kosztowne? PRZYKŁADY Pomoc osobista Dedykowana pomoc osobista Self-service Usługi zautomatyzowane Społeczności Współtworzenie	Segmentacja klientów Dla kogo tworzymy wartość? Kim są nasi najważniejsi klienci? Rynek masowy Rynek niszowy Segmentowany Zróżnicowany Wielostronna platforma
	Kluczowe zasoby Jakie zasoby są kluczowe dla uzyskania korzyści? Nasze kanały dystrybucji? Relacje z klientami? Źródła przychodów? RODZAJE ZASOBÓW Fizyczne Intelektualne (patenty marki, prawa autorskie, dane) Ludzkie Finansowe		Kanały Przez które kanały chcemy dotrzeć do poszczególnych segmentów klientów?Jak docieramy do nich teraz?Jak zintegrowane są nasze kanały?Które z nich działają najlepiej?Które są najbardziej opłacalne?Jak integrujemy je z rutyną klienta?ETAPY KANAŁÓW: 1. Świadomość Jak podnosimy świadomość na temat produktów i usług naszej firmy? 2. Ocena W jaki sposób pomagamy klientom ocenić Propozycję Wartości naszej organizacji? 3. Zakup W jaki sposób umożliwiamy klientom zakup określonych produktów i usług? 4. Dostawa W jaki sposób dostarczamy propozycję wartości klientom? 5. Po sprzedaży Jak zapewniamy obsługę klienta po zakupie?
Struktura kosztów Jakie są najważniejsze koszty związane z naszym modelem biznesowym? Które z kluczowych Zasobów są najdroższe? Jakie kluczowe działania są najdroższe? CZY TWÓJ BIZNES JEST BARDZIEJ Zależny od kosztów (najmniejsza struktura kosztów, niska oferta cenowa, maksymalna automatyzacja, rozbudowany outsourcing). Oparty na wartości (skoncentrowany na tworzeniu wartości, propozycja wartości premium) PRZYKŁADOWE CECHY Koszty stałe (wynagrodzenia, czynsze, media) Koszty zmienne Ekonomia skali Ekonomia zakresu		Źródła przychodów Jaką wartość nasi klienci są naprawdę gotowi zapłacić? Jaką płacą teraz? W jaki sposób płacą? Jak woleliby płacić? W jaki sposób każde źródło przychodów przyczynia się do ogólnych przychodów? TYPY Sprzedaż aktywów Opłata za użytkowanie Opłata za subskrypcję Pożyczanie/wynajem/leasing Licencje Opłaty maklerskie i reklamowe Opłaty reklamowe STAŁE CENY Cena katalogowa Zależna od cechy produktu Zależna od segmentu klienta Zależna od ilości DYNAMICZNE CENY Negocjacje (targowanie się) Zarządzanie efektywnością Rynek w czasie rzeczywistym

Źródło: Strategyzer, n.d.

14.5 Narzędzia do analizy Informacji

Poniżej znajduje się kilka narzędzi, których możesz użyć do analizy zebranych powyżej informacji.

14.5.1 Ocena rezultatów Twojego projektu (czyli tego, CO projekt miał na celu)

Poniższe pytania służą jako wskazówka w ocenie rezultatów Twojego projektu.

Dodatkowe pytania, które możesz zadać, w zależności od charakteru Twojego projektu i powodu ewaluacji:

• W jaki sposób uczestnicy odnieśli korzyści z udziału w Twoim projekcie? (np. ponowne zaangażowanie w naukę, uzyskanie akredytacji, zwiększenie lub udoskonalenie sieci specyficznych dla branży, zidentyfikowanie realistycznej ścieżki zawodowej, zdobycie umiejętności w zakresie przedsiębiorczości, itp.)
• Skąd to wiesz? Jakie informacje lub dowody posiadasz, aby wykazać, że uczestnicy odnieśli korzyści?
• Jakie inne korzyści udało Ci się dostarczyć i komu?
• Czy były jakieś zaskakujące lub nieoczekiwane rezultaty?
• Skąd wiesz, że to Twój projekt przynosi zmiany? (Mogą istnieć inne czynniki, które mają miejsce w organizacji w tym samym czasie co Twój projekt i mogą wpływać na wyniki uczestników lub rzeczy, które próbujesz zmierzyć)

14.5.2 Ocena efektywności Twojego projektu (czyli tego, JAK cel został osiągnięty)

Poniższa lista kontrolna stanowi prosty sposób oceny skuteczności projektu i identyfikacji potencjalnych obszarów do poprawy.

Możesz zadać dodatkowe pytania, w zależności od charakteru Twojego projektu i powodu ewaluacji.

Tabela 17: Lista kontrolna do oceny skuteczności projektu

Kluczowe pytanie	Tak/Nie	Przykłady działań (w celu rozwiązania zidentyfikowanych problemów)
Czy wszyscy interesariusze są w pełni zaangażowani w projekt?	Nie	Zorganizuj spotkanie wszystkich interesariuszy, by przeanalizować ich obecny poziom zaangażowania i sprawdzić, czy należy coś zmienić i w jaki sposób można to zrobić. Na przykład, czy potrzeba więcej zasobów? Czy sformalizowanie projektu w protokole ustaleń miałoby znaczenie? Jeśli istnieje rzeczywisty brak zaangażowania ze strony jednego partnera i jest mało prawdopodobne, że to się zmieni, czy należy szukać wsparcia innej organizacji?
Czy istnieje wspólna wizja i wspólne cele?		Stwórzcie swego rodzaju słowniczek podczas wspólnej pracy — zdefiniujcie w nim cele, ustalcie wspólną interpretację.
Czy każdy interesariusz ma jasno określoną rolę i obowiązki?		Stwórz rodzaj schematu organizacyjnego, w którym reprezentowana jest każda ze stron ze swoimi rolami i obowiązkami. Schemat ten powinien być dostępny dla wszystkich.
Czy oczekiwania każdego z interesariuszy są uczciwe i rozsądne?
Czy interesariusze rozumieją wymagania innych interesariuszy?
Czy istnieje regularny kontakt między interesariuszami?
Czy wszystkie strony otrzymały sprawiedliwe uznanie za swoje wysiłki?
Podsumowując, czy korzyści płynące ze współpracy uzasadniają poświęcony czas i wysiłek?

Pomocne może być rozpisanie nadrzędnego lub kluczowego pytania na kilka pytań, aby ukierunkować gromadzenie i analizę informacji. Poniższa tabela przedstawia przebieg projektu szkoleniowego z przedsiębiorczości, skierowanego do bezrobotnych absolwentów.

Tabela 18: Lista kontrolna do oceny szkolenia z przedsiębiorczości skierowanego do bezrobotnych absolwentów.

Nazwa projektu: Szkolenie z przedsiębiorczości dla bezrobotnych absolwentów.

Cel	Przedmiot ewaluacji	Pytanie ewaluacyjne	Pytania zawarte w narzędziach ewaluacyjnych (zadawane rozmówcom/respondentom)
Pomóc uczestnikom i uczestniczkom w przekształceniu ich pomysłów w operacyjne i dochodowe biznesy.	Skoncentruj się na wpływie działań lub projektu.	W jaki sposób i w jakim stopniu projekt pomógł absolwentom przekształcić ich pomysły w operacyjne i dochodowe biznesy?	» Jaką wiedzę i umiejętności zdobyli uczestnicy dzięki temu projektowi? » W jaki sposób te umiejętności pomogły uczestnikom w ich dążeniu do przekształcenia pomysłów w pełnoprawne firmy? » Czy istnieją inne rzeczy, które można zrobić, aby wesprzeć uczestników w ich poszukiwaniach? » Jakie dodatkowe informacje są potrzebne do podjęcia decyzji o przyszłości projektu?
Określić jak dobrze współpracują ze sobą interesariusze i czy można coś ulepszyć.	Skoncentruj się na skuteczności projektu.	Jak skuteczne są nasze obecne projekty?	» Co robimy dobrze? » Jakie rzeczy nie działają tak dobrze, jak byśmy chcieli? » Jak możemy ulepszyć te projekty?

 

14.5.3 Techniki analizy ilościowej

Rys. 11: Przegląd technik analizy ilościowej (Source: Cottage Health, n.d.)

Cel	Technika analizy	Jak wykonać obliczenia	Przykładowe pytania i odpowiedzi
Chcesz poznać liczbę respondentów, którzy wybrali konkretną odpowiedź?	Częstość	Policz liczbę odpowiedzi dla każdej opcji odpowiedzi	Ilu respondentów/ek wskazało, że uczestniczyło/li w zajęciach? 14 młodych osób uczestniczyło w zajęciach.
Chcesz dowiedzieć się, jaka część respondentów/ek, wybrała określoną odpowiedzi.	Procent	Liczba respondentów wybierających odpowiedź „A” ÷ łączna liczba odpowiedzi = PROCENT	Jaki procent respondentów wskazał, że uczęszczał na zajęcia każdego miesiąca? 10 uczniów wybrało odpowiedź „A” (uczęszczał/a każdego miesiąca) ÷ 20 uczniów, którzy udzielili odpowiedzi = 50% uczniów uczęszczało na zajęcia każdego miesiąca.
Chcesz dowiedzieć się, w jakim zakresie liczbowym mieszczą się uzyskane wyniki.	Zakres (rozpiętość wyników)	Określ najwyższą i najniższą wartość. Opisz je jako “najniższa liczba – najwyższa liczba”. Wynik tego odejmowania to zakres.	Ile osób liczy gospodarstwo domowe? Wielkość gospodarstwa domowego waha się od 1 do 6 osób.
Chcesz poznać przeciętny wynik w zbiorze danych liczbowych.	Średnia	Zsumuj wszystkie odpowiedzi (suma) ÷ łączna liczba odpowiedzi = średnia	Ile wynosi średnia osób w gospodarstwie domowym? Masz 21 odpowiedzi, w następującej kolejności: 1, 1, 2, 2, 2, 2, 3, 3, 3, 4, 4, 4, 4, 4, 4, 4, 4, 5, 5, 6, 6 Suma wszystkich odpowiedzi wynosi 73, podzielona przez liczbę wszystkich odpowiedzi (21), oznacza, że średnia wielkość gospodarstwa domowego wynosi 3.5.
Chcesz poznać środkową wartość spośród wszystkich uzyskanych wyników, gdy masz do czynienia ze znaczącymi różnicami w danych skrajnych (np. bardzo wysokie lub niskie wartości).	Mediana	Uporządkuj wszystkie wartości odpowiedzi w kolejności rosnącej (lub malejącej). Mediana będzie wartością w środku listy (np. jeśli masz listę składającą się z 21 odpowiedzi, mediana będzie jedenastą wartością). Jeśli masz parzystą liczbę odpowiedzi, mediana jest średnią z dwóch wartości w punkcie środkowym (tj. przy liście składającej się z 20 odpowiedzi, będzie to średnia z odpowiedzi dziesiątej i jedenastej).	Jaka jest mediana liczby osób w gospodarstwie domowym? Masz listę 21 odpowiedzi, w następującej kolejności: 1, 1, 2, 2, 2, 2, 3, 3, 3, 4, 4, 4, 4, 4, 4, 4, 4, 5, 5, 6, 6 Mediana wynosi 4, jest to jedenasta liczba.
Chcesz poznać średnią, gdy stosujesz skalę mierzącą np. poziom satysfakcji z udziału w projekcie.	Średnia	Przypisz wartość liczbową do każdej opcji odpowiedzi na skali ocen. Pomnóż przypisaną do opcji wartość (wagę) przez liczbę wybranych opcji. Oblicz sumę częściową (wartość X liczba odpowiedzi) dla każdej opcji odpowiedzi. Podziel tę sumę przez liczbę wszystkich odpowiedzi.	Jaka jest średnia zadowolenia z programu? Wagi wahają się od 1 (bardzo niezadowolony) do 5 (bardzo zadowolony) Opcje na skali odpowiedzi Waga Liczba odpowiedzi waga x liczba odpowiedzi 1 (b. niezadowo- lony) 1 4 4 2 2 8 16 3 (nie mam zdania) 3 9 27 4 4 15 60 5 (bardzo zadowolony) 5 14 70 RAZEM 50 177 177 ÷ 50 respondentów = 3.5 średniej ważonej. Na podstawie skali ważenia pokazuje to, że średnia odpowiedź mieści się między „ani zadowolony, ani niezadowolony” a „zadowolony”.
Czy chcesz porównać odpowiedzi dwóch różnych grup respondentów/ek?	Tabela krzyżowa	Zidentyfikuj „grupy”, które Cię interesują i oblicz częstotliwości i wartości procentowe dla odpowiedzi każdej grupy; porównaj i szukaj podobieństw i różnic. (Wymaga to analizy statystycznej w celu ustalenia, czy różnica między grupami jest istotna).	Jaka grupa uczestników była bardziej zadowolona z zajęć? Twoje tabele krzyżowe mogą wyglądać tak: Płeć Zadowolony/a Niezadowolony/a Męska 46% 54% Żeńska 45% 55% Uczestnictwo w szkoleniu online tak 65% 35% nie 26% 74% Współpraca z mentorem tak 47% 53% nie 44% 56%

 

14.5.4 Jak prezentować dane ilościowe

Tabela 18: Przegląd formatów prezentacji danych

Co chcesz zaprezentować?	Którego wykresu użyć
Porównanie dwóch lub więcej kategorii	Wykres słupkowy, wykres bąbelkowy
Dane binarne (np. odpowiedzi tak/nie)	Wykres słupkowy, wykres kołowy
Zmiana w czasie	Wykres liniowy, wykres warstwowy
Korelacja między dwiema zmiennymi	Wykres punktowy
Częstotliwość	Wykres słupkowy
Procent	Wykres słupkowy, wykres kołowy
Dyspersja (jak rozkłada się Twój zestaw danych)	Wykres skrzynkowy, wykres słupkowy

Źródło: The National Council for Voluntary Organisations, n.d.

 

14.5.5 Narzędzia używane podczas korzystania z informacji

Przejrzysta struktura sprawia, że raport jest bardziej czytelny. Zanim zaczniesz pisać, zaplanuj nagłówki i podtytuły tak, aby raport był zrozumiały i czytelny. Przykładową strukturę raportu ewaluacyjnego znajdziesz poniżej:

Spis treści Skróty Podziękowania Streszczenie Wstęp Tło projektu, źródło finansowania, partnerzy/interesariusze, grupa docelowa i uczestnicy, proces realizacji, działania/zadania i rezultaty. 1.2 Koncepcja ewaluacji — rodzaj, zakres, cel, kryteria i pytania Metodologia 2.1 Metody zbierania informacji, próba badawcza 2.2 Kwestie wiarygodności i rzetelności zebranych danych Wyniki 3 Powinny zostać zaprezentowane zgodnie z kryteriami oceny i pytaniami Dobre praktyki, wnioski i rekomendacje 4.1 Dobre praktyki 4.2 Wnioski i rekomendacje Aneks Aneks 1: Mapa obszaru interwencji Aneks 2: Narzędzia badawcze (np. kwestionariusze i scenariusze wykorzystane w badaniu)

14.6 Wzór formularza zgody na badania z udziałem dzieci

1. Należy pamiętać, że ten szablon ma na celu pomóc Badaczowi w zaprojektowaniu formularza zgody dla rodziców/opiekunów prawnych dzieci, nieletnich lub osób dorosłych niezdolnych do wyrażenia zgody.

2. Formularz zgody składa się z dwóch części: arkusza informacyjnego i oświadczenia o wyrażeniu zgody.

3. Wzór zawiera wyjaśnienia w [ ], które mają służyć badaczowi i nie należy ich umieszczać w formularzu zgody.

Formularz zgody dla rodziców/opiekunów prawnych dzieci/nieletnich

Imię i nazwisko badacza:

_____________________________________________________________

Nazwa badania:

____________________________________________________________________

Niniejszy formularz świadomej zgody składa się z dwóch części:

• Arkusz informacyjny zawierający informacje o badaniu,
• Oświadczenie o wyrażeniu zgody (do podpisu przez rodzica/ opiekuna prawnego)

Część I: Arkusz informacyjny

Wstęp

[Napisz krótko, kim jesteś, jaki jest cel Twoich badań (na przykład projekt badawczy w ramach pracy doktorskiej, z jakiej uczelni) i w jakim zakresie prowadzisz badania. Zaproś do udziału w badaniach. Zapewnij rodziców/opiekunów, że jeśli nie zrozumieją niektórych słów lub pojęć, poświęcisz czas na ich wyjaśnienie.]

Cel badań

[Wyjaśnij w przystępny sposób, w jakim celu prowadzona jest ewaluacja. Wyjaśnij, dlaczego musisz przeprowadzić badanie z dziećmi. Twoje wyjaśnienie powinno raczej wyjaśniać niż dezorientować rodziców/opiekunów prawnych – unikaj używania złożonego technicznego lub zawodowego żargonu.]

Rodzaj interwencji badawczej/procedury

[Zrób krótkie wprowadzenie na temat formy badania. Wyjaśnij, jak będa wygladały poszczególne etapy badania. Wskaż, kiedy i gdzie odbędzie się badanie. Jeśli twoje badania obejmują obserwację, wyjaśnij krótko, co będziesz obserwować i z jakich powodów. Jeśli Twoje badania obejmują ankiety, wskaż, gdzie i w jaki sposób ankiety będą udostępniane i zbierane. Jeśli twoje badania obejmują grupy fokusowe lub wywiady, wyjaśnij krótko rodzaj pytań, które prawdopodobnie zostaną zadane dzieciom, a jeśli pytania mogą mieć drażliwy charakter lub mogą potencjalnie wywołać zakłopotanie, spróbuj przewidzieć obawy i pytania rodziców/opiekunów aby się do nich ustosunkować. Dla rodziców/opiekunów prawnych bardzo ważne jest aby od samego początku wiedzieli, na czym będzie polegać badanie ich dziecka. Jeżeli badacz zamierza wykorzystać zdjęcia i/lub nagrania audio/wideo dzieci, to na tym etapie należy również poinformować o tym rodziców/opiekunów prawnych.]

Wybór uczestników

[Wyjaśnij, dlaczego wybrałeś dziecko do udziału w badaniach. Rodzice/opiekunowie prawni mogą się zastanawiać, dlaczego wybrano ich dzieci i mogą być zaniepokojeni.]

Uczestnictwo dobrowolne – prawo do odmowy lub wycofania się

[Wyraźnie zaznacz, że rodzice/opiekunowie prawni mogą wybrać, czy ich dziecko będzie uczestniczyć w badaniu i że nie muszą wyrazić na nie zgody, jeśli sobie tego nie życzą. Zapewnij ich, że wybór, czy ich dziecko będzie uczestniczyć w badaniu, w żaden sposób nie wpłynie negatywnie na jego prawa. Wyraźnie zaznacz, że rodzice/opiekunowie prawni mogą zrezygnować z udziału w badaniu w dowolnym momencie i bez żadnych konsekwencji. Ważne jest, aby wyraźnie zaznaczyć na początku formularza, że udział w badaniu jest dobrowolny. Wyjaśnij również, że dziecko zostanie poproszone o wyrażenie zgody i że obawy oraz życzenia dziecka będą traktowane bardzo poważnie.]

Czas trwania

[Zawrzyj informację na temat przewidywanego czasu badania ze strony dziecka oraz ewentualnych zobowiązaniach czasowych ze strony rodziców/opiekunów. ]

Zagrożenia i korzyści

[Wyjaśnij i opisz wszelkie ryzyka związane z udziałem w badaniu. Wyjaśnij także i opisz korzyści płynące z badania, z których skorzysta ich dziecko, jego społeczność lub społeczeństwo jako całość.]

Poufność

[Wyjaśnij, w jaki sposób badacz zachowa poufność danych w odniesieniu zarówno do informacji o dziecku, jak i informacji, które dziecko udostępnia, kto ma dostęp do danych i jak długo te dane będą przechowywane. Wyjaśnij rodzicom/opiekunom prawnym, że w przypadkach, gdy badania dotyczą kwestii wrażliwych zostaną podjęte dodatkowe środki ostrożności w celu zapewnienia bezpieczeństwa i anonimowości. Załącz oświadczenie informujące rodziców/opiekunów prawnych o prawach ich dzieci, zgodnie z Ustawą o Ochronie Danych Osobowych Rozdział 586 oraz Rozporządzeniem o Ochronie Danych Osobowych (RODO) (EU2016/679), do dostępu, sprostowania lub usunięcia danych, które ich dotyczą.]

Udostępnianie wyników

[Należy przedstawić swój plan udostępniania wyników. Możesz również poinformować rodziców/opiekunów, że wyniki badań będą udostępniane szerzej, na przykład poprzez publikacje i konferencje.]

Z kim się skontaktować

[Podaj swoje dane kontaktowe, imię i nazwisko oraz dane kontaktowe swojego przełożonego (jeśli dotyczy). Dzięki temu rodzice/opiekunowie prawni mogą poprosić o dalsze informacje na temat badań oraz o informacje o tym, w jaki sposób przetwarzane są dane osobowe ich dzieci.]

Część II: Oświadczenie o wyrażeniu zgody

• Zostałem poproszony/a o wyrażenie zgody na udział mojego dziecka w badaniu pod nazwą ______________________________________
• Potwierdzam, że przeczytałem/am i zrozumiałem/am powyższe informacje lub zostały mi one przeczytane oraz wyrażam zgodę na udział mojego dziecka w tym badaniu.
• Miałem/am możliwość zadawać pytań dotyczących badania, a na wszelkie zadane przeze mnie pytania otrzymałem/am satysfakcjonującą odpowiedź.
• Rozumiem, że mogę skontaktować się z badaczem lub jego przełożonym w celu uzyskania dalszych wyjaśnień i informacji.
• Rozumiem, że udział mojego dziecka w badaniu jest dobrowolny i że moje dziecko może wycofać się z badania w dowolnym momencie, bez podania przyczyny i bez jakichkolwiek konsekwencji.
• Rozumiem, że wszystkie dane są anonimowe i że nie będzie żadnego związku między podanymi danymi osobowymi a zebranymi danymi.
• Rozumiem, że nie ma znanych zagrożeń oraz ryzyk związanych z udziałem w tym badaniu.
• Wyrażam zgodę na nagrywanie audio/wideo/fotografowanie mojego dziecka w celach badawczych.(Niepotrzebne skreślić)
• Wyrażam zgodę na transkrypcję danych i ich przechowywanie oraz przetwarzanie (podać, gdzie informacje będą przechowywane, w jaki sposób zostaną zabezpieczone oraz kto będzie mieć do nich dostęp) i w jakim okresie czasu (podać konkretny okres w trakcie które dane będą przechowywane) (niepotrzebne skreślić)
• Rozumiem, że tożsamość mojego dziecka pozostanie anonimowa niezależnie od formy w jakiej rozpowszechniane będą wyniki badania.

Imię i nazwisko Rodziców/Opiekunów

Podpis Rodziców/Opiekunów

Data

Źródło: Dyrekcja ds. Badań Naukowych, Kształcenia Ustawicznego i Zatrudnienia, Ministerstwo Edukacji i Zatrudnienia Malty