Poziomy ewaluacji
Po co nam ewaluacja?
Kiedy podejmujemy się działania chcielibyśmy zazwyczaj wiedzieć, że ma ono sens i że odniesie zamierzony przez nas skutek. Jeśli naszym celem jest doprowadzenie do zmiany, będziemy przecież zainteresowani czy zmiana ta faktycznie się dokonała i czy sprawiła to zastosowana przez nas procedura. Jeśli na przykład wyleczyliśmy się z choroby, to chcemy wiedzieć – na przyszłość – który lek zadziałał i jak go należy stosować.
Można i warto spojrzeć na ewaluację w taki właśnie intuicyjny sposób. Warto, gdyż wtedy dużo łatwiej przyjdzie nam zrozumieć, dlaczego ewaluacyjna perspektywa powinna nam towarzyszyć od samego początku realizowanego projektu.
W programach profilaktycznych zależy nam na zmianach. Czasem będzie to obniżenie skali zachowań problemowych, czasem zatrzymanie albo osłabienie jakiegoś trendu, np. wzrostu przypadków uzależnienia od Internetu, a innym razem najmniej widoczne – ale najbardziej skuteczne – zmiany przekonań czy wzrost zdolności psychospołecznych, które mają zapobiegać destrukcyjnym dla jednostki zachowaniom.
Pytanie o skuteczność nie jest jedynym, na które szukamy odpowiedzi, planując i prowadząc ewaluację. Może nas również interesować efektywność programu, czyli po prostu jego opłacalność. Będziemy wtedy na przykład sprawdzać, czy pewnych zadań nie dałoby się wykonać taniej. Możemy w ewaluacji badać trwałość zmian, analizując efekty interwencji w długim okresie. Możemy wreszcie pytać o trafność interwencji – czy te zmiany, które skutecznie wprowadziliśmy, faktycznie odpowiadają na istotną potrzebę. Dbamy wówczas o to, żeby nie znaleźć się w sytuacji analogicznej do tej, która zdarzyła się (naprawdę!) budowniczym dworca kolejowego, postawionego w miejscowości, do której kolej nie dochodzi.
Każde z przytoczonych wyżej pytań, choć bada różne aspekty realizowanego programu, odnosi się w jakiś sposób do rezultatów działań. Interesuje nas ponadto nie tylko rezultat (wynik), lecz również sposób dojścia (proces).
W artykule tym chcę się przyjrzeć przede wszystkim powiązaniom między poziomami ewaluacji: ewaluacją procesu i ewaluacją wyniku, a zwłaszcza wymaganiom stawianym tej pierwszej. Ewaluacja procesu jest bowiem warunkiem koniecznym dla oceny jakości i skuteczności programu, bazą dla kolejnego stopnia ewaluacji – ewaluacji wyniku. Pojęcia ewaluacji procesu i wyniku będą bardziej szczegółowo omawiane w dalszej części artykułu.
Badając zmianę badamy relację między dwoma stanami, czyli stanem przed naszą interwencją i po niej. Musimy zatem mieć rozpoznany punkt wyjścia, wyznaczony punkt dojścia oraz opisaną drogę, która nas do tego celu zaprowadzi. Inaczej mówiąc potrzebujemy diagnozy stanu przed interwencją, wyznaczonych na tej podstawie celów oraz metody działania, która przekłada się na zadania do wykonania.
Dotykamy tutaj zasadniczego problemu prowadzenia ewaluacji. Dość często można spotkać się z myśleniem (i działaniem), że ewaluacja to zadanie, które należy przeprowadzić po zakończeniu programu. Oczywiście tak, ale równie ważne jest zaplanowanie ewaluacji – jej zakresu, narzędzi i metod – na etapie planowania projektu. Refleksja nad tym, co chcemy uzyskać w efekcie naszej interwencji i czy nasz „przepis” pozwoli ten efekt osiągnąć jest, jak pisałam na wstępie, oczywistym i intuicyjnym elementem każdego pragmatycznego podejścia. Wiedza taka jest nam potrzebna nie tylko dla poczucia, jakże ważnego, że to co robimy ma sens. Ta wiedza będzie potrzebna nam, a także innym realizatorom, podczas prowadzenia tych samych lub podobnych projektów.
Czy zmiana zaszła i czy to my do niej doprowadziliśmy swoim działaniem?
Tak brzmi kluczowe dla ewaluacji pytanie. Można je rozbić na trzy składowe, co wskaże nam obszary ewaluacji:
- Czy osiągnęliśmy zamierzony cel? – obszar ewaluacji wyniku
- Czy wykonaliśmy właściwie wszystkie prowadzące do celu zadania? – obszar ewaluacji procesu
- Czy na pewno to nasza interwencja wywołała spodziewany rezultat?- obszar ewaluacji wyniku.
Do odpowiedzi na te pytania przygotowujemy się już na etapie diagnozy. Jeśli chcemy przekonać się o skuteczności zmiany, musimy wiedzieć co i dlaczego chcemy zmienić.
Rozpoznany problem i potrzeba są zatem punktem wyjścia do określania celów. Z perspektywy ewaluacji ważne będzie rozróżnienie na dwa ich rodzaje:
- Cele ogólne (główne) programu, określające planowaną „ostateczną” zmianę, końcowy rezultat programu. Cel ogólny stanowi konsekwencję realizacji celów szczegółowych, jest więc zależny od tego na ile nasze metody działania i założenia okazały się trafne.
- Cele szczegółowe, wskazujące drogi dojścia do końcowego efektu, kolejne kroki, które będziemy stawiać. Cele szczegółowe łączą się bezpośrednio z zadaniami planowanymi w projekcie.
W momencie określania celów podejmujemy również decyzję, jaki zakres ewaluacji planujemy. Zależy to przede wszystkim od naszych możliwości badawczych – zarówno na etapie badania stanu wyjściowego, jak i uzyskanych rezultatów. Podjęte w tym względzie decyzje oznaczają wybór metody i narzędzi ewaluacji. Możemy planować ewaluację procesu i ewaluację wyniku. Zobaczmy z jakimi dalszymi pytaniami i zadaniami się to wiąże.
Ewaluacja procesu – co i jak badamy?
Ewaluacja procesu koncentruje się na ocenie jakości działań w programie. Jak sama nazwa wskazuje, badamy proces realizacji. Chcemy ustalić, czy zadania zostały wykonane we właściwy, zgodny z planem sposób.
Ewaluacja procesu ma trzy etapy:
- Planowanie zadań i określanie wskaźników
- Zbieranie danych w trakcie procesu realizacji
- Ostateczna ocena poziomu wykonania zadań
Planowanie. Planując ewaluację procesu określamy, jakie wskaźniki będą dla nas istotne i w jaki sposób wiążą się z diagnozą i określonymi na jej podstawie celami.
Będziemy tutaj się zastanawiać nad tym:
- Do kogo kierujemy program – kto zgodnie z potrzebami powinien być jego beneficjentem i z jakich parametrów naszej diagnozy to wynika. Na przykład, chcemy, żeby w programie uczestniczyły dzieci zagrożone uzależnieniem, w określonym wieku – ponieważ chcemy podwyższyć rozpoznany wcześniej moment inicjacji używania alkoholu. Określamy zatem parametry socjometryczne naszej grupy docelowej.
- Jakie konkretne działania planujemy – co się ma wydarzyć w programie. Rozpisujemy każdy cel szczegółowy na zadania – jakie działanie skierujemy do dzieci, jakie do rodziców, a jakie być może do nauczycieli. Określamy skalę projektu: każde działanie to określona liczba zajęć, spotkań, zadań wykonanych przez uczestników projektu.
- Jaka ma być intensywność programu – ile czasu, zajęć dla jednej osoby potrzeba, aby zmiana była możliwa? Mówimy tu o zakresie wsparcia na osobę uczestniczącą w projekcie.
- Jaki ma być odbiór programu? Co pozwoli nam wnioskować o motywacji do zmiany i będzie jej najsilniejszym prognostykiem. Jeśli na przykład uczestnicy naszych warsztatów planują pod jego wpływem konkretne zmiany w swoim życiu (choć planowanie nie jest oczywiście z nimi tożsame) stanowi to dobrą prognozę dla skuteczności programu. Jeśli faktycznie planowane kroki zostały przez nich podjęte, prawdopodobne się stanie, że zrobili to właśnie za sprawą naszych warsztatów. Określamy zatem, o co będziemy pytać uczestników naszego programu – jakie dane chcemy zbierać.
Odpowiedzi na każde z powyższych pytań to nasze wskaźniki realizacji zadań[1].
Powiązanie wskaźników badanych w ewaluacji procesu z zadaniami i celami można rozpisać w tabeli:
| Zadanie | Rezultaty – wskaźniki | Znaczenie dla celu – wzrost umiejętności psychospołecznych (opisanych bardziej szczegółowo w celach) |
| Przeprowadzenie 100 godzin zajęć grupowych dla 15 osób | Realizacja 100 godzin zajęć Realizacja 100 godzin/osobę tj 1500 osobogodzin | Uczenie umiejętności psychospołecznych z wykorzystaniem procesu grupowego (potrzeba czasu, żeby proces ten zaistniał i spełnił swoją edukacyjno-terapeutyczna rolę). |
| Wysoka ocena tematyki zajęć: 1. Wskazywanie przez beneficjentów konkretnych korzyści związanych z podejmowaniem wskazanych tematów 2. Wysoka ocena zajęć na proponowanej skali | Wysoka ocena wskazuje na motywację do nabywania i wykorzystywanie umiejętności |
Zbieranie danych w trakcie realizacji programu. Żeby ustalić czy udało się nam osiągnąć zakładane wskaźniki, musimy zbierać dane w trakcie realizacji projektu. Dokumentacja powinna być możliwie najprostsza, ale pozwalająca uzyskać interesujące nas informacje. Odpowiednie narzędzia tworzymy na etapie planowania ewaluacji.
Powstaje tutaj ciekawe pytanie czym różni się ewaluacja procesu od monitorowania.
Zadanie zbieranie danych i informacji jest takie same w obu równolegle toczących się procesach. Różnica tkwi w zakresie i celu tego zadania oraz w sposobie wykorzystywania zdobywanych informacji. Monitoring to forma bieżącej kontroli jakości, która uruchamia system reagowania – np. osoba prowadząca nie może dojechać na warsztat – należy znaleźć zastępstwo. Mamy za mało uczestników – uruchamiamy dodatkowe metody naboru. Monitoringiem obejmujemy wszystkie zadania w projekcie, także te, które nie są pośrednio związane z celami – np. wynajem sal szkoleniowych. Możemy tutaj zastosować morską metaforę: monitoring to forma kontrolowania wyznaczonego kursu – nie tylko narzędzie nawigacji i przywracania wyznaczonego wcześniej kierunku, lecz również sprawdzania stanu wszelkich urządzeń okrętowych.
Ewaluacja procesu to również zbieranie – po części tych samych danych – po to by odnosić jakość naszej pracy do postawionych celów. Określamy zatem wskaźniki tych zadań, które mają na owe cele bezpośredni wpływ. Jeśli odwołamy się ponownie do metafory nawigacji, to w ewaluacji procesu ustalamy czy rejs odbywa się zgodnie z wyznaczonym kursem, kontrolujemy jego główne parametry, gdyż chcemy sprawdzić, czy płynąc tym kursem dotrzemy do wyznaczonego celu.
Warto tu jeszcze wspomnieć o różnicy miedzy ewaluacją procesu a ewaluacją formatywnąprowadzoną niekiedy w trakcie realizacji projektu. Jak mówi definicja „ewaluacja formatywna służy do wyboru tych działań lub rozwiązań (metody i techniki), które oceniane jako najwłaściwsze prowadzą do osiągnięcia najlepszych i najkorzystniejszych w danych warunkach wyników”[2]. Raz jeszcze skorzystam z morskiej metafory: o ile w ewaluacji procesu badamy zgodność rejsu z wyznaczonym kursem, o tyle ewaluacja formatywna służy korygowaniu parametrów tego kursu – możemy uznać, że należy płynąc nieco wolniej lub nieco innym szlakiem. Dlatego też w ewaluacji formatywnej badamy również wskaźniki dotyczące wyniku – stanu realizacji niektórych celów szczegółowych.
Ewaluacja procesu jest bazą dla ewaluacji wyniku. Gdy interesuje nas to czy rezultat wywołany został przez nasze działania – musimy mieć pewność, że działania te zostały właściwie przeprowadzone.
O co pytamy w ewaluacji wyniku?
W ewaluacji wyniku pytamy o to:
- Czy zmiana nastąpiła i co na nią wskazuje?
- Czy zmiana została spowodowana naszą interwencją? Szukamy tutaj metod izolowania wpływu programu od innych czynników działających w otoczeniu.
Uzyskanie odpowiedzi na pierwsze pytanie wymaga zbadania, czy nasze cele zostały osiągnięte. Mówiąc językiem ewaluacji, sprawdzamy, czy osiągnęliśmy zakładane rezultaty, mierzone opisanymi wcześniej wskaźnikami. Jakość naszej odpowiedzi zależy od tego, jakie schematy badawcze, wskaźniki, metody i narzędzia zbierania danych zaprojektujemy oraz czy właściwie zastosujemy wybrane metody..
Drugie pytanie wskazuje na to, że ewaluacja wyniku jest czymś więcej niż tylko mierzeniem rezultatów. Pytamy bowiem także o naszą sprawczość – o to czy zrealizowany program jest narzędziem, które może być ponownie wykorzystane z analogicznym skutkiem.
Nie ma miejsca w tym artykule na omawianie schematów i metod badawczych ewaluacji, to duży temat. Wspomnę tylko, że poza schematami badawczymi o naukowej wiarygodności (jak np. schemat eksperymentalny czy quasi-eksperymentalny), możemy uprawdopodabniać relację przyczynową miedzy osiągniętym rezultatem a przeprowadzonym procesem stosując metody oparte na logicznym wnioskowaniu (schemat preeksperymentalny) [3]
Ewaluacja jest, jak widać, procesem wieloetapowym. Na szczęście możemy planować i realizować ją krok po kroku, stopniowo, a także mierzyć zamiary na siły – czyli dostosowywać jej zakres do posiadanych możliwości i środków.
O czym warto pamiętać?
Ewaluacja procesu jest koniecznym warunkiem ewaluacji wyniku. Powinniśmy zatem planować ją i prowadzić w odniesieniu nie tylko do zadań, ale także celów, które sobie wyznaczyliśmy. Dlatego stanowi ona niezbędne minimum oceny każdego projektu.
Osiągnięcie celów, a więc uzyskanie pożądanych rezultatów jest warunkiem koniecznym lecz nie wystarczającym dla uznania, że nasz projekt jest interwencją sprawdzoną, o przewidywalnych efektach. Jak już mówiłam wcześniej wystąpienie określonych rezultatów nie musi oznaczać, ze doprowadziło do nich wskazywane przez nas działanie.
Wysokie wymagania stawiane naukowo wiarygodnej ewaluacji wyniku nie powinny nas zwalniać z poszukiwania odpowiedzi na pytanie, czy zostały zrealizowane nasze cele. Po to przecież ustalamy rezultaty i ich wskaźniki. Po to budujemy program na określonych założeniach metodologicznych. Nawet niedoskonała ewaluacja wyniku uprawdopodabnia naszą sprawczość i stanowi podstawę do refleksji nad przyjętymi założeniami, zastosowanymi metodami i mówiąc najogólniej nad wartością i sensem wykonanej przez nas pracy.
Autorka opracowania: Jagoda Latkowska, edukatorka, psychoterapeutka, specjalizuje się w konstruowaniu i ewaluacji programów edukacyjnych oraz optymalizacji metod uczenia.
[1] Temat wskaźników i ich rodzajów wykracza poza ramy tego tekstu Więcej na ten temat można przeczytać w moim podręczniku Ewaluacja krok po kroku s.38 i n.
[2] Definicja ze strony Krajowego Biura ds. Zapobiegania Narkomanii, https://programyrekomendowane.pl/strony/artykuly/ewaluacja,8
[3] Metody i schematy naukowe omawiane są np. : J.D Hawkins B, Nederhood, Podręcznik ewaluacji programów profilaktycznych. Tłum K. Okulicz-Kozaryn i K. Ostaszewski, A.Pisarska, Instytut psychiatrii i Neurologii, Warszawa-Olsztyn 1994 Metody preeksperymentalne omawiam w przytaczanym już podręczniku mojego autorstwa Ewaluacja krok po kroku.