Ewaluacja

Wszystkie badania ewaluacyjne powinny być prowadzone zgodnie z ogólnymi zasadami etycznymi obowiązującymi w badaniach naukowych z udziałem ludzi. Szczegółowe zasady etyczne są formułowane przez różne ośrodki i stowarzyszenia naukowe. Wszystkie one są zgodne w najważniejszych kwestiach, takich jak to, że badacz powinien:

1/ „Ewaluacja to systematyczne gromadzenie informacji o programie w celu umożliwienia podejmowania decyzji o przyszłości programu (np. kontynuacji, replikacji, modyfikacji, zaniechania).

2/ „Ewaluacja jest to zbieranie i wykorzystywanie informacji w celu odpowiedzi na pytania dotyczące Twojego programu. Jest to sposób na zdobycie większej ilości informacji o programie, niż było dostępnych przed przystąpieniem do jego realizacji”.

3/ Ewaluacja to „ocena wartości (jakości) jakiegoś obiektu lub (projektowanego, wdrażanego albo zakończonego) procesu (np. programu profilaktycznego, edukacyjnego, terapeutycznego)”.

Ewaluacja formatywna służy do wyboru tych działań lub rozwiązań (metody i techniki), które oceniane jako najwłaściwsze prowadzą do osiągnięcia najlepszych i najkorzystniejszych w danych warunkach wyników.

Zbierane informacje odpowiadają na pytanie: „Czy” i „Na ile” przyjęte rozwiązania (techniki odziaływania) przyczyniają się do realizacji celów programu (ogólnego i szczegółowych)

1/ Ewaluacja procesu jest najbardziej elementarną formą oceny podejmowanych działań. Jej przedmiotem jest właśnie proces wdrażania projektu. W polu zainteresowania są (zaplanowane i niezaplanowane) działania mające związek z realizacją projektu podejmowane przez jego twórców, wykonawców i odbiorców oraz informacje o osobach zaangażowanych w projekt.

Informacje jakie można zbierać w jej ramach odpowiadają na pytania: „Kto?”, „Co?” i „Jak”

2/ Ewaluacja procesu dotyczy oceny przebiegu realizacji programu.

Ewaluacja procesu ma na celu ocenę stopnia realizacji programu, frekwencji na zajęciach, zaistniałych trudności i sposobów ich rozwiązania, reakcji uczestników itd. 

Ewaluacja wyników jest oceną bezpośrednich lub odroczonych wyników programu, albo zarówno jednych jak i drugich.

Zbierane informacje odpowiadają na pytania: „Jakie zmiany zaszły w uczestnikach programu czy warunkach, na jakie oddziaływano” i „Na ile udało się w wyniku realizacji programu osiągnąć zamierzone cele lub pośrednie etapy docelowych zmian”.

Prowadzenie ewaluacji wyłącznie przez osoby, które są zaangażowane w tworzenie i wdrażanie projektu.

Prowadzenie ewaluacji wyłącznie przez osoby, które nie są zaangażowane w tworzenie i wdrażanie projektu.

Świadomie stosowany sposób postępowania mający prowadzić do osiągnięcia zamierzonego celu. 

Narzędzia pomiarowe opracowane dla potrzeb danego badania (albo zapożyczone z innych badań), których trafność i rzetelność nie zostały zweryfikowane w toku badań psychometrycznych. Zdarza się również, że autorzy takiego narzędzia nie sprawdzili tego, jak respondenci rozumieją poszczególne pozycje lub pytania kwestionariusza.  

Powszechnie przyjęte określenie badań, w których jeden program (np. program profilaktyczny, terapia, interwencja) jest porównywany z innym lub brakiem oddziaływań, przy zachowaniu standardów metodologicznych pozwalających rzetelnie sformułować wnioski na temat skuteczności każdego badanego programu i jego (ich) przydatności w pracy z określoną grupą (określonymi grupami) osób.  

W Polsce nazwy RCT często używa się zamiennie z określeniem schemat eksperymentalny. Schemat eksperymentalny umożliwia najbardziej rzetelne formułowanie wniosków na temat skuteczności badanych oddziaływań.

Schemat eksperymentalny zakłada:

W tym schemacie wszystkich uczestników badania obejmuje się oddziaływaniami, tylko w różnym czasie. Losowo decyduje się o kolejności udziału danej grupy w programie.

Schematy, w których grupy objęte różnego rodzaju oddziaływaniami (grupa eksperymentalna i kontrolna) nie są dobierane losowo. Wyniki badań prowadzonych w schemacie quasi-eksperymentalnym są uznawane za mniej wiarygodne od wyników badań prowadzonych w schemacie eksperymentalnym. Nie dają bowiem one pewności, że stwierdzone zmiany w grupach eksperymentalnych w porównaniu do grupy kontrolnej nie są spowodowane wyjściowymi różnicami między tymi grupami.

Zaliczamy do nich schemat badawczy z grupą porównawczą i schemat szeregów czasowych.

Schemat quasi-eksperymentalny, który można zastosować, gdy na przykład chcemy porównać efekty dwóch nowych szkolnych programów profilaktycznych, realizowanych przez wychowawców klas (grupy eksperymentalne) w odniesieniu do klasy, w której prowadzony był inny program albo nie był żaden (grupa kontrolna). 

Schemat quasi-eksperymentalny, który polega na wielokrotnym badaniu grupy objętej programem zarówno zanim rozpoczną się oddziaływania jak i po ich zakończeniu. Schemat ten pozwala dokonać obserwacji dynamiki zmian zachodzących w grupie uczestników programu czy interwencji. Jego słabym punktem jest brak grupy porównawczej, ale daje silniejsze podstawy do wnioskowania na temat zmian niż schemat pretest-posttest. 

Schemat ten polega na porównaniu dwóch pomiarów wyników tej samej grupy osób objętych oddziaływaniami przed ich rozpoczęciem i po ich zakończeniu. Jego zastosowanie nie daje pełnej odpowiedzi na pytanie o efekty oddziaływań, ponieważ nie można stwierdzić czy w tym samym czasie, w grupach nie objętych oddziaływaniami nie zaszły podobne zmiany. 

Schemat tylko z posttestem polega na przeprowadzeniu jednego pomiaru w grupie osób objętych oddziaływaniami w jakimś czasie po ich zakończeniu. Jest to najsłabszy z możliwych schematów badawczych, ponieważ nie daje żadnych możliwości porównania uzyskanych wyników (ani z inną grupą lub grupami, ani z wynikami tej samej grupy przed rozpoczęciem działań).

Ze względu na istotne różnice, wskaźniki ewaluacji programu profilaktycznego dzielimy na:

Wskaźniki powinny dotyczyć zmian w realizacji zakładanych celów programu: ogólnego i szczegółowych. Jeżeli do danego celu nie można dobrać odpowiedniego wskaźnika/wskaźników to znaczy, że cel został źle sformułowany i nie spełnia kryteriów SMART.

W przypadku celu ogólnego wskaźniki odnoszą się bezpośrednio do pomiaru zachowania ryzykownego, np. częstości lub intensywności jego przyjmowania.

W przypadku celów szczegółowych brane są pod uwagę zachowania/ intencje/wiedza/postawy/ przekonania/ umiejętności, które mają wyraźny związek z podstawowym zachowaniem ryzykownym, który program ma ograniczać lub eliminować.

Na przykład, z używaniem substancji psychoaktywnych są wyraźnie powiązane następujące zmienne: posiadanie intencji/ zamiaru używania substancji w przyszłości, aprobujące postawy wobec używania substancji psychoaktywnych, niski poziom spostrzeganego ryzyka związanego z używaniem substancji psychoaktywnych.  

Wskaźniki ewaluacji procesu mogą dotyczyć wielu różnych kwestii związanych z realizacją programu. Ich wybór zależy od ewaluatora oraz od specyfiki programu. Na przykład, mogą to być kwoty (liczby) wskazujące na zadowalającą frekwencję uczestników na zajęciach, może to być minimalna liczba zrealizowanych punktów programów, od której można uznać, że program został zrealizowany zgodnie z założeniami i scenariuszami zajęć; może to być lista napotkanych trudności/ barier i sposobów ich rozwiązania, wcześniej określony poziom satysfakcji uczestników, pozytywny odbioru programu przez uczestników itd. 

Wskaźniki ewaluacji wyników to inaczej miary (dające się policzyć lub analizować statystycznie), po których poznajemy, że w wyniku realizacji programu nastąpiła oczekiwana zmiana w zakresie wiedzy, postaw, intencji, przekonań, umiejętności lub zachowań uczestników.

Na przykład: zmiany w używaniu substancji psychoaktywnych można mierzyć za pomocą takich miar jak np.: częstość używania danej substancji w ostatnich 30 dniach, ostatnim roku lub w życiu.

Ilościowe metody zbierania danych w ewaluacji służą uzyskaniu informacji na temat skali zjawiska, który jest przedmiotu badania oraz o związkach (zależnościach), jakie zachodzą pomiędzy danymi.Pozwala na znalezienie odpowiedzi na pytania: ile, jak często. Bazuje na gromadzeniu i analizowaniu informacji liczbowych. Umożliwia wyciąganie wniosków i uogólnień na temat populacji na podstawie tzw. próby reprezentatywnej (wielkość i procedura doboru grupy badanej tj. próby pozwalają przyjąć, że wyniki odzwierciedlają całą populację). Badanie jest wykorzystywane nie tylko w skali makro, ale równie dobrze może być pomocne w zdobyciu informacji dotyczącej danego zagadnienia wśród konkretnej grupy. np. poziomu zadowolenia uczestników z udziału w wybranym przedsięwzięciu.

Jedną z często wykorzystywanych metod ewaluacji jakościowej jest badanie ankietowe. Przeprowadza się je za pomocą kwestionariusza. Badany (respondent) odpowiada na zawarte w niej pytania, które w większości mają postać pytań zamkniętych (zawierających skończoną liczbę odpowiedzi do wyboru – badany dokonuje wyboru wśród sugerowanych odpowiedzi). Nie wymaga przy tym obecności ankietera. Można bowiem przeprowadzić ją bezpośrednio w grupie badanych, również za pomocą internetu, poczty, Zaletą metody jest możliwość łatwość realizacji i analizy, przeprowadzenia badania wśród dużej ilości osób, możliwość dotarcia w krótkim czasie do dużej liczby osób, niskie koszty realizacji, anonimowość, brak wpływu ze strony innych. Wadą metody jest brak możliwości pogłębienia i doprecyzowania odpowiedzi, konieczność upraszczania pytań, brak kontaktu z badanym uniemożliwia natomiast uzyskanie dodatkowych informacji. 

Jakościowe metody zbierania danych w ewaluacji pomagają lepiej i dokładniej zrozumieć oraz poznać istotę danego zjawiska. Pozwalają na znalezienia odpowiedzi na pytania „co”, „jak”, „dlaczego”.Dostarczają nowej jakości wiedzy i informacji, ale nie prowadzą one do wnioskowana statystycznego i wyciągania wniosków na szerszą populację. Zastosowane metody badawcze pozwalają na wydobywanie tej wiedzy od osób badanych i dotyczą nie tyle tego, ile osób reprezentuje dany sposób myślenia, ale tego, jaka złożoność się z tym wiąże. Stosowane pytania mają charakter otwarty – odpowiedzi są przez respondentów udzielane są w sposób swobodny, nie sugerowany przez proponowane odpowiedzi. 

Wśród jakościowych metod zbierania danych znajdują się: