Ewaluacja

  • Wszystkie badania ewaluacyjne powinny być prowadzone zgodnie z ogólnymi zasadami etycznymi obowiązującymi w badaniach naukowych z udziałem ludzi. Szczegółowe zasady etyczne są formułowane przez różne ośrodki i stowarzyszenia naukowe. Wszystkie one są zgodne w najważniejszych kwestiach, takich jak to, że badacz powinien:

    • zabiegać o publiczne zaufanie i współpracę z ogółem społeczeństwa, dążyć do tego, aby upowszechniało się uzasadnione przekonanie, że badania są prowadzone uczciwie, obiektywnie, bez szkody dla osób badanych,

    • minimalizować ryzyko związane z badaniem w relacji do możliwych korzyści,

    • szanować prawo badanych do prywatności,

    • upewnić się, że proces świadomej zgody i jej dokumentacji jest wystarczający dla w pełni świadomej i dobrowolnej zgody przez osoby badane lub ich prawnie upoważnionych przedstawicieli (Uwaga! W badaniach z udziałem osób niepełnoletnich konieczne jest uzyskanie zgody samego respondenta, jak i jednego z rodziców lub prawnego opiekuna),

    • poinformować osoby badane, że maja prawo do wycofania się z badania w każdej chwili,.

    • rzetelnie/bezstronnie prowadzić selekcję osób do badania,

    • zachowywać poufne informacje wyłącznie do użytku wewnętrznego instytucji prowadzącej badania,

    • chronić niejawne lub identyfikujące informacji o badanych,

    • w stosunkach z innymi badaczami kierować się zasadą uczciwej konkurencji, dbać o wysoki poziom metodologiczny swojej pracy i jawność warsztatu.

  • 1/ „Ewaluacja to systematyczne gromadzenie informacji o programie w celu umożliwienia podejmowania decyzji o przyszłości programu (np. kontynuacji, replikacji, modyfikacji, zaniechania).

    2/ „Ewaluacja jest to zbieranie i wykorzystywanie informacji w celu odpowiedzi na pytania dotyczące Twojego programu. Jest to sposób na zdobycie większej ilości informacji o programie, niż było dostępnych przed przystąpieniem do jego realizacji”.

    3/ Ewaluacja to „ocena wartości (jakości) jakiegoś obiektu lub (projektowanego, wdrażanego albo zakończonego) procesu (np. programu profilaktycznego, edukacyjnego, terapeutycznego)”.

  • Ewaluacja formatywna służy do wyboru tych działań lub rozwiązań (metody i techniki), które oceniane jako najwłaściwsze prowadzą do osiągnięcia najlepszych i najkorzystniejszych w danych warunkach wyników.

    Zbierane informacje odpowiadają na pytanie: „Czy” i „Na ile” przyjęte rozwiązania (techniki odziaływania) przyczyniają się do realizacji celów programu (ogólnego i szczegółowych)

  • 1/ Ewaluacja procesu jest najbardziej elementarną formą oceny podejmowanych działań. Jej przedmiotem jest właśnie proces wdrażania projektu. W polu zainteresowania są (zaplanowane i niezaplanowane) działania mające związek z realizacją projektu podejmowane przez jego twórców, wykonawców i odbiorców oraz informacje o osobach zaangażowanych w projekt.

    Informacje jakie można zbierać w jej ramach odpowiadają na pytania: „Kto?”, „Co?” i „Jak

    2/ Ewaluacja procesu dotyczy oceny przebiegu realizacji programu.

    Ewaluacja procesu ma na celu ocenę stopnia realizacji programu, frekwencji na zajęciach, zaistniałych trudności i sposobów ich rozwiązania, reakcji uczestników itd. 

  • Ewaluacja wyników jest oceną bezpośrednich lub odroczonych wyników programu, albo zarówno jednych jak i drugich.

    Zbierane informacje odpowiadają na pytania: „Jakie zmiany zaszły w uczestnikach programu czy warunkach, na jakie oddziaływano” i „Na ile udało się w wyniku realizacji programu osiągnąć zamierzone cele lub pośrednie etapy docelowych zmian”.

  • Świadomie stosowany sposób postępowania mający prowadzić do osiągnięcia zamierzonego celu. 

  • „Zespół teoretycznie uzasadnionych zabiegów koncepcyjnych i instrumentalnych obejmujących najogólniej całość postępowania badacza, zmierzającego do rozwiązania określonego problemu naukowego".

  • Narzędzia pomiarowe opracowane dla potrzeb danego badania (albo zapożyczone z innych badań), których trafność i rzetelność nie zostały zweryfikowane w toku badań psychometrycznych. Zdarza się również, że autorzy takiego narzędzia nie sprawdzili tego, jak respondenci rozumieją poszczególne pozycje lub pytania kwestionariusza.  

  • Powszechnie przyjęte określenie badań, w których jeden program (np. program profilaktyczny, terapia, interwencja) jest porównywany z innym lub brakiem oddziaływań, przy zachowaniu standardów metodologicznych pozwalających rzetelnie sformułować wnioski na temat skuteczności każdego badanego programu i jego (ich) przydatności w pracy z określoną grupą (określonymi grupami) osób.  

  • W Polsce nazwy RCT często używa się zamiennie z określeniem schemat eksperymentalny. Schemat eksperymentalny umożliwia najbardziej rzetelne formułowanie wniosków na temat skuteczności badanych oddziaływań.

    Schemat eksperymentalny zakłada:

    • losowy dobór osób (respondentów) do grup: grupy eksperymentalnej, którą tworzą uczestnicy programu i grupy porównawczej (nazywanej również grupą kontrolną ), w skład której wchodzą osoby, nie biorące udziału w programie, ale dobrane jednak tak, by pod każdym istotnym względem grupa ta była jak najbardziej podobna do grupy eksperymentalnej,

    • przynajmniej dwukrotne badanie respondentów z obu grup (kontrolnej i eksperymentalnej): (1) pretest - pomiar przed rozpoczęciem realizacji programu (terapii, interwencji, programu profilaktycznego) i (2) posttest – pomiar po jego zakończeniu (mierzenie efektów programu bezpośrednich, nieodroczonych w czasie),

    • kolejne pomiary (follow up), dokonywane z coraz większym odroczeniem od zakończenia oddziaływań, które pozwalają oszacować długoterminowe (odroczone w czasie) efekty programu.

     

  • Schematy, w których grupy objęte różnego rodzaju oddziaływaniami (grupa eksperymentalna i kontrolna) nie są dobierane losowo. Wyniki badań prowadzonych w schemacie quasi-eksperymentalnym są uznawane za mniej wiarygodne od wyników badań prowadzonych w schemacie eksperymentalnym. Nie dają bowiem one pewności, że stwierdzone zmiany w grupach eksperymentalnych w porównaniu do grupy kontrolnej nie są spowodowane wyjściowymi różnicami między tymi grupami.

    Zaliczamy do nich schemat badawczy z grupą porównawczą i schemat szeregów czasowych.

  • Schemat quasi-eksperymentalny, który można zastosować, gdy na przykład chcemy porównać efekty dwóch nowych szkolnych programów profilaktycznych, realizowanych przez wychowawców klas (grupy eksperymentalne) w odniesieniu do klasy, w której prowadzony był inny program albo nie był żaden (grupa kontrolna). 

  • Schemat quasi-eksperymentalny, który polega na wielokrotnym badaniu grupy objętej programem zarówno zanim rozpoczną się oddziaływania jak i po ich zakończeniu. Schemat ten pozwala dokonać obserwacji dynamiki zmian zachodzących w grupie uczestników programu czy interwencji. Jego słabym punktem jest brak grupy porównawczej, ale daje silniejsze podstawy do wnioskowania na temat zmian niż schemat pretest-posttest. 

  • Schemat ten polega na porównaniu dwóch pomiarów wyników tej samej grupy osób objętych oddziaływaniami przed ich rozpoczęciem i po ich zakończeniu. Jego zastosowanie nie daje pełnej odpowiedzi na pytanie o efekty oddziaływań, ponieważ nie można stwierdzić czy w tym samym czasie, w grupach nie objętych oddziaływaniami nie zaszły podobne zmiany. 

  • Schemat tylko z posttestem polega na przeprowadzeniu jednego pomiaru w grupie osób objętych oddziaływaniami w jakimś czasie po ich zakończeniu. Jest to najsłabszy z możliwych schematów badawczych, ponieważ nie daje żadnych możliwości porównania uzyskanych wyników (ani z inną grupą lub grupami, ani z wynikami tej samej grupy przed rozpoczęciem działań).

  • Ze względu na istotne różnice, wskaźniki ewaluacji programu profilaktycznego dzielimy na:

    • wskaźniki dotyczące oceny realizacji programu (wskaźniki ewaluacji procesu),
    • wskaźniki oceny skuteczności programu (wskaźniki ewaluacji wyników).

    Wskaźniki powinny dotyczyć zmian w realizacji zakładanych celów programu: ogólnego i szczegółowych. Jeżeli do danego celu nie można dobrać odpowiedniego wskaźnika/wskaźników to znaczy, że cel został źle sformułowany i nie spełnia kryteriów SMART.

    W przypadku celu ogólnego wskaźniki odnoszą się bezpośrednio do pomiaru zachowania ryzykownego, np. częstości lub intensywności jego przyjmowania.

    W przypadku celów szczegółowych brane są pod uwagę zachowania/ intencje/wiedza/postawy/ przekonania/ umiejętności, które mają wyraźny związek z podstawowym zachowaniem ryzykownym, który program ma ograniczać lub eliminować.

    Na przykład, z używaniem substancji psychoaktywnych są wyraźnie powiązane następujące zmienne: posiadanie intencji/ zamiaru używania substancji w przyszłości, aprobujące postawy wobec używania substancji psychoaktywnych, niski poziom spostrzeganego ryzyka związanego z używaniem substancji psychoaktywnych.  

  • Wskaźniki ewaluacji procesu mogą dotyczyć wielu różnych kwestii związanych z realizacją programu. Ich wybór zależy od ewaluatora oraz od specyfiki programu. Na przykład, mogą to być kwoty (liczby) wskazujące na zadowalającą frekwencję uczestników na zajęciach, może to być minimalna liczba zrealizowanych punktów programów, od której można uznać, że program został zrealizowany zgodnie z założeniami i scenariuszami zajęć; może to być lista napotkanych trudności/ barier i sposobów ich rozwiązania, wcześniej określony poziom satysfakcji uczestników, pozytywny odbioru programu przez uczestników itd. 

  • Wskaźniki ewaluacji wyników to inaczej miary (dające się policzyć lub analizować statystycznie), po których poznajemy, że w wyniku realizacji programu nastąpiła oczekiwana zmiana w zakresie wiedzy, postaw, intencji, przekonań, umiejętności lub zachowań uczestników.

    Na przykład: zmiany w używaniu substancji psychoaktywnych można mierzyć za pomocą takich miar jak np.: częstość używania danej substancji w ostatnich 30 dniach, ostatnim roku lub w życiu.

  • Ilościowe metody zbierania danych w ewaluacji służą uzyskaniu informacji na temat skali zjawiska, który jest przedmiotu badania oraz o związkach (zależnościach), jakie zachodzą pomiędzy danymi. Pozwala na znalezienie odpowiedzi na pytania: ile, jak często. Bazuje na gromadzeniu i analizowaniu informacji liczbowych. Umożliwia wyciąganie wniosków i uogólnień na temat populacji na podstawie tzw. próby reprezentatywnej (wielkość i procedura doboru grupy badanej tj. próby pozwalają przyjąć, że wyniki odzwierciedlają całą populację). Badanie jest wykorzystywane nie tylko w skali makro, ale równie dobrze może być pomocne w zdobyciu informacji dotyczącej danego zagadnienia wśród konkretnej grupy. np. poziomu zadowolenia uczestników z udziału w wybranym przedsięwzięciu.

    Jedną z często wykorzystywanych metod ewaluacji jakościowej jest badanie ankietowe. Przeprowadza się je za pomocą kwestionariusza. Badany (respondent) odpowiada na zawarte w niej pytania, które w większości mają postać pytań zamkniętych (zawierających skończoną liczbę odpowiedzi do wyboru - badany dokonuje wyboru wśród sugerowanych odpowiedzi). Nie wymaga przy tym obecności ankietera. Można bowiem przeprowadzić ją bezpośrednio w grupie badanych, również za pomocą internetu, poczty, Zaletą metody jest możliwość łatwość realizacji i analizy, przeprowadzenia badania wśród dużej ilości osób, możliwość dotarcia w krótkim czasie do dużej liczby osób, niskie koszty realizacji, anonimowość, brak wpływu ze strony innych. Wadą metody jest brak możliwości pogłębienia i doprecyzowania odpowiedzi, konieczność upraszczania pytań, brak kontaktu z badanym uniemożliwia natomiast uzyskanie dodatkowych informacji. 

  • Jakościowe metody zbierania danych w ewaluacji pomagają lepiej i dokładniej zrozumieć oraz poznać istotę danego zjawiska. Pozwalają na znalezienia odpowiedzi na pytania „co”, „jak”, „dlaczego”. Dostarczają nowej jakości wiedzy i informacji, ale nie prowadzą one do wnioskowana statystycznego i wyciągania wniosków na szerszą populację. Zastosowane metody badawcze pozwalają na wydobywanie tej wiedzy od osób badanych i dotyczą nie tyle tego, ile osób reprezentuje dany sposób myślenia, ale tego, jaka złożoność się z tym wiąże. Stosowane pytania mają charakter otwarty - odpowiedzi są przez respondentów udzielane są w sposób swobodny, nie sugerowany przez proponowane odpowiedzi. 

    Wśród jakościowych metod zbierania danych znajdują się:

    • analiza dokumentów - opiera się na poszukiwaniu danych i informacji już zebranych np dokumentacja szkolna, sprawozdania z realizacji projektów/działań, doniesienia naukowe itd.
    • wywiad indywidualny - informacje są pozyskiwane za pomocą rozmowy z osobą badaną. Wymaga przygotowania scenariusza - kwestionariusza pytań. Wywiad umożliwia poruszenie skomplikowanych i szczegółowych zagadnień i doprecyzowania odpowiedzi. Osoba prowadząca wywiad może też obserwować zachowanie badanego i jego reakcje.
    • obserwacja – jest metodą polegającą na celowym obserwowaniu zachowań, zjawisk, zdarzeń według wcześniej określonego planu i przyjętej procedury badawczej. Badacz może jej dokonywać jako jeden z członków danej grupy i obserwować zachowania innych „od wewnątrz”, może też przyjąć rolę obserwatora zewnętrznego, który nie bierze bezpośredniego udziału w pracach/działaniach grupy. Metoda obserwacji pozwala na poznanie zdarzeń, zachowań, i interakcji zachodzących pomiędzy osobami w ich naturalnym otoczeniu. Umożliwia też poznanie zjawisk ukrywanych oraz interpretację i wyciągnięcie wniosków na podstawie obserwowanych zdarzeń czy zachowań.
    • zogniskowany wywiad grupowy –  to metoda zbierania danych polegająca na rozmowie doświadczonego moderatora ze specjalnie dobraną grupą osób, podczas której na podstawie przygotowanego scenariusza prowadzi on z uczestnikami dyskusję na temat określonego zagadnienia. Przebieg spotkania jest nagrywany za pomocą dyktafonu lub rejestrowany cyfrowo. Zaletą badania jest to, że pozwala na pogłębienie wiedzy w krótkim czasie i daje możliwość spojrzenia na dane zagadnienie z różnych perspektyw. 
    1. Hawkins J. D., Nederhood B., Podręcznik ewaluacji programów profilaktycznych. Nadużywanie substancji uzależniających i inne problemy społeczne, IPiN, PTP Pracownia Wydawnicza, Warszawa-Olsztyn 1994.

    2. Brzeziński J., Metodologia badań psychologicznych, PWN, Warszawa1999.

    3. Kamiński A., Podstawowe pojęcia pedagogiki społecznej w pracy socjalnej, Instytut Wydawniczy CRZZ, Warszawa 1976.

    4. Sochocki M. J., Ewaluacja jako dyskurs – wybrane aspekty ewaluacji projektów realizowanych przez organizacje pozarządowe, „Trzeci Sektor”, nr 7 2006.

    5. Ostaszewski K., Skuteczność profilaktyki używania substancji psychoaktywnych, Warszawa 2003.

    6. Gaś Z. B., Profilaktyka w szkole, WSiP S. A., Warszawa 2006.

    7. Etyka badań socjologicznych, Streszczenie Kodeksu Postępowania w Dziedzinie Badań Rynkowych i Społecznych obowiązującego członków Sekcji Badań Opinii Polskiego Towarzystwa Socjologicznego - http://www.cyf-kr.edu.pl/~ussozans/kodeks.pdf.

    8. Szybka Ocena Polityki I Odpowiedź, Moduł V - Etyka badań naukowych - http://www.temple.edu/lawschool/phrhcs/rpar/tools/poland/Module%20V_Ethics_Training%20Materials_EngPol_03_09_05.pdf