arrow_backEmergency WASH

M.3 Оцінювання

Оцінювання можна визначити як систематичний та об'єктивний аналіз гуманітарної діяльності з метою визначення цінності або значущості діяльності, політики або програми. Вона має на меті винести уроки для вдосконалення політики і практики та посилення підзвітності. Основними критеріями оцінювання є:

Релевантність: запитайте, чи робить програма правильні речі, наприклад, чи відповідає програма з просування гігієни (HP) потребам відповідно до контексту? Чи націлена програма на правильних людей з точки зору географічних районів, а також вразливості до ризиків для здоров'я, пов'язаних із WASH?

Ефективність: аналізує, чи досягла програма своїх цілей і запланованих результатів, а також вивчає фактори, що впливають на досягнення цих цілей, наприклад, чи досягла програма HP своїх поведінкових цілей щодо підвищення рівня миття рук з милом у критичні моменти? В якій мірі ці зміни можна віднести на рахунок програми? Якщо заплановані результати не були досягнуті - то чому?

Результативність: вимірює як кількісні, так і якісні результати по відношенню до вхідних даних, наприклад, наскільки ефективним є метод розподілу предметів гігієни? Чи забезпечує цей метод найкраще використання наявних ресурсів? Чи існували альтернативні варіанти покращення доступу до засобів гігієни?

Вплив: досліджує, чи відбулися значні або довготривалі зміни в результаті реалізації програми, і чи були вони запланованими або ненавмисними, позитивними або негативними, наприклад, чи була досягнута мета програми? Чи відбулися якісні зміни у сфері громадського здоров'я? Чи зробила програма реальні зміни для постраждалого населення?

Сталість: оцінює рівень, до якого позитивні результати від втручання будуть або можуть триватимуть, наприклад, чи отримали люди підтримку для продовження використання, обслуговування та ремонту об'єктів водопостачання? Яка поведінка змінилася в результаті втручання і наскільки ймовірно, що ці зміни будуть тривалими? Чи зміцнився місцевий потенціал?

Узгодженість: враховує, наскільки добре втручання відповідає існуючим планам країни та місцевим пріоритетам, наприклад, чи узгоджується програма з урядовою політикою, наприклад, з системами інформаційно-просвітницької роботи з населенням Міністерства охорони здоров’я?

Існує багато причин для проведення оцінювання, в тому числі для аналізу інновацій, збору доказів, демонстрації успіху або проблем в рамках процесу навчання M.6, оцінки ефективності використання коштів та звітності M.4 перед ключовими зацікавленими сторонами, такими як донори і, особливо, перед постраждалим населенням.

Існують різні типи оцінювання залежно від цілей. Деякі оцінювання проводяться наприкінці або після завершення програми і мають на меті забезпечити підзвітність M.4 та вплинути на майбутню політику і практику. Оцінювання в режимі реального часу проводиться під час реалізації програми, є інтерактивним і передбачає залучення багатьох зацікавлених сторін; оцінювач виступає в ролі фасилітатора для отримання загального уявлення про програму та забезпечення негайного зворотного зв'язку, щоб проблеми могли бути вирішені ще під час відповіді. Усі види оцінювання можуть бути зовнішніми та незалежними або проводитися установою за підтримки зовнішнього оцінювача чи власними співробітниками. Може бути доречним проведення спільних оцінювань у співпраці з іншими співробітниками програми, партнерами та іншими організаціями (наприклад, в рамках кластеру WASH) для мінімізації дублювання ресурсів P.9. У деяких оцінюваннях значна увага приділяється підзвітності перед постраждалим населенням (M.4 та F.23), що надає їм можливість відігравати ключову роль у проведенні оцінювання та робити внесок у цей процес з метою посилення відповідальності за реалізацію програми та забезпечення можливості використання отриманих результатів M.5.

Існуючі національні стандарти, стандарти Sphere, Основні гуманітарні стандарти та Кодекс поведінки можуть бути використані як орієнтири для оцінювання якості програми в поєднанні з програмними цілями та показниками.

Процес і належна практика

  • Складіть бюджет для проведення оцінювання в рамках програми HP. Розрахуйте такі витрати, як витрати на оцінювачів, перекладачів, логістику (наприклад, транспорт та проживання) та розповсюдження (наприклад, друк, зустрічі з громадськістю та семінари).

  • Уточніть мету оцінювання, тип необхідної інформації та розробіть технічне завдання із зазначенням термінів та бюджету.

  • Встановіть офіційну базову лінію на початку програми для виявлення прогалин у даних та розумінні, а також для порівняння з даними наприкінці проекту. Базові показники також можуть бути використані в більш широкій оцінці програми.

  • Розробіть логіко-структурну схему (A.9 і T.25) з індикаторами, які дозволять оцінити вхідні дані (використані ресурси), діяльність (що було зроблено), вихідні дані (що було зроблено), результати (що було досягнуто) та вплив (довгострокові зміни).

  • Узгодьте методи оцінювання з вимогами оцінювання та їх доступністю для маргіналізованих груп та їх залученням. Приклади включають: інтерв'ю з ключовими інформаторами T.23, спостереження T.28 та трансектні обходи T.52, голосування за допомогою кишенькових карт T.31, опитування на основі анкетування (T.24 та A.8) та картування громади T.7.

  • Розробить показники з розбивкою за віком, статтю та інвалідністю. Залежно від цілей програми, вони можуть включати:

    • Гігієнічні практики: наприклад, миття рук, утилізація екскрементів, поводження з водою та її зберігання, а також індикатори для оцінювання того, чи відбулися якісь зміни в поведінці, сприйнятті та мотивації громади
    • Об'єкти з WASH: доступ, використання та прийнятність водопостачання, вбиралень/туалетів для різних груп населення
    • Задоволеність, залучення та участь громади
    • Методи просування гігієни: моніторинг ефективності, відповідності та прийнятності методів мобілізації громади, таких як збори громади, театр T.6, відвідування домогосподарств T.18 або плакати (IEC, T.19)
    • Дані про стан здоров'я: наприклад, тенденції захворюваності на діарею (на такі дані впливають численні фактори, а не тільки WASH, і їх слід використовувати обережно)
  • Зберіть якісні та кількісні дані A.4 з різних джерел (тріангуляція), проаналізуйте їх за допомогою відповідних методів та об’єднайте висновки у звіті.

  • Уникайте поширених помилок оцінювання, зокрема:

    • Зосередження уваги на легкодоступних географічних територіях
    • Відсутність збору базових даних ("до втручання")
    • Недотримання вимог щодо захисту даних та/або наражання учасників на ризик, наприклад, у небезпечних районах
    • Нехтування консультаціями з менш помітними групами, наприклад, жінками, людьми похилого віку та особами з обмеженими можливостями
    • Ігнорування сезонних або географічних відмінностей у доступі до WASH
    • Збір занадто великої або непотрібної інформації, що забирає час і ресурси та не дає відповіді на питання оцінювання
    • Зосередження оцінювання лише на результатах, не враховуючи наслідки, зміну поведінки та впливу
    • Недостатнє поширення результатів, тому інформація втрачається і не використовується для адаптації програм
    • Не інформування цільової групи про результати оцінювання
     

призначення

Перевірити, чого досягнув проект, чи досяг він поставленої мети та які зміни відбулися в наслідок втручання, для того щоб бути підзвітним зацікавленим сторонам і зробити висновки для покращення подальшої розробки програми.

Important

  • Оцінювання розглядає загальні зміни, які можна віднести до програми WASH, та вивчає досягнуті результати, актуальність, ефективність та більш широкий вплив на життя людей.

  • За результатами оцінювання можуть бути розроблені рекомендації щодо вдосконалення програми (включаючи, за необхідності, зміцнення потенціалу) та накопичення досвіду для формування майбутньої політики та практики.

  • Оцінювання є важливим аспектом підзвітності M.4, а обмін та використання результатів оцінювання сприяє прозорості та навчанню (M.6, M.7, M.8) у секторі.

  • Оцінювання має бути ретельно спланованим, максимально систематичним та об'єктивним.

  • Як і при будь-якому зборі даних, необхідно забезпечити безпеку учасників та збирачів даних, наприклад, гарантувати анонімність даних, збирати дані дистанційно або вжити захисних заходів під час епідемій, таких як COVID-19 (наприклад, дотримуватися фізичної дистанції, проводити інтерв'ю на відкритому повітрі або використовувати маски).

  • Система моніторингу та оцінювання визначає конкретну інформацію, необхідну для надання доказів змін. Належною практикою є залучення всіх партнерів та інших суб'єктів до розробки системи моніторингу та оцінювання і, за можливості, проведення спільного моніторингу.

  • Результати оцінювання мають бути надані у відповідному форматі всім ключовим зацікавленим сторонам, щоб висновки можна було обговорити та застосувати на практиці, наприклад, через семінари, звіти, презентації та зустрічі з громадськістю.

References

Визначення та пояснення оцінювання

Cosgrave, J., Buchanan-Smitz, M. et al. (2016): Evaluation of Humanitarian Action Guide, ALNAP, ODI

Базова інструкція, що охоплює ключові аспекти оцінювання у сфері просування гігієни

Mooijman, A.M. (2003): Evaluation of Hygiene Promotion, DFID Resource Centre for Water, Sanitation and Health

Ferron, S., Morgan, J. et al. (2007): Hygiene Promotion. A Practical Manual for Relief and Development, Practical Action Publishing. ISBN: 978-1853396410

Практичні рекомендації щодо оцінювання гігієни на всіх етапах програми; аналіз, планування, оцінювання

Almedom, A., Blumentahl, U. et al. (1997): Hygiene Evaluation Procedures. Approaches and Methods for Assessing Water- and Sanitation-Related Hygiene Practices, ODA, INFDC, LSHTM, UNICEF

Інформація щодо залучення громад та використання партисипативних інструментів для оцінювання WASH

Narayan D. (1993): Participatory Evaluation. Tools for Managing Change in Water and Sanitation World Bank Technical Paper No. 207

Стандарти та індикатори мінімального просування гігієни

Sphere Association (2018): The Sphere Handbook: Humanitarian Charter and Minimum Standards in Humanitarian Response 4th Edition

Пропозиції щодо проведення багатосекторальних оцінювань та посилання на приклади оцінювання на місцях

GWC (undated): Global WASH Cluster Coordination Toolkit (CTK), Global WASH Cluster Advisory and Strategic Team (GWC CAST)

Дистанційний збір даних та шляхи захисту учасників і збирачів даних

Majorin, F., Watson, J., et al. (2020): Summary Report on Remote Data Collection, COVID-19 Hygiene Hub

Загальна та специфічна для COVID-19 інформація та ресурси щодо моніторингу та оцінювання

Freeman, M., White, S. et al. (2020): Summary Report on General Principles for Monitoring and Evaluating Covid-19 Prevention Projects, COVID-19 Hygiene Hub

Majorin, F., Hasund Thorseth, A. et al. (2020): Summary Report on Remote Quantitative and Qualitative Approaches for Understanding Covid-19 related Behaviours and Perceptions, COVID-19 Hygiene Hub

arrow_upward