Оцінювання можна визначити як систематичний та об'єктивний аналіз гуманітарної діяльності з метою визначення цінності або значущості діяльності, політики або програми. Вона має на меті винести уроки для вдосконалення політики і практики та посилення підзвітності. Основними критеріями оцінювання є: Релевантність: запитайте, чи робить програма правильні речі, наприклад, чи відповідає програма з просування гігієни (HP) потребам відповідно до контексту? Чи націлена програма на правильних людей з точки зору географічних районів, а також вразливості до ризиків для здоров'я, пов'язаних із WASH? Ефективність: аналізує, чи досягла програма своїх цілей і запланованих результатів, а також вивчає фактори, що впливають на досягнення цих цілей, наприклад, чи досягла програма HP своїх поведінкових цілей щодо підвищення рівня миття рук з милом у критичні моменти? В якій мірі ці зміни можна віднести на рахунок програми? Якщо заплановані результати не були досягнуті - то чому? Результативність: вимірює як кількісні, так і якісні результати по відношенню до вхідних даних, наприклад, наскільки ефективним є метод розподілу предметів гігієни? Чи забезпечує цей метод найкраще використання наявних ресурсів? Чи існували альтернативні варіанти покращення доступу до засобів гігієни? Вплив: досліджує, чи відбулися значні або довготривалі зміни в результаті реалізації програми, і чи були вони запланованими або ненавмисними, позитивними або негативними, наприклад, чи була досягнута мета програми? Чи відбулися якісні зміни у сфері громадського здоров'я? Чи зробила програма реальні зміни для постраждалого населення? Сталість: оцінює рівень, до якого позитивні результати від втручання будуть або можуть триватимуть, наприклад, чи отримали люди підтримку для продовження використання, обслуговування та ремонту об'єктів водопостачання? Яка поведінка змінилася в результаті втручання і наскільки ймовірно, що ці зміни будуть тривалими? Чи зміцнився місцевий потенціал? Узгодженість: враховує, наскільки добре втручання відповідає існуючим планам країни та місцевим пріоритетам, наприклад, чи узгоджується програма з урядовою політикою, наприклад, з системами інформаційно-просвітницької роботи з населенням Міністерства охорони здоров’я? Існує багато причин для проведення оцінювання, в тому числі для аналізу інновацій, збору доказів, демонстрації успіху або проблем в рамках процесу навчання M.6, оцінки ефективності використання коштів та звітності M.4 перед ключовими зацікавленими сторонами, такими як донори і, особливо, перед постраждалим населенням. Існують різні типи оцінювання залежно від цілей. Деякі оцінювання проводяться наприкінці або після завершення програми і мають на меті забезпечити підзвітність M.4 та вплинути на майбутню політику і практику. Оцінювання в режимі реального часу проводиться під час реалізації програми, є інтерактивним і передбачає залучення багатьох зацікавлених сторін; оцінювач виступає в ролі фасилітатора для отримання загального уявлення про програму та забезпечення негайного зворотного зв'язку, щоб проблеми могли бути вирішені ще під час відповіді. Усі види оцінювання можуть бути зовнішніми та незалежними або проводитися установою за підтримки зовнішнього оцінювача чи власними співробітниками. Може бути доречним проведення спільних оцінювань у співпраці з іншими співробітниками програми, партнерами та іншими організаціями (наприклад, в рамках кластеру WASH) для мінімізації дублювання ресурсів P.9. У деяких оцінюваннях значна увага приділяється підзвітності перед постраждалим населенням (M.4 та F.23), що надає їм можливість відігравати ключову роль у проведенні оцінювання та робити внесок у цей процес з метою посилення відповідальності за реалізацію програми та забезпечення можливості використання отриманих результатів M.5. Існуючі національні стандарти, стандарти Sphere, Основні гуманітарні стандарти та Кодекс поведінки можуть бути використані як орієнтири для оцінювання якості програми в поєднанні з програмними цілями та показниками.
Складіть бюджет для проведення оцінювання в рамках програми HP. Розрахуйте такі витрати, як витрати на оцінювачів, перекладачів, логістику (наприклад, транспорт та проживання) та розповсюдження (наприклад, друк, зустрічі з громадськістю та семінари).
Уточніть мету оцінювання, тип необхідної інформації та розробіть технічне завдання із зазначенням термінів та бюджету.
Встановіть офіційну базову лінію на початку програми для виявлення прогалин у даних та розумінні, а також для порівняння з даними наприкінці проекту. Базові показники також можуть бути використані в більш широкій оцінці програми.
Розробіть логіко-структурну схему (A.9 і T.25) з індикаторами, які дозволять оцінити вхідні дані (використані ресурси), діяльність (що було зроблено), вихідні дані (що було зроблено), результати (що було досягнуто) та вплив (довгострокові зміни).
Узгодьте методи оцінювання з вимогами оцінювання та їх доступністю для маргіналізованих груп та їх залученням. Приклади включають: інтерв'ю з ключовими інформаторами T.23, спостереження T.28 та трансектні обходи T.52, голосування за допомогою кишенькових карт T.31, опитування на основі анкетування (T.24 та A.8) та картування громади T.7.
Розробить показники з розбивкою за віком, статтю та інвалідністю. Залежно від цілей програми, вони можуть включати:
Зберіть якісні та кількісні дані A.4 з різних джерел (тріангуляція), проаналізуйте їх за допомогою відповідних методів та об’єднайте висновки у звіті.
Уникайте поширених помилок оцінювання, зокрема:
Перевірити, чого досягнув проект, чи досяг він поставленої мети та які зміни відбулися в наслідок втручання, для того щоб бути підзвітним зацікавленим сторонам і зробити висновки для покращення подальшої розробки програми.
Оцінювання розглядає загальні зміни, які можна віднести до програми WASH, та вивчає досягнуті результати, актуальність, ефективність та більш широкий вплив на життя людей.
За результатами оцінювання можуть бути розроблені рекомендації щодо вдосконалення програми (включаючи, за необхідності, зміцнення потенціалу) та накопичення досвіду для формування майбутньої політики та практики.
Оцінювання є важливим аспектом підзвітності M.4, а обмін та використання результатів оцінювання сприяє прозорості та навчанню (M.6, M.7, M.8) у секторі.
Оцінювання має бути ретельно спланованим, максимально систематичним та об'єктивним.
Як і при будь-якому зборі даних, необхідно забезпечити безпеку учасників та збирачів даних, наприклад, гарантувати анонімність даних, збирати дані дистанційно або вжити захисних заходів під час епідемій, таких як COVID-19 (наприклад, дотримуватися фізичної дистанції, проводити інтерв'ю на відкритому повітрі або використовувати маски).
Система моніторингу та оцінювання визначає конкретну інформацію, необхідну для надання доказів змін. Належною практикою є залучення всіх партнерів та інших суб'єктів до розробки системи моніторингу та оцінювання і, за можливості, проведення спільного моніторингу.
Результати оцінювання мають бути надані у відповідному форматі всім ключовим зацікавленим сторонам, щоб висновки можна було обговорити та застосувати на практиці, наприклад, через семінари, звіти, презентації та зустрічі з громадськістю.
Cosgrave, J., Buchanan-Smitz, M. et al. (2016): Evaluation of Humanitarian Action Guide, ALNAP, ODI
Mooijman, A.M. (2003): Evaluation of Hygiene Promotion, DFID Resource Centre for Water, Sanitation and Health
Ferron, S., Morgan, J. et al. (2007): Hygiene Promotion. A Practical Manual for Relief and Development, Practical Action Publishing. ISBN: 978-1853396410
Almedom, A., Blumentahl, U. et al. (1997): Hygiene Evaluation Procedures. Approaches and Methods for Assessing Water- and Sanitation-Related Hygiene Practices, ODA, INFDC, LSHTM, UNICEF
Narayan D. (1993): Participatory Evaluation. Tools for Managing Change in Water and Sanitation World Bank Technical Paper No. 207
Sphere Association (2018): The Sphere Handbook: Humanitarian Charter and Minimum Standards in Humanitarian Response 4th Edition
GWC (undated): Global WASH Cluster Coordination Toolkit (CTK), Global WASH Cluster Advisory and Strategic Team (GWC CAST)
Majorin, F., Watson, J., et al. (2020): Summary Report on Remote Data Collection, COVID-19 Hygiene Hub
Freeman, M., White, S. et al. (2020): Summary Report on General Principles for Monitoring and Evaluating Covid-19 Prevention Projects, COVID-19 Hygiene Hub
Majorin, F., Hasund Thorseth, A. et al. (2020): Summary Report on Remote Quantitative and Qualitative Approaches for Understanding Covid-19 related Behaviours and Perceptions, COVID-19 Hygiene Hub
Закрити