arrow_backEmergency WASH

M.3 Evaluación

La evaluación puede definirse como el examen sistemático y objetivo de la acción humanitaria para determinar el valor o la importancia de una actividad, una política o un programa. Su objetivo es extraer lecciones para mejorar la política y la práctica y mejorar la rendición de cuentas. Los criterios clave para la evaluación son los siguientes:

Relevancia: pregunta si el programa está haciendo lo correcto, p. ej. ¿el programa de promoción de la higiene (HP) cubre las necesidades según el contexto? ¿El programa se dirige a las personas adecuadas en términos de áreas geográficas y vulnerabilidades a los riesgos para la salud relacionados con WASH?

Eficacia: analiza si el programa ha alcanzado sus objetivos y los resultados previstos y analiza los factores que influyen en el logro de esos objetivos, p. ej., ¿el programa de HP ha alcanzado sus objetivos de comportamiento para aumentar el hábito de lavarse las manos con jabón en momentos críticos? ¿En qué medida se pueden atribuir estos cambios al programa? Si no se lograron los resultados esperados, ¿por qué no?

Eficiencia: mide los resultados cuantitativos y cualitativos en relación con los insumos, p. ej., ¿qué tan eficiente es el método de distribución de artículos de higiene? ¿Este método hace el mejor uso de los recursos disponibles? ¿Había opciones alternativas para mejorar el acceso a los artículos de higiene?

Impacto: analiza si hubo cambios significativos o duraderos como resultado del programa y si fueron intencionales o no, positivos o negativos, p. ej., ¿se ha alcanzado la meta del programa? ¿Ha habido cambios en la salud pública? ¿El programa ha marcado una diferencia real para la población afectada?

Sostenibilidad: evalúa la medida en que los beneficios netos de la intervención continuarán o es probable que continúen, p. ej., ¿se ha apoyado a las personas para que continúen usando, manteniendo y reparando las instalaciones de agua? ¿Qué comportamientos han cambiado como resultado de la intervención y qué probabilidades hay de que estos cambios duren? ¿Se ha fortalecido la capacidad local?

Coherencia: considera qué tan bien la intervención se ajusta a los planes nacionales existentes y las prioridades locales, p. ej., ¿el programa se alinea con las políticas gubernamentales, como los sistemas de extensión comunitaria del Ministerio de Salud?

Existen numerosas razones para llevar a cabo evaluaciones, entre ellas, revisar innovaciones, obtener evidencia, demostrar éxito o desafíos como parte de un proceso de aprendizaje M.6, evaluar la relación precio-calidad y rendir cuentas M.4 a las partes interesadas clave, como los donantes y, en especial, a la población afectada.

Existen diferentes tipos de evaluaciones en función de los objetivos. Algunas evaluaciones se llevan a cabo al final del programa o después y tienen como objetivo proporcionar rendición de cuentas M.4 e influir en las políticas y prácticas futuras. Se llevan a cabo evaluaciones en tiempo real durante el programa, son interactivas e involucran a múltiples partes interesadas; el evaluador actúa como facilitador para generar una descripción general del programa y brindar comentarios inmediatamente para que se puedan abordar los problemas durante la respuesta. Todos los tipos de evaluación pueden ser externos e independientes o se pueden llevar a cabo por una agencia con el apoyo de un evaluador externo o por miembros del personal. Puede ser apropiado llevar a cabo evaluaciones conjuntas en colaboración con otro personal del programa, socios y otras organizaciones (p. ej., dentro del grupo temático de WASH) para minimizar la duplicación de recursos P.9. Algunas evaluaciones tienen un fuerte enfoque en la rendición de cuentas a la población afectada (M.4 y F.23), empoderándolas para que desempeñen un papel clave en la realización y contribución al proceso a fin de fortalecer la responsabilidad del programa y garantizar que estén en posición de hacer uso de los hallazgos M.5.

Los estándares nacionales existentes, los estándares de Esfera, la Norma Humanitaria Esencial y el Código de Conducta pueden usarse como referencias para evaluar la calidad del programa junto con los objetivos e indicadores del programa.

Proceso y buenas prácticas

  • Elaborar un presupuesto para una evaluación en el programa de HP. Calcular costos como los de evaluadores, intérpretes, logística (p. ej., transporte y alojamiento) y difusión (p. ej., impresión, reuniones comunitarias y talleres).

  • Aclarar el propósito de la evaluación, el tipo de información necesaria y desarrollar Términos de Referencia con una línea de tiempo y presupuesto.

  • Establecer una línea de referencia formal al comienzo del programa para identificar brechas en los datos y la comprensión y para que sirva como comparación al final del proyecto. Las líneas de referencia también pueden alimentar una evaluación más amplia del programa.

  • Desarrollar un marco lógico (A.9 y T.25) con indicadores para permitir una evaluación de los insumos (recursos utilizados), actividades (lo que se hizo), productos (lo que se entregó), resultados (lo que se logró) e impacto (cambios a largo plazo).

  • Unir los métodos de evaluación con los requisitos de la evaluación y ser accesible e inclusivo con respecto los grupos marginados. Los ejemplos incluyen: Entrevistas con Informantes Clave T.23, Observación T.28 y Recorridos Transectoriales T.52, Votación con Tarjetas y Fichas T.31, Encuestas Basadas en Cuestionarios (T.24 y A.8) y Mapeo Comunitario T.7.

  • Desarrollar indicadores desagregados por edad, género y discapacidad. Dependiendo de los objetivos del programa, es probable que incluyan lo siguiente:

    • Prácticas de higiene: p. ej., lavado de manos, eliminación de excrementos, manipulación y almacenamiento de agua e indicadores para evaluar si ha habido cambios en el comportamiento, las percepciones de la comunidad y los motivadores
    • Instalaciones de WASH: acceso, uso y aceptabilidad de suministros de agua, letrinas/inodoros para diferentes grupos
    • Satisfacción, interacción y participación comunitaria
    • Métodos de promoción de la higiene: monitoreo de la eficacia, idoneidad y aceptabilidad de los métodos de movilización comunitaria, como reuniones comunitarias, Teatro T.6, Visitas al Hogar T.18 o Carteles (IEC, T.19)
    • Datos de salud: p. ej., tendencias en la morbilidad por diarrea (dichos datos están influenciados por numerosos factores, no solo WASH y deben usarse con cuidado)
  • Recopilar datos cualitativos y cuantitativos A.4 de diferentes fuentes (triangulación), analizarlos usando métodos apropiados y reunir los hallazgos en un informe.

  • Evitar las dificultades comunes de las evaluaciones, que incluyen:

    • Centrarse en áreas geográficas de fácil acceso
    • No recopilar datos de referencia (“antes de intervenir”)
    • No respetar la protección de datos o poner en riesgo a los participantes, p. ej., en áreas inseguras
    • No consultar con grupos menos visibles, p. ej., mujeres, personas mayores y personas con discapacidad
    • Ignorar las diferencias estacionales o geográficas de WASH
    • Recopilar demasiada información o información innecesaria, que consume tiempo y recursos y no responde a las preguntas de evaluación
    • Enfocar la evaluación meramente en los productos, sin considerar los resultados, el cambio de comportamiento y el impacto
    • No compartir ampliamente los resultados, por lo que la información se pierde y no se utiliza para adaptar la programación
    • No informar al grupo objetivo sobre los resultados de la evaluación
     

Propósito

Examinar lo que logró el proyecto, si logró su objetivo declarado y qué cambios ocurrieron como resultado de la intervención para rendir cuentas a las partes interesadas y aprender lecciones para mejorar la programación posterior

Important

  • Una evaluación analiza los cambios generales que se pueden atribuir a un programa de WASH y analiza los resultados logrados, la relevancia, la eficiencia y el impacto más amplio en la vida de las personas.

  • Las evaluaciones pueden producir recomendaciones para mejorar el programa (incluso el fortalecimiento de la capacidad, si es necesario) y capturar el aprendizaje para informar las políticas y prácticas futuras.

  • Las evaluaciones son un aspecto importante de la Rendición de Cuentas M.4 y compartir y utilizar los hallazgos de la evaluación fomenta la transparencia y el aprendizaje (M.6, M.7, M.8) en el sector.

  • Las evaluaciones deben planificarse con cuidado y ser tan sistemáticas y objetivas como sea posible.

  • Al igual que con cualquier recopilación de datos, se debe proteger la seguridad de los participantes y los recolectores de datos, por ejemplo, garantizar que los datos sean anónimos, recopilar datos de forma remota o tomar medidas de protección durante epidemias como COVID-19 (p. ej., mantener el distanciamiento físico, entrevistas al aire libre o el uso de mascarillas).

  • Un marco de monitoreo y evaluación identifica la información específica requerida para proporcionar evidencia de cambio. Es una buena práctica incluir a todos los socios y otros actores al desarrollar el marco y, cuando sea posible, realizar un seguimiento conjunto.

  • Los resultados de la evaluación deben compartirse en un formato apropiado con todas las partes interesadas clave para que los hallazgos puedan tratarse y aplicarse, p. ej., a través de talleres, informes, presentaciones y reuniones comunitarias.

References

Definición y explicación de las evaluaciones

Cosgrave, J., Buchanan-Smitz, M. et al. (2016): Evaluation of Humanitarian Action Guide, ALNAP, ODI

Guía básica que cubren aspectos clave de la evaluación para la Promoción de la Higiene

Mooijman, A.M. (2003): Evaluation of Hygiene Promotion, DFID Resource Centre for Water, Sanitation and Health

Ferron, S., Morgan, J. et al. (2007): Hygiene Promotion. A Practical Manual for Relief and Development, Practical Action Publishing. ISBN: 978-1853396410

Lineamientos prácticos para evaluar la higiene en todas las etapas de un programa: evaluación, planificación, evaluación

Almedom, A., Blumentahl, U. et al. (1997): Hygiene Evaluation Procedures. Approaches and Methods for Assessing Water- and Sanitation-Related Hygiene Practices, ODA, INFDC, LSHTM, UNICEF

Información sobre la participación de las comunidades y el uso de herramientas participativas para las evaluaciones de WASH

Narayan D. (1993): Participatory Evaluation. Tools for Managing Change in Water and Sanitation World Bank Technical Paper No. 207

Estándares mínimos e indicadores de promoción de la higiene

Sphere Association (2018): The Sphere Handbook: Humanitarian Charter and Minimum Standards in Humanitarian Response 4th Edition

Sugerencias para evaluaciones multisectoriales y enlaces a ejemplos de evaluaciones en el campo

GWC (undated): Global WASH Cluster Coordination Toolkit (CTK), Global WASH Cluster Advisory and Strategic Team (GWC CAST)

Recopilación remota de datos y cómo proteger a los participantes y recopiladores de datos

Majorin, F., Watson, J., et al. (2020): Summary Report on Remote Data Collection, COVID-19 Hygiene Hub

Información general y específica del COVID-19 y recursos sobre el monitoreo y evaluación

Freeman, M., White, S. et al. (2020): Summary Report on General Principles for Monitoring and Evaluating Covid-19 Prevention Projects, COVID-19 Hygiene Hub

Majorin, F., Hasund Thorseth, A. et al. (2020): Summary Report on Remote Quantitative and Qualitative Approaches for Understanding Covid-19 related Behaviours and Perceptions, COVID-19 Hygiene Hub

arrow_upward