arrow_backEmergency WASH

M.3 Évaluation

L'évaluation peut être définie comme l'examen systématique et objectif de l'action humanitaire pour déterminer la valeur ou l'importance d'une activité, d'une politique ou d'un programme. Elle vise à tirer des leçons pour améliorer les politiques et les pratiques et renforcer la responsabilisation. Les principaux critères d'évaluation sont :

Pertinence : demande si le programme fait ce qu'il faut, par exemple, le programme de promotion de l'hygiène (PH) répond-il aux besoins selon le contexte ? Le programme cible-t-il les bonnes personnes en termes de zones géographiques ainsi que de vulnérabilités aux risques sanitaires liés à WASH ?

Efficacité : analyse si le programme a atteint ses objectifs et les résultats escomptés, et examine les facteurs influençant la réalisation de ces objectifs, par exemple, le programme PH a-t-il atteint ses objectifs comportementaux d'augmentation du lavage des mains avec du savon aux moments critiques ? Dans quelle mesure ces changements peuvent-ils être attribués au programme ? Si les résultats escomptés ne se sont pas produits, quelle en est la raison ?

Efficience : mesure les résultats quantitatifs et qualitatifs par rapport aux intrants, par exemple, quelle est l'efficience de la méthode de distribution des articles d'hygiène ? Cette méthode utilise-t-elle au mieux les ressources disponibles ? Existe-t-il des options alternatives pour améliorer l'accès aux articles d'hygiène ?

Impact : examine s'il y a eu des changements significatifs ou durables résultant du programme et s'ils étaient intentionnels ou non, positifs ou négatifs, par exemple, l'objectif du programme a-t-il été atteint? Y a-t-il eu des changements en matière de santé publique? Le programme a-t-il fait une réelle différence pour la population touchée ?

Durabilité : évalue dans quelle mesure les avantages nets de l'intervention se poursuivront ou sont susceptibles de se poursuivre, par exemple, les personnes ont-elles été soutenues pour continuer à utiliser, entretenir et réparer les installations d'eau ? Quels comportements ont changé à la suite de l'intervention et quelle est la probabilité que ces changements durent ? Les capacités locales ont-elles été renforcées ?

Cohérence : examine dans quelle mesure l'intervention s'inscrit dans les plans nationaux existants et les priorités locales, par exemple, le programme est-il conforme aux politiques gouvernementales telles que les systèmes de sensibilisation communautaire du ministère de la Santé ?

Il existe de nombreuses raisons d'entreprendre des évaluations, notamment pour examiner les innovations, obtenir des données probantes, démontrer le succès ou les défis dans le cadre d'un processus d'apprentissage M.6, évaluer l'optimisation des ressources et rendre des comptes M.4 aux principales parties prenantes telles que les donateurs et, en particulier, à la population touchée.

Il existe différents types d'évaluations en fonction des objectifs. Certaines évaluations sont effectuées à la fin ou après la fin du programme et visent à alimenter la redevabilité M.4, et à influencer les politiques et pratiques futures. Des évaluations en temps réel sont réalisées pendant le programme, elles sont interactives et impliquent de multiples parties prenantes ; l'évaluateur agit en tant que facilitateur pour générer une vue d'ensemble du programme et fournir un retour d'information immédiat afin que les problèmes puissent être résolus lors de la réponse. Tous les types d'évaluation peuvent être externes et indépendants, ou bien menés par une agence avec le soutien d'un évaluateur externe ou par des membres du personnel. Il peut être approprié de faire des évaluations conjointes en collaboration avec d'autres membres du personnel du programme, des partenaires et d'autres organisations (par exemple au sein du cluster WASH) afin de minimiser la duplication des ressources P.9. Certaines évaluations mettent fortement l'accent sur la redevabilité envers la population affectée (M.4 et F.23), leur donnant les moyens de jouer un rôle clé dans la réalisation et la contribution au processus, afin de renforcer l'appropriation du programme et de s'assurer qu'elle soit en mesure d'exploiter les résultats M.5.

Les normes nationales existantes, les normes Sphère, la Norme humanitaire fondamentale et le Code de conduite peuvent être utilisés comme références pour évaluer la qualité du programme en conjonction avec les objectifs et les indicateurs du programme.

Processus et bonnes pratiques

  • Allouer un budget pour une évaluation dans le programme de PH. Calculer les coûts tels que les évaluateurs, les interprètes, la logistique (par exemple, le transport et l'hébergement) et la diffusion (par exemple, l'impression de matériels, les réunions communautaires et les ateliers).

  • Clarifier le but de l'évaluation, le type d'informations nécessaires, et élaborer des termes de référence avec un calendrier et un budget.

  • Établir une base de référence formelle au début du programme pour identifier les lacunes dans les données et la compréhension, et pour servir de comparaison avec la fin du projet. Les bases de référence peuvent également alimenter une évaluation plus large du programme.

  • Développer un cadre logique (A.9 et T.25) avec des indicateurs pour permettre une évaluation des intrants (ressources utilisées), des activités (ce qui a été fait), des extrants (ce qui a été livré), des résultats (ce qui a été réalisé) et de l'impact (changements à long terme).

  • Faire correspondre les méthodes d'évaluation aux exigences de l'évaluation et être accessible et inclusif des groupes marginalisés. Les exemples incluent : Interviews d'informateurs clés T.23, Observation T.28 et Marches exploratoires T.52, Pocket Chart Voting T.31, enquêtes basées sur des questionnaires (T.24 et A.8) et Cartographie communautaire T.7.

  • Élaborer des indicateurs ventilés par âge, genre et handicap. Selon les objectifs du programme, ils sont susceptibles d'inclure : 

    • Pratiques d'hygiène : par exemple, le lavage des mains, l'élimination des excrétas, la manipulation et le stockage de l'eau, et des indicateurs pour évaluer s'il y a eu des changements dans le comportement, les perceptions de la communauté et les facteurs de motivation
    • Installations WASH : accès, utilisation et acceptabilité des approvisionnements en eau, des latrines/toilettes pour différents groupes
    • Satisfaction, engagement et participation de la communauté
    • Méthodes de promotion de l'hygiène : suivi de l'efficacité, de la pertinence et de l'acceptabilité des méthodes de mobilisation communautaire telles que les réunions communautaires, le théâtre T.6, la visite à domicile T.18 ou les affiches (IEC, T.19)
    • Données de santé : par exemple, les tendances de la morbidité diarrhéique (ces données sont influencées par de nombreux facteurs – pas seulement WASH et doivent être utilisées avec précaution)
  • Recueillir des données qualitatives et quantitatives A.4 auprès de différentes sources (triangulation), les analyser à l'aide de méthodes appropriées et compiler les résultats dans un rapport.

  • Éviter les pièges courants des évaluations, notamment :

    • Se concentrer sur des zones géographiques facilement accessibles
    • Ne pas collecter les données de base (« avant d'intervenir »)
    • Non-respect de la protection des données et/ou mise en danger des participants, par exemple dans des zones non sécurisées
    • Négliger la consultation des groupes moins visibles, par exemple, les femmes, les personnes âgées et les personnes handicapées
    • Ignorer les différences WASH saisonnières ou géographiques
    • Collecter trop d'informations ou des informations inutiles, qui consomment du temps et des ressources et ne répondent pas aux questions d'évaluation
    • Concentrer l'évaluation uniquement sur les produits, sans tenir compte des résultats, du changement des comportements et de l'impact
    • Ne pas partager largement les résultats, ce qui signifie que les informations sont perdues et ne sont pas utilisées pour adapter la programmation
    • Ne pas informer le groupe cible des résultats de l'évaluation
     

Fins

Examiner ce que le projet a réalisé, s'il a atteint son objectif déclaré et quels changements sont survenus à la suite de l'intervention, afin de rendre des comptes aux parties prenantes et de tirer des leçons pour améliorer la programmation ultérieure.

Important

  • Une évaluation étudie les changements globaux qui peuvent être attribués à un programme WASH et examine les résultats obtenus, la pertinence, l'efficacité et l'impact plus large sur la vie des personnes.

  • Les évaluations peuvent produire des recommandations pour améliorer le programme (y compris le renforcement des capacités si nécessaire) et saisir l'apprentissage pour éclairer les politiques et pratiques futures.

  • Les évaluations sont un aspect important de la redevabilité (M.4), et le partage et l'utilisation des résultats d'évaluation encouragent la transparence et l'apprentissage (M.6 à M.8) dans le secteur.

  • Les évaluations doivent être soigneusement planifiées et aussi systématiques et objectives que possible.

  • Comme pour toute collecte de données, la sécurité des participants et des collecteurs de données doit être protégée (par exemple, en maintenant une distance physique, avec des entretiens en plein air ou en utilisant des masques).

  • Un cadre de suivi et d'évaluation identifie les informations spécifiques requises pour fournir des preuves de changement. Il est de bonne pratique d'inclure tous les partenaires et autres acteurs lors de l'élaboration du cadre et, si possible, d'effectuer un suivi conjoint.

  • Les résultats de l'évaluation doivent être partagés dans un format approprié avec toutes les parties prenantes clés afin que les conclusions puissent être discutées et appliquées, par exemple, par le biais d'ateliers, de rapports, de présentations et de réunions communautaires.

References

Définition et explication des évaluations

Cosgrave, J., Buchanan-Smitz, M. et al. (2016): Evaluation of Humanitarian Action Guide, ALNAP, ODI

Lignes directrices de base couvrant les principaux aspects de l'évaluation pour la promotion de l'hygiène

Mooijman, A.M. (2003): Evaluation of Hygiene Promotion, DFID Resource Centre for Water, Sanitation and Health

Ferron, S., Morgan, J. et al. (2007): Hygiene Promotion. A Practical Manual for Relief and Development, Practical Action Publishing. ISBN: 978-1853396410

Directives pratiques évaluant l'hygiène à toutes les étapes d'un programme ; évaluation, planification, évaluation

Almedom, A., Blumentahl, U. et al. (1997): Hygiene Evaluation Procedures. Approaches and Methods for Assessing Water- and Sanitation-Related Hygiene Practices, ODA, INFDC, LSHTM, UNICEF

Informations sur l'implication des communautés et l'utilisation d'outils participatifs pour les évaluations WASH

Narayan D. (1993): Participatory Evaluation. Tools for Managing Change in Water and Sanitation World Bank Technical Paper No. 207

Normes minimales et indicateurs de promotion de l'hygiène

Sphere Association (2018): The Sphere Handbook: Humanitarian Charter and Minimum Standards in Humanitarian Response 4th Edition

Suggestions d'évaluations multisectorielles et liens vers des exemples d'évaluations de terrain

GWC (undated): Global WASH Cluster Coordination Toolkit (CTK), Global WASH Cluster Advisory and Strategic Team (GWC CAST)

Collecte de données à distance et comment protéger les participants et les collecteurs de données

Majorin, F., Watson, J., et al. (2020): Summary Report on Remote Data Collection, COVID-19 Hygiene Hub

Informations et ressources générales et spécifiques au COVID-19 sur le suivi et l'évaluation

Freeman, M., White, S. et al. (2020): Summary Report on General Principles for Monitoring and Evaluating Covid-19 Prevention Projects, COVID-19 Hygiene Hub

Majorin, F., Hasund Thorseth, A. et al. (2020): Summary Report on Remote Quantitative and Qualitative Approaches for Understanding Covid-19 related Behaviours and Perceptions, COVID-19 Hygiene Hub

arrow_upward