Combler l’écart d’apprentissage et de rétroaction dans les évaluations : Comment étendre l’appropriation des résultats d’une évaluation aux participants du projet ?

Introduction 

Les  activités  de  suivi  et d’évaluation  (S&E)  dans  le domaine de l’aide humanitaire ont      considérablement progressé  au  fil  des  ans, passant  des  techniques  d’évaluation traditionnelles à de nouvelles méthodes et technologies, comme l’utilisation de drones pour la collecte de données. Cependant, la question centrale de savoir qui bénéficie des résultats d’une évaluation et qui est responsable de la diffusion des résultats de l’évaluation demeure entière. Le présent article s’appuie sur l’évaluation d’un projet mis en œuvre en milieu rural au Pakistan pour explorer les méthodes participatives susceptibles de combler les lacunes de l’apprentissage  issu  des  résultats  de l’évaluation.

Le contexte

Umerkot est l’un des districts les moins développés du sud du Pakistan. Près de 83 % des habitants d’Umerkot vivent dans des

zones rurales et constitue une population composée à 70 % d’hindous issus pour la plupart de castes répertoriées1  et de chrétiens fortement négligés, défavorisés et privés d’accès aux services de base (Hassnain, 2018). Ce sont majoritairement des agriculteurs de subsistance dont les principaux moyens de subsistance reposent au quotidien sur le travail agricole, l’élevage de bétail et la fabrication de briques. En  raison  des  faibles  rendements  des cultures et de l’insécurité climatique, bon nombre d’entre eux sont redevables à vie aux propriétaires féodaux, une relation qui perdure de génération en génération. Privés de moyens de subsistance alternatifs fiables,  ils  manquent  de  mécanismes d’adaptation  suffisants.  Les  femmes d’Umerkot  sont  les  plus  touchées:  les normes et les comportements qui leur sont traditionnellement réservés dans la région les privent d’accès aux ressources et les exposent à la discrimination. Par exemple, sans la permission d’un membre masculin de son foyer, une femme ne devrait pas interagir avec un homme, pas même pour accéder aux soins de santé (si ceux-ci sont disponibles).

L’intervention en cours d’évaluation

De 2015 à 2018, fort du soutien financier qui leur a été octroyé par le Royaume-Uni au titre de son budget alloué à l’aide extérieure, Y Care International2 et Community World Service Asia3  ont œuvré en partenariat pour promouvoir l’équité entre les genres et améliorer la résilience financière des jeunes femmes défavorisées d’Umerkot. Le projet était axé sur le perfectionnement des  compétences  en  broderie  acquises par ces femmes au fil des générations. En raison des normes culturelles liées au genre restreignant la mobilité sociale des femmes, celles-ci n’avaient pas accès aux marchés pour vendre leurs broderies. Pour surmonter cette difficulté, le projet s’est associé à Indus Valley Schools of Arts4, une institution universitaire nationale, et à Textile Institute of Pakistan5 pour former les femmes aux pratiques commerciales et les mettre en contact avec les marchés urbains et les créateurs.

Le projet ciblait 700 femmes rurales issues de 22 villages et visait à les engager dans différentes  activités  dans  l’hypothèse qu’elles puissent parvenir à augmenter les  revenus  de  leur  ménage,  ce  qui contribuerait à réduire l’extrême pauvreté et l’insécurité alimentaire et à favoriser l’équité entre hommes et femmes. Dans l’ensemble,  l’intervention  ambitionnait de renforcer la voix des femmes dans la prise de décisions au sein du ménage et de la communauté et d’améliorer le bien-être général des femmes (Hassnain 2018).

Complexité des résultats de l’évaluation

Bien qu’une théorie du changement et un cadre logique complets aient été élaborés au  cours  de  la  phase  de  conception du projet, l’évaluation a révélé que le contexte dans lequel le projet a été mis en œuvre était complexe et dynamique, et  qu’il  était  difficile  d’établir  les relations de cause à effet induits par l’intervention.   Dans   des   contextes comme celui-ci, la logique de causalité tend à être désordonnée, multiniveaux, multidirectionnelle et imprévisible.

Cette observation formulée par les évaluateurs rejoint les explications avancées dans The Book of Why: The New Science of Cause and Effect de Judea Pearl et Dana Mackenzie (2018). Dans cet ouvrage, les auteurs déclarent que dans un modèle non linéaire, la relation de cause à effet n’est pas claire. La non-linéarité était présente dans l’intervention d’Umerkot (figure 2).

Les rapports de suivi de l’intervention ont fait valoir que les plans et stratégies du projet n’ont pas fonctionné comme prévu. Certaines activités ont produit des résultats, mais d’autres non. Dans des situations aussi complexes, les effets de l’intervention peuvent se manifester de la manière la plus inattendue (ALNAP, 2018). Deux exemples montrent comment cela s’applique parfaitement à l’expérience d’Umerkot :

1. La scolarisation des filles a augmenté de manière significative à Umerkot grâce au projet. Cette constatation a été vérifiée dans les activités de suivi du projet qui ont utilisé l’approche de collecte des résultats6. Dans leurs rapports mensuels, les militants en

faveur de l’égalité des genres avaient indiqué à l’équipe du projet ce qui avait changé, et l’équipe chargée du suivi avait confirmé leurs dires. Au moment d’élaborer les plans d’action, les militants considéraient l’éducation des filles comme l’une des deux priorités du projet.

Le projet n’avait pas évalué l’état de l’éducation des filles dans le rapport de référence car l’amélioration de l’éducation n’était pas encore considérée comme un résultat. À la fin du projet, cependant, 223 filles sur un total de 340 enfants étaient scolarisées grâce au soutien du projet.

2. À Umerkot, les seigneurs féodaux détiennent le pouvoir suprême. Du fait de leur participation aux activités du projet, les femmes n’ont pas pu se consacrer exclusivement à leurs tâches habituelles, comme la cueillette du coton dans les champs. Au début, les propriétaires terriens n’étaient pas satisfaits de ce changement et ils ont fait dire aux hommes de la communauté d’obliger leurs 

femmes à revenir travailler dans les champs.  L’équipe  du  projet  n’ayant pas anticipé le problème en amont, le comité de pilotage est intervenu auprès des propriétaires et leurs familles, a fourni des ouvriers de remplacement et assuré que les femmes continueraient à travailler la terre. Néanmoins, il était clair que les activités du projet allaient à l’encontre des normes culturelles. Par la suite, les propriétaires terriens et dans leur sillage les habitants des villages voisins faisaient ironiquement remarquer aux hommes bénéficiaires du projet qu’ils avaient perdu tout contrôle sur « leurs » femmes.

La figure 3 illustre un résultat de l’évaluation obtenu au moyen de Sprockler7, un outil de collecte de données fondé sur les récits personnels. La figure montre clairement que les hommes d’Umerkot ont manifesté davantage de résistance face au changement que les femmes pour lesquelles l’intervention avait été conçue8. Cette constatation a encouragé l’équipe d’évaluation à demander à la communauté de s’expliquer sur le fait que les hommes avaient essuyé davantage de critiques que les femmes sur leur attitude à l’égard des activités du projet.

Combler les lacunes dans l’apprentissage et la rétroaction

De nombreuses réunions de synthèse d’évaluation ont lieu dans les capitales et réunissent des personnalités publiques, des dirigeants et des décideurs. Du fait de son expérience sur le terrain, l’auteur a été amené à constater que les exercices d’évaluation ferment rarement leur boucle d’apprentissage et de rétroaction auprès des bénéficiaires du projet, bien que ces derniers soient en droit d’être tenus informés des données que les évaluateurs ont recueillies à leur sujet pendant leurs interactions et de qu’il en est au final ressorti. Les bénéficiaires du projet comprennent les populations locales qui appartiennent souvent à des communautés pauvres et vulnérables ainsi que les organisations qui les soutiennent. Quant aux bénéficiaires de l’évaluation qui sont aussi souvent les répondants au questionnaire de l’évaluation, il s’agit généralement de personnes et d’organisations qui peuvent avoir  bénéficié (ou non) d’une intervention et qui sont susceptibles de soutenir la mise à l’échelle des apprentissages issues de l’évaluation en vue d’induire un impact plus profond et durable sur le terrain. Les bénéficiaires de cette dernière catégorie assument ainsi le rôle d’agents de changement au sein de leur communauté au lieu de se contenter d’être simplement des récipiendaires de l’aide.

Fermer la boucle d’apprentissage et de rétroaction avec les bénéficiaires d’un projet augmente la transparence, améliore l’accessibilité et alimente la base de connaissances mondiale accessible à tous. Les groupes cibles visés pour la diffusion doivent être choisis d’un commun accord au début du processus et sont tenus de respecter la confidentialité et la sécurité de tous ceux qui participent à l’évaluation et répondent aux questions y afférentes (Hassnain et al., 2021).

Partager les résultats d’une évaluation peut s’avérer difficile lorsque les résultats sont perçus négativement ou qu’ils remettent en question des stratégies ou des approches auxquelles les praticiens sont fortement attachés. Les parties prenantes peuvent manifester de la réticence à remettre en question l’efficacité de leur approche. Elles pourraient être plus réceptives à l’idée, dès lors que les évaluateurs mettent l’accent sur les aspects d’apprentissage de l’évaluation et les impliquent dès le début dans le processus d’évaluation (OCDE 2012).

Comme déjà indiqué, les résultats présentés dans la figure 3 ont révélé que les bénéficiaires hommes avaient manifesté une plus grande résistance au changement que les bénéficiaires femmes. L’équipe d’évaluation a fait un effort particulier pour confirmer ces conclusions auprès de la communauté afin de donner un sens aux données. Plus précisément, l’équipe a organisé un atelier de validation regroupant le personnel de première ligne en charge du projet ainsi que des participants issus de huit villages différents situés dans deux localités d’Umerkot qui avaient été impliqués dans le processus d’évaluation.

L’objectif principal de l’atelier était de combler l’écart en matière de rétroaction et d’apprentissage en permettant aux bénéficiaires du projet de fournir un retour d’information sur les premiers résultats du projet. L’atelier a également aidé le personnel du projet à comprendre l’importance des activités de S&E en générant des données factuelles sur les résultats du projet qui pourraient être utilisées dans les évaluations ultérieures. Cela était particulièrement important puisque les parties prenantes avaient l’ambition d’intensifier les activités du projet afin que les réalisations socio-économiques attendues puissent profiter également aux communautés voisines. En bref, en plus de valider les conclusions de l’évaluation et de boucler la boucle d’apprentissage, l’exercice a permis à la communauté, aux organisations partenaires locales et aux membres du personnel local de mieux comprendre le S&E participatif et de renforcer leurs capacités à cet égard.

Au cours de l’atelier de validation, les membres de la communauté ont été informés de ce qui a fonctionné et de ce qui n’a pas fonctionné au niveau des activités du projet. Ils ont également pris connaissance des améliorations qui pourraient être apportées à l’avenir. Les bénéficiaires étaient reconnaissants d’avoir eu l’occasion de participer aux étapes finales de l’évaluation et d’en savoir plus sur ses conclusions. Un participant a fait remarquer que « cet atelier de validation était spécial puisque c’était la première fois au terme d’une enquête d’opinion que l’équipe d’évaluation partageait les résultats avec nous ».

L’atelier a également profité aux membres de l’équipe d’évaluation qui en ont retenu des leçons importantes, et y ont puisé de nouvelles idées aisément applicables à d’autres contextes. Les leçons apprises et les idées acquises à cette occasion sont entées plus en détail ci-après.

Planification d’un atelier de validation. Il est important de planifier et de concevoir un atelier de validation à l’avance. L’équipe d’évaluation doit d’abord par préparer l’ordre du jour de l’atelier. Elle peut ensuite commencer par rassembler les outils nécessaires pour mener l’atelier, puis organiser les séances selon les principales questions de l’évaluation et adapter les séances pour tenir compte des différences, notamment culturelles et linguistiques, et des besoins liés aux participants. Pour encourager les participants à s’exprimer, l’atelier peut proposer des exercices énergisants, des brise-glace et des techniques de consolidation d’équipe. Les preneurs de notes et les animateurs d’atelier doivent être désignés à l’avance.

Budgétisation des ateliers de validation dans les communautés. Il est important de prévoir un budget suffisant pour la tenue des ateliers. Sans les fonds nécessaires, il est impossible d’organiser un atelier d’évaluation sur le terrain. Bien qu’il ne soit pas impératif de disposer d’un gros budget, les frais de déplacement et de logistique doivent être néanmoins couverts. Un

atelier de validation est beaucoup plus utile aux bénéficiaires qu’un long rapport d’évaluation. Les rapports ne sont pas toujours utiles car ils ne sont généralement pas traduits dans les langues locales. De plus, les rapports expliquent souvent les résultats de l’évaluation dans un langage technique et atteignent rarement les groupes cibles du projet. C’est pourquoi il est généralement préférable que les ressources financières allouées aux ateliers de validation soient prises sur un budget propre à l’évaluation et que les activités de diffusion destinées aux bénéficiaires du projet soient inscrites au titre des termes de référence de l’évaluation. Dans la mesure du possible, il convient de faire appel aux évaluateurs nationaux indépendants qui faisaient partie de l’équipe d’évaluation pour présenter les conclusions et les recommandations aux populations consultées, aux autorités nationales et aux autres parties prenantes dans le pays. D’autres acteurs peuvent également être sollicités (IAHE 2014).

Sélection des résultats d’évaluation à présenter. Les villageois pauvres qui vivent dans les campagnes reculées ont beaucoup à faire. Une équipe d’évaluation a intérêt à sélectionner les conclusions les plus pertinentes de l’évaluation et à les présenter de manière concise. Par exemple, l’équipe peut convertir les données recueillies au cours de l’évaluation en graphiques conviviaux et préparer des questions simples pour faciliter la compréhension des résultats par le public. Lors de l’atelier de validation à Umerkot, l’équipe d’évaluation a constaté que les participants ont pris plaisir à la rencontre et semblaient plus engagés dans la discussion du fait que l’équipe s’était efforcée de rendre la présentation finale plus interactive que précédemment.

Identification du lieu. La sélection d’un lieu approprié pour organiser un atelier de validation n’est pas toujours chose aisée. Certains facteurs doivent être pris en compte lors du choix du lieu d’accueil de l’atelier, tels que la disponibilité des moyens de transport depuis les zones voisines, la disponibilité d’un espace de réunion, ainsi que l’intérêt et la volonté des dirigeants communautaires à prendre part à l’événement. La sécurité de l’ensemble des participants doit être la priorité absolue et l’emplacement à retenir pour la tenue de l’atelier doit être impérativement choisi en conséquence.

Impliquer les femmes, les jeunes et les personnes les plus pauvres. L’équipe d’évaluation a encouragé les femmes, les jeunes et les membres les plus pauvres de la communauté à participer à l’atelier afin de veiller à ce que personne ne soit laissé pour compte. Par conséquent, nous avons noté qu’il y avait plus de femmes que d’hommes parmi les participants et que ces dernières avaient activement pris part à la discussion sur les moyens d’aller de l’avant.

Sensibilité aux questions de genre, aux normes culturelles et aux conflits. L’équipe d’évaluation qui dirige l’atelier de validation doit connaître les normes culturelles et de genre de la communauté et doit être sensible à la dynamique des conflits. En

aucun cas, les informations personnelles d’un répondant ne doivent être révélées à un autre répondant. Pour cette raison, un protocole éthique strict devrait être élaboré et discuté lors de la conception des ateliers. Aucune mesure de responsabilisation ne saurait se substituer aux consignes de sûreté et de sécurité entourant les participants à une évaluation.

Point d’honneur à faire usage des langues locales. Des ateliers de validation organisés dans la langue locale permettent de surmonter les barrières linguistiques et de s’assurer de la participation de tous à la discussion. À Umerkot, l’atelier de validation s’est déroulé en sindhi, la langue parlée par la population locale.

Utilisation des méthodes et technologies d’évaluation appropriées9. Selon les contextes, certaines méthodes et techniques d’évaluation sont plus appropriées que d’autres. Par exemple, l’évaluation du projet à Umerkot a eu recours à l’approche de la récolte des résultats10 et à l’outil Sprockler11. Les animateurs de l’atelier de validation ont discuté des résultats ainsi collectés avec les bénéficiaires du projet. Sprockler a produit des infographies immédiates et prêtes à l’emploi, qui pourraient être facilement partagées. Comme le montrent les figures 3 et 4, Sprockler affiche les données sous forme de graphiques. Les petits points codés par couleur dans la figure 3 représentent les individus et leurs récits de changements les plus significatifs.

Analyse des liens de causalité en termes d’impact avec les bénéficiaires (analyse de ce qui a fonctionné et ce qui n’a pas fonctionné). Durant l’atelier de validation, les participants au projet peuvent être invités à commenter les conclusions de l’évaluation afin de définir clairement les impacts du projet et leurs conséquences. Par exemple, à Umerkot, les femmes non musulmanes, qui étaient dans l’ensemble plus pauvres que les femmes musulmanes, ont déclaré que le projet avait changé la façon dont elles étaient perçues dans leur communauté. Elles ont expliqué elles disposaient à présent de davantage de ressources, d’un meilleur contrôle sur ces ressources et d’une plus grande liberté de mouvement. Cela a facilité leur accès aux marchés et aux ressources productives. Certaines femmes étaient même désormais considérées comme un modèle dans leur village. L’atelier de validation a été l’occasion de partager les enseignements tirés du projet avec tous les membres de la communauté, y compris ceux qui n’avaient pas directement bénéficié du projet. Ainsi, sur le plan de la résilience économique, l’atelier a permis à ceux qui ne s’en sortaient pas bien de comprendre comment d’autres avaient réussi à améliorer leurs moyens de subsistance.

Conclusion

Cet article met en exergue deux enseignements principaux. Premièrement, la tenue d’un atelier de validation avec les bénéficiaires du projet dans les zones d’intervention permet à l’équipe d’évaluation et aux responsables de l’évaluation de mieux appréhender les conclusions de l’évaluation et, plus important encore, de combler les lacunes de l’apprentissage issu des résultats de l’évaluation. Deuxièmement, le fait de permettre aux bénéficiaires

de donner leur avis sur les résultats initiaux et les principales conclusions d’un projet autonomise et responsabilise les communautés, et renforce leur confiance à l’égard des partenaires de mise en œuvre.

L’utilisation de méthodes participatives pendant la phase de collecte de données d’une évaluation est essentielle pour inclure les voix de la communauté. Il est tout aussi important d’impliquer la communauté lors des phases finales du processus d’évaluation. Des travaux tels que les ateliers de validation permettent de valider les résultats de l’évaluation de manière appropriée et d’éviter la reproduction d’éventuels biais ou de fausses déclarations dans les rapports d’évaluation. Plus important encore, les ateliers de validation peuvent améliorer la compréhension des résultats par les bénéficiaires du projet et mieux éclairer leurs décisions à l’avenir. En outre, les preuves produites lors d’ateliers et d’activités similaires sont à même de façonner les futures interventions de développement et de produire un impact meilleur et plus profond sur le terrain. Cela souligne l’importance de mettre en place des systèmes de S&E solides et de faire bon usage de la masse de connaissances et de données factuelles générées par les activités de S&E.

Notes de fin

1. En Inde, les « castes répertoriées » font référence à des groupes de personnes officiellement désignés par le gouvernement comme faisant partie des groupes socio- économiques les plus défavorisés du pays.
2. www.ycareinternational.org
3. www.communityworldservice.asia
4. IVS (indusvalley.edu.pk)
5. TIP: Textile Institute of Pakistan - Karachi (Sindh)  admission 2021–2022
6. https://outcomeharvesting.net/the-essence/
7. www.Sprockler.com
8. Les petits points codés par couleur dans la figure 3 représentent les individus et les récits de leurs changements les plus significatifs.
9. Voir la ressource ALNAP sur le renforcement de la qualité des données factuelles : https://www.alnap. org/help-library/%20strengthening-the-quality%20 of-evidence-in-humanitarian%20evaluations
10. L'approche de la récolte des résultats permet illeurs de fonds et aux gestionnaires d'identifier les résultats, de les formuler, de les vérifier et de l un sens. : www.outcomeharvesting.net 
11. Sprockler est un outil de collecte de données mobile basé sur des récits personnels. : www.sprockler.com

Références

ALNAP (Active Learning Network for Accountability and Performance), 2018, Evaluation of protection in humanitarian action, Londres, ALNAP. https://www. alnap.org/help-library/alnap-guide-evaluation-of- protection-in humanitarian-action

Coachcolville, 2020, « Correlation does not imply causation » www.coachcolville.co.uk/blog

Hur Hassnain, Lauren Kelly et Simona Somma, éd., 2021, Evaluation in Contexts of Fragility, Conflict and Violence: Guidance from Global Evaluation Practitioners. Exeter, Royaume-Uni, IDEAS. www.ideas-global.org/wp-content/ uploads/2021/06/EvalFCV-Guide-web-A4-HR.pdf

Hassnain Hur, 2018, « Learning for Impact. Stitching-up Poverty in Pakistan », Y Care International, Londres, Royaume-Uni. https://www. ycareinternational.org/v2/wp-content/uploads/ Pakistan-Results-Summary-Stitching-up-Poverty- March-2019.pdf

IAHE Steering Group, 2014, Inter-agency humanitarian evaluations of large-scale system-wide emergencies. https://interagencystandingcommittee.org/system/ files/iahe_guidelines.pdf

OCDE (Organisation de coopération et de développement économiques). 2012. Évaluer les activités de construction de la paix dans les situations de conflit et de fragilité : Mieux comprendre pour de meilleurs résultats. Paris : OECD Publishing. https:// doi.org/10.1787/19936702

Pearl Judea et Mackenzie Dana, 2018, The Book of Why: The New Science of Cause and Effect (1e éd.), Basic Books, Inc., USA.

Sprockler online report, 2018, « Evaluation of Y Care International’s Women’s Economic Empowerment and Gender Equality in Umerkot, Pakistan », Londres, Royaume-Uni. https://visualizer.sprockler.com/en/InternationalPakistan