L’évaluation au plus fort de la pandémie : leçons tirées d’une solution combinant mélanges créatifs et adaptations innovantes

2 décembre, 2021
Magazine Evaluation Matters:
Tirer les leçons des réussites et des échecs en évaluation

Sinmi Akin-Aina, École Supérieure de Bielefeld
Charles Atamba, Parlement du Kenya
Florence Etta, GRAIDE International Consultants Limited, Nigeria
Jackson Mutavi, GRAIDE International Consultants Limited, Kenya

Abstract

L’année 2020 ne ressemble à aucune autre que le monde ait connue depuis près de 100 ans. La pandémie de COVID-19 a perturbé le flux habituel des processus de travail, une situation qui a exigé une adaptation importante. Cet article présente les adaptations méthodologiques introduites pour les besoins de l’examen à mi-parcours d’une formation agricole fondée sur un programme de bourses dispensée à l’Université d’Egerton au Kenya et à l’Université de Gulu en Ouganda. Les méthodes de recherche et d’évaluation traditionnelles telles que les entretiens, les discussions de groupe dirigées et les enquêtes ont été complétées par l’analyse systématique des documents, la cartographie des résultats, la récolte des résultats et l’utilisation de la technique de changement le plus significatif. La principale leçon qu’il convient d’en tirer est que l’esprit d’innovation et la créativité constituent de nouvelles exigences pour mener à bien, de manière efficace, des évaluations dans des circonstances difficiles.

Messages clés

  • Rendue nécessaire par la pandémie de COVID-19, la distanciation sociale a limité le champ d’application du concept, de la définition et de la réalité de la notion de « terrain ». Elle a circonscrit les opportunités auparavant données aux évaluateurs d’observer et d’interagir directement avec les participants au projet, d’expérimenter les projets de première main, d’assurer une présence physique sur les lieux couverts par les projets, au plus près des acteurs concernés, et de suivre d’autres processus habituellement associés au travail de terrain traditionnel.
  • Cependant, il est possible de combiner différentes méthodes, qu’elles soient classiques, peu conventionnelles ou nouvelles, de manière créative et innovante en vue de gérer les fonctions de suivi, d’évaluation, de redevabilité et d’apprentissage (MEAL) en ces temps incertains et difficiles.
  • Les pratiques qui ont été modifiées pendant la pandémie ne sont pas susceptibles de revenir à leur état d’avant la COVID-19. Les évaluateurs, les responsables de programme et les gestionnaires doivent remodeler, requalifier et repenser les méthodes de travail actuelles afin qu’elles répondent aux besoins humains dans un large éventail d’environnements virtuels tout en veillant à ce que personne ne soit laissé pour compte.

Introduction

En janvier 2020, le Forum régional des universités pour le renforcement des capacités en agriculture (RUFORUM) basé en Ouganda a lancé un appel à propositions pour un examen à mi-parcours de son programme phare intitulé « Transformer les universités agricoles africaines pour contribuer de manière significative à la croissance et au développement de l’Afrique » (TAGDev). L’examen à mi-parcours devait être entrepris au cours des six mois allant de mars à août 2020. La mission a commencé ses travaux la première semaine de mars et le rapport initial a été présenté à la fin du mois. À la même époque, le Kenya, l’un des principaux pays de mise en œuvre du programme TAGDev, enregistrait son premier cas de COVID-19, suivi peu de temps après par l’Ouganda.

L’équipe a compris très rapidement que la crise sanitaire allait empêcher l’exécution du plan de l’examen à mi-parcours prévu ayant trait aux déplacements importants et aux visites en personne sur les sites universitaires. La plupart des actions requises au titre de cet exercice ont donc été menées à l’aide d’outils numériques et virtuels. Cet article présente la méthodologie que l’équipe de l’examen à mi-parcours a conçue en réponse aux restrictions et aux protocoles sanitaires imposés par la pandémie. Il explique comment l’examen à mi-parcours a combiné de manière créative différentes approches d’évaluation, à savoir la cartographie des résultats, la récolte des résultats et la technique du changement le plus significatif (CPS), avec des méthodes plus classiques d’entretiens et d’enquêtes d’opinions en vue d’améliorer la triangulation et d’étayer les données de base. Le document fournit également des leçons, des idées et des recommandations tirées de l’expérience de l’équipe. En raison de questions liées aux droits de propriété, les conclusions de l’évaluation ne seront pas présentées dans cet article.

Contexte de l’examen à mi-parcours

L’examen à mi-parcours a été commandé par RUFORUM, une plateforme de collaboration pour le réseautage, la mobilisation des ressources et le plaidoyer, destinée à accroître la pertinence des universités africaines pour l’avènement d’un développement durable transformateur. Regroupant 129 universités membres réparties dans 38 pays africains, ce consortium aide les universités à contribuer au bien-être des petits exploitants agricoles et au développement économique de l’Afrique subsaharienne. RUFORUM a également conclu un protocole d’accord avec l’Union africaine pour renforcer les capacités du continent en science, technologie et innovation. L’examen à mi-parcours dont il est fait mention dans le présent document s’est attaché à passer en revue TAGDev, l’un des quatre programmes phares de RUFORUM actuellement en cours de mise en œuvre.

TAGDev est une initiative étalée sur huit ans, qui a été lancée en 2016 avec le soutien de la Fondation Mastercard. TAGDev ambitionne de moderniser l’enseignement agricole en Afrique par des interventions visant à transformer les individus, les institutions et les communautés grâce à des projets et des activités. Au titre de l’une de ses principales composantes, TAGDev propose des bourses d’études (220 en cycle de licence et 110 en maîtrise) à des étudiants méritants mais économiquement défavorisés afin qu’ils puissent poursuivre leur cursus universitaire.

Le programme TAGDev a été initialement mis en œuvre à l’Université d’Egerton au Kenya et à l’Université de Gulu en Ouganda. L’examen à mi-parcours a porté sur les activités de TAGDev au cours de ses quatre premières années d’existence, de 2016 à 2020. Il s’est essentiellement centré sur les deux universités précitées car celles-ci avaient été les premières à déployer le programme, dont la plupart des activités y étaient bien établies, et en raison des restrictions de voyages à l’international imposées par la pandémie de COVID-19.

L’objectif de l’examen à mi-parcours était de soutenir l’apprentissage, le perfectionnement, la responsabilité et la durabilité en évaluant les progrès, les performances, les réalisations et les leçons à tirer de la mise en œuvre de TAGDev.

L’influence de la pandémie de COVID-19 sur l’examen à mi-parcours

L’examen à mi-parcours devait durer six mois, de mars à août 2020. Le Kenya a confirmé son premier cas de COVID-19 le vendredi 13 mars 2020, et l’Ouganda le sien le dimanche 22 mars 2020. Face à l’émergence de l’épidémie, les gouvernements du Kenya et de l’Ouganda ont décrété des couvre- feux quotidiens de 19 heures à 5 heures et limité les déplacements vers et depuis les régions des pays les plus touchées. Les restrictions ont été à plusieurs reprises assouplies, dès que le nombre de cas s’était stabilisé ou avait reculé. La population a été encouragée à faire usage de masques et de désinfectant pour les mains et enjointe à pratiquer la distanciation sociale pour se protéger de l’infection. Dans l’ensemble, les équipements de protection individuelle n’ont pas été fournis gratuitement au grand public, mais ils ont été approvisionnés par les gouvernements concernés pour être disponibles à la vente.

Imposées deux à trois semaines après le début de l’examen à mi-parcours, ces mesures ainsi que la réalité induite par la COVID-19 ont affecté la tenue de  l’exercice de manière immédiate et directe. Les plans soigneusement élaborés ont été perturbés et, pour la plupart, retardés. Les activités les plus marquantes ont été reportées de plus de trois mois. À titre d’exemple, dû fin mars, le rapport initial avait été initialement soumis à ce moment-là, mais il a été réexaminé et présenté à nouveau en mai. La collecte de données a été retardée d’avril à juillet d’une part, et d’autre part, les données ont été récoltées en personne dans seulement deux et non cinq des 15 pays du programme tel que prévu, principalement en raison de l’interdiction des voyages à l’étranger.

Parmi les trois principaux défis qui ont découlé de l’application de ces mesures, les retards de livraison ont été sans doute les plus faciles à gérer. Très compréhensifs, les responsables de l’examen ont recommandé que l’équipe en charge prenne tout le temps nécessaire pour faire du bon travail. Le défi méthodologique a été relevé par la refonte des techniques d’évaluation, c’est- à-dire en mélangeant les approches et les méthodes. Enfin, sur le plan de l’éthique, l’évaluation a été confrontée aux difficultés causées par les risques de contamination auxquels les membres de l’équipe chargés de collecter des données en personne étaient exposés, notamment en visitant les répondants et les sites de terrain du projet. Bien que les membres de l’équipe ainsi que les répondants avaient tous reçu un équipement de protection individuelle, ils n’ont pas toujours été bien accueillis sur le terrain, l’anxiété et la peur de la contagion face à ces hommes venus de la ville1 ayant incité certaines personnes à refuser de prendre part à l’exercice. L’équipe a dû également faire face à un obstacle structurel. En effet, un grand nombre de personnes concernées par le projet ne possédaient pas de téléphone portable, avaient peu ou pas d’accès à Internet étaient peu familiers d’Internet et/ou des autres outils numériques requis pour participer à l’évaluation. C’est ainsi que les trois valeurs et principes de participation, de collaboration et d’autonomisation qui sont au cœur de la pratique de l’équipe chargée de l’examen à mi-parcours se sont mués en un obstacle majeur.

Mélanger les approches, adapter les méthodes

La stratégie méthodologique choisie par l’équipe chargée de l’examen à mi-parcours pour faire face à ces obstacles a été d’appliquer des approches innovantes mêlées à des méthodes d’évaluation classiques proposées dans les termes de référence de l’examen à mi-parcours. Par conséquent, l’équipe a été amenée à réaliser un examen documentaire, des entretiens en face à face et par téléphone, des visites de terrain, des discussions de groupe dirigées et des enquêtes d’opinions. En raison des restrictions de voyage, des limitations de rassemblements et des exigences de distanciation sociale, les données ont été principalement collectées à distance à l’aide de logiciels tels que Zoom, Skype et WhatsApp. Il était quasi impossible d’effectuer des visites sur le terrain. Quelques discussions de groupe dirigées et des entretiens en face à face ont été menés lorsque les restrictions se sont assouplies. En de telles occasions, l’équipe a appliqué les protocoles sanitaires obligatoires.

Approche globale de l’évaluation

L’examen à mi-parcours a adopté deux grandes approches d’évaluation : l’approche de l’évaluation basée sur l’utilisation et l’approche participative, collaborative et d’autonomisation. La cartographie des résultats, la récolte des résultats ainsi que la technique du changement le plus significatif (CPS) ont été déployées pour élargir le champ et les possibilités de participation.

Collecte des données : contexte

Pour engager et impliquer les participants au programme TAGDev, qu’ils soient étudiants, boursiers, représentants des institutions partenaires ou petits exploitants agricoles, l’équipe a utilisé des

méthodes mixtes, quantitatives et  qualitatives, pour collecter les données. Sur les 410 répondants qui ont participé à l’examen à mi-parcours, 230 se sont identifiés comme des hommes (56 %), 179 se sont identifiés comme des femmes (44 %) et seul un répondant n’a pas indiqué son sexe.

Les données ont été collectées de juin à décembre 2020 et validées entre septembre et décembre 2020. Elles ont été récoltées à l’aide des six méthodes suivantes : entretiens avec des informateurs clés, discussions de groupe dirigées, cartographie rapide des résultats, récolte des résultats, méthode des récits de cas vécus et enquêtes d’opinions.

Les données de base ont été générées au moyen des méthodes d’évaluation traditionnelles reposant sur des entretiens avec des informateurs clés, des discussions de groupe dirigées et des enquêtes d’opinions. D’autres méthodes et techniques, telles que la cartographie rapide des résultats, la récolte des résultats et la méthode des récits de cas vécus (technique CPS) ont été appliquées en complément des méthodes classiques.

Le mélange et l’adaptation se sont produits à trois niveaux : au niveau de l’échantillonnage, au niveau des méthodes et au niveau de l’analyse des données. L’utilisation de multiples méthodes est une stratégie bien établie pour la triangulation des données. Cependant, en l’espèce, les participants ont été soigneusement interrogés à l’aide de différentes méthodes. Tous les groupes partenaires de TAGDev, y compris les conférenciers, les étudiants, les agriculteurs et les exécutants, ont été exposés à plus de deux outils/méthodes de collecte de données chacun. Il y a avait une double raison à cela : premièrement, pour surmonter d’éventuelles graves lacunes dans la capacité des membres de l’équipe chargée de l’examen à mi-parcours à inspecter par eux-mêmes les sites de mise en œuvre ; et deuxièmement, pour extraire autant de données que possible. Cela a produit des analyses et des résultats plus riches et plus approfondis.

Collecte des données : méthodes utilisées

Cette section décrit les méthodes créatives et innovantes utilisées dans le cadre de l’examen à mi-parcours dans l’application de trois approches complémentaires destinées à récolter les données. Il s’agit de la technique CPS, de la cartographie des résultats et de la récolte des résultats, qui sont décrites ci-dessous.

Collecte de données à l’aide de la méthode des récits de cas vécus

S’appuyant sur la technique CPS2, la méthode des récits de cas vécus a été utilisée pour glaner des récits personnels relatant une transformation significative. Jess Dart et Rick Davies (2003) définissent la technique CPS comme « une technique dialogique, basée sur un récit », dont

« l’objectif principal est de faciliter l’amélioration du programme en orientant le travail dans une direction explicitement valorisée et en l’éloignant de toute autre direction moins valorisée » (p.137).

La technique CPS comporte trois étapes :

  • Établissement des domaines de changement
  • Mise en place d’un processus de collecte et d’examen des récits transformationnels
  • Analyse des récits

L’équipe chargée de l’examen à mi-parcours a appliqué les trois étapes de la technique. Les domaines de changement ont été identifiés à partir de la documentation se rapportant au programme TAGDev, qui énonçait les objectifs de transformation escomptés pour les boursiers, les institutions de mise en œuvre et leur personnel. Les récits extraits des entretiens ont révélé des changements au niveau des individus, des communautés et des institutions. Ces récits ont été recueillis auprès d’individus (groupes ou institutions) qui avaient été directement qués dans les activités ou les interventions liées aux projets. Les récits de cas vécus se rapportaient à des individus ou à des institutions, en fonction du narrateur, et pouvaient être de source primaire ou secondaire, selon la manière dont le récit avait été recueilli. Les récits de cas vécus de source primaire ont été consignés au cours de l’examen à mi-parcours alors que les récits de cas vécus de source secondaire avaient été compilés par TAGDev avant l’examen et mentionnés dans la documentation de TAGDev.

Collecte de données à l’aide de la cartographie et la récolte rapides des résultats

Développée par le Centre de recherches pour le développement international dans les années 1990, la cartographie des résultats est une approche d’évaluation qui met l’accent sur le changement (ou « résultat ») qui se produit lorsqu’un individu ou une institution s’implique dans une intervention dans le domaine du développement. La récolte des résultats puise aux mêmes racines que l’approche précédente mais elle interprète les « résultats » relevant de contextes complexes ou mal compris. Une différence majeure entre la cartographie des résultats et la récolte des résultats est que dans la première, les changements (résultats) sont gradués en intensité, et le changement le plus intense est supposé être le plus transformationnel. La cartographie des résultats et la récolte des résultats sont généralement mises en œuvre indépendamment l’une de l’autre. Cependant, cela n’a pas été le cas dans le cadre de l’examen à mi-parcours.

L’équipe chargée de l’examen à mi-parcours a déployé les cinq premières des 12 étapes de la cartographie des résultats dans un atelier virtuel de deux heures avec 13 membres du personnel de TAGDev. Au cours de l’atelier, les résultats du programme TAGDev ont été identifiés et collectés, sa mission et sa vision ont été confirmées. Pour chaque groupe principal impliqué dans le programme TAGDev, qu’il s’agisse de celui des agriculteurs, des étudiants, des conférenciers ou des institutions, les

participants à l’atelier ont indiqué quels étaient les partenaires limitrophes, les défis liés aux résultats et les marqueurs de progrès (c’est-à-dire les résultats gradués). Ce processus d’encadrement du personnel du programme dans les étapes de la cartographie des résultats était une partie essentielle et peu courante de l’examen à mi-parcours, rendue nécessaire par les restrictions de voyage imposées par la pandémie.

La récolte des résultats a été appliquée pour « cueillir » les résultats des transcriptions des entretiens avec les informateurs clés. Ces résultats ont été étayés dans les documents du programme (Grau, 2019). Qu’ils proviennent de la cartographie des résultats ou de la récolte des résultats, ils ont tous été classés selon les catégories propres à la cartographie des résultats, à savoir : « résultat attendu », « résultat espéré » et « résultat souhaité ». L’équipe chargée de l’examen à mi-parcours a qualifié le processus combinant la cartographie des résultats et la récolte des résultats de « cartographie et récolte rapides des résultats » (ROMAH).

Analyse des données générales

Concernant l’enquête d’opinions, l’équipe chargée de l’examen à mi-parcours a effectué une analyse de données quantitative classique à l’aide des logiciels Excel et SPSS. SPSS a servi à générer des statistiques descriptives, des tableaux de fréquence et des graphiques. Les données qualitatives des entretiens ont été triées, codées et analysées thématiquement. Les données qualitatives des récits de cas vécus et les résultats issus de l’exercice ROMAH ont fait l’objet d’analyses basées sur la quantification. L’équipe chargée de l’examen à mi-parcours a estimé que la quantification (et partant, l’analyse quantitative) des récits de cas vécus et des résultats de l’exercice ROMAH constituait une méthode innovante. C’est à ce titre que les deux prochaines sections du présent article seront consacrées à la description détaillée du processus de quantification.

Tableau 1a

tableau 1b
Notation des éléments de récit selon le sexe du narrateur pt.2

des établissements d’enseignement et de formation techniques et professionnels (EFTP). L’encadré décrit les types de changement que le programme TAGDev aurait influencés. La colonne 1 répertorie les résultats tels que décrits par les répondants, la colonne 2 étiquette chaque résultat ou marqueur de progrès, et la colonne 3 détaille le nombre de répondants ayant confirmé la réalisation du résultat en question. Une valeur de zéro dans la colonne 3 signifie qu’un résultat a été identifié dans une transcription d’entretien mais n’a pas été étayé ou corroboré ou n’a pas fait l’objet d’une appropriation par un individu du groupe limitrophe/ partenaire (dans ce cas, par un membre de l’université ou du personnel de l’EFTP). Les couleurs de la colonne 3 indiquent l’intensité du changement, où le vert est utilisé pour « résultat attendu », le jaune pour « résultat espéré » et l’orange pour « résultat souhaité ». Les changements

signalés en orange ont un fort potentiel de transformation. Lorsqu’un chiffre dans la colonne 3 est suivi du signe plus et du chiffre un (+1), cela indique que le résultat de la rangée en question est aussi issu d’un entretien avec un informateur clé.

Leçons et recommandations

Cette section traite des problèmes liés à l’exercice d’examen à mi-parcours et tire des enseignements et des recommandations pour les évaluations actuelles et futures.

Aperçus

En mélangeant les méthodes de manière innovante, l’équipe chargée de l’examen à mi-parcours a réussi à donner la priorité aux objectifs fondamentaux du programme TAGDev tout en veillant à la prise en compte de la philosophie de participation, de co-création et d’autonomisation et de l’approche axée sur la communauté. Les points de vue des participants au programme à différents niveaux (bénéficiaires de bourses, administrateurs, exécutants de projet, agriculteurs et partenaires institutionnels) ont enrichi les résultats obtenus par les méthodes traditionnelles.

La technique CPS a permis aux individus, aux communautés et aux institutions de rendre compte de leurs expériences uniques de changement et de transformation  d’une manière très personnelle. Cela a aussi offert à l’équipe chargée de l’examen à mi-parcours l’occasion d’observer les changements opérés chez les femmes et les hommes séparément.

La variété des résultats a produit une vision holistique du programme TAGDev, en révélant également des détails et des subtilités sur la façon dont les opérations, la mise en œuvre, la durabilité et les effets transformateurs  de  TAGDev  avaient touché les individus, les communautés et les institutions.

Tableau 2

Cinq mois après la conclusion de l’examen à mi-parcours, le responsable chargé de l’exercice chez RUFORUM a commenté l’utilité des méthodes retenues en expliquant ce qui suit : « Avant tout, [l’examen à mi-parcours] a adopté une approche institutionnelle pour l’évaluation du projet TAGDev. Les informations parvenues en retour à RUFORUM ont dépassé la portée du TAGDev en tant que projet. La méthodologie utilisée était assez poussée… À la différence du processus initialement prévu, cette démarche a offert une opportunité de réflexion et d’apprentissage en parallèle» (courriel adressé au responsable de l’évaluation en août 2021).

L’équipe chargée de l’examen à mi-parcours a dû faire face à plusieurs défis lors de la mise en œuvre :

  • Les déplacements étaient limités, tout comme le nombre de personnes pouvant se côtoyer en même temps. De nouvelles discussions de groupe dirigées ont dû être organisées, en particulier en Ouganda.
  • Les restrictions de voyage ont rendu presque impossible la collecte de données à partir de sites de projets tels que les fermes. L’évaluation à mi-parcours s’est donc appuyée sur des photographies et des descriptions verbales fournies par les exécutants du programme et a fait usage de la technologie des communications dans des pays du programme autres que le Kenya et l’Ouganda (Bénin, Ghana, Soudan et Zimbabwe). Bien sûr, les moyens ainsi déployés ne valaient pas les observations en personne.
  • Le temps passé sur Zoom, Skype et le téléphone était limité par des facteurs pratiques, tels que les interruptions et les problèmes de connectivité réseau.
  • Il y avait aussi d’autres difficultés en jeu :
    • Les responsables de la mise en œuvre du programme n’étaient pas familiers avec certaines méthodes de collecte de données (cartographie des résultats, récolte des résultats et technique CPS).
    • Les récits narrés n’étaient pas structurés de la même manière.
    • Certains récits de cas vécus de source secondaire n’ont pas permis de mettre en relief les éléments clés de changement et de transformation que l’équipe chargée de l’examen à mi-parcours recherchait.

Résultats

Les entretiens avec les informateurs clés, les enquêtes, les discussions de groupe dirigées virtuelles et les récits de cas vécus n’ont pas nécessité d’interaction en personne et ont donc pu avoir lieu à distance. Cependant, la cartographie des résultats et la récolte des résultats sont des méthodes participatives qui ont dû être modifiées aux fins de leur utilisation à distance. La grande victime de la pandémie a été la traditionnelle visite de terrain.

L’utilisation par l’équipe chargée de l’examen à mi-parcours de méthodes diverses, flexibles et accessibles a permis à de multiples parties prenantes à différents niveaux d’apporter leur contribuer par tous les moyens dont ils disposaient en fonction de leur emplacement et leur contexte (téléphones portables, ordinateurs, ordinateurs portables). Les résultats du mélange de la cartographie des résultats et de la récolte des résultats montrent que les deux approches fonctionnent bien ensemble3. L’innovation était au cœur de la récolte des résultats concernant les transcriptions des entretiens avec les informateurs clés, qui ont été également analysés de manière classique. Pour adapter l’examen à mi-parcours à la situation imposée par la COVID-19, l’équipe chargée de l’examen à mi-parcours a coaché les participants sur la cartographie des résultats pendant deux heures. La formation traditionnelle aurait duré plus longtemps, voire plusieurs jours.

Les discussions de groupe dirigées virtuelles ont été une stratégie utile pour réduire les coûts. Lorsque les membres des équipes nationales ont mené des discussions de groupe dirigées en présentiel dans les communautés et qu’il a fallu pour cela respecter les protocoles sanitaires imposées par la COVID-19 et se munir des équipements de protection individuelle appropriés, des coûts supplémentaires ont été engagés.

La transformation et la quantification des données qualitatives ont permis de réaliser des analyses quantitatives et produit différentes façons utiles de visualiser les résultats.

Leçons tirées de l’évaluation pendant la pandémie

La première leçon tirée du suivi et de l’évaluation dans le contexte de la COVID-19 était que la distanciation sociale avait restreint le concept, la définition et la réalité du « terrain ». Elle a privé les évaluateurs des possibilités d’observer les participants au projet et d’interagir avec eux en toute liberté, de faire l’expérience du projet de première main, de s’engager sur les sites de projet avec les acteurs concernés et d’appliquer d’autres processus associés au travail de terrain traditionnel.

La deuxième leçon était que les méthodes classiques, peu conventionnelles ou nouvelles pouvaient être combinées de manière créative et innovante pour gérer le suivi, l’évaluation, la redevabilité et l’apprentissage (MEAL) en ces temps incertains et difficiles. Les circonstances ont montré que les évaluateurs avaient besoin d’un nouvel ensemble de compétences en science des données et en visualisation, et d’aptitudes leur permettant d’appliquer des méthodes d’évaluation peu courantes, des méthodes nouvelles et des méthodes encore en développement.

La troisième leçon était que la programmation du développement est appelée à se poursuivre, tout comme le suivi et l’évaluation, malgré et en dépit d’une crise sanitaire. La pandémie a mis en exergue la valeur critique, voire la nécessité des informations et des données aux fins de la prise de décisions. Mais des retards sont à prévoir et doivent être planifiés en conséquence.

La principale leçon à retenir pour le contexte post-COVID-19 est que les pratiques qui ont été modifiées pendant la pandémie ne sont pas susceptibles de revenir à leur état d’avant la-COVID-19. Les évaluateurs, les agents de programme et les gestionnaires doivent se réoutiller (en faisant appel aux outils numériques), se recycler (en apprenant à fonctionner efficacement dans des environnements

virtuels) et réinventer des méthodes de travail qui répondent aux besoins humains dans des environnements virtuels.

Conclusion

La pandémie de COVID-19 de 2020 a causé des ravages partout dans le monde pendant près de deux ans. Malgré l’apparition de nouvelles variantes du virus de temps à autre, la situation s’améliore lentement à mesure que des vaccins deviennent disponibles dans les différents pays et que des traitements sont découverts. Cependant, le virus reste très dangereux, en Afrique comme ailleurs. Qu’est-ce que cela implique pour la pratique du S&E en général? Quelles en sont les conséquences pour le S&E au Kenya et en Ouganda, où l’essentiel de l’examen à mi-parcours a eu lieu ?

La plupart des commentateurs pensent qu’il est peu probable que la vie telle que nous la connaissons revienne à ce qu’elle était avant la pandémie. Dans le cadre de ce que l’on appelle désormais la « nouvelle normalité », il est impératif que les activités MEAL se perpétuent et que les évaluateurs MEAL trouvent des moyens d’être créatifs et innovants. L’examen à mi-parcours discuté dans cet article prouve que le contexte actuel exige de la flexibilité et un choix judicieux d’outils, de techniques et de méthodes qui génèrent des informations et des données significatives en engageant les parties prenantes, même à distance, pour capturer les effets réels d’une initiative.

Compte tenu de ce qui précède, nous suggérons plusieurs recommandations. Premièrement, il appartient aux responsables chargés de présider aux évaluations d’accorder plus de temps et de flexibilité méthodologique à celles-ci. Les courts délais de deux ou trois mois doivent être relégués au passé. Deuxièmement, il convient que les évaluateurs deviennent plus innovants et créatifs, en mélangeant les outils, les techniques et les méthodes pour améliorer leurs évaluations et garantir l’utilisation de leurs conclusions.

De meilleures aptitudes et compétences et une connaissance plus approfondie des nouveaux outils, techniques et méthodes sont essentielles en période d’incertitude, comme c’est le cas durant une pandémie. Troisièmement, il importe que les méthodes visant à favoriser la participation, l’inclusion

et  l’implication  de  tous  les  groupes d’individus engagés dans une initiative, en particulier celles qui impliquent la collecte de données à distance, soient sélectionnées avec soin pour éviter la marginalisation ou la discrimination systématique à l’encontre de certains groupes.


Notes de fin

  1. Les membres de l'équipe chargés de l’examen à mi-parcours étaient perçus comme venant de Nairobi ou de Kampala, qui étaient les épicentres de l'épidémie.
  2. https://www.mande.co.uk/wp-content/uploads/2005/ MSCGuide.pdf The ‘Most Significant Change’ (MSC) Technique A Guide to Its Use
  3. Un document récemment publié sur le site Outcome Mapping Communauté d’apprentissage aborde ces concepts, leurs similitudes, leurs différences et leurs utilisations. https://www.outcomemapping.ca/resource/outcome-mapping-and-outcome-harvesting-common-concepts-s-and-uses 27/4/21

Références

  1. Aisiri, A. et al., 2020, Use of the most significant change technique to evaluate the intervention in promoting childbirth spacing in Nigeria. African Evaluation Journal, 8(1).
  2. Anon, Guidelines for Evidence Use in POLICY Analysis and Decision Making, No. 10 of 2017 http:// www.kenyalaw.org:8181/exist/kenyalex/actview. xql?actid=No.+10+of+2017 [Consulté le 2 mai 2020].
  3. Dart, J. et Davies, R., 2003, A dialogical, story-based evaluation tool: The most significant change technique, American Journal of Evaluation, 24(2), p.137–155.
  4. Dart, J., Stories for change: A systematic approach to participatory monitoring. Disponible à l’adresse : https://www.researchgate.net/publication/228931057_ Stories_for_Change_A_systematic_approach_to_ participatory_monitoring [Consulté le 2 mai 2020].
  5. Earl, S., Carden, F. et Smutylo, T., 2014, Outcome mapping building learning and reflection into development programs, Ottawa: IDRC Books / Les Éditions du CRDI.
  6. GRAIDE International Consultants, 2021, Midterm review (MTR) of RUFORUM’s ‘Transforming African Agricultural Universities to Meaningfully Contribute to Africa’s Growth and Development (TAGDev)’.
  7. Ministère de la Santé de la République du Kenya, 2022, Update on Novel Coronavirus, (02/02/2020). Ministère de la Santé République du Kenya. http://www.health. go.ke/press-releases/.
  8. Ministère de la Santé de la République du Kenya, 2020, Update on Novel Coronavirus, (04/03/2020).
  9. Ministère de la Santé de la République du Kenya, 2020, Update on Novel Coronavirus, (19/02/2020).
  10. Président du Kenya, 2020, Presidential address on the state interventions to cushion Kenyans against economic effects of covid-19 pandemic on 25th March 2020. The Presidency.
  11. ht tps://www.pr esident.go.k e/2 0 2 0/0 3/25/  presidential-address-on-the-state-interventions-to- cushion-kenyans-against-economic-effects-of-covid-19- pandemic-on-25th-march-2020/ [Consulté le 2 mai 2020].
  12. Réseau international pour l’avancement de la science et des politiques (INASP), Evidence-informed policy making (EIPM) toolkit. INASP. https://www.inasp. info/publications/evidence-informed-policy-making- eipm-toolkit [Consulté le 2 mai 2020]. Serrat, O., 2017, The most significant change technique. Knowledge Solutions, p.35–38.
  13. ThinkWell, 2022, Uganda’s Emergency Response to the COVID-19 Pandemic: A Case Study Uganda Report / https://thinkwell.global/wp-content/uploads/2020/09/ Uganda-COVID-19-Case-Study-_18-Sept-20201.pdf [Consulté le 2 mai 2020].

Author(s)


Sinmi

Sinmi Akin-Aina est doctorante en histoire et sociologie à la Bielefeld Graduate School de Bielefeld, en Allemagne. Son travail de recherche porte sur les réfugiés, les villes, la citoyenneté et le transnationalisme. Outre son intérêt pour la recherche, Sinmi effectue des missions de coordination de projets et d’évaluation de programmes à l’African Leadership Centre (ALC) (à Nairobi et au King’s College de Londres) et conduit des évaluations pour le projet Borderless Higher Education for Refugees au camp de réfugiés de Dadaab (Université York). Elle a également collaboré avec la Commission économique des Nations Unies pour l’Afrique (CEA), le Système national intégré de suivi et d’évaluation (SNISE) du Kenya et le Forum régional des universités pour le renforcement des capacités en agriculture (RUFORUM). Sinmi est titulaire d’un baccalauréat ès arts en sociologie de l’Université McGill et d’une maîtrise en travail social de l’Université Carleton.


 

Charles

Charles Atamba Elly est titulaire d’une maîtrise ès arts en économie et d’un baccalauréat ès arts (avec distinction) en économie et en sociologie. Expert formé en suivi et évaluation, il dispose à son actif de plus de 10 ans d’expérience dans le développement, la planification stratégique et la gestion des

performances, les enquêtes de référence, le suivi et l’évaluation de projets/programmes, la gestion de la qualité ISO 9001:2008, l’analyse économique des politiques publiques, l’évaluation et la recherche. C’est aussi un formateur de formateurs expérimenté.

Charles a travaillé comme membre du personnel de programme et coordinateur de projet pour divers organismes publiques. Entre autres missions, il a coordonné un programme de la Banque mondiale placé sous la responsabilité d’un ministère. Il bénéficie d’une vaste expertise de la gestion de projets locaux, du suivi et de l’évaluation de projets et de l’utilisation d’évaluations d’impact pour lier les politiques publiques aux besoins des citoyens. Charles a participé à plusieurs groupes de travail techniques chargés de missions nationales importantes telles que le renforcement du Système national intégré de suivi et d’évaluation (SNISE) du Kenya et l’élaboration d’un manuel national de politique publique.


 

Etta

Florence Etta, juge du Concours mondial de cas en évaluation (World Evaluation Case Competition) est co-vice-présidente du réseau mondial d’EVALSDGs créé en 2015 par EvalPartners et vice-présidente du Réseau d’évaluateurs de développement et de genre africain (AGDEN), fondé en 2002. Elle a présidé le Comité consultatif mondial d’évaluation d’ONU Femmes de 2017 à 2019 et a été la sixième présidente de l’Association africaine d’évaluation (AfrEA). Florence est membre de l’Association des évaluateurs nigérians. Elle est titulaire d’un doctorat de l’Institute of Education de l’Université de Londres.


 

Mutavi

Jackson Mutavi est un spécialiste du suivi, de l’évaluation, de la redevabilité et de l’apprentissage (MEAL) et un expert en planification stratégique qui compte plus de 12 ans d’expérience dans les domaines des droits de l’homme, des soins de santé (bien-être de la mère et de l’enfant, systèmes de santé, santé mentale), de la violence sexuelle basée sur le genre et du développement international sensible au genre et axé sur l’équité. Il est basé à Nairobi, au Kenya.

Évaluateur chevronné, Jackson est un spécialiste de la gestion des données, un chercheur et un formateur expérimenté qui a collaboré avec des organisations gouvernementales et à but non lucratif. Il intervient dans divers contextes culturels, notamment dans le nord-est du Kenya auprès des réfugiés accueillis dans les camps, dans le comté de Nairobi auprès des réfugiés urbains et en Afrique de l’Est. Ses travaux les plus récents se sont concentrés sur les examens à mi-parcours, les évaluations de programmes, le renforcement des capacités, les études d’impact (essais contrôlés aléatoires) et la recherche sur les méthodes mixtes. Jackson possède une expérience considérable en ce qui a trait aux méthodologies de recherche, notamment des méthodes qualitatives et quantitatives.

Titulaire d’une maîtrise ès sciences en statistiques sociales et technologies de l’information de l’Université Kenyatta, Jackson détient un certificat en suivi et évaluation des programmes de santé de l’Université de Nairobi.