Joindre l’action à la parole : les évaluateurs apprennent-ils des succès et des échecs de leurs évaluations ?

L’apprentissage : un aspect fondamental de l’évaluation

Les évaluateurs aident les clients à devenir plus responsables et à améliorer leurs interventions, leurs politiques et leurs programmes. À chaque évaluation, l’évaluateur fournit à son client un compte-rendu appréciatif de la teneur de ses interventions, ses politiques ou ses programmes. L’évaluation recommande également au client des moyens d’améliorer sa prochaine série d’interventions, de politiques et de programmes. En tant que tel, l’identification des leçons apprises fait partie intégrante du travail des évaluateurs.

Si l’apprentissage constitue un pilier fondamental de l’évaluation, il est essentiel de déterminer si le processus d’apprentissage est aussi compris dans l’auto-évaluation des évaluateurs. Les évaluateurs tirent-ils parti des leçons apprises de leurs évaluations pour renforcer leurs connaissances et améliorer leurs performances ? Les évaluateurs sont-ils disposés à apprendre autant de leurs échecs que de leurs succès ? Les évaluateurs font-ils volontiers état de leurs échecs comme de leurs succès, ou prennent-ils seulement le parti de ne divulguer que ce qui a bien fonctionné ?

Envisagés à travers le prisme sociétal contemporain, le succès est célébré, l’échec est stigmatisé

Le terme « échec » est synonyme de « faillite » au sens figuré. Autrefois utilisé pour désigner l’état de celui qui n’est plus en état de payer ses créanciers, le terme de « faillite » en est venu à être associé à des manquements au niveau personnel. Aujourd’hui, la société chérit le succès et perçoit généralement l’échec comme quelque chose à éviter (Loscalzo, 2014). Puisque le succès et l’échec ne peuvent pas coexister, le premier est célébré alors que le deuxième tend à être passé sous silence. Plus précisément, de nombreuses personnes vivent l’échec comme une menace pour leur ego (Eskreis-Winkler et Fishbach, 2019), voire comme une défaillance personnelle.

Ainsi, la plupart des gens qui ont le sentiment de s’être trompés, que ce soit par négligence, par manque d’effort ou par manque de clairvoyance, essaient d’éviter de refaire la même erreur à l’avenir. Cela dit, ils sont généralement trop humiliés pour parler de leur mésaventure et attendent que la douleur, la déception et l’embarras qu’ils en ont ressentis se soient estompés. Cela est vrai dans le cas où l’évaluateur prend conscience d’une défaillance personnelle qu’il considère comme étant inacceptable mais aussi lorsque le client lui-même perçoit une défaillance professionnelle qu’il juge irrecevable de la part de l’évaluateur. Dans les deux cas, l’évaluateur peut craindre que l’incident en question ne le stigmatise et le prive de futures possibilités de travail. C’est pourquoi les évaluateurs trouvent qu’il est plus facile et plus avantageux de partager leurs succès plutôt que leurs échecs. Pour preuve, penchons-nous sur l’initiative Fail Forward, qui a été créée en 2010 pour aider les organisations à apprendre de leurs

échecs. À ce jour, seuls 28 rapports d’échec et événements de partage d’échec ont été publiés sur le site Web de l’initiative, alors que la page Web Admitting Failure n’affiche que 16 rapports faisant état d’un aveu d’échec.

Bien entendu, toute la difficulté réside dans le fait que le succès et l’échec peuvent être interprétés différemment, selon la profession, l’organisation, la tâche ou l’activité à accomplir. Bien que l’échec dans certaines situations puisse être dévastateur, comme par exemple lorsqu’une erreur technique fait exploser une navette spatiale en plein vol, il existe des situations ou l’échec peut être toléré, voire accepté. Ainsi, la parution de bon nombre de documents et de travaux de recherche suscite souvent des critiques acerbes et décourageantes. Le cas échéant, même lorsque les universitaires visés peuvent être tentés de jeter l’éponge, ils reconnaissent que les publications sont le seul moyen à leur disposition pour être titularisés. Alors, ils persévèrent, font taire leur ego, transforment leur découragement en synergie créative et font ce qui est nécessaire pour être publiés à nouveau.

En général, le succès est souvent jaugé à l’aune d’un certain type de mesure. Cela dit, la contextualisation peut être appropriée, même en termes de mesures. Par exemple, les programmes qui n’ont pas atteint la plupart de leurs objectifs en 2020 doivent-ils être considérés comme des échecs, même si les restrictions liées à la COVID-19 ont entravé leurs opérations ?

Les évaluateurs tirent-ils des leçons des succès et des échecs de leurs évaluations ?

La littérature qui s’intéresse à la question de savoir si les évaluateurs apprennent des succès et des échecs de leurs évaluations est limitée. Néanmoins, les évaluateurs seraient hypocrites s’ils prêchaient une parole à leurs clients, à savoir l’importance d’apprendre de ses propres erreurs, sans la mettre en application eux-mêmes. De plus, dans une profession qui n’est encore ni bien établie ni même acceptée dans plusieurs parties du monde, les évaluateurs ne peuvent se permettre de répéter les mêmes erreurs, ou de ne pas apprendre de leurs échecs, car cela compromettrait la croissance et l’intégrité d’une profession qui n’en est encore qu’à ses débuts. Et puisque l’évaluation reste une discipline naissante, nous devons constamment nous efforcer de la promouvoir comme quelque chose de bénéfique et de vital pour la prise de décisions. Cela signifie que nous n’avons guère d’autre choix que de tirer parti de nos succès et d’apprendre de nos erreurs, afin d’être pris au sérieux.

Une revue de la littérature révèle deux compilations remarquables sur les succès et les échecs de l’évaluation. La première est une édition spéciale publiée à l’occasion du 25e anniversaire de la Revue canadienne d’évaluation de programme (RCEP) en 2012, sous la direction de Michael Quinn Patton et comportant des histoires de succès partiels. La seconde est une compilation plus récente éditée par Kylie Hutchinson et intitulée Evaluation Failures: 22 Tales of Mistakes Made and Lessons Learned, qui présente des leçons apprises sur les pièges de l’évaluation et les moyens de les éviter. Le principal message à retenir de l’ouvrage est que même les évaluateurs les plus expérimentés peuvent se tromper et commettre des erreurs d’appréciation dans le cadre de leur travail. Contrairement au concept véhiculé par ces deux publications, la conférence annuelle 2015 de l’American Evaluation Association qui avait pour thème

« Exemplary Evaluations in a Multicultural World: Learning from Evaluation’s Successes » a adopté une autre approche. L’absence de toute référence à la notion de « défaillance » dans la formulation du thème n’est pas surprenante, compte tenu de la connotation négative généralement associée à l’échec. Fait intéressant, la conférence avait organisé une session unique sur l’échec, qui s’intitulait « Apprendre de ses échecs ». Selon Hutchinson (2018), cette session visait à contrebalancer le thème de la conférence en permettant aux évaluateurs d’évoquer leurs défaillances. La séance a attiré un grand nombre de participants.

Dans une évaluation donnée, beaucoup de choses peuvent mal tourner. Même la planification la plus méticuleuse n’exclut pas l’éventualité de survenue de problèmes. L’expérience de l’évaluateur détermine souvent la manière dont ces problèmes sont gérés et résolus. Il est des problèmes qui trouvent aisément une solution tandis que d’autres nécessitent une négociation avec le client pour parvenir à un compromis. Certains problèmes sont tout simplement impossibles à surmonter et deviennent rapidement incontrôlables. Qu’ils soient causés par l’inexpérience, le manque de clairvoyance ou des événements indépendants de la volonté de l’évaluateur, les problèmes qui apparaissent lors d’une évaluation peuvent coûter cher et avoir des conséquences et des répercussions profondes.

Pourtant, un succès incomplet ou un échec pur et simple peut offrir des opportunités d’apprentissage, ouvrir des perspectives intéressantes (Dahlin, Chuang et Roulet, 2017), être une source d’enseignements (Loscalzo, 2014) ou se transformer en une condition préalable à un succès futur (Noonan, n.d.). En fait, la plupart des recherches, sinon toutes, sont le fruit de longs tâtonnements jalonnés d’échecs. Exposer nos problèmes, admettre nos erreurs, partager nos échanges sur un forum public et réfléchir attentivement à ce qui s’est passé peut nous aider à comprendre la cause de l’échec et comment éviter les erreurs à l’avenir. S’interroger sur les raisons de l’échec contribue également à renforcer notre résilience et notre endurance, à nous rendre plus sages et plus adaptables. Pourtant, la création d’un espace de réflexion peut s’avérer être une tâche capitale (Hutchinson, 2018), même si le Référentiel des compétences professionnelles requises à l’exercice d’évaluation de programmes élaborées par la Société canadienne d’évaluation considère la pratique réflexive comme un domaine de compétence. Et même si toutes les organisations bénévoles d’évaluation professionnelle ne partagent pas cette position, nous pensons que la plupart des évaluateurs engagent une réflexion introspective afin d’éviter de commettre les mêmes erreurs. En fin de compte, il faut bien comprendre que la résiliation d’un contrat d’évaluation, la perte d’argent sur un travail effectué ou l’atteinte à sa réputation professionnelle sont autant de conditions qui affectent les moyens de subsistance d’un évaluateur et ne sont en aucun cas des expériences que celui-ci souhaite voir se reproduire. Les erreurs de jugement sont un fait. En tant qu’évaluateurs, nous devons accepter que nous sommes des êtres humains et en tant que tels, enclins à commettre des erreurs d’appréciation. Nous devons également reconnaître que dans notre profession, il y a de plus en plus de considérations politiques qui régissent les évaluations et nous n’avons d’autre choix que d’apprendre à manœuvrer pour éviter ces obstacles.

Définir le succès et l’échec dans les évaluations : une zone grise

Conclure à la réussite totale ou partielle d’une mission d’évaluation ou à son échec à des degrés divers semble être un exercice nébuleux car il s’agit d’une zone grise, en demi-teintes (voir Figure 1). En effet, le succès et l’échec sont des concepts relatifs qui sont truffés de nuances méthodologiques (comme par exemple, les repères ou les perceptions). Plus précisément, chercher à comprendre ce que signifie le succès et pour qui, s’il s’agit d’un fait ou d’une interprétation des faits, sont autant de questions auxquelles il est impossible de répondre hors contexte (McConnell, 2011). Différentes parties prenantes, y compris les évaluateurs, voient ces concepts différemment. Selon Patton (2012), le succès est déterminé par les critères, ou l’absence de critères, utilisés pour le définir. Les évaluateurs adhèrent à diverses normes d’évaluation et de recherche et suivent différentes lignes directrices pour exécuter leur travail. Pour nombre d’entre eux, le succès correspond donc à la mesure dans laquelle ces normes et lignes directrices auront servi à protéger et à préserver l’intégrité et la crédibilité de leur évaluation. Pour d’autres, le succès se mesure à l’aune du niveau de la rigueur méthodologique adoptée dans l’évaluation et de la crédibilité des conclusions de l’évaluation (Owen, 2012). Enfin, certains assimilent la notion de succès à une communication efficace (Perrin, 2012) ou aux modalités d’exploitation des résultats (Lee, 2012).

La littérature documente une multitude de problèmes susceptibles de compromettre le succès d’une évaluation : défis contextuels ; insuffisances de la part du client ; problèmes de personnes ; glissement de la portée ; mécanismes inadéquats pour la conformité avec le calendrier et le budget de l’évaluation ; manque de contrôle de la part de l’évaluateur fortement tributaire de l’approbation du client pour la plupart des aspects liés à l’évaluation ; absence d’une culture de

l’évaluation ; attentes irréalistes de la part du client; incapacité de l’évaluateur à établir des priorités claires en concertation avec le client; objectif peu clair de l’évaluation ; attentes mal alignées; évaluateur travaillant seul ; trace documentaire inadéquate ; environnements organisationnels turbulents avec un roulement constant du personnel ; réunions des parties prenantes insuffisantes pour recueillir l’adhésion; implication de nouvelles parties prenantes ; hypothèses inappropriées ; compréhension insuffisante

du contexte local ; méthodologie et approche insuffisamment adaptées au contexte local ; éléments de langage mal choisis ; réticence de l’évaluateur à communiquer les préoccupations en amont ; et contrats non détaillés méticuleusement. Combinés à la dynamique du pouvoir et aux influences politiques susceptibles d’avoir un effet sur l’évaluation, ces problèmes peuvent être une source de succès incomplet ou d’échec pur et simple. 

Malgré la difficulté de définir le succès et l’échec en évaluation, la volonté des évaluateurs de partager toute leur expérience, positive ou négative, d’une manière éthique est la clé de l’apprentissage dans le domaine de l’évaluation. Lorsque les évaluateurs partagent leur inexpérience aussi bien que l’éventail de leurs connaissances, cela encourage d’autres évaluateurs à élaborer des listes, des repères et des outils afin de les adapter aux diverses situations. Et gardons-nous d’utiliser le prétexte des zones grises. Celles-ci existent car chaque situation est unique. Il est de la responsabilité des évaluateurs d’apprendre de l’expérience des autres et d’appliquer les enseignements tirés de toutes les situations, qu’elles soient uniques ou non.

Conclusion

La plupart des évaluateurs recommandent à leurs clients de tirer parti des leçons apprises de l’intervention évaluée aux fins d’améliorer la qualité de leurs futures interventions en conséquence. En tant qu’évaluateurs, nous devons nous aussi « joindre l’action à la parole ». Ceci est important pour favoriser notre épanouissement et notre perfectionnement professionnels ainsi que la croissance et le développement de notre profession. Pourtant, lorsqu’ils sont analysés de manière critique, les succès, les succès incomplets et les échecs sont des zones grises sujettes à interprétation. Cette interprétation dépend du programme, de la perspective propre à chacun, des critères utilisés et d’autres éléments. Par conséquent, il importe que les évaluateurs soient aussi ouverts que possible sur tous les aspects de leur expérience. Ce n’est qu’ainsi qu’ils fourniront à leurs pairs les éléments contextuels nécessaires pour leur permettre d’évaluer la facilité d’utilisation et l’applicabilité des leçons partagées.