LE 28 NOVEMBRE 2014

L'évaluation au service des besoins des décideurs

Notes d'allocution de Benoît Gauthier, président de la Société canadienne d'évaluation pour sa présentation du 3 novembre 2014 au congrès du Social Impact Analyst Association 2014 : Talking Data: Measurement with a Message.

Je vous remercie de m'avoir invité aujourd'hui. Je suis heureux de représenter la Société canadienne d'évaluation et ses 1 800 membres. En me basant sur mon expérience à titre d'évaluateur ainsi que sur l'expérience collective et sur les leçons apprises par les évaluateurs depuis plusieurs décennies, j'espère contribuer à votre réflexion.

Ce congrès a pour thème : « mesurer pour parvenir au bon message » [traduction libre]. Le programme cite quelques exemples comme rédiger pour les bailleurs de fonds, communiquer directement aux décideurs et relater des histoires aux intervenants. Enfin, le thème de ce congrès fait état du souci de rendre l'information vivante, utilisable et utilisée.

L'utilisation est, pour les évaluateurs que je représente aujourd'hui, une préoccupation de longue date. L'ouvrage précurseur de Michael Quinn Patton date de 1978, il y a déjà 40 ans. Son livre, intitulé «Utilization-Focussed Evaluation » [1], a été publié pas moins de quatre fois en plus de la publication, en 2012, d'une version abrégée [2]. Le sujet est bien vivant en évaluation comme en témoignent les résultats sur Google : 400 000 résultats de recherche pour les termes « Utilization-Focussed Evaluation » (Évaluation fondée sur l'utilisation), sans compter les 6 000 articles de recherche au sujet des travaux de Patton.

Quatre décennies de recherche sur l'évaluation fondée sur l'utilisation ont mené à un certain nombre d'observations solides que je tenterai de vous résumer maintenant.

En premier lieu, pour que l'évaluation, comme la connaissance en général, soit utilisée dans un processus décisionnel, l'organisation doit être prête à accepter le défi que représente le questionnement de soi. Il doit y avoir perméabilité aux nouvelles idées et données. Une organisation fondée sur l'idéologie, incapable de remettre en question ses assises ne se servira tout simplement pas des indicateurs de rendement qui contrediraient ces dernières.

Deuxièmement, les connaissances directement exploitables représentent un produit dérivé, créé par un processus d'engagement qui coopte le personnel et les gestionnaires au sein du processus d'évaluation. L'évaluation, lorsqu'elle est menée de manière autonome, sans la participation de l'organisation, risque de ne pas servir — à moins de voir ses résultats correspondre aux intérêts ou attentes d'un groupe d'influence en particulier. L'idéal serait la participation à chaque étape du processus : lors du choix de l'approche, de l'identification des méthodologies et des instruments de mesure, de la conception de la logique de la démonstration, de l'interprétation des observations et finalement, lors de la rédaction des conclusions.

Troisièmement, les possibilités d'enjeux à évaluer ou de résultats sociaux à analyser sont toujours plus volumineuses que les limites imposées par tout processus de rétroaction (budget, temps, expertise, etc.). Ainsi, il devient crucial d'identifier les objectifs prioritaires de la rétroaction — c'est au personnel, aux gestionnaires et aux autres intervenants de placer ces derniers en priorité. Une fois de plus, les priorités du développement des connaissances doivent être identifiées par le biais de l'éducation et de l'engagement.

Quatrièmement, il est peu probable que des amas éparpillés de données et de chiffres soient utiles. La connaissance doit être organisée en récits qui sauront parler aux intervenants et respecter la complexité du monde dans lequel l'organisation évolue. Pour ceux qui reçoivent la connaissance, il est si simple de remplacer des données inattendues par d'autres obtenues dans certains cas particuliers qui pointent vers une conclusion contraire. Pour organiser leurs travaux et raconter leurs récits, les évaluateurs utilisent des modèles logiques, des théories de programmes, des cartes systémiques, ainsi que d'autres outils servant à simplifier leur tâche — en évitant la science des cas particuliers — tout en permettant l'accès aux importantes interactions du quotidien de figurer parmi leurs conclusions.

En cinquième place figurent les communications destinées aux décideurs et produites avec eux; elles représentent clairement un facteur prépondérant dans l'utilisation de la connaissance. Il y a plusieurs facettes à la communication. Le moment choisi pour en faire le partage, commençant très tôt et s'échelonnant dans le temps, est essentiel. La méthode de communication est clef : si le rapport définitif s'avère encore le moyen privilégié de communication, d'autres méthodes gagnent en popularité parmi lesquelles les sommaires thématiques, les articles de bulletins de nouvelles, les brochures, les communiqués de presse, les comptes-rendus verbaux, les groupes de discussion, les retraites, les séances de scénarisation, les présentations créatives, les débats et autres. Adapter le contenu est tout aussi essentiel : certains publics ne sont pas intéressés par les instruments de mesure et veulent plutôt se tourner vers les leçons apprises, d'autres ont besoin de se faire convaincre qu'une mesure est fiable avant de se préoccuper des résultats.

Patton a identifié cinq principes reliés aux rapports centrés sur l'utilisation :

1. Rendre compte de manière intentionnelle, c'est-à-dire, choisir le message le plus important à transmettre au public, et demeurer fidèle à cet objectif.
2. Demeurer centré sur l'utilisateur : rechercher les priorités de l'utilisateur visé et répondre à ses questions.
3. Utiliser des graphiques et autres visuels pour communiquer de manière succincte et puissante (art auquel j'aspire de toute évidence encore).
4. Préparer les utilisateurs aux conclusions contre-intuitives.
5. Distinguer la diffusion de l'utilisation : les évaluateurs diraient que la diffusion est un extrant tandis que l'utilisation est un impact.

En sixième lieu, l'utilisation doit être facilitée par le service après-vente ou par le soutien : les décideurs pourraient bien se servir de nouvelles connaissances bien conçues, produites par un engagement de proximité, mais ils pourraient avoir besoin de se faire rappeler les conséquences de ces connaissances pour la gestion de leur entreprise. L'évaluateur ou l'analyste de l'impact social n'est pas le propriétaire de la connaissance, mais il a contribué en profondeur à son développement. Il s'avère donc dans une position stratégique pour appuyer son application à diverses situations au sein de l'entreprise.

Ce dernier facteur d'utilisation suppose une fonction d'influence pour l'analyste. Cette prise de position peut être contraire à l'indépendance typiquement recherchée de l'évaluateur. Comment donc réconcilier l'autonomie, l'influence et la capacité de réponse aux besoins de l'organisation? Ces concepts, selon Rakesh Mohan et Kathleen Sullivan [3], ne s'excluent pas mutuellement et des stratégies existent pour maximiser l'autonomie et la capacité de réponse. Ces stratégies comprennent :

1. l'identification des intervenants clés et de leurs interactions;
2. L'étude approfondie des besoins et l'analyse sur mesure pour divers intervenants;
3. La reconnaissance et le respect des contraintes temporelles;
4. l'utilisation judicieuse de l'autorité;
5. l'utilisation de méthodes qui produisent des informations considérées fiables vues d'une grande variété de perspectives;
6. la production de rapports équilibrés;
7. l'utilisation de normes professionnelles pour guider le travail.

Cette dernière stratégie s'avère fort importante. Les évaluateurs ainsi que les analystes de l'impact social sont ouverts aux critiques s'ils n'adhèrent pas à des normes professionnelles bien établies. Depuis des décennies, les évaluateurs développent des normes maintenant reconnues officiellement en Amérique du Nord, en Europe et en Afrique [4]. Les éléments essentiels de ces normes sont liés à l'engagement des intervenants, à l'autonomie, à la crédibilité de la preuve, à la protection de la confidentialité de certaines informations, à l'assurance de la qualité, à l'équilibre entre l'analyse et la diffusion, et à la tenue de dossiers. Ces normes, en plus de lignes directrices d'éthique et de compétences professionnelles, constituent l'un des trois piliers du programme des titres professionnels de la Société canadienne d'évaluation.

Quel est donc le lien entre toute cette information et le thème du congrès? La présentation de données et un ingrédient fondamental dans la recette pour influencer les décideurs et l'utilisation de connaissances. Par contre, il n'est qu'un seul parmi tant d'autres. J'avance qu'une magnifique présentation créée à partir de preuves mal ciblées ne sera pas aussi efficace qu'une piètre présentation conçue à partir de preuves bien choisies, mais je crois de tout cœur que l'utilisation optimale de la preuve survient lorsque tous les moteurs de l'utilisation s'harmonisent : l'ouverture, l'engagement, l'établissement de priorités, la présentation de récits, la communication et l'influence.

Je vous laisse avec une dernière pensée. L'utilisation prend plusieurs formes. Kusters et ses associées ont identifié sept types d'utilisation [5]. Ils sont :

• L'utilisation directe ou instrumentale qui a un impact sur les décisions et les actions. C'est peut-être le type d'utilisation qui a inspiré votre participation à ce congrès.
• L'utilisation conceptuelle influe sur la pensée concernant certains enjeux et les confronte.
• L'utilisation symbolique influe sur la justification d'une action.
   
  L'on cite souvent ces trois utilisations, mais quatre autres ont aussi été identifiées :
• L'utilisation découlant du processus provient d'une implication au niveau du processus de création de la connaissance; elle pourrait représenter l'adoption d'une nouvelle approche au processus décisionnel.
• L'utilisation relationnelle modifie le partage des rôles et des fonctions au sein d'une organisation.
• L'utilisation par les valeurs modifie les objectifs fondamentaux, les aspirations ou les motivations.
• L'utilisation externe influence la capacité d'adaptation des individus à l'extérieur de l'organisation ainsi que la position qu'ils adopteront.

Lors d'une réflexion concernant les meilleurs moyens d'avoir un impact sur les décideurs, il ne faut pas oublier que l'utilisation prend différentes formes. De plus, les sciences de la gestion nous rappellent que les décideurs ne cherchent pas la certitude, mais plutôt la réduction de l'incertitude. Les gestionnaires ont aussi besoin d'informations qu'ils considèrent comme crédibles et sur lesquelles ils peuvent agir dans leur vie.

Merci de m'avoir accueilli aujourd'hui pour discuter de la vision qu'ont les évaluateurs de l'utilisation des connaissances qu'ils génèrent. J'espère pouvoir discuter des applications de ce sujet dans le domaine de l'analyse de l'impact social.

SOURCES

[1] Patton, Michael Quinn (1978) Utilization-Focussed Évaluation, première édition, Sage Publications

[2] Patton, Michael Quinn (2012) Essentials of Utilization-Focussed Evaluation, Sage Publications

[3] Mohan, Rakesh and Kathleen Sullivan (2006) « Managing the Politics of Evaluation to Achieve Impact » dans New Directions for Evaluation, no 112

[4] Yarbrough, D. B., Shulha, L. M., Hopson, R. K., & Caruthers, F. A. (2011). The program evaluation standards: A guide for evaluators and evaluation users (3rd ed.), Sage Publications

[5] Kusters, Cecile et al (2011), Making Evaluations Matter: A Practical Guide for Evaluators, Centre for Development Innovation, Wageningen University & Research Centre, Wageningen, The Netherlands

 Retourner à la page d'accueil
 Afficher toutes les nouvelles