Page d'accueil Compagnie Clients Rapports CallWeb ÉchantiCalc EPlanCalc English

« Données » n'est pas le pluriel d'« anecdote ».
(Julian Baggini)

LE 4 JANVIER 2005

Examen de la qualité des évaluations dans les ministères et les organismes canadiens

(Reproduction du sommaire d'une étude menée par le Centre d'excellence en évaluation et disponible sur son site Web)

Introduction

L'évaluation soutient le but du gouvernement du Canada de devenir une organisation apprenante. Elle y réussit en aidant les cadres supérieurs, les gestionnaires de programme et les décideurs à découvrir si leurs initiatives fonctionnent ou non et si elles atteignent les objectifs; elle les aide aussi à établir s'il y a lieu de poursuivre ces initiatives et à déterminer comment mieux les concevoir et les exécuter afin d'atteindre les objectifs d'une façon rentable. La qualité des rapports d'évaluation est primordiale pour que la fonction d'évaluation réponde à ces besoins d'information.

Objet

En 2001, le Secrétariat du Conseil du Trésor (SCT) a créé le Centre d'excellence en évaluation (CEE) et a établi une nouvelle Politique d'évaluation destinée à renforcer la fonction d'évaluation et la qualité des rapports. L'un des objectifs clés du présent rapport est de déterminer si la qualité des rapports est acceptable et s'il y a eu une amélioration de la qualité. L'un des aspects importants de ce travail est de promouvoir des rapports d'évaluation de qualité. Le présent examen représente un élément de la stratégie d'ensemble du CEE pour surveiller et renforcer la qualité des rapports. Les autres activités comprennent : l'étude des meilleures pratiques; une enquête annuelle sur la santé des unités d'évaluation des ministères et des petits organismes; des rencontres individuelles, l'examen continu des évaluations, les Cadres de gestion et de responsabilisation axés sur les résultats (CGRR), les plans d'évaluation ministériels et un rapport annuel documentant les constatations des évaluations et indiquant comment elles contribuent au renforcement de la responsabilisation et à l'examen des dépenses du gouvernement.

Méthodologie

Diverses ressources ont servi à l'élaboration des critères que nous avons utilisés pour notre examen, dont le Guide d'examen des rapports d'évaluation du Centre d'excellence en évaluation, SCT, janvier 2004 et des extraits du Rapport de 1993 du Bureau du vérificateur général du Canada (BVG) sur l'évaluation de programmes (critiques des rapports d'évaluation). Nous avons également consulté un groupe de référence d'unités d'évaluation de ministères et d'organismes.

Constatations

Les constatations du présent l'examen indiquent que la plupart des rapports d'évaluation de la fonction publique fédérale sont de qualité acceptable, quoique nous ayons déterminé que presque le quart des évaluations (23 %) étaient inadéquates dans l'ensemble. Nous n'avons pas observé de variations claires et constantes de la qualité pour les organisations fédérales de tailles différentes et pour les ministères par rapport aux organismes. Une comparaison des rapports élaborés avant avril 2002 et de ceux qui ont été élaborés par la suite démontre toutefois une amélioration de la qualité concernant un certain nombre de critères dans les évaluations les plus récentes. Par exemple : les questions de rentabilité ont été traitées; il y a une rigueur méthodologique; les solutions de remplacement sont indiquées; les constatations présentées sont fondées sur des données; ils contiennent des recommandations formelles. Cette amélioration de la qualité avec le temps laisse croire que les efforts du SCT pour améliorer la qualité des évaluations ont peut-être un effet positif, en ayant accordé une année, jusqu'en avril 2002, aux ministères et aux organismes pour comprendre entièrement la Politique et pour donner le temps au nouveau Centre d'excellence en évaluation de commencer à fonctionner. Mais il y a un besoin pressant d'améliorer encore les choses, comme l'indiquent les constatations qui suivent.

Les principales forces des évaluations examinées dans le présent examen incluent ce qui suit :

Voici d'autre part quelques faiblesses des évaluations et des rapports :

Conclusions et Recommandations

Dans l'ensemble, la plupart des évaluations que nous avons examinées sont de qualité raisonnable. Nous avons déterminé que la majorité étaient adéquates dans l'ensemble (45 %) ou plus qu'adéquates (32 %). Mais nous avons aussi déterminé qu'une proportion considérable des évaluations (23 %) étaient inadéquates, une constatation qu'il faut traiter. C'est pourquoi le présent rapport recommande que le Centre d'excellence en évaluation du SCT prenne les mesures suivantes :

  1. Encourager les divisions des évaluations des ministères et des organismes fédéraux à renforcer leurs rapports d'évaluation en traitant les principales faiblesses déterminées dans le présent examen.
  2. Peaufiner les lignes directrices et les critères du Conseil du Trésor concernant les caractéristiques attendues des (1) méthodologies d'évaluation et (2) des rapports d'évaluation, et les diffuser.
  3. Poursuivre la mise en oeuvre d'une démarche rigoureuse de surveillance de la qualité des évaluations et l'utiliser comme base d'élaboration de fiches de rendement individuelles sur la qualité et la santé globale de la fonction d'évaluation par ministère et par petit organisme.
  4. Indiquer des mesures, y compris une structure de stimulants et des normes, afin d'assurer que les ministères et les organismes présentent des évaluations et des examens réalisés d'une façon responsable et raisonnable. Le respect de ces normes par les ministères et les organismes devrait être annoncé publiquement.

 Retourner à la page d'accueil
 Afficher toutes les nouvelles

Pour nous rejoindre :

Adresse générale : service@circum.com
Benoît Gauthier : gauthier@circum.com, @BGauthierCEEQ
Tél. : +1 819 775-2620, Téléc. : (plus de télécopieur; désolé)
238, chemin Fleming, Cantley (Québec) J8V 3B4

Benoît Gauthier, Mastodon