Evaluer : apprécier la qualité pour faciliter la décision

Ce document est organisé en six notes, chacune mettant l’accent sur un aspect important du processus d’évaluation.

La démarche d’évaluation s’articule autour d’un système de pouvoir, d’un objet à évaluer et d’un dispositif d’analyse qui permet au commanditaire de dresser un bilan et de prendre des décisions. Les résultats attendus sont très variables. A l’extrême, ils peuvent se limiter à des termes qualificatifs (bon ou mauvais) ou vont permettre de tirer des leçons sans pour autant forcément donner de point de vue ou de solution. Certaines commandes incluent un conseil post évaluation et dans ce cas, celui-ci doit être validé par le commanditaire.

Le processus de l’évaluation consiste en la mise en place d’une animation permettant d’aboutir à un jugement collectif. Les évaluations permettent de réajuster la communication interne des organisations ou de valoriser leurs analyses. Mais ceci n’est possible que si les interlocuteurs de l’organisation évaluée ont été intégrés à la démarche d’évaluation et se sont appropriés leurs résultats pour réajuster leurs analyses.

L’évaluation consiste bien souvent à se situer dans les enjeux de pouvoir. C’est pourquoi l’évaluateur a intérêt à décrypter assez tôt les conflits afin d’anticiper les réactions que ses conclusions vont susciter. L’évaluateur doit donc préparer le terrain avec les acteurs et ses conclusions doivent être accessibles, crédibles, psychologiquement acceptables et organisées pour faciliter la prise de décision. L’exercice d’évaluation est un exercice interculturel et sa réussite dépend en grande partie de la capacité de l’évaluateur à communiquer. Ce dernier doit travailler dans la transparence et respecter la commande qu’il a reçue.

Le déroulement d’un projet dépend des principaux acteurs chargés de sa mise en oeuvre et donc d’une ensemble d’éléments : l’organigramme, la procédure, le système de reporting, les méthodes de travail, le leadership, les ressources humaines, la gestion, les méthodes d’action, etc. Dans le travail d’évaluation, c’est aussi l’appréciation du résultat par les différents acteurs qui permet à l’évaluateur de remonter à l’efficience, la cohérence et la pertinence du projet. Cette appréciation aide aussi l’évaluateur à poser les bonnes questions.

L’évaluation peut prendre plusieurs formes; elle peut être quotidienne, se reporter à un événement donné ou être ponctuelle. On parle d’évaluation " ex ante " pour désigner celle qui se fait avant le lancement d’un projet (étude de faisabilité). Mais l’évaluation peut aussi se faire à " mi parcours ", à la " fin du projet " ou bien après la mise en place du projet : c’est alors une évaluation " ex-post ". L’évaluation interne se fait par un membre de la structure qui l’a commanditée, l’évaluation externe, par un évaluateur extérieur et l’évaluation endogène, par le commanditaire. Il existe des évaluation " longues " qui se réalisent loin du commanditaire et d’après des normes préétablies, et des " rondes ", qui se font à partir d’un système de pouvoir proche de l’objet évalué.

Deux facteurs assurent la réussite d’une évaluation : la clarté de la demande faite par le commanditaire et la préparation de la démarche par l’évaluateur.

La première étape d’un travail de commande d’évaluation consiste à élaborer un dossier de termes de référence. La responsabilité du dossier des termes de référence repose sur le commanditaire et son équipe qui doivent les exprimer de façon claire, complète et cohérente. Les termes de référence éclairent l’évaluateur sur plusieurs aspects fondamentaux : les constituants de l’évaluation, le contenu de la commande, les aspects pratiques de l’évaluation, les contraintes et la composition de l’équipe. Le commanditaire doit préciser ses attentes, les hiérarchiser et vérifier la cohérence entre les objectifs et les moyens disponibles pour l’évaluation. L’ évaluateur y répond par une note méthodologique où il explique au commanditaire la démarche qu’il va appliquer.

La relation entre termes de référence et note méthodologique peut se faire par le biais de l’appel d’offres commercial ou par celui de l’échange amical, mais dans tous les cas elle doit être validée noir sur blanc. La note méthodologique sert de document de pilotage, de garantie du bon déroulement de l’évaluation sans parler du fait que c’est elle qui permet au commanditaire de choisir son évaluateur.

La note méthodologique se subdivise en quatre parties : la compréhension des termes de référence, la problématique, la méthodologie et le déroulement prévu. Elle permet en outre à l’évaluateur de montrer au commanditaire si et comment il a compris son sujet. La problématique s’attarde à expliquer aux commanditaires les grandes questions auxquelles l’évaluation doit apporter une ou des réponses. L’évaluateur explique rapidement les éléments de méthode qui lui permettront d’avancer. L’évaluateur doit par la suite construire les grands axes qui vont structurer son travail. Ceux-ci sont déclinés en trois ou quatre grandes questions étayées par des petites questions. L’évaluateur annonce pour finir comment il va répondre à ces questions en indiquant les critères qu’il va utiliser et en précisant la qualité des réponses qu’il recherche. La méthodologie quant à elle détaille les moyens mis en ouvre pour l’évaluation (enquêtes, documentation...), ses grandes étapes ainsi que l’équipe choisie pour la mener à bien. Le budget fait l’objet de la dernière partie du dossier de réponse.

Evaluer, c’est produire une image de la réalité pour la comparer à une référence, un modèle, une moyenne, une prévision, une attente. Mais quelle que soit la rigueur de la démarche de l’évaluateur, ce dernier se réfère forcément à ses propres critères. L’évaluation est une démarche sur mesure qui doit être adaptée aux valeurs du commanditaire de l’étude. L’évaluation dépend de l’objet qui va permettre de définir l’approche. S’il existe des repères méthodologiques généraux, chaque secteur, question, etc. nécessite d’appliquer des indicateurs adaptés. La qualité des indicateurs choisis par l’évaluateur détermine celle des conclusions de l’évaluation. Six critères sont les plus communément utilisés dans les évaluations de projets : la pertinence, la cohérence, l’efficience, l’efficacité, l’impact et la durabilité. Ils ne constituent pas un système universel de mesure de la qualité des projets mais ils permettent de structurer la réflexion du commanditaire et de l’évaluateur.