Praxis de l'évaluation et de la révision des programmes publics

Approches, compétences et défis

Moktar Lamari, Johann Lucas Jacob

• Éditeur: Presses de l'Université du Québec
• Année: 2016
• ISBN de l'eBook: 9782760544413
• Sujet: Politique et relations internationales
• Sujet: Politique publique

Plus que jamais, les instances gouvernementales (fédérales, provinciales, municipales ou internationales) sont soumises à des impératifs d'optimisation de leurs politiques et de leurs programmes. Pour ce faire, l'évaluation devient un levier incontournable pour juger, réviser, ajuster et réinventer les politiques publiques. La mesure de la performance de l'action gouvernementale amène cependant son lot de pressions et de contingences avec lesquelles les évaluateurs doivent composer pour mener à terme leurs évaluations avec la rigueur et l'éthique requises.Cet ouvrage traite de la praxis de l'évaluation et de la révision des politiques publiques. Des évaluateurs et des experts de ce champ d'expertise explorent la nature et l'ampleur des défis auxquels sont confrontés les évaluateurs et les gestionnaires au Québec, au Canada et à l'international. Ils offrent des réponses inspirantes, transférables et adaptables aux exigences de la pratique évaluative dans divers secteurs d'intervention (la santé, le développement régional et international, l'innovation, le transfert de connaissances, etc.). Pas moins d'une trentaine d'approches évaluatives sont présentées, dont les évaluations formatives, sommatives, «?ascriptives?» et complexes pour n'en citer que quelques-unes.Les enseignements tirés de la lecture de ce livre seront d'une grande utilité pour renforcer les compétences évaluatives, améliorer les rapports d'évaluation ainsi que maîtriser, d'une part, les contraintes liées aux coûts, aux pressions politiques et aux délais requis par une évaluation rigoureuse et, d'autre part, la professionnalisation et la synchronisation de l'évaluation avec les impératifs des processus budgétaires, les ressources disponibles et les compétences en présence.

CHAPITRE 1 /

Praxis de l’évaluation
de l’action gouvernementale

Approches, compétences et défis

Moktar Lamari, Line Poulin-Larivière et Karine Lemieux

Depuis le milieu de la décennie 2000, l’évaluation des politiques publiques a gagné en notoriété et en ascendant, tant au sein des diverses instances gouvernementales (nationales, provinciales, municipales, internationales, etc.) que dans les structures non gouvernementales et les organisations à but non lucratif. La valeur ajoutée par l’évaluation, en tant que démarche rigoureuse d’appréciation et de mesure de la performance de l’action publique, est désormais palpable dans les divers processus de prise de décision et d’arbitrage des choix publics. Plus que jamais auparavant, l’évaluation constitue le fer de lance d’un nouveau management public, axé sur la performance et éclairé par les connaissances et les données probantes. L’intérêt grandissant pour l’évaluation est aussi reconnu dans diverses disciplines de recherche scientifique, de sorte que les recherches publiées au sujet de l’évaluation s’affranchissent du cadre restreint des revues spécialisées dans les sciences sociales et humaines pour se retrouver aussi dans les publications spécialisées en génie et en médecine. C’est pourquoi la quasi-totalité des pays de l’Organisation de coopération et de développement économiques (OCDE) et pratiquement toutes les grandes organisations internationales ont institué la fonction évaluative au sein de leurs organigrammes, structures et procédures de gouvernance. Une telle institutionnalisation met en relief les apports et les responsabilités des évaluations et des évaluateurs pour l’optimisation des choix publics et l’amélioration de la performance réalisée par l’action gouvernementale et les choix collectifs.

Pour être à la hauteur des attentes des décideurs, des gouvernements et des citoyens, les pratiques évaluatives doivent se plier à des pressions grandissantes visant notamment à bonifier la qualité, la rigueur et la célérité des processus d’élaboration des évaluations. En même temps, les évaluateurs et les centres de recherche en évaluation mettent de l’avant l’impératif d’indépendance des processus d’évaluation et déplorent la complexité, les pressions et les contingences associées à la réalisation des activités évaluatives (Scriven, 2013; Patton, 2012; Stufflebeam, 2001; Bamberger, Rugh et Mabry, 2012).

En même temps, ce gain d’intérêt pour l’évaluation génère une véritable effervescence dans les pratiques évaluatives, dans leurs prérequis conceptuels et surtout dans leurs modalités d’opérationnalisation (méthode, données, analyses, institutionnalisation, etc.). Les acteurs en présence ont favorisé l’émergence de pratiques évaluatives innovantes, créatives et surtout plus utiles aux décideurs, soumis à leur tour à des processus de lutte aux déficits publics, à l’endettement gouvernemental et à des attentes gouvernementales voulant faire mieux (biens et services publics) avec toujours moins de ressources. Ainsi, depuis quelques années, nous assistons: 1) à la diversification des approches évaluatives; 2) à la prolifération des instruments d’analyse des données évaluatives; 3) à la multiplication des compétences requises pour pratiquer le métier d’évaluateur (savoir-faire technique, aptitudes interactionnelles, valeurs éthiques, etc.). Cette évolution s’accompagne dans une large mesure de nouveaux défis liés à la complexité grandissante des enjeux évaluatifs et des modalités de leur opérationnalisation dans le cadre des contingences imparties (quant aux délais, au budget, aux ressources humaines, aux données, etc.).

Le présent texte traite de la praxis de l’évaluation des politiques publiques. On entend par praxis l’action pratique stricto sensu, par opposition à la théorie et à l’herméneutique sous-jacentes. Dans ce texte, la praxis désigne le champ de l’action pratique tel qu’il s’opérationnalise par des applications codifiées et inspirées par des repères théoriques et des façons d’actionner la transformation des ressources rares (intrants ou inputs), par des activités de production, en extrants (outputs) en vue de générer des effets porteurs de nouveaux rapports sociaux et des impacts bénéfiques (résultats ou outcomes) sur la collectivité et sur la capacité de solutionner des problématiques collectives associées à des enjeux d’utilité publique.

Les développements qui suivent abordent la praxis de l’évaluation des politiques publiques en mettant l’accent sur trois dimensions complémentaires. La première dimension concerne les principales approches évaluatives observées durant les dernières années. La deuxième dimension porte sur les compétences requises par les diverses tâches évaluatives. La troisième dimension a trait aux défis à relever par les évaluateurs à une époque où la complexité des programmes augmente sans cesse, le contexte est favorable aux nouvelles technologies porteuses pour la collecte de données et la mobilisation des connaissances (Internet, réseaux sociaux, etc.) et, surtout, les attentes sont de plus en plus élevées.

La suite du texte est structurée en trois sections. La première brosse un portrait des principales approches et modèles d’évaluation développés depuis quelques années. La deuxième passe en revue les compétences requises pour mener à terme des évaluations fiables et crédibles, à la lumière de l’évolution des ambitions quant à un système d’accréditation pour la profession d’évaluateur. La troisième section met en relief les principaux défis à relever en évaluation, notamment pour crédibiliser la fonction évaluative et renforcer sa valeur ajoutée collective. En guise de conclusion, les implications issues de ce texte font l’objet d’un sommaire des constats et de quelques recommandations.

1/Les approches de l’évaluation

Les dernières années ont vu éclore un nombre grandissant d’approches évaluatives. Stufflebeam (2001) recensait déjà une vingtaine d’approches qu’il classait en quatre grandes catégories: les pseudo-évaluations, les évaluations centrées sur les questions ou les méthodes, les évaluations centrées sur l’amélioration de la reddition de comptes et les évaluations liées à l’agenda sociopolitique. Cette recension et sa taxonomie sont utiles d’un point de vue théorique, mais surtout d’un point de vue pratique. Du point de vue opérationnel, cette monographie peut aider les évaluateurs à considérer et à appliquer sélectivement les approches d’évaluation, selon le contexte, les contingences et l’état des enjeux en présence. Les approches présentées ci-après s’inspirent de celles que décrit Stufflebeam dans son précieux texte «Evaluation models» (2001).

1.1/Les pseudo-évaluations

Les pseudo-évaluations mettent l’évaluateur au service des intérêts des acteurs politiques ou bureaucratiques, ou encore des groupes de pression influents. Ces évaluations sont généralement produites de façon peu respectueuse des valeurs éthiques et des impératifs de la rigueur et de la démonstration. La pseudo-évaluation rapporte des appréciations souvent subjectives et partiales sur les mérites et les limites d’un programme. Ce type d’évaluation mine grandement la confiance du public à l’égard de la fonction évaluative et des évaluateurs. On distingue deux approches en ce sens, bien qu’elles aient en commun la docilité et la complicité avec des intérêts stratégiques exogènes à l’évaluation.

Dans ce cadre, les pseudo-évaluations se caractérisent par un souci de communication promotionnelle à l’égard des interventions à évaluer et des organismes responsables. La première approche consiste à produire un rapport évaluatif, dans une perspective «ritualiste» et de relations publiques. Ce type de rapport livre une information sélective, souvent articulée autour d’un message positif simplifié, et une rhétorique narrative, dénuée de données probantes soutenant le discours véhiculé sur la performance des programmes évalués. Les auteurs de ces rapports insistent sur des impressions, des «métaphores» formulées de manière à glorifier l’objet évalué et à mettre en relief ses forces, occultant totalement l’examen des faiblesses, même les plus criantes. La communication joue un rôle majeur dans ces rapports, dont le but principal consiste à persuader les lecteurs et les décideurs que le programme évalué est efficace, unique en son genre, et qu’il justifie sa raison d’être. Des lecteurs avertis des enjeux de la mesure de la performance de l’action publique verront dans ces rapports prétendument évaluatifs des similitudes avec les brochures publicitaires ou les pamphlets propagandistes.

La deuxième approche a trait à des évaluations dont la conception, le contenu et le message sont contrôlés politiquement ou administrativement. Les évaluations de ce type sont également très biaisées, puisque les résultats présentés sont scrupuleusement épurés, pour occulter délibérément les informations négatives et les «résultats qui fâchent». Heureusement, ce type de rapport prétendument évaluatif est de plus en plus décrié et dénoncé par les instances gouvernementales et, surtout, par les chercheurs qui portent une attention grandissante sur les méthodes évaluatives poursuivies et la validité des indicateurs utilisés. Bref, ces deux approches entravent la gestion axée sur les résultats, dévalorisent la fonction évaluative, discréditent les évaluateurs et ne font qu’empirer la performance des actions publiques.

1.2/Les évaluations axées sur les méthodes

Les évaluations de programme peuvent être soit formatives, axées sur le suivi et la production d’enseignements utiles au sujet du fonctionnement et de la performance des programmes, soit sommatives, porteuses d’enseignements et de réponses finales sur les performances obtenues au terme de la réalisation des programmes à évaluer. Cela dit, plusieurs questions et méthodes sont mises à contribution dans le cadre de ces évaluations. Une douzaine d’approches évaluatives différentes peuvent servir à démontrer la pertinence, les mérites et la valeur ajoutée des interventions à évaluer. Cette famille d’approches accorde une importance cruciale aux préoccupations liées à la rigueur, à la mesure et à l’amélioration des effets des programmes visés par l’évaluation. Plusieurs questions sont posées dans le cadre des activités évaluatives. Les évaluateurs peuvent s’interroger sur la théorie de l’intervention (sa conception), sur sa pertinence (sa raison d’être, l’ampleur des besoins à satisfaire, le rôle de l’État, etc.), sur sa mise en oeuvre (les progrès, l’acceptabilité, la faisabilité, etc.), ainsi que sur ses performances, ses effets ainsi que les impacts des interventions. Pour évaluer les performances, les évaluateurs sont souvent appelés à apprécier l’efficacité, à mesurer l’efficience et à interroger la valeur nette des interventions. Selon le contexte et les enjeux en présence, les évaluateurs et les parties prenantes s’entendent pour déterminer les principaux enjeux évaluatifs et se limitent aux questions les plus préoccupantes, en évitant ainsi de répondre à toutes les questions en même temps et de prolonger inutilement la durée des activités évaluatives.

De manière générale, les évaluateurs sont souvent invités à répondre à des questions portant sur l’atteinte des objectifs et la mesure des performances. Les évaluations portent sur l’atteinte des objectifs escomptés par les programmes, en fonction de leurs maîtres d’oeuvre ou encore des parties prenantes concernées. Ce type d’évaluation, souvent réalisé à l’interne, implique le recours à l’utilisation de données et d’indicateurs permettant d’examiner la mesure dans laquelle les objectifs ont été atteints. Le point faible de cette approche est que l’évaluation ne permet pas de déterminer les moyens d’améliorer un programme et qu’elle se limite à apprécier l’atteinte des objectifs.

Les évaluations portant sur la vérification de la performance sont plus larges dans leurs questionnements et modalités pratiques. Elles visent la mesure et l’appréciation du rendement du programme à évaluer. Dans un contexte de gestion axée sur les résultats, cette approche permet aux parties prenantes de déterminer si les ressources investies produisent des extrants à la hauteur des attentes, dans une perspective d’amélioration en termes d’efficacité, d’efficience ou d’optimisation des ressources.

Pour répondre à ces questions, plusieurs méthodes d’investigation sont plus ou moins applicables selon le secteur et le domaine d’intervention du programme. Nous proposons sommairement les plus importantes:

•La méthode de la différenciation sert à apprécier l’évolution des cibles de l’action et des indicateurs de résultats, par exemple entre la situation qui prévalait avant l’intervention et celle qui est observée après celle-ci. Ce type d’évaluation est monnaie courante dans le secteur de l’éducation, où la performance des élèves est comparée selon le niveau des connaissances ou des apprentissages avant et après l’intervention du programme. En plus de cette méthode mesurant une différence simple, les évaluateurs font de plus en plus appel à la méthode de la double différence, en mesurant non seulement les différences entre avant et après l’intervention, mais aussi les différences entre les résultats et comportements observables chez les bénéficiaires et les non-bénéficiaires de l’intervention.

•La méthode de la valeur ajoutée consiste à apprécier les contributions nettes attribuables à l’intervention visée par l’évaluation. La démarche consiste à mesurer les progrès et les changements observés et, souvent, à reconnaître leurs déterminants. Dans les secteurs de la santé et des services sociaux, l’évaluation de la valeur ajoutée mesure la différence générée par un programme sur les comportements, les processus ou les ressources. Il s’agit d’une technique très répandue et exigeante en rigueur et en données quantitatives. La valeur ajoutée à mesurer peut être d’ordre social, économique ou utilitaire. Les techniques d’analyse statistique requises exigent de plus en plus de compétences en analyse quantitative avancée.

•La méthode des tests empiriques consiste à mesurer les changements imputables à un programme au moyen d’instruments et d’outils validés par des experts. Ce type d’évaluation permet de faire avancer les connaissances de manière rigoureuse et irréprochable, puisque les tests standardisés donnent une grande valeur scientifique aux évaluations. Cette méthode est d’usage courant dans les secteurs de l’éducation, des services sociaux et de la formation professionnelle.

•La méthode expérimentale (ou quasi expérimentale) fait appel à des protocoles plus rigoureux pour mesurer les impacts et démontrer l’efficacité des interventions. On fait souvent appel à l’assignation aléatoire (randomisation), en constituant au moins deux groupes (groupe d’intervention et groupe-témoin), dont le premier bénéficie d’une intervention alors que le second en est privé. Cette méthode en vogue depuis quelques années procure des résultats plus rigoureux, même si sa systématisation soulève des préoccupations éthiques, notamment dans les secteurs sociaux précaires et vulnérables. L’expérimentation contrôlée est fort utile pour les évaluateurs puisqu’elle favorise la production d’inférences sans équivoque au sujet de la relation causale entre le traitement et la variable qui en mesure l’impact.

•La méthode des systèmes informationnels est utilisée par plusieurs ministères et organismes publics et privés pour constituer des tableaux de bord servant d’outils pour l’évaluation et la planificat...

Table des matières

• Couverture
• Page légale
• Table des matières
• Liste des figures et tableaux
• Liste des sigles et acronymes
• Avant-propos
• Chapitre 1 / - Praxis de l’évaluation de l’action gouvernementale: approches, compétences et défis
• Chapitre 2 / - L’organisation de la fonction d’évaluation dans les politiques ministérielles au Québec: un état des lieux
• Chapitre 3 / - Évaluation et révision des dépenses publiques: portrait analytique de l’expérience québécoise
• Chapitre 4 / - Révision des dépenses publiques: s’agit-il d’un nouveau levier d’évaluation ou d’une simple panacée de circonstance?
• Chapitre 5 / - Analyse coûts-avantages des programmes de transfert technologique: le cas des centres collégiaux de transfert de technologies au Québec
• Chapitre 6 / - Subsidiarité et développement régional au Québec: évaluation du Fonds de développement régional
• Chapitre 7 / - L’évaluation des politiques gouvernementales: quelle cohérence et quelles logiques dans la lutte à l’obésité chez les jeunes au Québec?
• Chapitre 8 / - Évaluation de programmes autochtones: quelle est la place accordée à la participation et la sensibilité culturelle?
• Chapitre 9 / - Quelle évaluation pour quel développement? Portrait croisé des pratiques évaluatives des agences d’aide au développement
• Chapitre 10 / - Évaluation socioéconomique et cartographie de réseaux dans un contexte de méfiance: le cas du projet de gestion des déchets radioactifs en France
• Chapitre 11 / - La complexité de l’évaluation des politiques gouvernementales en contexte des pays en développement: le cas de la politique scientifique en Algérie
• Chapitre 12 / - Évaluation et pratique du jugement: créer des liens pour donner du sens
• Chapitre 13 / - Trente ans d’institutionnalisation de l’évaluation au gouvernement fédéral: quel bilan?
• Chapitre 14 / - L’évaluation d’impact contrefactuelle: une approche consciente des biais et innovante par ses vérifications
• Conclusion / - Quels défis pour les années à venir?
• Notices biographiques
• Quatrième de couverture