Performance économique des politiques publiques

Évaluation des coûts-avantages et analyse d'impacts contrefactuels

Moktar Lamari

• Éditeur: Presses de l'Université du Québec
• Année: 2022
• ISBN de l'eBook: 9782760556478
• Sujet: Politique et relations internationales
• Sujet: Politique

Cet ouvrage met en lumière du matériel technicopédagogique et des résultats de recherche obtenus progressivement durant une vingtaine d'années d'enseignement, de pratique et de recherche universitaire au sujet de l'évaluation socioéconomique des programmes publics. Il met à profit une expertise de recherche et une expérience internationale réalisées en la matière, notamment dans le cadre de missions, collaborations et mandats accomplis pour le compte d'organismes internationaux. L'objectif de cet ouvrage vise à renforcer les connaissances et compétences en évaluation économique de l'action gouvernementale et des politiques publiques sous ses différentes facettes au regard de ses divers paliers de gouvernance (centraux, provinciaux, locaux). La démarche didactique présentée ne s'adresse pas uniquement aux personnes férues d'économie et d'économétrie, au contraire. Elle est adaptée, illustrée et simplifiée pour cibler tous les analystes et professionnels travaillant en évaluation de programme, peu importe leurs disciplines de formation universitaire et champs d'intervention dans les institutions publiques et gouvernementales. En plus des explications théoriques et conceptuelles, Performance économique des politiques publiques propose des approches et des exemples empiriques, mettant de l'avant les progrès et la capacité de calcul et de simulation produits par les plus récents progiciels et modules de programmation de calculs financiers et économétriques. Un intérêt particulier est accordé aux méthodes d'évaluation du risque et d'analyse d'impacts contrefactuels. Chacun des huit chapitres qui composent l'ouvrage comporte des simulations et exercices visant à faciliter le transfert du savoir, consolider l'apprentissage et affiner la maîtrise des commandes et des modélisations économétriques spécialisées.

Chapitre 1 /

L’évaluation économique de programme

De quoi s’agit-il ?

L’évaluation des programmes publics génère de nouvelles informations, connaissances et sagesses pouvant optimiser le processus de prise de décision et la planification de l’action publique, au niveau de l’État et des organismes publics ayant des fonctions de gouvernance (État central/fédéral, région/province, municipal/local). Ultimement, l’évaluation des programmes publics vise à optimiser l’utilisation des ressources rares en vue d’améliorer le bien-être collectif. La mesure et l’évaluation de la performance économique des politiques publiques préoccupent les décideurs, les politiciens, l’opinion publique et les citoyens. Dit simplement, le bon sens veut savoir si les dépenses et les sacrifices engagés dans le cadre d’une action publique procurent au moins autant de bénéfices et d’avantages pour la société dans son ensemble. Une telle préoccupation explore si les dépenses engagées pour l’action publique sont utilisées de façon efficiente, compte tenu de tous les autres usages possibles et options de placement de ces dépenses. C’est donc une démarche évaluative par excellence.

L’évaluation de l’action publique constitue une démarche rigoureuse et systématique de collecte et d’analyses de données en vue de répondre à des questions évaluatives préalablement définies. Cette démarche analytique s’inscrit pleinement dans les approches de recherche issues des sciences sociales, en faisant appel à diverses méthodes d’investigation (qualitatives, quantitatives, mixtes, etc.), et avec l’appui de plusieurs devis de démonstration (expérimentation, audit, vérification interne, économétrie, etc.).

Au-delà de son objet (questions évaluatives), de son unité d’analyse (politique, programme, projet, réglementation, etc.) et de son niveau d’analyse (micro, méso, macro, etc.), l’évaluation de programme a une utilité stratégique et une valeur ajoutée décisionnelle axée sur l’amélioration du bien-être collectif.

Cette évaluation fait avancer les connaissances et porte un jugement sur la performance d’un programme, d’une politique, d’une intervention publics dans le but d’éclairer la prise de décision et d’optimiser la valorisation des ressources. Dans leurs évaluations, les évaluateurs traitent de diverses questions évaluatives (pertinence, efficacité, efficience, répercussions, etc.).

Le présent manuel traite de l’évaluation économique des programmes publics. Il importe alors, dès le départ, de situer la portée et l’utilité de l’évaluation dans les processus de gouvernance et d’optimisation des ressources gouvernementales. On comprendra mieux le rôle et les spécificités de l’évaluation économique en mettant en perspective la valeur ajoutée de l’évaluation des politiques publiques.

Tel est l’objet de ce chapitre introductif articulé en deux parties. La première partie met en perspective le concept de l’évaluation de programme, en insistant sur son utilité dans la prise de décision et en mettant en relief les approches méthodologiques et leur ancrage théorique. La deuxième partie traite de l’évaluation économique, en précisant sa portée, ses différences avec l’évaluation financière et ses postulats de base.

1 / Évaluer pour performer et pour optimiser

1.1 / Les enjeux liés à l’évaluation

L’évaluation constitue l’un des leviers d’intelligence stratégique qui permettent, entre autres, une amélioration de la qualité de la gestion, une gouvernance axée sur les résultats et de meilleures prestations des produits et services publics. Cela dit, quatre préoccupations liées méritent d’être soulignées.

FIGURE 1.1 / Triptyque de la performance

Source : Mazouz, 2017, p. 60.

• La gouvernance axée sur les résultats. L’évaluation de programme public permet d’appuyer l’ensemble de la démarche de gouvernance par les résultats. Il s’agit d’un processus favorisant le pilotage de la performance. L’accent est mis sur le triptyque pertinence, efficacité et efficience comme leviers de la performance. Le gestionnaire peut obtenir l’évaluation de la pertinence des objectifs, des indicateurs et des cibles, ainsi que celle de l’efficacité et de l’efficience des processus, des produits et services, des mécanismes de suivi et de mesure ou des retombées du programme. En fin de compte, l’évaluation renseigne les gestionnaires sur le rendement et l’efficacité de leurs programmes.
• Une planification stratégique avertie. Bien que distinctes, l’évaluation de programme et la planification stratégique sont intimement liées. La planification stratégique définit notamment les orientations qu’une organisation souhaite prendre, compte tenu des enjeux auxquels elle doit faire face. Les orientations peuvent se traduire par la modification, le maintien ou la mise en œuvre d’un nouveau programme. L’évaluation de programme permet d’apprécier la pertinence et de mesurer l’impact réel des programmes et des interventions par rapport à ce qui était souhaité ou prévu. Les résultats de l’évaluation de programme permettent d’optimiser les choix publics, les orientations stratégiques, les axes d’intervention et la planification de l’action de l’État et ses organisations gouvernementales.
• Un suivi et une reddition de comptes. Dans une démarche de gouvernance axée sur la performance, la reddition de comptes informe les décideurs au sujet des moyens mobilisés pour atteindre les résultats. Ce suivi s’effectue généralement au moyen du rapport annuel de gestion. La reddition de comptes est soutenue par un suivi continu de la progression des résultats. Le suivi de la performance et l’évaluation de programme sont des fonctions complémentaires qui renforcent la crédibilité de la reddition de comptes auprès des parlementaires et des citoyens.
• Un dépistage précoce de la mauvaise gouvernance. La performance de l’action gouvernementale a besoin de moyens de veille et de leviers de suivi qui peuvent sonner l’alarme quand des décisions maladroites ont été prises, quand des décideurs ont pris des décisions irrationnelles… ou encore quand des politiciens légifèrent en méconnaissance de cause et sans mesurer tous les pour et tous les contre de leurs décisions.

Le présent manuel traite de l’évaluation économique des programmes publics. À cette fin, il importe de noter ici que la notion de programme va au-delà de celle qui est traditionnellement attachée aux processus budgétaires mis en place par le nouveau management public (new public management).

Dans son acceptation la plus large, on désigne par programme un ensemble cohérent et structuré d’objectifs, d’activités et de ressources (humaines, financières, matérielles et informationnelles), regroupés et articulés de manière officielle pour offrir des produits et des services destinés à la satisfaction et à l’amélioration du bien-être d’une population prédéterminée.

L’évaluabilité de la performance économique d’un programme public n’est pas toujours aisée. Pour être évaluable, un programme public doit se prêter à l’exercice, en permettant de cerner, de déterminer et de délimiter les contours de ce qui est soumis à l’activité évaluative. Ainsi, un programme public est évaluable s’il est possible de le déterminer finement comme tel, si on dispose dès son adoption des informations fiables sur ses finalités, ses moyens, ses coûts, ses retombées, etc. de manière documentée et validée par les institutions et structures qui en sont responsables.

Un programme public qui se présente comme une simple idée, une vue de l’esprit, et qui est sans objectifs, sans structures de gouvernance, sans logiciel précis (modèle logique), un programme difficile à cerner et à déterminer comme tel (objectif, moyens, ressources, etc.) ne se prête pas à l’évaluation.

Dans une large mesure, l’évaluation de programme éclaire les décideurs et les citoyens sur ce qui fonctionne réellement dans un programme, sur ce qui ne fonctionne pas et sur les façons de faire pour atteindre les objectifs du gouvernement à moindre coût, avec la préoccupation constante du service à la clientèle et de l’atteinte des résultats attendus.

L’évaluation de programme joue donc un rôle primordial dans un modèle de gouvernance axé sur les résultats. En effet, elle vise à mesurer l’efficience, entendue comme un rapport entre tous les coûts et tous les bénéfices (directs ou indirects) associés au programme. Le défi consiste à établir les relations de cause à effet et à cerner les facteurs expliquant le niveau de performance.

1.2 / Les questions évaluatives

L’évaluation des programmes publics peut traiter de nombreux enjeux évaluatifs, dont les principaux sont les suivants :

• La pertinence. L’évaluation examine la raison d’être du programme, en cherchant à déterminer les engagements ou les problématiques qui doivent justifier les dépenses publiques ayant permis la mise en œuvre d’un programme public plutôt qu’un autre.
• La mise en œuvre. L’évaluation traite du modus operandi de la mise en œuvre du programme, cherchant à comprendre les modalités de concrétisation du concept de l’intervention (instruments, modalités, incitatifs, etc.) sur le terrain de celle-ci. Très souvent, le concept du programme ne correspond pas tout à fait aux leviers, moyens et instruments devant l’opérationnaliser.
• L’efficacité. L’évaluation examine le niveau d’atteinte des objectifs visés et des effets escomptés par un programme ou simplement une organisation. L’enjeu d’une telle évaluation consiste à mesurer si les actions et les moyens mobilisés sont en mesure de produire les extrants et les activités envisagées ou souhaitées.
• L’efficience. L’évaluation fait référence à la transformation, en biens et en services, au meilleur rendement, des ressources consenties ou investies dans le cadre d’une intervention évaluable. Il s’agit d’apprécier dans quelle mesure les ressources sont utilisées de manière optimale pour produire de la valeur, mesurée par des extrants, résultats et effets recherchés. Ici réside le principal enjeu analytique de ce manuel, puisqu’on oppose forcément l’analyse des coûts et des bénéfices, directs ou indirects, du point de vue de la société et tenant compte de toutes les externalités liées aux interventions faisant l’objet de l’analyse de l’efficience.
• L’économie. L’évaluation consiste à savoir si l’on minimise les coûts et les dépenses pour une activité donnée ou un résultat donné. Il y a économie lorsque le coût des ressources utilisées se rapproche de la quantité minimale de ressources requises pour obtenir les résultats escomptés. Il s’agit de minimiser les coûts sous contrainte de production d’un bien public donné et dans un contexte donné.
• L’impact ou l’évaluation des effets. L’évaluation porte sur l’importance des retombées d’un programme sur les plans social et économique ou encore sur la protection des ressources.

L’évaluation de programme est pratiquée et enseignée dans presque toutes les disciplines des sciences sociales. Les applications sont, en conséquence, diverses et variées. Pour simplifier l’assimilation des postulats et des préceptes en jeu, on se limite dans ce qui suit à souligner quelques balises méthodologiques et contours théoriques qui leur sont liés.

2 / L’évaluation et les soubassements théoriques

L’évaluation de programme prend appui sur des théories et des approches inspirées par les disciplines dominantes en sciences sociales. Sans être exhaustif, nous présentons notamment les liens associant l’évaluation de programme et les dimensions théoriques issues des sciences sociales.

Issues des méthodes de la recherche en sciences sociales, les approches évaluatives ancrées dans les théories (grounded theory) partent d’un socle théorique bien défini au départ pour le bonifier ou le réviser. Elles ont pour objectif de construire des théories sur la base de données empiriques, sans recourir a priori à des hypothèses vérifiables, mais plutôt en construisant au fur et à mesure les hypothèses, les concepts et les corrélats en cause dans une théorie donnée.

L’évaluation ancrée dans les théories postule que l’évaluation doit rester liée aux processus de théori...

Table des matières

• Couverture
• Page de titre
• Page de copyright
• Liste des encadrés
• Liste des figures
• Liste des tableaux
• Liste des sigles et acronymes
• Introduction
• Chapitre 1 / L’évaluation économique de programme
• Chapitre 2 / Évaluation coûts-avantages
• Chapitre 3 / Évaluation des programmes, administration des prix et de la tarification
• Chapitre 4 / Rectification des prix et recours aux prix fictifs
• Chapitre 5 / Évaluation contingente
• Chapitre 6 / Analyse des risques et incertitudes des évaluations coûts-avantages
• Chapitre 7 / Évaluation des impacts contrefactuel
• Chapitre 8 / Rédiger et communiquer les évaluations économiques des programmes publics