Entretien « Parlons méthode » avec Xavier D’Haultfoeuille, professeur au CREST et à l’ENSAE.
La méthode de différences de différences est une méthode d’évaluation moderne, qui connaît un certain essor. Vous rappelez toutefois qu’elle n’est pas complètement nouvelle et que sa première utilisation remonte aux années 1840, c’est-à-dire avant l’invention de la turbine, du pneu caoutchouc, de l’anesthésie ou du forage pétrolier ?
Exactement ! Il est surprenant de constater cet usage si précoce, même s’il est resté très marginal. Les premières applications de cette méthode, par Ignaz Semmelweis et John Snow, étaient médicales, à une époque où la méthode scientifique n’était pas encore véritablement appliquée en médecine : l’essai fondateur de Claude Bernard sur la méthode expérimentale ne paraîtra qu’en 1865. Les conclusions d’Ignaz Semmelweis ont d’ailleurs été raillées par ses pairs.
On peut toutefois comprendre cet usage précoce par l’aspect très intuitif de cette méthode, davantage sous doute que la méthode des variables instrumentales par exemple, et le fait qu’elle ne requiert, dans sa version la plus simple tout du moins, ni informatique ni outils statistiques complexes.
Comment expliquer son essor dans le champ de l’économie et de l’évaluation des politiques publiques ? Se fait-il aux dépens par exemple d’autres méthodes tombées un peu plus en désuétude ?
Il me semble que son essor tient à deux éléments. D’une part, le contexte institutionnel s’y prête fréquemment : les politiques publiques sont très souvent ciblées, ce qui signifie qu’on peut construire des groupes de « traitement », qui en bénéficient à partir d’une certaine date, et des groupes de « contrôle », qui n’en bénéficient pas. Ce cadre permet dès lors, en principe du moins, d’appliquer la méthode. D’autre part, on peut, dans une certaine mesure, tester ses hypothèses sous-jacentes.
Je réponds maintenant à votre deuxième question. Les deux méthodes principales concurrentes, à savoir le recours aux variables instrumentales et la régression sur discontinuité, ont en effet pâti de cet essor récent. La principale critique adressée aux variables instrumentales est qu’il est difficile de trouver un instrument crédible. Et même lorsque c’est le cas, leur usage conduit souvent à des estimations très imprécises. La méthode des régressions sur discontinuité, quant à elle, résiste mieux à la vague récente des différences de différences. Elle est souvent très crédible mais elle souffre d’un inconvénient important, par rapport aux différences de différences : les effets ne sont estimés que pour une toute petite sous-population, qui n’est pas toujours la population d’intérêt.
Ce qu’on appelle communément la « révolution de la crédibilité » s’accompagne d’une très grande technicité désormais dans la conduite des évaluations. Les évaluations ne peuvent-elles en conséquence, pour un travail sérieux, qu’être menées par des chercheurs avec une double expertise statistique et économique très poussées ?
En économie comme dans d’autres champs scientifiques, la recherche s’est spécialisée. L’évaluation est effectuée par des experts de leur domaine (travail, éducation, taxation etc.) qui ne développent que très rarement les outils statistiques qu’ils utilisent. Ce sont plutôt les économètres qui développent et mettent à disposition ces outils. Il est cependant important que les évaluateurs aient une bonne compréhension des outils qu’ils utilisent, pour les choisir au mieux et être conscients de leurs limites.
Cette complexité peut-elle avoir un effet négatif en rendant plus complexe pour les commanditaires, les décideurs politiques, les journalistes, les citoyens la compréhension des méthodes … et donc des résultats ?
En réalité, il me semble que les différences de différences, tout comme les régressions sur discontinuité, sont très intuitives. Les résultats principaux peuvent être directement visualisés. De ce point de vue, cette méthode me semble plus transparente et accessible que d’autres méthodes traditionnelles comme les régressions linéaires. Bien sûr, l’interprétation des graphiques correspondants peut être délicate, mais dans l’ensemble ces méthodes me semblent aller dans le sens d’une plus grande démocratisation de la recherche empirique.
Comprenez-vous les critiques politiques sur le manque de robustesse de certaines études ou la faible lisibilité de leurs résultats, alors même que ces études reposent sur les méthodes les plus avancées d’un point de vue académique ?
Je ne suis pas sûr de comprendre cette critique. Est-ce l’idée que les effets d’une politique peuvent être multidimensionnels, et qu’il est difficile d’agréger ces différentes dimensions pour en tirer une conclusion unique ? Si oui, je dirais que cet argument renforce, plutôt qu’il n’affaiblit, la nécessité de l’évaluation. Car avant de décider comment ces différentes dimensions doivent être pondérées, ce qui est en partie le rôle du politique, il est nécessaire de connaître les effets eux-mêmes, dans chacune de ces dimensions.