Les évaluations d’impact (EI) à contrefactuel visent à renseigner l’efficacité des projets à produire des résultats tangibles de développement. Pour ce faire, les EI procèdent en mesurant de manière rigoureuse les effets strictement attribuables à une intervention au moyen d’un contrefactuel. Il s’agit donc de comparer l’évolution de la situation pour une population bénéficiaire à l’évolution de la situation qui aurait prévalu en l’absence d’intervention.
Le recours à ce type de méthode est en forte expansion depuis les années 2000. La majeure partie de la production académique reste toutefois concentrée sur les pays d’Amérique du Nord, d’Europe, et d’Asie et l’immense majorité est issue des universités ou centres de recherche au Nord. C’est pourquoi l’AFD s’est engagée, dans sa stratégie Recherche Innovation Savoirs 2019-2022, à privilégier la recherche ancrée localement, dans les régions où le groupe AFD intervient. Cette volonté est déclinée dans le cadre du projet PAIRES qui vise à renforcer le lien avec des centres de recherche dans les géographies d’appui de l’AFD.
Ces évaluations d’impact ont plusieurs vertus : elles contribuent à la production de connaissances d’une part, imposant un examen rigoureux et approfondi susceptible de favoriser une réflexion critique sur l’efficacité des interventions pour le développement. Ainsi, elles alimentent un dialogue de politique publique entre les gouvernements d’Etats du Sud et l’AFD. Elles fournissent également une nuance aux discours médiatiques et elles permettent, le cas échéant, de tester différents protocoles d’intervention.
Plusieurs méthodes existent pour réaliser une évaluation d’impact:
Les méthodes quantitatives expérimentales, qui impliquent qu’avant le projet, le groupe de bénéficiaires et le groupe de contrôle auquel on le compare soient désignés de façon aléatoire. Plus robustes, elles demandent plus de flexibilité sur le mode de sélection des bénéficiaires des projets et sont en moyenne plus coûteuses à mettre en œuvre ;
Les méthodes quantitatives quasi-expérimentales consistent à identifier, sans influencer le mode de sélection du projet, des populations qui semblent comparables aux bénéficiaires. Leur mise en œuvre est donc plus souple et elles sont susceptibles de fournir des résultats robustes. Un « biais de sélection » peut toutefois subsister, c’est-à-dire que des différences structurelles subsistent entre les bénéficiaires et le groupe de contrôle, ce qui est susceptible de fausser la comparaison.
Les méthodes mixtes combinent l’une des méthodes ci-dessus avec des études qualitatives, anthropologiques ou socio-économiques. Elles recourent à des techniques d’entretien, d’observation et d’analyse pour trianguler les informations et comprendre les phénomènes mesurés. Cette articulation permet de renforcer les enseignements sur les mécanismes sous-jacents au changement ou à I’ absence de changement.
Dans le cadre de ce programme, I’AFD entend faire progresser les approches mixtes en conjuguant quantitatif et qualitatif, et favoriser le renforcement des systèmes nationaux de statistiques, que ce soit à travers la mobilisation des données existantes, l’enrichissement des enquêtes, ou encore l’appui aux systèmes statistiques locaux.