Evaluation use within a humanitarian non-governmental organization’s health care user-fee exemption program in West Africa

Abstract

L’évaluation de l’action humanitaire (ÉAH) est un outil valorisé pour soutenir l’imputabilité, la transparence et l’efficience de programmes humanitaires contribuant à diminuer les inéquités et à promouvoir la santé mondiale. L’EAH est incontournable pour les parties prenantes de programme, les bailleurs de fonds, décideurs et intervenants souhaitant intégrer les données probantes aux pratiques et à la prise de décisions. Cependant, l’utilisation de l’évaluation (UÉ) reste incertaine, l’ÉAH étant fréquemment menée, mais inutilisé. Aussi, les conditions influençant l’UÉ varient selon les contextes et leur présence et applicabilité au sein d’organisations non-gouvernementales (ONG) humanitaires restent peu documentées. Les évaluateurs, parties prenantes et décideurs en contexte humanitaire souhaitant assurer l’UÉ pérenne détiennent peu de repères puisque rares sont les études examinant l’UÉ et ses conditions à long terme.

La présente thèse tend à clarifier ces enjeux en documentant sur une période de deux ans l’UÉ et les conditions qui la détermine, au sein d’une stratégie d’évaluation intégrée au programme d’exemption de paiement des soins de santé d’une ONG humanitaire. L’objectif de ce programme est de faciliter l’accès à la santé aux mères, aux enfants de moins de cinq ans et aux indigents de districts sanitaires au Niger et au Burkina Faso, régions du Sahel où des crises alimentaires et économiques ont engendré des taux élevés de malnutrition, de morbidité et de mortalité. Une première évaluation du programme d’exemption au Niger a mené au développement de la stratégie d’évaluation intégrée à ce même programme au Burkina Faso. La thèse se compose de trois articles. Le premier présente une étude d’évaluabilité, étape préliminaire à la thèse et permettant de juger de sa faisabilité. Les résultats démontrent une logique cohérente et plausible de la stratégie d’évaluation, l’accessibilité de données et l’utilité d’étudier l’UÉ par l’ONG. Le second article documente l’UÉ des parties prenantes de la stratégie et comment celle-ci servit le programme d’exemption. L’utilisation des résultats fut instrumentale, conceptuelle et persuasive, alors que l’utilisation des processus ne fut qu’instrumentale et conceptuelle. Le troisième article documente les conditions qui, selon les parties prenantes, ont progressivement influencé l’UÉ. L’attitude des utilisateurs, les relations et communications interpersonnelles et l’habileté des évaluateurs à mener et à partager les connaissances adaptées aux besoins des utilisateurs furent les conditions clés liées à l’UÉ. La thèse contribue à l’avancement des connaissances sur l’UÉ en milieu humanitaire et apporte des recommandations aux parties prenantes de l’ONG.

Evaluation of humanitarian action (EHA) is increasingly deployed as a means to enhance accountability, transparency, and efficiency of humanitarian programs aimed at reducing health inequities and promoting global health. EHA has become a vital tool for program stakeholders, funding agencies, and policy-makers seeking to render practice and decision-making more evidence-based. However, considerable uncertainty remains about evaluation use (EU), as EHA is frequently conducted without being used. Moreover, conditions that influence EU vary across contexts and their applicability in humanitarian non-governmental organizations (NGOs) remains unclear. Program evaluators, stakeholders, and policy-makers in humanitarian contexts have little guidance to support long-term EU, given that few studies have documented EU and its conditions over time. The aim of the present qualitative thesis is to shed light on these issues by documenting EU and the conditions influencing it over a 29-month period within an evaluation strategy embedded into a humanitarian NGO’s health care user fee exemption program. To facilitate access to care, the exemption program subsidized the health service fees of mothers, children under five, and indigents in health districts of Niger and Burkina Faso—West African Sahel regions where food crises and poverty have engendered high rates of malnutrition, morbidity, and mortality. Initial evaluation of the exemption program in Niger led to development of the evaluation strategy subsequently integrated into the same program developed in 2008 in Burkina Faso. The thesis consists of three articles. The first presents an evaluability assessment (EA), a preliminary step undertaken to determine whether an EU evaluation was feasible. Results showed the evaluation strategy’s logic was coherent and plausible, data was accessible, and evaluation strategy stakeholders deemed an EU study to be useful. The second article documents how stakeholders engaged in EU and how it served them and advanced the NGO’s mission. Results showed that stakeholders used findings instrumentally, conceptually, and persuasively, but used evaluation processes only instrumentally and conceptually. The third article identifies the conditions stakeholders saw as influencing EU over time. Key influential conditions were users’ attitudes toward evaluation, stakeholders’ interactions and communications, and evaluators’ skill in producing and sharing evaluation-based knowledge tailored to users’ needs. This thesis furthers knowledge on EU in the humanitarian action context and provides practical recommendations for stakeholders of NGOs.