Analyse de sensibilité de l’effet d’un programme de prévention avec randomisation : application de trois techniques d’appariement pour balancer les groupes contrôle et expérimental : distance de Mahanalobis, score de propension et algorithme génétique

Abstract

L’estimation sans biais de l’effet causal d’une intervention nécessite la comparaison de deux groupes homogènes. Il est rare qu’une étude observationnelle dispose de groupes comparables et même une étude expérimentale peut se retrouver avec des groupes non comparables. Les chercheurs ont alors recours à des techniques de correction afin de rendre les deux groupes aussi semblables que possible. Le problème consiste alors à choisir la méthode de correction appropriée. En ce qui nous concerne, nous limiterons nos recherches à une famille de méthodes dites d’appariement. Il est reconnu que ce qui importe lors d’un appariement est l’équilibre des deux groupes sur les caractéristiques retenues. Autrement dit, il faut que les variables soient distribuées de façon similaire dans les deux groupes. Avant même de considérer la distribution des variables entre les deux groupes, il est nécessaire de savoir si les données en question permettent une inférence causale. Afin de présenter le problème de façon rigoureuse, le modèle causal contrefactuel sera exposé. Par la suite, les propriétés formelles de trois méthodes d’appariement seront présentées. Ces méthodes sont l’appariement par la distance de Mahalanobis, de l’appariement par le score de propension et de l’appariement génétique. Le choix de la technique d’appariement appropriée reposera sur quatre critères empiriques dont le plus important est la différence des moyennes standardisées. Les résultats obtenus à l’aide des données de l’Enquête longitudinale et expérimentale de Montréal (ÉLEM) indiquent que des trois techniques d’appariement, l’appariement génétique est celui qui équilibre mieux les variables entre les groupes sur tous les critères retenus. L’estimation de l’effet de l’intervention varie sensiblement d’une technique à l’autre, bien que dans tous les cas cet effet est non significatif. Ainsi, le choix d’une technique d’appariement influence l’estimation de l’effet d’une intervention. Il est donc impérieux de choisir la technique qui permet d’obtenir un équilibre optimal des variables selon les données à la disposition du chercheur.

The unbiased estimate of the causal effect of an intervention requires the comparison of two homogeneous groups. It is rare that an observational study has comparable groups and even an experiment may end up with non-comparable groups. The researchers then used correction techniques to make the two groups as similar as possible. The problem then is to choose the appropriate correction method. In our case, we will restrict our research to a family of so-called matching methods. It is recognized that what matters in a match is the balance between the two groups on selected characteristics. In other words, it is necessary that the variables are distributed similarly in both groups. Even before considering the distribution of variables between the two groups, it is necessary to know whether the data in question allow for causal inference. To present the problem rigorously, the counterfactual causal model will be exposed. Thereafter, the formal properties of three matching methods will be presented. Those methods are the Mahalanobis matching, the propensity score matching and genetic matching. The choice of the appropriate matching technique is based on four empirical criteria which the most important is the standardized mean difference. Results obtained using data from the Montréal Longitudinal and Experimental Study indicate that of the three matching techniques, genetic matching is the one that better balance the variables between groups on all criteria. The estimate of the effect of intervention varies substantially from one technique to another, although in all cases this effect is non significant. Thus, the selection of a matching technique influences the estimation of the effect of an intervention. Therefore, it is imperative to choose the technique that provides an optimal balance of the variables based on data available to the researcher.