Évaluation de l’implantation, des processus et des effets différentiels de Check & Connect : un programme de prévention de l’abandon scolaire

Abstract

L’objectif de cette thèse était d’évaluer l’implantation, les effets différentiels et les processus du programme Check & Connect (C&C), une intervention visant la prévention de l’abandon scolaire. De nature ciblée, cette intervention s’adresse aux élèves à risque de décrochage scolaire. Par le biais de la création d’une relation significative avec un mentor, du monitorage systématique des indicateurs de désengagement scolaire, d’interventions différentielles adaptées aux besoins des élèves et de la communication positive avec la famille de ces derniers, ce programme développé aux États-Unis au début des années 1990 a été maintes fois évalué en sol américain. Cette évaluation s’intéresse à l’adaptation québécoise du programme, réalisée dans deux commissions scolaires de la grande région de Montréal, et ce tant au niveau primaire qu’au niveau secondaire. L’évaluation de l’implantation, des effets différentiels et des processus s’insère dans un projet plus vaste de validation écologique du programme réalisée à l’aide d’un devis expérimental dans le cadre duquel le groupe contrôle équivalent a reçu les interventions typiquement prévues dans les écoles : l’intervention C&C est donc comparée aux interventions typiquement mises en place dans les écoles pour les élèves à risque d’abandon scolaire. L’évaluation de l’implantation et des effets différentiels a été réalisée à la suite des deux années d’implantation auprès des 345 élèves du primaire et du secondaire ayant été exposés au programme et des 54 mentors impliqués. La fidélité d’implantation a été évaluée en relation avec les effets du programme à l’aide d’analyses quantitatives de fréquence et de régressions linéaires. L’évaluation des processus a également été réalisée une fois l’implantation terminée; des entrevues semi-structurées ont été réalisées auprès de 12 acteurs impliqués dans l’implantation. Des analyses thématiques, puis des études de cas ont été complétées afin d’explorer les processus d’implantation. Le premier chapitre empirique de la thèse présente l’évaluation de l’implantation et des effets différentiels du programme C&C. Cette étude a permis de constater des taux de fidélité d’implantation variables d’une composante du programme à l’autre, et d’un site d’implantation à un autre. De plus, les résultats révèlent que la fidélité d’implantation est associée aux effets du programme sur l’engagement et le rendement scolaires. Néanmoins, cette association varie grandement d’une composante du programme et d’un site d’implantation à un autre, ce qui suggère d’importantes influences contextuelles sur l’implantation. Le second chapitre empirique de la thèse présente l’évaluation des processus d’implantation de C&C dans 4 cas de figure distincts. Cette évaluation révèle de nombreux processus ayant influencé l’expérience d’implantation des acteurs interrogés. Les résultats suggèrent par ailleurs une influence dynamique des processus : des parallèles sont faits avec une théorie issue de la psychologie organisationnelle, la théorie du changement planifié, qui suggère la considération de l’implantation d’un programme d’intervention comme un changement de pratiques. En somme, les évaluations présentées dans la thèse soutiennent d’une part l’importance d’une implantation fidèle lorsque vient le temps de faire appel à un programme d’intervention. La thèse suggère de surcroît la nécessité de s’assurer d’une préparation adéquate et de la mise en place de conditions optimales pour l’intervenant et l’organisation désirant implanter un programme d’intervention en milieu scolaire, puisque la fidélité d’implantation n’est pas garante à elle seule d’effets positifs suite à l’implantation.

The present thesis aimed to evaluate the implementation, differential effects and processes of Check & Connect (C&C), a dropout prevention program. This targeted intervention promotes the development of a significant relationship with a mentor in addition to the use of systematic monitoring of disengagement indicators, differential and adapted interventions and positive school-family communication in order to help students at risk of dropping out of school. Developed in the 1990s in the United States, this program was evaluated many times in American school settings. This evaluation focuses on a French-Canadian adaptation of C&C, implemented in elementary and secondary schools of two school boards in the Montreal area. The evaluation of the implementation, implementation processes, and differential effects is part of a larger ecological and experimental validation of the program in which students of the control group received the usual interventions typically offered to at-risk students in their schools. Implementation and differential effects evaluations were conducted after the two-year implementation of C&C among a sample of 345 elementary and secondary-level students and their 54 mentors. Implementation fidelity and its relations to program effects were evaluated using frequency analyses and linear regressions. Process evaluation was also completed post-intervention: semi-structured interviews were conducted with 12 actors directly involved in the implementation. Qualitative thematic analyses and case studies were then completed in order to explore implementation processes. The first empirical chapter of this thesis presents the evaluations of C&C’s implementation and differential effects. This evaluation revealed high variability in implementation fidelity rates from one program component to another, and across implementation sites. Further, results suggest that implementation fidelity is associated to C&C’s effects on student engagement and achievement. Nevertheless, that relation varies from one program component to another and based on implementation context. The second empirical chapter of the thesis presents the evaluation of C&C’s process in four distinct cases. This evaluation reveals that many processes influenced the implementation experience of interviewed actors. Results also show the dynamic influences of implementation processes. These dynamics are illustrated using a theory originating from organizational psychology: the Theory of Planned Change, which presents the implementation of an intervention program as a change in practices. In conclusion, the evaluations presented in this thesis first support the importance of implementation fidelity and context to achieve the desired effects when instigating an intervention program. For professionals and organizations interested in implementing an intervention program in a school setting, results further suggest the importance of adequate preparation and optimal implementation conditions, since implementation fidelity in itself is not sufficient to ensure positive intervention results.