Modélisation, élaboration et évaluation de rapports à visée diagnostique des données du PIRLS 2011

Abstract

Cette étude s'inscrit dans l'approche diagnostique cognitive (ADC), dont la finalité est de fournir aux enseignants des rétroactions fines et détaillées sur les forces et les faiblesses cognitives des élèves, à travers des rapports diagnostiques compréhensibles et interprétables. Elle a été menée dans le but de répondre au grand besoin qu'ont les enseignants de recevoir des informations diagnostiques à partir de tests à grande échelle, et de combler le manque de recherches empiriques sur l'élaboration et l'évaluation de rapports diagnostiques. Plus précisément, notre étude vise à : (1) modéliser des données de 4 762 élèves canadiens ayant fait le test PIRLS 2011 et (2) élaborer et évaluer des rapports diagnostiques destinés aux enseignants à partir des résultats des modélisations. Afin de répondre au premier objectif, des habiletés sous-jacentes jugées nécessaires pour répondre aux 35 items du PIRLS 2011 ont été identifiées à partir du cadre de référence pour l'élaboration du PIRLS 2011 et avec un panel de trois experts. Deux matrices, Q1 et Q2, représentant les liens entre les items et ces habiletés, ont ensuite été élaborées. Avec ces deux matrices Q, nous avons modélisé des données à l'aide des modèles DINA et G-DINA, ce qui nous a permis d'évaluer l'ajustement des modèles aux données et d'estimer la qualité diagnostique des items ainsi que les profils de maîtrise des habiletés des élèves. Quant au deuxième objectif de l'étude, un panel de cinq experts a, dans un premier temps, reformulé les descriptions des habiletés identifiées dans un langage accessible aux enseignants en salle de classe. Dans un deuxième temps, nous avons choisi le profil-type le plus représentatif des élèves parmi les profils de maîtrise des habiletés tirés des modélisations. Dans un troisième temps, trois formats de rapports ont été développés à partir de ce profil-type au moyen du protocole de conception de rapports créé grâce à une revue de la littérature. Finalement, l'évaluation des rapports a été effectuée auprès de 98 enseignants au primaire, conseillers pédagogiques et orthopédagogues à l'aide d'un questionnaire portant sur la préférence, l'évaluation de la qualité et la compréhension des rapports. Les résultats obtenus indiquent le format de rapport de préférence des participants, lequel s'explique par la familiarité du type de graphique présenté. Cette préférence est constante, peu importe les informations contextuelles. Les participants évaluent très positivement la qualité des rapports, indépendamment des variables contextuelles. Par contre, il existe une différence significative entre l'évaluation de la qualité des rapports et la préférence des participants. Les participants qui évaluent leur format préféré démontrent des perceptions plus positives. D'autre part, les participants ont une très bonne compréhension des trois formats de rapports. Le groupe ayant le mieux compris les rapports est celui dont l'évaluation de la qualité est la plus positive. Les résultats de l'étude mettent en évidence la possibilité de recevoir, à travers des rapports accessibles, fiables et compréhensibles, des rétroactions plus fines et détaillées sur les forces et les faiblesses des élèves dans des épreuves à grande échelle. Notre étude est la première à appliquer un cadre de référence pour l'élaboration et l'évaluation de rapports selon une approche diagnostique cognitive, et contribue ainsi à favoriser le soutien à l'apprentissage de la lecture au primaire.

This study uses the cognitive diagnostic approach (CDA) to provide teachers with precise and detailed feedback on the cognitive strengths and weaknesses of students through comprehensible diagnostic reports. It was conducted with the aim of addressing teachers’ pressing need for diagnostic information based on large-scale tests, as well as the lack of empirical research on diagnostic report development and evaluation. More specifically, our study aims to: (1) model data from 4,762 Canadian students who took the 2011 PIRLS test and (2) develop and evaluate diagnostic reports for teachers, using modeling results. In order to attain the first objective, necessary underlying skills to solve the 35 items in PIRLS 2011 were identified based on the PIRLS 2011 development framework and with a panel of three experts. Two templates, Q1 and Q2, were then developed, representing the connexions between these skills and items. With these two “Q” templates, we modeled the data with the DINA and G-DINA models, which enabled us to assess how the models fit the data and to estimate the diagnostic quality of the items as well as the skill mastery profiles of the students. As for the second objective, a panel of five experts first rephrased the identified skills descriptions in accessible terms for teachers in the classroom. Next, among the skill mastery profiles obtained from the modeling, we chose the profile that was most representative of the students. Then, three report formats were developed based on this standard profile, using the design protocol derived from our literature review. Finally, 98 elementary school teachers, educational consultants and remedial teachers evaluated these reports by means of a survey focusing on report preference, report quality evaluation and report comprehension. The results point to a preferred report format among the participants. This preference is explained by the familiarity of the type of chart presented, and it is constant regardless of contextual information. The participants evaluated the quality of the reports very positively, with no variation according to contextual variables. However, there is a significant difference between report quality evaluation and report preference. Participants who evaluate their preferred format show more positive perceptions. Regarding report comprehension, participants have a very good understanding of all three formats. The group that best understands the reports is the one that made the most positive quality evaluation. The results of the study point to the possibility of receiving, through accessible, reliable, and comprehensible diagnostic reports, more precise and detailed feedback on the strengths and weaknesses shown by students in large-scale tests. Our study is the first to apply a report development and evaluation framework based on a cognitive diagnostic approach, thus helping improve support for reading acquisition in elementary schools.