Expérimentation de la cartographie conceptuelle comme dispositif de collecte de données en vue de l’évaluation des apprentissages

Abstract

La carte conceptuelle est un outil de représentation graphique des connaissances très polyvalent et aux usages multiples en éducation (Cañas et coll., 2003; Cañas et Novak, 2008; Marchand et d'Ivernois, 2004). Dans le domaine de l’évaluation des apprentissages, plusieurs ont reconnu son potentiel pour évaluer des dimensions de l’apprentissage qui ne sont pas captées à l’aide d’instruments traditionnels (Edmondson, 2005; Novak et Canas, 2008; Ruiz-Primo, Schultz, Li et Shavelson, 2001). Malgré tout, les savoirs scientifiques à son sujet sont encore épars et incomplets, et ce malgré la longue tradition de cet outil en éducation, étalée sur quelques décennies. À travers trois articles, cette thèse vise à approfondir les connaissances au sujet des modalités de production, de correction et de notation de cartes conceptuelles. Le premier article se consacre aux différences entre les processus de réponses lorsque la carte est produite de façon traditionnelle avec un crayon sur un support papier ou à l’ordinateur avec un logiciel dédié. Pour ce faire, huit élèves de quatrième secondaire en science et technologie ont effectué une tâche de cartographie conceptuelle tout en verbalisant leur pensée à haute voix. En plus de mettre en évidence quelques séquences d’actions et stratégies inhérentes à chaque modalité, les analyses de cette étude font ressortir des difficultés rencontrées par les participants au cours de la réalisation de la tâche. Ces observations rappellent notamment l’importance de la formation préalable à la cartographie conceptuelle. Le deuxième article décrit la démarche de conception d’un logiciel pour assister l’humain lors de la production d’une carte conceptuelle à partir de textes, cette carte pouvant idéalement servir de carte de référence en vue de la correction des cartes produites par des élèves. Le logiciel a été mis à l’essai en considérant les thématiques des deux tâches soumises aux élèves lors des deux autres volets de cette recherche et son rendement a été apprécié en comparant les cartes extraites à l’aide du logiciel et les cartes extraites manuellement à partir des mêmes textes. Même si, globalement, les résultats de cette mise à l’essai sont assez encourageants, il semble néanmoins encore prématuré de se servir de ces cartes pour l’usage du logiciel ciblé au départ. L’article suggère toutefois d’autres usages potentiels et moins contraignants du logiciel et énumère quelques pistes d’améliorations. Le troisième et dernier article explore la modélisation des scores issus de cartes conceptuelles de 84 élèves de quatrième secondaire en science et technologie à l’aide du modèle de Rasch pour données dichotomiques (Rasch, 1960) et du modèle à crédit partiel (Masters, 1982). En appréciant les propriétés psychométriques d’une tâche de cartographie conceptuelle en science et technologie, et notamment en examinant la condition d’indépendance locale et la condition d’unidimensionnalité qui caractérisent les modèles de mesure de la famille des modèles de Rasch, cette étude met en lumière certaines particularités de la structure interne des scores et remet en question certaines des approches conventionnelles de notation de cartes conceptuelles. Chacun de ces trois articles fournit ainsi un regard supplémentaire à l’égard de l’utilisation de la carte conceptuelle comme outil de collecte de données et contribue ainsi au processus de validation de cet outil en vue de l’évaluation des apprentissages.

Concept map is a very versatile and multipurpose knowledge representation tool in education (Cañas et al., 2003, Cañas and Novak, 2008; Marchand and d'Ivernois, 2004). In the domain of assessment, many have recognized its potential to assess dimensions of learning that are not captured using traditional instruments (Edmondson, 2005; Novak and Cañas, 2008, Ruiz-Primo, Schultz, Li and Shavelson, 2001). Nevertheless, scientific knowledge about it is still scattered and incomplete, despite the long tradition of this tool in education, spread over a few decades. Through three articles, this dissertation aims to deepen knowledge about the modalities of production, grading and scoring of concept maps. The first article focuses on the differences between response processes when the map is produced in a traditional way on paper with a pencil or using a computer with a dedicated software. To do this, eight Secondary IV students in science and technology completed a concept mapping task while verbalizing their thoughts aloud. In addition to underscore some sequences of actions and strategies inherent to each modality, the analyses of this study highlight difficulties encountered by the participants during the performance of the task. These observations are a reminder of the importance of prior training in concept mapping. The second article describes the development of a software to assist humans during the generation of a concept map using texts, this map can ideally serve as a reference map for grading maps produced by students. The software was tested by considering the themes of the two tasks submitted to students in the other two parts of this research and its performance was evaluated by comparing the maps extracted with the software and the maps extracted manually from the same texts. Although, overall, the results of this test are quite encouraging, it still seems premature to use these maps for the use initially targeted by the software. The article, however, identifies other potential and less restrictive uses of the software and lists some areas for improvement. The third and final article explores the modelling of scores from concept maps of 84 Secondary IV students in science and technology using the partial credit model (Masters, 1982). By evaluating the psychometric properties of a concept mapping task in science and technology, especially by examining the assumption of local independence and the assumption of unidimensionality that characterizes the measurement models from the family of Rasch models, this study highlights some peculiarities in the internal structure of scores and challenges some of the conventional approaches to note concept maps. Each of these three articles provides additional insights into the use of concept map as a data collection tool and contributes to the validation process of this tool for the assessment of learning.