Comparabilité entre modalités d’évaluation TIC et papier-crayon : cas de productions écrites en français en cinquième secondaire au Québec

Abstract

De nos jours, la compétence à écrire ne se limite plus aux habiletés développées dans l’usage du papier-crayon traditionnel. Le traitement de texte est omniprésent et tend à devenir indispensable à l’individu dans les situations authentiques d’écriture. Évaluer la compétence à écrire uniquement sur la base de productions manuscrites suscite alors des interrogations pour des raisons d’authenticité et de validité dans la perspective de Messick (1989). Des études ont du reste révélé que les élèves habitués à l’ordinateur ont de meilleures performances en modalité informatisée (traitement de texte) qu’en modalité manuscrite (Russell et Haney, 2000). Il convient cependant de mieux connaître les deux modalités d’évaluation, l’une par rapport à l’autre. Le processus d’écriture est-il modifié chez le scripteur ? Les conditions de passation sont-elles équivalentes? Faut-il désactiver les correcticiels? Le processus de correction se déroule-t-il de la même manière chez l’enseignant ? Les deux modalités d’évaluation conduisent-elles à des résultats équivalents ? Ce sont là des questions de recherche au centre du présent travail qui a pour objectif de faire une comparaison entre modalités d’évaluation manuscrite et informatisée à l’aide de productions écrites d’élèves de cinquième année secondaire au Québec. Le cadre théorique repose sur deux concepts-clés : processus d’écriture et évaluation de l’écrit. La méthode adoptée est à la fois quantitative et qualitative. Deux tâches d’écriture déjà retenues à l’épreuve unique d’écriture en français du MELS ont été utilisées pour administrer respectivement un test en modalité informatisée et un autre en modalité manuscrite à 127 élèves provenant de deux écoles. Dans la première, il s’agit d’un programme ordinaire avec accès aux TIC. Les correcticiels y étaient désactivés. Dans la deuxième, il s’agit d’un programme favorisant particulièrement les TIC dans l’apprentissage. Dans ce groupe, les correcticiels étaient accessibles. Trois scripteurs étaient observés en modalité informatisée et deux en modalité manuscrite. Les moyens utilisés (verbalisation et caméra vidéo pour les deux modalités, capteur d’écran en plus pour la modalité informatisée) permettaient de recueillir des observations sur le processus d’écriture. En outre, pour recueillir des observations sur le processus de correction, grâce à la verbalisation et une caméra vidéo, deux enseignants étaient observés en cours de tâche en modalité de correction papier-imprimé, un autre correcteur en modalité de correction à l’écran et tous les trois en modalité papier-manuscrit. Des observations qualitatives sur les stratégies d’écriture et de correction étaient ainsi collectées puis retranscrites. Les scores attribués par les mêmes correcteurs en appliquant la grille de correction du MELS aux 254 copies (127 manuscrites, 77 imprimées et 50 à l’écran) ont été analysés. D’abord, l’analyse des observations recueillies sur le processus d’écriture révèle des stratégies déployées exclusivement en modalité informatisée et des stratégies qui y sont plus fréquentes. Ces stratégies relevant de sous-processus différents, la fréquence de leur déploiement en modalité informatisée implique des va-et-vient plus fréquents entre sous-processus distincts lorsque le scripteur utilise le traitement de texte. On peut alors déduire que le caractère récursif du processus rédactionnel est plus marqué en modalité informatisée. Ensuite, les résultats de l’analyse des données sur le processus de correction révèlent que : 1) Le correcteur identifie non seulement les erreurs, mais aussi les éléments pertinents positifs, ce qui remet en cause les cadres conceptuels antérieurs focalisés sur la détection des seules erreurs; 2) La modalité de correction n’a pas d’effet sur les stratégies d’identification d’éléments pertinents, mais les stratégies de rétroaction varient d’une modalité de correction à l’autre. Enfin, au niveau de la comparabilité des scores, l’analyse statistique suggère que : 1) La modalité de production et le programme de formation ont un effet; 2) l’activation des correcticiels a un effet positif faible alors que leur désactivation a un effet négatif important.

Writing skills are no longer limited to those developed in performing paper-and-pencil tasks. Word processing is ubiquitous and becomes indispensable in writing authentic situations. In Messick (1989) perspective, writing assessment that is based on handwritten documents raises authenticity and validity problems. For instance, some studies have revealed that students who use to write with a computer perform better in word processing test conditions than on handwriting conditions (Russell and Haney, 2000). We need to better understand the impact of using a computer for a test as opposed to administering paper-and-pencil test: Is the writing process modified? Are the testing conditions equivalent? Should spell and grammar check software be disabled? Is the assessment process different when the reader has to rate in different modes of presentation - handwritten essays or word processed essays that are either printed or displayed on the screen? Do both assessment methods lead to equivalent results? The purpose of this study is to compare Grade 11 Quebec students’ writing assessments based on essays written with a computer versus handwritten essays. The conceptual framework is built on the concepts of Writing process and Writing assessment. The approach is both quantitative and qualitative. Two writing tasks previously used in the Grade 11MELS French writing exam were used to administer a test with a computer and a paper-and-pencil test. The sample consisted of 127 students from two schools. In the first school, students are enrolled in a regular program with access to ICTs and the spell and grammar check software was disabled. In the second school, ICT use is fully integrated in teaching and learning. In this group, the spell and grammar check software was available. Three writers were observed in the computer mode and two in the handwritten mode. Observations on the writing process were collected in three ways - verbalization and video camera for both modes, screen capture added in computerized mode. In addition, to collect data on the assessment process, the three teachers were observed during the rating task by two means (think-aloud and video camera) in different modes of presentation: two assessed a set of paper essays, one a set of paper that were displayed on the screen and three a set of manuscript essays. Qualitative observations on the writing process and the assessment process were collected and transcribed. Quantitative data consisted of scores given by the three raters using the MELS correction grid. 254 essays (127 handwritten, 77 word-processed and printed, 50 word-processed and displayed on the screen), were analyzed. First, the analysis of the qualitative data on the writing process revealed that some strategies from different writing sub-processes involved in word processing are used exclusively or more frequently when the writer uses a computer. Their application means moving more frequently between different sub-processes when the writer uses the word processor. Therefore, the writing process is more recursive with word processing. Then, the analysis of the quantitative data on assessment process revealed that : 1) the teacher not only identifies errors and problems in text; he also identifies positive features in the essay. This is important because previous frameworks focused on the errors detection; 2) The difference in the mode of presentation does not influence rater’s strategies in the detection of relevant features.

Finally, as far as the comparability of scores is concerned, the statistical analysis revealed that: 1) Both the way an essay is produced (word processing or handwriting) and the type of program influence the outcome; 2) Enabling the spell and grammar check software seems to has a small impact whereas disabling it has an important impact.