Le jugement des examinateurs dans le cas de l’épreuve d’expression orale du TEF

Abstract

Au Canada, chaque province et territoire possède ses propres critères de sélection des immigrants et les exigences linguistiques à des fins d'immigration ont une incidence importante sur les demandes des candidats. Au Québec, les candidats doivent avoir recours à des certifications standardisées de français afin d’attester de leurs connaissances de la langue. Parmi ces certifications, on retrouve le Test d’évaluation de français (TEF) qui évalue les quatre habiletés de la compétence langagière : l’expression écrite, la compréhension écrite, la compréhension orale et l’expression orale. L’évaluation de l’expression orale se réalise au moyen d’une entrevue entre un candidat et un examinateur, car cela constitue un meilleur indicateur de la compétence de la personne évaluée. Cependant, étant donné que l’entrevue implique un examinateur humain, le comportement de celui-ci peut représenter une menace possible à la fidélité du test. Malgré les nombreuses mesures prises afin de minimiser les variabilités de l’évaluation, il a été démontré que l’examinateur pouvait représenter un « effet » (biais) pouvant porter sur ses caractéristiques intrinsèques et sur ses approches en matière d’évaluation. Nous inscrivant dans une perspective qualitative/interprétative, nous avons documenté le jugement des examinateurs du TEF lors de l’évaluation de l’épreuve d’expression orale. De manière spécifique, nous avons observé s’il existait des divergences à travers leur jugement, puis nous avons brossé le portrait de leur appropriation et de leur appréciation de la grille d’évaluation. Dix participants, examinateurs TEF, ont pris part à la collecte de données au moyen d’une activité d’évaluation de candidats via la technique de la pensée à voix haute, puis en prenant part à une entrevue semi-dirigée. Les résultats révèlent que des divergences sont présentes. En effet, les examinateurs peuvent accorder une même note pour une même performance alors que leurs interprétations peuvent différer, et inversement. De plus, certains peuvent être influencés de façon positive dans leur jugement en raison de leur familiarité avec l’accent des candidats. D’autres peuvent faire des inférences non pertinentes pour produire des significations aux difficultés rencontrées par les 4 candidats. Enfin, l’attitude de l’animateur lors de la conversation avec le candidat peut être perçue différemment et entraîner une conséquence négative sur la note de ce dernier. Pour ce qui est de l’appropriation et de l’appréciation des examinateurs de la grille d’évaluation, plusieurs aspects ont été relevés. Certains descripteurs ont été interprétés différemment et ont été jugés ambigus ou vagues. De plus, les échelons B1 et B2 ont été ceux posant le plus de problèmes en raison du niveau B2 qui attribue des points aux candidats ayant un projet d’émigration au Québec. Par ailleurs, beaucoup de critiques ont été émises à l’égard d’un critère à cause des deux actions distinctes qu’il contient. Nous concluons ainsi que les points sensibles relevés dans cette recherche mériteraient une attention particulière de la part des parties prenantes concernées par le TEF afin d’amener les examinateurs à être plus constants dans leur pratique, et ainsi d’améliorer la standardisation des procédures de passation dudit test.

In Canada, each province and territory has its own immigrant selection criteria, and language requirements for immigration purposes have a significant impact on applicants' applications. In Quebec, candidates must use standardized French certifications to attest to their knowledge of the language. Among these certifications, we find the Test d’Évaluation de Français (TEF), which assesses the four skills of language proficiency: written expression, written comprehension, oral comprehension and oral expression. The assessment of oral expression is carried out by means of an interview between a candidate and an examiner, as this is a better indicator of the competence of the person being assessed. However, since the interview involves a human examiner, his behaviour may represent a possible threat to test reliability. Despite many steps taken to minimize variability in assessment, it has been shown that the reviewer may represent an "effect" (bias) that may affect their intrinsic characteristics and approaches to assessment. From a qualitative/interpretive perspective, we documented the judgment of TEF examiners during the assessment of the oral expression test. Specifically, we observed whether there were any discrepancies in their judgment, then we painted the portrait of their appropriation and appreciation of the rating scale. Ten participants, all TEF examiners, took part in the data collection through a candidate assessment activity via a think-aloud protocol, followed by a semi-structured interview. The results reveal that discrepancies are present. Indeed, the examiners can give the same score for the same performance while their interpretations can differ, and vice versa. Additionally, some may be positively influenced in their judgment due to their familiarity with the candidate's accent. Others may make irrelevant inferences to make sense of the difficulties encountered by candidates. Finally, the interviewer's attitude during the conversation with the candidate may be perceived differently and have a negative impact on the latter's score. Regarding the appropriation and appreciation of the examiners of the rating scale, several aspects were noted. Some descriptors were interpreted differently and were found to be ambiguous or vague. In addition, levels B1 and B2 were the most challenging, because success at level B2 is required for immigration. On the other hand, much criticism has been levelled at a criterion, because of the two separate actions it contains. We thus conclude that the sensitive points identified in this research would merit special attention from the stakeholders concerned by the TEF to encourage examiners to be more consistent in their practice, and thus improve the standardization of test implementation procedures.