Évaluation de l’acceptabilité du test de concordance de script : une étude nationale chez les résidents en oto-rhino-laryngologie

Abstract

OBJECTIFS. Le test de concordance de script (TCS) est une méthode objective d’évaluation du raisonnement clinique, et plus particulièrement de l’habileté à interpréter l’information médicale dans un contexte d’incertitude. Plusieurs études ont prouvé sa validité pour l’évaluation de l’apprentissage. Par contre, nous en connaissons peu sur l’acceptabilité du TCS par les participants et experts. L’objectif était donc de comparer l’acceptabilité du TCS, lorsque administré à un niveau national, entre des résidents en oto-rhino-laryngologie et chirurgie cervico-faciale (ORL-CCF) et un groupe d’experts dans le domaine.

MÉTHODE. En 2013 et 2016, des questions formatives de type TCS ainsi qu’un sondage post-test ont été inclus dans l’examen national in-training (NITE) d’ORL-CCF. Cet examen est administré à tous les résidents en ORL-CCF du Canada à partir de la deuxième année de résidence. Les mêmes questions de type TCS et le sondage post-test ont été envoyés à un groupe d’oto-rhino-laryngologistes travaillant dans quatre universités du Canada.

RÉSULTATS. Pour 64% des résidents et médecins en pratique, notre étude était leur première exposition au test de concordance de script. La majorité des résidents a trouvé difficile de s’adapter au TCS. Ils trouvaient que les scénarios cliniques n’étaient pas clairs et ne considéraient pas le TCS comme étant utile pour évaluer le raisonnement clinique. Au contraire, la grande majorité des experts avait l’impression que les cas reflétaient des situations cliniques réalistes et aurait recommandé le TCS comme méthode d’évaluation formative en ORL-CCF.

CONCLUSION. Il y a une différence majeure entre l’opinion qu’ont les résidents en ORL-CCF sur l’évaluation du raisonnement clinique par le TCS, en comparaison avec l’opinion des experts. Pour améliorer l’acceptabilité du TCS par les résidents, un effort conscient d’éducation sera nécessaire, ainsi qu’une augmentation de l’exposition au TCS.

OBJECTIVES. Script concordance test (SCT) is an objective assessment method of clinical reasoning which assesses the ability to interpret medical information under conditions of uncertainty. Many studies have supported its validity as a tool to assess higher levels of learning, but little is known regarding its acceptability by major stakeholders. Thus, the objective of our study is to compare the acceptability of SCT when administered at a national level to Otolaryngology – Head and Neck Surgery (OTL-HNS) residents and a reference group of experts.

METHODS. In 2013 and 2016, SCT formative questions, as well as an exit survey, were included in the national in-training exam (NITE) of OTL-HNS. This exam is administered to all OTL-HNS residents across Canada, from second to fifth year of residency. The same SCT questions and survey were then sent to a group of OTL-HNS physicians from five canadian universities.

RESULTS. For 64% of faculty and residents, the study was their first exposure to SCTs. Overall, residents found it difficult to adapt to SCTs, thought that the clinical scenarios were not clear and believed that SCTs were not useful for assessing clinical reasoning. In contrast, the vast majority of experts felt that SCTs reflected real-life clinical situations, and would recommend SCT as an evaluation method in OTL-HNS.

CONCLUSION. There is a great difference in the acceptability of SCT as an assessment tool for clinical reasoning between OTL-HNS residents and expert faculty. To improve the perception of SCT by residents, education and an increased exposure to the SCT would be necessary.