Développement et validation d’un outil d’évaluation de la compétence chirurgicale pour l’évidement cervical

Abstract

Objectifs : Développer et valider un outil servant à évaluer les compétences chirurgicales des résidents en Oto-rhino-laryngologie et chirurgie cervico-faciale (ORL-CCF) pour l’évidement cervical. Méthodes : Une revue systématique de la littérature a été réalisée afin de recenser les méthodes validées pour évaluer les compétences chirurgicales en ORL-CCF. Les procédures chirurgicales pour lesquelles elles ont été développées ont été répertoriées. La revue a permis d’identifier un déficit en outils d’évaluation spécifiques aux procédures oncologiques en ORL-CCF, incluant l’évidement cervical. Une méthode de Delphi modifiée a été utilisée afin de développer une liste d’étapes essentielles à la complétion d’un évidement cervical. Cette liste a été combinée à la grille générale du Objective Structured Assessment of Technical Skills (OSATS) pour développer un outil spécifique à l’évidement cervical. Cet outil a été validé en salle d’opération auprès de l’équipe d’oncologie ORL-CCF de l’Université de Montréal et de ses résidents. Résultats : Un total de vingt-neuf évaluations ont été complétées au cours de l’année académique 2016-2017. L’acceptabilité a été jugée élevée auprès des résidents et des chirurgiens d’ORL-CCF, avec pour seule disparité l’utilisation formative ou sommative de l’outil. Les études de validation ont démontré des scores significativement plus élevés chez les résidents séniors que chez les juniors, ainsi qu’une progression significative des scores au fil du temps (p<0,05). La tendance des scores sur la grille spécifique corrélait avec les résultats obtenus sur la grille générale précédemment validée (p<0,05). ii Conclusions : Le premier outil évaluant spécifiquement les compétences chirurgicales des résidents en ORL pour l’évidement cervical a été développé et validé.

Objectives: To develop and validate a new tool assessing surgical competency for Otolaryngology – Head & Neck Surgery (OTL-HNS) residents learning neck dissection. Methods: A systematic review of literature was done to list methods developed to assess surgical competency in OTL-HNS. The surgical procedures for which these tools were developed were catalogued. A lack of evaluation tools specific to oncologic procedures in OTLHNS was identified, which includes neck dissection. A modified Delphi method was used to develop a list of steps deemed essential to a group of experts in order to complete a neck dissection. This list was combined to the general list of the Objective Structured Assessment of Technical Skills (OSATS) tool to develop a tool specific to neck dissection. This tool was validated in the operating room with the collaboration of the OTL-HNS oncology team of Université de Montréal and of the residents of this program. Results: A total of twenty-nine evaluations were completed throughout the 2016-2017 academic year. Acceptability ranked high for both residents and staff, with a single discrepancy in responses regarding a potential formative as opposed to summative use of the tool. Validation study results demonstrated significantly higher checklist scores for senior residents as opposed to junior residents, as well as a significant score progression over time (p<0,05). Trends in scores on the task-specific tool correlated highly to results obtained on a validated global rating scale (p<0,05). Conclusion: The first tool assessing surgical competency in OTL-HNS residents for neck dissection was successfully developed and validated.