An intelligent real-time help system for clinical reasoning in virtual reality environment based on emotional analysis

Abstract

Le raisonnement clinique est l'une des compétences les plus importantes de la pratique médicale. Hypocrates est une plateforme logicielle d'évaluation médicale et d'analyse émotionnelle construite sur un environnement de réalité virtuelle. Grâce à cette plateforme, les étudiants en médecine peuvent évaluer leurs connaissances médicales par des cas cliniques virtuels bien conçus à partir d'une base de données de cas. Pendant le processus d'évaluation, les signaux d’électroencéphalogramme sont collectés simultanément pour évaluer l'état émotionnel de l'élève, ce qui aide les chercheurs à étudier le changement émotionnel de l'élève pendant tout le processus d'évaluation. Des études antérieures montrent que le maintien d'une émotion paisible et positive est nécessaire à de bonne performance d’évaluation. Pour maintenir un état émotionnel positif, une possibilité est d'aider les élèves de manière à éviter des émotions négatives (frustration, stress, confusion, etc.) qui peuvent découler des erreurs d’évaluation. Dans cette recherche, nous avons étudié, conçu et développé un système d'aide en temps réel et l'a intégré dans Hypocrates pour former sa prochaine version: Hypocrates +. Le système d'aide est intelligent car il fournit un contenu d'aide personnalisé et hautement associé lorsque la plate-forme estime qu'un contenu d'aide est nécessaire pour maintenir le statut émotionnel paisible et positif d'un élève. Le système d'aide est en temps réel car il a un délai de réponse très court afin que l'étudiant puisse obtenir très rapidement des connaissances médicales utiles. Le contenu de l'aide est généré à partir d'Internet, ou plus précisément, à partir de pages Wiki en ligne, pour que le contenu de l'aide soit toujours à jour. Le langage C # et Visual Studio IDE ont été utilisés pour développer le système d'aide en temps réel. Une application console fonctionne comme un serveur fournissant des services à ses clients et constitue une partie de la plateforme Hypocrates+. Des techniques telles que la recherche d'informations, l'intelligence artificielle, la programmation réseau UDP ont été largement utilisées pour aider au développement d'un serveur intelligent. Avec le système d'aide en temps réel souhaité intégré, Hypocrates+ est passé à une plateforme virtuelle de formation médicale au lieu 6 d'une simple plateforme d'évaluation, qui devient de plus en plus populaire dans la formation médicale moderne. Des tests et des expériences ont été effectués sur le système d'aide en temps réel et Hypocrates+ pour étudier la qualité et l'utilité du contenu d'aide généré et le temps de réponse. La réponse est très rapide avec un temps de réponse moyen de 1,5 seconde. Les résultats de l'analyse émotionnelle montrent que le contenu d'aide a réduit l'émotion négative de 4 participants sur 5. Nous concluons qu'un système d'aide en temps réel avec une bonne qualité de contenu d'aide enrichit les fonctionnalités d'une plate-forme de formation médicale en réalité virtuelle.

students can evaluate their medical knowledge by well-designed virtual clinical cases from a case database. During the process of the evaluation, electroencephalogram signals are collected simultaneously for evaluating the emotional status of the student, which helps researchers study the emotional change of the student during the whole evaluation process. Previous studies showed that maintaining a peaceful and positive emotion is necessary for good performance, and one possible way to maintain such emotional status is to help avoid negative emotions (frustration, stress, confusion, etc.) that can arise by errors during the evaluation. In this research, we studied, designed and developed a real-time help system and integrated it into Hypocrates to form its next version: Hypocrates+. The help system is intelligent as it provides personalized and high related help content when the whole platform believes such help content is necessary to maintain a student’s peaceful and positive emotion status. The help system is real-time as it has a very shot delay of response so that the student can obtain useful medical knowledge very quickly. The help content is generated from internet, or more precisely, from online Wiki pages, to keep the help content is always up to date. C# language and Visual Studio IDE were used to develop the real-time help system: a console application functions as a server providing services to its clients: other part of Hypocrates+ platform. Techniques like information retrieval, artificial intelligence, UDP network programming were widely involved to help developing the intelligent server. With the desired real-time help system integrated, Hypocrates+ upgraded to a virtual medical education platform instead of just an evaluation one, which is becoming more and more popular in modern medical education. Tests and Experiments were performed on the real-time help system and Hypocrates+ to investigate the quality and usefulness of the generated help content and the response time. Results show that the content quality is quite good. The response is very quick with average response time of 1.5 seconds. The results of emotion analysis show that help content reduced 4 8 of 5 participants’ negative emotion. We conclude that the real-time help system with good quality of help content enriches the functionality of a virtual reality medical education platform and it probably helps medical students reduce negative emotion during clinical reasoning.