Detecting pre-error states and process deviations resulting from cognitive overload in aircraft pilots

Abstract

Les pilotes d'avion sont constamment confrontés à des situations où ils doivent traiter des quantités importantes de données en très peu de temps, ce qui peut conduire à des erreurs. Nous avons créé un système de détection des écarts capable d'auditer le cockpit en temps réel pour détecter les actions qui ont été incorrectement ajoutées, omises ou qui n'ont pas été effectuées dans le bon ordre. Ce modèle évalue les écarts en se basant sur les données hiérarchiques des tâches trouvées dans le modèle de référence ontologique pour les procédures de pilotage, qui contient des procédures de référence basées sur la connaissance et rassemblées par des experts dans le domaine. Les actions des pilotes sont comparées aux séquences de référence de l'ontologie à l'aide de l'algorithme Needleman-Wunsch pour l'alignement global, ainsi que d'un réseau LSTM siamois. Une API pouvant être étendue à plusieurs simulateurs aérospatiaux, ainsi qu'un Runner, ont été créés pour permettre au Deviation Framework de se connecter au simulateur XPlane afin de surveiller le système en temps réel. Des données créées synthétiquement et contenant des mutations de séquences ont été analysées à des fins de test. Les résultats montrent que ce cadre est capable de détecter les erreurs ajoutées, omises et hors séquence. En outre, les capacités des réseaux siamois sont exploitées pour comprendre la relation de certaines anomalies de la chaîne de séquence afin qu'elles puissent être correctement ignorées (comme certaines tâches qui peuvent être exécutées dans le désordre par rapport à la séquence de référence). Les environnements de simulation enregistrant les données à une fréquence de 10 Hz, une valeur de 0.1 seconde constitue notre référence en temps réel. Ces évaluations de déviation peuvent être exécutées plus rapidement que notre contrainte de 0,1 seconde et ont été réalisées en 0,0179 seconde pour une séquence de décollage contenant 23 actions, ce qui est nettement plus performant que les modèles suivants de l'état de l'art. Les résultats de l'évaluation suggèrent que l'approche proposée pourrait être appliquée dans le domaine de l'aviation pour aider à détecter les erreurs avant qu'elles ne causent des dommages. \\En outre, nous avons formé un modèle d'apprentissage automatique pour reconnaître les signaux de pré-erreur dans le cortex cingulaire antérieur (CCA) à l'aide des données de test Flanker de l'ensemble de données COG-BCI, qui peuvent ensuite être utilisées pour détecter les états de pré-erreur chez les pilotes d'avion. Divers modèles d'apprentissage automatique ont été appliqués à l'ensemble de données, notamment des machines à vecteurs de support (SVM), des forêts aléatoires, un double modèle de réseau neuronal convolutif (CNN) et un modèle Transformer. Au-delà des conclusions typiques de l'étude, notre objectif s'étend à l'évaluation de l'applicabilité du modèle dans un domaine secondaire, à savoir l'évaluation du pouvoir discriminant des classificateurs pendant les procédures de décollage pour les pilotes d'avion. Les résultats de l'analyse de l'ensemble de données FLANKER ont révélé la supériorité du modèle transformateur, avec des réductions notables des faux négatifs et un score final macro moyen F1 de 0,610, et un score final macro moyen F1 de 0,578 sur les données pilotes. Comme nous prévoyons une augmentation des performances du classificateur avec davantage de données d'entraînement et des bandes d'interrogation étendues, cette étude jette les bases d'une recherche plus poussée sur la prédiction des états erronés et les modèles d'optimisation de l'apprentissage automatique pour les ICB et les applications du monde réel.

Aircraft pilots are constantly undergoing situations where they must process significant amounts of data in very small periods of time, which may lead to mistakes. We have created a deviation detection system that is capable of auditing the cockpit in real time to detect actions that have been incorrectly added, omitted, or done out of sequence. This model assesses deviations based on hierarchical task data found in the Ontological Reference Model for Piloting Procedures, which contains knowledge-based reference procedures assembled by experts in the domain. Pilot actions are compared to ontology reference sequences using the Needleman-Wunsch algorithm for global alignment, as well as a Siamese LSTM network. An API that can be expanded to several Aerospace Simulators, as well as a Runner, was created to enable the Deviation Framework to connect to the XPlane simulator for real-time system monitoring. Synthetically created data containing sequence mutations were analyzed for testing. The results show that this framework is capable of detecting added, omitted, and out of sequence errors. Furthermore, the capabilities of Siamese networks are leveraged to understand the relation of certain sequence chain anomalies so that they can correctly be ignored (such as certain tasks that can be performed out of order from the reference sequence). With simulation environments recording data at a frequency of 10Hz, a value of 0.1 seconds is our real-time benchmark. These deviation assessments are capable of being run faster than our 0.1 second requirement and have been clocked at 0.0179 seconds for one Takeoff sequence containing 23 actions - significantly outperforming the next state of the art models. The evaluation results suggest that the proposed approach could be applied in aviation settings to help catch errors before harm is done. \\Moreover, we have trained a machine learning model to recognize pre-error signals in the anterior cingulate cortex (ACC) using Flanker test data from the COG-BCI dataset, which can be subsequently employed to detect pre-error states in aviation pilots. Various machine learning models were applied to the dataset, including Support Vector Machines (SVM), Random Forests, double Convolutional Neural Network (CNN) model, and a Transformer model. Moving beyond typical study conclusions, our objective extends to assessing model applicability in a secondary domain —evaluating the classifiers' discriminative power during takeoff procedures for aviation pilots. Results from the analysis of the FLANKER dataset revealed the superiority of the transformer model, with notable reductions in false negatives and a final macro averaged F1 score of 0.610, and a final macro averaged F1 of 0.578 on the Pilot data. As we anticipate increases in classifier performance with more training data and extended polling bands, this study lays the groundwork for further research in erroneous state prediction and machine learning optimization models for BCI and real-world applications.