Étude de modèles neuronaux de questions-réponses

Abstract

Dans le domaine du traitement automatique du langage naturelle, la tâche question-réponse (Question-Answer (QA)) consistant à développer des systèmes générant une réponse plausible à une question posée en langage naturel par un utilisateur depuis une source d’information, demeure d’actualité. Elle présente de nombreuses applications pratiques dont la recherche affinée d’information sur le web. Aujourd’hui, suite à une requête, les moteurs de recherche actuels retournent des listes classées de documents mais ils ne fournissent pas de réponse à la question de l’utilisateur.

Depuis plus de cinquante ans, différentes approches et technologies ont été développées, qui ont mené à des avancées significatives en QA. Parmi celles-ci, les embeddings de mots, des vecteurs numériques représentant la signification des mots dans des contextes, des ensembles de données modèles et l’utilisation de réseaux neuronaux (RN) ont permis le développement de systèmes QA performants.

Dans ce contexte, ce mémoire a porté sur l’étude du modèle BIDAF (Bidirectional Attention Flow), un des systèmes QA à base de RN les plus performants au début de ces travaux, testé au moyen de SQuAD (Stanford Question Answering Dataset), un des benchmarks les plus populaires en QA. L’étude initiale de BIDAF a démontré un certain nombre de différences structurelles notables entre sa description littéraire et son implémentation. Différentes variantes de BIDAF ont donc été développées et testées auxquelles on a ajouté l’entraînement des embeddings de mots durant l’entraînement du modèle ainsi que la modulation cyclique du taux d’apprentissage.

Les modèles de structures similaires à la description littéraire de BIDAF avec entraînement des embeddings de mots et une version simplifiée ont démontré de meilleures performances, soit de 59.56% en exact match (EM) et 67.09% en F1, et EM = 60.20% et F1 = 67.69%, respectivement. Cette performance a été améliorée par la modulation du taux d’apprentissage à EM = 61.42% et F1 = 68.46%.

In the field of natural language processing, the question-answer (QA) task involving the development of systems generating a plausible answer to a question asked in natural language by a user from an information source, remains a hot topic. It has many practical applications including fine-grained information retrieval on the web. Today, following a query, current search engines return lists of classified documents but they do not provide an answer to the user’s question.

Since more than fifty years, a number of approaches and technologies have been developed which have led to significant advances in QA. Among these, word embeddings, numerical vectors representing the meaning of words in contexts, the development of model or benchmark datasets and the use of neural networks (NN) have enabled the development of efficient QA systems.

In this context, this thesis focused on the study of the BIDAF (Bidirectional Attention Flow) model, one of the most efficient NN-based QA systems at the start of this work, tested using SQuAD (Stanford Question Answering Dataset), one of the most popular benchmarks in QA. BIDAF’s initial study showed a number of notable structural differences between its literary description and its implementation. Different variants of BIDAF were therefore developed and tested to which were added word embedding training during model training as well as cyclic modulation of the learning rate.

The models of structures similar to the literary description of BIDAF with training of word embeddings and a simplified version showed better performances, i.e. 59.56% in exact match (EM) and 67.09% in F1, and EM = 60.20% and F1 = 67.69 %, respectively. This performance was improved by modulating the learning rate to EM = 61.42% and F1 = 68.46%.