Protocoles d'évaluation pour l'extraction d'information libre

Abstract

On voudrait apprendre à "lire automatiquement". L'extraction d'information consiste à transformer des paragraphes de texte écrits en langue naturelle en une liste d'éléments d'information autosuffisants, de façon à pouvoir comparer et colliger l'information extraite de plusieurs sources. Les éléments d'information sont ici représentés comme des relations entre entités : (Athéna ; est la fille de ; Zeus).

L'extraction d'information libre (EIL) est un paradigme récent, visant à extraire un grand nombre de relations contenues dans le texte analysé, découvertes au fur et à mesure, par opposition à un nombre restreint de relations prédéterminées comme il est plus courant. Cette thèse porte sur l'évaluation des méthodes d'EIL.

Dans les deux premiers chapitres, on évalue automatiquement les extractions d'un système d'EIL, en les comparant à des références écrites à la main, mettant respectivement l'accent sur l'informativité de l'extraction, puis sur son exhaustivité. Dans les deux chapitres suivants, on étudie et propose des alternatives à la fonction de confiance, qui juge des productions d'un système. En particulier, on y analyse et remet en question les méthodologies suivant lesquelles cette fonction est évaluée : d'abord comme modèle de validation de requêtes, puis en comparaison du cadre bien établi de la complétion de bases de connaissances.

Information extraction consists in the processing of natural language documents into a list of self-sufficient informational elements, which allows for cross collection into Knowledge Bases, and automatic processing. The facts that result from this process are in the form of relationships between entities : (Athena ; is the daughter of ; Zeus).

Open Information Extraction (OIE) is a recent paradigm the purpose of which is to extract an order of magnitude more relations from the input corpus than classical IE methods, what is achieved by encoding or learning more general patterns, in a less supervised fashion. In this thesis, I study and propose new evaluation protocols for the task of Open Information Extraction, with links to that of Knowledge Base Completion.

In the first two chapters, I propose to automatically score the output of an OIE system, against a manually established reference, with particular attention paid to the informativity and exhaustivity of the extractions. I then turn my focus to the confidence function that qualifies all extracted elements, to evaluate it in a variety of settings, and propose alternative models.