Evaluating approaches to solving proportional sentence analogies

Abstract

L'analogie, c'est-à-dire une correspondance entre deux entités, est considérée une capacité de raisonnement importante. L'analogie proportionnelle, écrite $a:b::c:d$ et qui se lit ``$a$ est à $b$ ce que $c$ est à $d$'', en est un cas particulier où la correspondance tient de par la relation entre les éléments de deux paires d'objets. Le mémoire évalue certaines méthodes issues de l'usage de représentations distributionnelles vectorielles dans la résolution d'analogies proportionnelles verbales et les mène à leur prolongement naturel, la phrase. Nous ciblons la compétence de modèles de langue et des représentations qui peuvent en être extraites à la résolution d'analogies proportionnelles formées sur la base de relations syntaxiques, sémantiques, ou de connaissance encyclopédique. Peu d'ensembles de données existent pour les analogies de phrase et sinon comprennent pour la plupart des analogies au niveau de la forme, composées de phrases construites à partir de gabarits, ou bien variant peu dans les relations sémantiques qui tiennent entre les phrases. Nous construisons donc un ensemble de données contenant des phrases en paires relationnelles qui nous permet de construire des analogies en appariant deux paires. Nous essayons différentes variations de méthodes qui comportent un objectif de recouvrement par un modèle vectoriel. D'autres méthodes de résolution d'analogies proportionnelles sont explorées par voie de génération de texte. Nous expérimentons par le peaufinement du modèle de langue Flan-T5, pré-entraîné sur des paires instruction-réponse, sur nos analogies par une tâche séquence à séquence, ainsi que par l'incitation avec peu d'exemples en utilisant des versions de ce modèle en variant la capacité jusque dans la gamme des milliards de paramètres. En somme, la performance observée est faible pour toutes les tâches. Nous concluons, de l'utilisation de plongements de phrase, quelques mises en garde similaires à celles que l'on trouve avec la résolution d'analogies verbales par plongements lexicaux. Nos expérimentations génératives démontrent l'importance de données à la fois de bonne qualité et de bonne quantité, ainsi que le potentiel de l'apprentissage en contexte. Nous ajoutons à cela un aperçu qualitatif de la disparité entre l'habileté de modèles probabilistes entraînés pour prédire, à partir d'une instruction, la séquence correcte, et celle d'un modèle peaufiné par la méthode d'apprentissage par renforcement avec commentaires humains, à savoir ChatGPT.

Analogy, the correspondence between two things, has been hailed as an important reasoning capability. Proportional analogy, denoted $a:b::c:d$, read ``$a$ is to $b$ as $c$ is to $d$'' is a special case of this where a correspondence is made in the relation that holds between the elements of two pairs. This thesis evaluates methods originating in the recent use of distributional vector representations for solving four-part word analogies, bringing them to their natural extension, sentences. Few datasets of proportional sentence analogies exist, typically comprising purely formal analogies or sentences constructed by templates, and where semantic relations are typically limited in the variety we would hope to capture. Thus, for the purposes of our experiments, we curate a dataset of pairs of sentences for which a given relation holds and from which analogies can be constructed by matching pairs within a relation together. We target the analogy-solving ability of language models and representations derived therefrom, specifically as regards proportional sentence analogies formed on the basis of syntax, semantics, or encyclopedic knowledge. Different variations on previous methods are explored, all based on retrieval of the solution in a vector space model. Other methods of solving proportional sentence analogies by generation are attempted. We experiment with finetuning the instruction-trained Flan-T5 language model on sentence analogies as a sequence-to-sequence task, as well as prompting model checkpoints up into the billion-parameter range with few-shot examples. Overall performance at the task is poor in both settings. We find that similar caveats which apply to analogical reasoning with word vectors apply to sentence embeddings as well. Our generative experiments show the importance of data of suitable quality and quantity, as well the potential of in-context learning. Some qualitative insights are shown as to the disparity in task ability of instruction-trained probabilistic language models and one finetuned by reinforcement learning with human feedback, namely ChatGPT.