Liens externes
  • Directories
  • Faculties
  • Libraries
  • Campus maps
  • Sites A to Z
  • My UdeM
    • Mon portail UdeM
    • My email
    • StudiUM
Dessin du pavillon Roger Gaudry/Sketch of Roger Gaudry Building
University Home pageUniversity Home pageUniversity Home page
Papyrus : Institutional Repository
Papyrus
Institutional Repository
Papyrus
    • français
    • English
  • English 
    • français
    • English
  • Login
  • English 
    • français
    • English
  • Login
View Item 
  •   Home
  • Faculté des arts et des sciences
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle - Thèses et mémoires
  • View Item
  •   Home
  • Faculté des arts et des sciences
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle - Thèses et mémoires
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

My Account

To submit an item or subscribe to email alerts.
Login
New user?

Browse

All of PapyrusCommunities and CollectionsTitlesIssue DatesAuthorsAdvisorsSubjectsDisciplinesAffiliationTitles indexThis CollectionTitlesIssue DatesAuthorsAdvisorsSubjectsDisciplinesAffiliationTitles index

Statistics

View Usage Statistics
Show metadata
Permalink: http://hdl.handle.net/1866/22131

Latent variable language models

Thesis or Dissertation
Thumbnail
Tan_Shawn_2018_These.pdf (1.977Mb)
2018-08 (degree granted: 2019-03-13)
Author(s)
Tan, Shawn
Advisor(s)
Courville, Aaron
Level
Master's
Discipline
Informatique
Keywords
  • language models
  • probabilistic models
  • deep learning
  • neural networks
  • latent variables
  • Réseaux de neurones
  • Apprentissage automatique
  • Apprentissage profond
  • Modèles génératifs
  • Compréhension du langage naturel
  • Traitement du langage naturel
  • Modèles de langage
  • Applied Sciences - Artificial Intelligence / Sciences appliqués et technologie - Intelligence artificielle (UMI : 0800)
Abstract(s)
There has been a renewed interest in generative modeling/unsupervised learning for language for downstream natural language understanding tasks. In this thesis, we explore the augmentation of standard language models with latent variables. In the first chapter, we provide a brief introduction of language models, the classical n-gram treatment and the more common Neural Language Models in use today. We also briefly introduce variational autoencoders and the recent work improving upon them. In Chapter 2, we review work that explores the space where latent variable models and language models intersect. We then empirically analyse the effectiveness of a couple of these methods. In particular, we re-implement the models from Bowman et al. (2015) and Yang et al. (2017), and benchmark them against the Penn Treebank dataset with some experiments of our own. In Chapter 3, we discuss an ICML submission: Generating Contradictions, Entailments and Neutral Sentences. In this work, we encode source sentences to a latent distribution space and attempt to manipulate it from there to generate sentences corresponding to the given logical entailment. While our efforts are unsuccessful, we believe that enabling controllable latent variable distributions is an interesting direction to pursue. In Chapter 4, we conclude with a review of the content covered in the thesis, and a higher-level discussion of what possible avenues of future work could resemble.
 
Dernièrement, il y a eu un renouvellement d'intérêts dans l'application de modèles génératifs en compréhension de la langue. Dans ce mémoire, nous explorons l'ajout de variables latentes dans les modèles de langues traditionnels. Dans le chapitre 1, nous introduisons brièvement les modèles de langues, notamment les modèles n-gram et les modèles de langue neuronaux, couramment utilisés de nos jours. Nous présentons également les auto-encodeurs variationnels ainsi que différents moyens d'améliorer leur performance. Dans le chapitre 2, nous passons en revue les travaux ou des modèles à variables latentes sont appliqués en modélisation de la langue. Nous analysons également l'efficacité de plusieurs de ces méthodes. En particulier, nous analysons les modèles de cite bowman2015generating et cite yang2017improved, et les évaluons entre autres sur Penn Treebank. Dans le chapitre 3, nous présentons un article encore non publié: Generating Contradictions, Entailments and Neutral Sentences. Dans ce travail, nous encodons des phrases sources dans une distribution latente. Nous manipulons par la suite cet espace afin de générer des phrases correspondant à certaines implications logiques. Malgré nos efforts infructueux, nous croyons que l'utilisation de variables latentes contrôlables est une direction intéressante à suivre. Dans le chapitre 4, nous concluons avec un bref survol du mémoire et discutons des travaux futurs possibles.
Collections
  • Thèses et mémoires électroniques de l’Université de Montréal [16808]
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle - Thèses et mémoires [724]

DSpace software [version 5.8 XMLUI], copyright © 2002-2015  DuraSpace
Contact Us | Send Feedback
Certificat SSL / SSL Certificate
les bibliothéques/UdeM
  • Emergency
  • Private life
  • Careers
  • My email
  • StudiUM
  • iTunes U
  • Contact us
  • Facebook
  • YouTube
  • Twitter
  • University RSS
 

 


DSpace software [version 5.8 XMLUI], copyright © 2002-2015  DuraSpace
Contact Us | Send Feedback
Certificat SSL / SSL Certificate
les bibliothéques/UdeM
  • Emergency
  • Private life
  • Careers
  • My email
  • StudiUM
  • iTunes U
  • Contact us
  • Facebook
  • YouTube
  • Twitter
  • University RSS