Liens externes
  • Directories
  • Faculties
  • Libraries
  • Campus maps
  • Sites A to Z
  • My UdeM
    • Mon portail UdeM
    • My email
    • StudiUM
Dessin du pavillon Roger Gaudry/Sketch of Roger Gaudry Building
University Home pageUniversity Home pageUniversity Home page
Papyrus : Institutional Repository
Papyrus
Institutional Repository
Papyrus
    • français
    • English
  • English 
    • français
    • English
  • Login
  • English 
    • français
    • English
  • Login
View Item 
  •   Home
  • Faculté des arts et des sciences
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle - Thèses et mémoires
  • View Item
  •   Home
  • Faculté des arts et des sciences
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle - Thèses et mémoires
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

My Account

To submit an item or subscribe to email alerts.
Login
New user?

Browse

All of PapyrusCommunities and CollectionsTitlesIssue DatesAuthorsAdvisorsSubjectsDisciplinesAffiliationTitles indexThis CollectionTitlesIssue DatesAuthorsAdvisorsSubjectsDisciplinesAffiliationTitles index

Statistics

View Usage Statistics
Show metadata
Permalink: http://hdl.handle.net/1866/18767

Influencing the Properties of Latent Spaces

Thesis or Dissertation
Thumbnail
Zumer_Jeremie_2016_memoire.pdf (1.376Mb)
2016-08 (degree granted: 2017-03-28)
Author(s)
Zumer, Jeremie
Advisor(s)
Courville, Aaron
Level
Master's
Discipline
Informatique
Keywords
  • Apprentissage automatique
  • Apprentissage profond
  • Vision par ordinateur
  • Non-supervise
  • Autoencodeur
  • Réseau de neurone
  • Machine learning
  • Deep learning
  • Computer vision
  • Unsupervised
  • Autoencoder
  • Neural network
  • Applied Sciences - Artificial Intelligence / Sciences appliqués et technologie - Intelligence artificielle (UMI : 0800)
Abstract(s)
L'apprentissage automatique repose sur l'étude des méthodes de détermination de paramètres de modélisation de données a n d'accomplir une tâche, telle que la classification d'image ou la génération de phrases, pour un jeu de données. Ces paramètres forment des espaces latents qui peuvent démontrer diverses propriétés impactant la performance du modèle d'apprentissage sur la tâche visée. Permettre a un modèle d'adapter son espace latent avec plus de liberté peut amener à l'amélioration de la performance de ce modèle. Un indicateur valide de la qualité de l'espace latent engendre par un modèle est la collection des propriétés exprimées par cet espace latent, par exemple en ce qui a trait aux aspects topologiques de la représentation apprise par le modèle. Nous montrons des résultats appliqués dans des régimes supervisés et non supervisés, et nous augmentons des modèles par plusieurs modes d'interactions inter-couches, comme des connections entre les couches d'un codeur au décodeur analogue dans un modèle auto encodeur, l'application de transformations a nes à la suite de couches, et l'addition de réseaux de neurones auxiliaires connectés en parallèle. L'e et des méthodes proposés est évalué en mesurant soit la performance de classification ou la qualité des échantillons génères par ces modèles, ainsi qu'en comparant les courbes d'entrainement des algorithmes. Les modèles et méthodes sont évalués sur des jeux de données d'images populaires, comme MNIST et CIFAR10, et sont comparés aux méthodes à l' état de l'art pour les tâches accomplies. Nous développons un modèle qui utilise la puissance générative des auto encodeurs variationnels, enrichi par des connections latérales dans le style des réseaux escaliers pour application en classification. Nous proposons une méthode qui permet d'isoler les tâches réalisées par les couches convolutionnelles (soit l'apprentissage de ltres pour l'extraction de traits et l'agencement topologique nécessaire pour l'apprentissage par les couches subséquentes) en utilisant des couches complètement connectées intercalées avec les couches convolutionnelles. En n, nous appliquons la technique de normalisation par groupe aux couches du réseau récurrent à l' état de l'art (pixel-rnn) et nous démontrons que cela permet une augmentation prononcée du taux de convergence du modèle, ainsi qu'une amélioration notable de sa performance totale.
 
Machine learning models rely on learned parameters adapted to a given set of data to perform a task, such as classifying images or generating sentences. These learned parameters form latent spaces which can adapt various properties, to impact how well the model performs. Enabling a model to better fit properties of the data in its latent space can improve the performance of the model. One criteria for quality is the set of properties expressed by the latent space - that is, for example, topological properties of the learned representation. We develop a model which leverages a variational autoencoder’s generative ability and augments it with the ladder network’s lateral connections for discrimination. We propose a method to decouple two tasks perfomed by convolutional layers (that of learning useful filters for feature extraction, and that of arranging the learned filters such that the next layer may train eff ectively) by using interspersed fully-connected layers. Finally, we apply batch normalization to the recurrent state of the pixel-rnn layer and show that it significantly improves convergence speed as well as slightly improving overall performance. We show results applied in unsupervised and supervised settings, and augment models with various inter-layer interractions, such as encoder-to-decoder connections, affine post-layer transformations, and side-network connections. The effects of the proposed methods are assessed by measuring supervised performance or the quality of samples produced by the model and training curves. Models and methods are tested on popular image datasets such as MNIST and CIFAR10 and are compared to the state-of-the-art on the task they are applied to.
Collections
  • Thèses et mémoires électroniques de l’Université de Montréal [16808]
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle - Thèses et mémoires [724]

DSpace software [version 5.8 XMLUI], copyright © 2002-2015  DuraSpace
Contact Us | Send Feedback
Certificat SSL / SSL Certificate
les bibliothéques/UdeM
  • Emergency
  • Private life
  • Careers
  • My email
  • StudiUM
  • iTunes U
  • Contact us
  • Facebook
  • YouTube
  • Twitter
  • University RSS
 

 


DSpace software [version 5.8 XMLUI], copyright © 2002-2015  DuraSpace
Contact Us | Send Feedback
Certificat SSL / SSL Certificate
les bibliothéques/UdeM
  • Emergency
  • Private life
  • Careers
  • My email
  • StudiUM
  • iTunes U
  • Contact us
  • Facebook
  • YouTube
  • Twitter
  • University RSS