Show item record

dc.contributor.advisorBengio, Yoshua
dc.contributor.authorDinh, Laurent
dc.date.accessioned2018-12-17T20:56:39Z
dc.date.availableNO_RESTRICTIONfr
dc.date.available2018-12-17T20:56:39Z
dc.date.issued2018-10-18
dc.date.submitted2018-02
dc.identifier.urihttp://hdl.handle.net/1866/21139
dc.subjectNeural networksfr
dc.subjectDeep neural networksfr
dc.subjectMachine learningfr
dc.subjectDeep learningfr
dc.subjectUnsupervised learningfr
dc.subjectProbabilistic modellingfr
dc.subjectProbabilistic modelsfr
dc.subjectGenerative modellingfr
dc.subjectGenerative modelsfr
dc.subjectGenerator networksfr
dc.subjectVariational inferencefr
dc.subjectGeneralizationfr
dc.subjectReparametrization trickfr
dc.subjectRéseaux de neuronesfr
dc.subjectRéseaux neuronauxfr
dc.subjectRéseaux de neurones profondsfr
dc.subjectRéseaux neuronaux profondsfr
dc.subjectApprentissage automatiquefr
dc.subjectApprentissage profondfr
dc.subjectApprentissage non-superviséfr
dc.subjectModélisation probabilistefr
dc.subjectModélisation générativefr
dc.subjectModèles probabilistesfr
dc.subjectModèles génératifsfr
dc.subjectRéseaux générateursfr
dc.subjectInférence variationnellefr
dc.subjectGénéralisationfr
dc.subjectAstuce de la reparamétrisationfr
dc.subject.otherApplied Sciences - Artificial Intelligence / Sciences appliqués et technologie - Intelligence artificielle (UMI : 0800)fr
dc.titleReparametrization in deep learningfr
dc.typeThèse ou mémoire / Thesis or Dissertation
etd.degree.disciplineInformatiquefr
etd.degree.grantorUniversité de Montréalfr
etd.degree.levelDoctorat / Doctoralfr
etd.degree.namePh. D.fr
dcterms.abstractL'apprentissage profond est une approche connectioniste à l'apprentissage automatique. Elle a pu exploiter la récente production massive de données numériques et l'explosion de la quantité de ressources computationelles qu'a amené ces dernières décennies. La conception d'algorithmes d'apprentissage profond repose sur trois facteurs essentiels: l'expressivité, la recherche efficace de solution, et la généralisation des solutions apprises. Nous explorerons dans cette thèse ces thèmes du point de vue de la reparamétrisation. Plus précisement, le chapitre 3 s'attaque à une conjecture populaire, selon laquelle les énormes réseaux de neurones ont pu apprendre, parmi tant de solutions possibles, celle qui généralise parce que les minima atteints sont plats. Nous démontrons les lacunes profondes de cette conjecture par reparamétrisation sur des exemples simples de modèles populaires, ce qui nous amène à nous interroger sur les interprétations qu'ont superposées précédents chercheurs sur plusieurs phénomènes précédemment observés. Enfin, le chapitre 5 enquête sur le principe d'analyse non-linéaire en composantes indépendantes permettant une formulation analytique de la densité d'un modèle par changement de variable. En particulier, nous proposons l'architecture Real NVP qui utilise de puissantes fonctions paramétriques et aisément inversible que nous pouvons simplement entraîner par descente de gradient. Nous indiquons les points forts et les points faibles de ce genre d'approches et expliquons les algorithmes développés durant ce travail.fr
dcterms.abstractDeep learning is a connectionist approach to machine learning that successfully harnessed our massive production of data and recent increase in computational resources. In designing efficient deep learning algorithms come three principal themes: expressivity, trainability, and generalizability. We will explore in this thesis these questions through the point of view of reparametrization. In particular, chapter 3 confronts a popular conjecture in deep learning attempting to explain why large neural network are learning among many plausible hypotheses one that generalize: flat minima reached through learning generalize better. We demonstrate the serious limitations this conjecture encounters by reparametrization on several simple and popular models and interrogate the interpretations put on experimental observations. Chapter 5 explores the framework of nonlinear independent components enabling closed form density evaluation through change of variable. More precisely, this work proposes Real NVP, an architecture using expressive and easily invertible computational layers trainable by standard gradient descent algorithms. We showcase its successes and shortcomings in modelling high dimensional data, and explain the techniques developed in that design.fr
dcterms.languageengfr


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show item record