Show item record

dc.contributor.advisorVincent, Pascal
dc.contributor.authorGeorge, Thomas
dc.date.accessioned2018-05-31T13:22:43Z
dc.date.availableNO_RESTRICTIONfr
dc.date.available2018-05-31T13:22:43Z
dc.date.issued2018-03-21
dc.date.submitted2017-08
dc.identifier.urihttp://hdl.handle.net/1866/20190
dc.subjectApprentissage automatiquefr
dc.subjectApprentissage profondfr
dc.subjectOptimisationfr
dc.subjectSecond ordrefr
dc.subjectGradient naturelfr
dc.subjectMachine learningfr
dc.subjectDeep learningfr
dc.subjectOptimizationfr
dc.subjectSecond orderfr
dc.subjectNatural gradientfr
dc.subject.otherApplied Sciences - Artificial Intelligence / Sciences appliqués et technologie - Intelligence artificielle (UMI : 0800)fr
dc.titleFactorized second order methods in neural networksfr
dc.typeThèse ou mémoire / Thesis or Dissertation
etd.degree.disciplineInformatiquefr
etd.degree.grantorUniversité de Montréal (Faculté des arts et des sciences)fr
etd.degree.levelMaîtrise / Master'sfr
etd.degree.nameM. Sc.fr
dcterms.abstractLes méthodes d'optimisation de premier ordre (descente de gradient) ont permis d'obtenir des succès impressionnants pour entrainer des réseaux de neurones artificiels. Les méthodes de second ordre permettent en théorie d'accélérer l'optimisation d'une fonction, mais dans le cas des réseaux de neurones le nombre de variables est bien trop important. Dans ce mémoire de maitrise, je présente les méthodes de second ordre habituellement appliquées en optimisation, ainsi que des méthodes approchées qui permettent de les appliquer aux réseaux de neurones profonds. J'introduis un nouvel algorithme basé sur une approximation des méthodes de second ordre, et je valide empiriquement qu'il présente un intérêt pratique. J'introduis aussi une modification de l'algorithme de rétropropagation du gradient, utilisé pour calculer efficacement les gradients nécessaires aux méthodes d'optimisation.fr
dcterms.abstractFirst order optimization methods (gradient descent) have enabled impressive successes for training artificial neural networks. Second order methods theoretically allow accelerating optimization of functions, but in the case of neural networks the number of variables is far too big. In this master's thesis, I present usual second order methods, as well as approximate methods that allow applying them to deep neural networks. I introduce a new algorithm based on an approximation of second order methods, and I experimentally show that it is of practical interest. I also introduce a modification of the backpropagation algorithm, used to efficiently compute the gradients required in optimization.fr
dcterms.languageengfr


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show item record