Liens externes
  • Répertoires
  • Facultés
  • Bibliothèques
  • Plan campus
  • Sites A-Z
  • Mon UdeM
    • Portail Mon UdeM
    • Mon courriel
    • StudiUM
Dessin du pavillon Roger Gaudry/Sketch of Roger Gaudry Building
Site d'accueil de l'UniversitéSite d'accueil de l'UniversitéSite d'accueil de l'Université
Papyrus : Dépôt institutionnel
Papyrus
Dépôt institutionnel
Papyrus
    • français
    • English
  • français 
    • français
    • English
  • Ouvrir une session
  • français 
    • français
    • English
  • Ouvrir une session
Voir le document 
  •   Accueil
  • Faculté des arts et des sciences
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle - Thèses et mémoires
  • Voir le document
  •   Accueil
  • Faculté des arts et des sciences
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle - Thèses et mémoires
  • Voir le document
JavaScript is disabled for your browser. Some features of this site may not work without it.

Mon compte

Pour soumettre un document ou s'abonner à des alertes courriels
Ouvrir une session
Nouvel utilisateur?

Parcourir

Tout PapyrusCommunautés et CollectionsTitresDates de publicationAuteursDirecteurs de rechercheSujetsProgrammesAffiliationIndex des titresCette collectionTitresDates de publicationAuteursDirecteurs de rechercheSujetsProgrammesAffiliationIndex des titres

Statistiques

Données d'utilisation
Afficher les métadonnées
Permalien: http://hdl.handle.net/1866/20190

Factorized second order methods in neural networks

Thèse ou mémoire
Vignette
George_Thomas_2017_memoire.pdf (3.769Mo)
2017-08 (octroi du grade: 2018-03-21)
Auteur(s)
George, Thomas
Directeur(s) de recherche
Vincent, Pascal
Cycle d'études
Maîtrise
Programme
Informatique
Mots-clés
  • Apprentissage automatique
  • Apprentissage profond
  • Optimisation
  • Second ordre
  • Gradient naturel
  • Machine learning
  • Deep learning
  • Optimization
  • Second order
  • Natural gradient
  • Applied Sciences - Artificial Intelligence / Sciences appliqués et technologie - Intelligence artificielle (UMI : 0800)
Résumé(s)
Les méthodes d'optimisation de premier ordre (descente de gradient) ont permis d'obtenir des succès impressionnants pour entrainer des réseaux de neurones artificiels. Les méthodes de second ordre permettent en théorie d'accélérer l'optimisation d'une fonction, mais dans le cas des réseaux de neurones le nombre de variables est bien trop important. Dans ce mémoire de maitrise, je présente les méthodes de second ordre habituellement appliquées en optimisation, ainsi que des méthodes approchées qui permettent de les appliquer aux réseaux de neurones profonds. J'introduis un nouvel algorithme basé sur une approximation des méthodes de second ordre, et je valide empiriquement qu'il présente un intérêt pratique. J'introduis aussi une modification de l'algorithme de rétropropagation du gradient, utilisé pour calculer efficacement les gradients nécessaires aux méthodes d'optimisation.
 
First order optimization methods (gradient descent) have enabled impressive successes for training artificial neural networks. Second order methods theoretically allow accelerating optimization of functions, but in the case of neural networks the number of variables is far too big. In this master's thesis, I present usual second order methods, as well as approximate methods that allow applying them to deep neural networks. I introduce a new algorithm based on an approximation of second order methods, and I experimentally show that it is of practical interest. I also introduce a modification of the backpropagation algorithm, used to efficiently compute the gradients required in optimization.
Collections
  • Thèses et mémoires électroniques de l’Université de Montréal [18368]
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle - Thèses et mémoires [815]

DSpace software [version 5.8 XMLUI], copyright © 2002-2015  DuraSpace
Contactez-nous | Faire parvenir un commentaire
Certificat SSL / SSL Certificate
les bibliothèques/UdeM
  • Urgence
  • Offres d'emploi
  • Mon courriel
  • StudiUM
  • iTunes U
  • Nous écrire
  • Facebook
  • YouTube
  • Twitter
  • Fils des nouvelles UdeM
 

 


DSpace software [version 5.8 XMLUI], copyright © 2002-2015  DuraSpace
Contactez-nous | Faire parvenir un commentaire
Certificat SSL / SSL Certificate
les bibliothèques/UdeM
  • Urgence
  • Offres d'emploi
  • Mon courriel
  • StudiUM
  • iTunes U
  • Nous écrire
  • Facebook
  • YouTube
  • Twitter
  • Fils des nouvelles UdeM