🎄 ☃ ❄ 🎅 🎁 🎄 ☃ ❄ 🎅 🎁 🎄 ☃ ❄ 🎅 🎁 🎄 ☃ ❄ 🎅 🎁 CONGÉ DES FÊTES 2022 : Veuillez noter qu'il n'y aura pas de suivi des dépôts des thèses, mémoires et travaux étudiants après le 22 décembre 2022. Retour aux délais réguliers dès le 9 janvier 2023.

Show item record

dc.contributor.advisorBengio, Yoshua
dc.contributor.advisorLajoie, Guillaume
dc.contributor.authorKanuparthi, Bhargav
dc.date.accessioned2021-01-22T14:02:01Z
dc.date.availableNO_RESTRICTIONfr
dc.date.available2021-01-22T14:02:01Z
dc.date.issued2020-12-16
dc.date.submitted2020-07
dc.identifier.urihttp://hdl.handle.net/1866/24319
dc.subjectMachine Learningfr
dc.subjectDeep Learningfr
dc.subjectRecurrent Neural Networksfr
dc.subjectLong Term Dependenciesfr
dc.subjectExploding Vanishing Gradients Problemfr
dc.subjectSelf Attentive Networksfr
dc.subjectScalabilityfr
dc.subjectApprentissage automatiquefr
dc.subjectL'apprentissage en profondeurfr
dc.subjectRéseaux de neurones récurrentsfr
dc.subjectDépendances à long termefr
dc.subjectProblème d'explosion des dégradés de fuitefr
dc.subjectRéseaux auto-attentifsfr
dc.subjectÉvolutivitéfr
dc.subject.otherApplied Sciences - Artificial Intelligence / Sciences appliqués et technologie - Intelligence artificielle (UMI : 0800)fr
dc.titleTowards better understanding and improving optimization in recurrent neural networksfr
dc.typeThèse ou mémoire / Thesis or Dissertation
etd.degree.disciplineInformatiquefr
etd.degree.grantorUniversité de Montréalfr
etd.degree.levelMaîtrise / Master'sfr
etd.degree.nameM. Sc.fr
dcterms.abstractRecurrent neural networks (RNN) are known for their notorious exploding and vanishing gradient problem (EVGP). This problem becomes more evident in tasks where the information needed to correctly solve them exist over long time scales, because it prevents important gradient components from being back-propagated adequately over a large number of steps. The papers written in this work formalizes gradient propagation in parametric and semi-parametric RNNs to gain a better understanding towards the source of this problem. The first paper introduces a simple stochastic algorithm (h-detach) that is specific to LSTM optimization and targeted towards addressing the EVGP problem. Using this we show significant improvements over vanilla LSTM in terms of convergence speed, robustness to seed and learning rate, and generalization on various benchmark datasets. The next paper focuses on semi-parametric RNNs and self-attentive networks. Self-attention provides a way by which a system can dynamically access past states (stored in memory) which helps in mitigating vanishing of gradients. Although useful, it is difficult to scale as the size of the computational graph grows quadratically with the number of time steps involved. In the paper we describe a relevancy screening mechanism, inspired by the cognitive process of memory consolidation, that allows for a scalable use of sparse self-attention with recurrence while ensuring good gradient propagation.fr
dcterms.abstractLes réseaux de neurones récurrents (RNN) sont connus pour leur problème de gradient d'explosion et de disparition notoire (EVGP). Ce problème devient plus évident dans les tâches où les informations nécessaires pour les résoudre correctement existent sur de longues échelles de temps, car il empêche les composants de gradient importants de se propager correctement sur un grand nombre d'étapes. Les articles écrits dans ce travail formalise la propagation du gradient dans les RNN paramétriques et semi-paramétriques pour mieux comprendre la source de ce problème. Le premier article présente un algorithme stochastique simple (h-detach) spécifique à l'optimisation LSTM et visant à résoudre le problème EVGP. En utilisant cela, nous montrons des améliorations significatives par rapport au LSTM vanille en termes de vitesse de convergence, de robustesse au taux d'amorçage et d'apprentissage, et de généralisation sur divers ensembles de données de référence. Le prochain article se concentre sur les RNN semi-paramétriques et les réseaux auto-attentifs. L'auto-attention fournit un moyen par lequel un système peut accéder dynamiquement aux états passés (stockés en mémoire), ce qui aide à atténuer la disparition des gradients. Bien qu'utile, il est difficile à mettre à l'échelle car la taille du graphe de calcul augmente de manière quadratique avec le nombre de pas de temps impliqués. Dans l'article, nous décrivons un mécanisme de criblage de pertinence, inspiré par le processus cognitif de consolidation de la mémoire, qui permet une utilisation évolutive de l'auto-attention clairsemée avec récurrence tout en assurant une bonne propagation du gradient.fr
dcterms.languageengfr


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show item record


DSpace software [version 5.8 XMLUI], copyright © 2002-2015  DuraSpace