Renormalization group theory, scaling laws and deep learning
dc.contributor.advisor | Rish, Irina | |
dc.contributor.author | Haggi Mani, Parviz | |
dc.date.accessioned | 2023-05-15T15:14:52Z | |
dc.date.available | NO_RESTRICTION | fr |
dc.date.available | 2023-05-15T15:14:52Z | |
dc.date.issued | 2023-02-22 | |
dc.date.submitted | 2022-08 | |
dc.identifier.uri | http://hdl.handle.net/1866/27943 | |
dc.subject | Renormalization Group Theory | fr |
dc.subject | Scaling laws | fr |
dc.subject | Deep Learning | fr |
dc.subject | Artificial Neural Networks | fr |
dc.subject | Statistical Field Theory | fr |
dc.subject | Quantum Field Theory | fr |
dc.subject | Quantum Mechanics | fr |
dc.subject | Hopfield Networks | fr |
dc.subject | Théorie du Groupe de Renormalisation | fr |
dc.subject | Les Lois d'échelle | fr |
dc.subject | Apprentissage Profond | fr |
dc.subject | Réseaux de Neurones Artificiels | fr |
dc.subject | Théorie Statistique des Champs | fr |
dc.subject | Théorie Quantique des Champs | fr |
dc.subject | Mécanique Quantique | fr |
dc.subject | Réseaux Hopfield | fr |
dc.subject.other | Information science / Science de l’information (UMI : 0723) | fr |
dc.title | Renormalization group theory, scaling laws and deep learning | fr |
dc.type | Thèse ou mémoire / Thesis or Dissertation | |
etd.degree.discipline | Informatique | fr |
etd.degree.grantor | Université de Montréal | fr |
etd.degree.level | Maîtrise / Master's | fr |
etd.degree.name | M. Sc. | fr |
dcterms.abstract | The question of the possibility of intelligent machines is fundamentally intertwined with the machines’ ability to reason. Or not. The developments of the recent years point in a completely different direction : What we need is simple, generic but scalable algorithms that can keep learning on their own. This thesis is an attempt to find theoretical explanations to the findings of recent years where empirical evidence has been presented in support of phase transitions in neural networks, power law behavior of various entities, and even evidence of algorithmic universality, all of which are beautifully explained in the context of statistical physics, quantum field theory and statistical field theory but not necessarily in the context of deep learning where no complete theoretical framework is available. Inspired by these developments, and as it turns out, with the overly ambitious goal of providing a solid theoretical explanation of the empirically observed power laws in neu- ral networks, we set out to substantiate the claims that renormalization group theory may be the sought-after theory of deep learning which may explain the above, as well as what we call algorithmic universality. | fr |
dcterms.abstract | La question de la possibilité de machines intelligentes est intimement liée à la capacité de ces machines à raisonner. Ou pas. Les développements des dernières années indiquent une direction complètement différente : ce dont nous avons besoin sont des algorithmes simples, génériques mais évolutifs qui peuvent continuer à apprendre de leur propre chef. Cette thèse est une tentative de trouver des explications théoriques aux constatations des dernières années où des preuves empiriques ont été présentées en faveur de transitions de phase dans les réseaux de neurones, du comportement en loi de puissance de diverses entités, et même de l'universialité algorithmique, tout cela étant parfaitement expliqué dans le contexte de la physique statistique, de la théorie quantique des champs et de la théorie statistique des champs, mais pas nécessairement dans le contexte de l'apprentissage profond où aucun cadre théorique complet n'est disponible. Inspiré par ces développements, et comme il s'avère, avec le but ambitieux de fournir une explication théorique solide des lois de puissance empiriquement observées dans les réseaux de neurones, nous avons entrepris de étayer les affirmations selon lesquelles la théorie du groupe de renormalisation pourrait être la théorie recherchée de l'apprentissage profond qui pourrait expliquer cela, ainsi que ce que nous appelons l'universialité algorithmique. | fr |
dcterms.language | eng | fr |
Files in this item
This item appears in the following Collection(s)
This document disseminated on Papyrus is the exclusive property of the copyright holders and is protected by the Copyright Act (R.S.C. 1985, c. C-42). It may be used for fair dealing and non-commercial purposes, for private study or research, criticism and review as provided by law. For any other use, written authorization from the copyright holders is required.