Liens externes
  • Directories
  • Faculties
  • Libraries
  • Campus maps
  • Sites A to Z
  • My UdeM
    • Mon portail UdeM
    • My email
    • StudiUM
Dessin du pavillon Roger Gaudry/Sketch of Roger Gaudry Building
University Home pageUniversity Home pageUniversity Home page
Papyrus : Institutional Repository
Papyrus
Institutional Repository
Papyrus
    • français
    • English
  • English 
    • français
    • English
  • Login
  • English 
    • français
    • English
  • Login
View Item 
  •   Home
  • Faculté des arts et des sciences
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle - Thèses et mémoires
  • View Item
  •   Home
  • Faculté des arts et des sciences
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle - Thèses et mémoires
  • View Item
JavaScript is disabled for your browser. Some features of this site may not work without it.

My Account

To submit an item or subscribe to email alerts.
Login
New user?

Browse

All of PapyrusCommunities and CollectionsTitlesIssue DatesAuthorsAdvisorsSubjectsDisciplinesAffiliationTitles indexThis CollectionTitlesIssue DatesAuthorsAdvisorsSubjectsDisciplinesAffiliationTitles index

Statistics

View Usage Statistics
Show metadata
Permalink: http://hdl.handle.net/1866/22518

Applications of complex numbers to deep neural networks

Thesis or Dissertation
Thumbnail
Bilaniuk_Olexa_2018_memoire.pdf (2.344Mb)
2018-08 (degree granted: 2019-06-19)
Author(s)
Bilaniuk, Olexa
Advisor(s)
Bengio, Yoshua
Level
Master's
Discipline
Informatique
Keywords
  • Artificial intelligence
  • Deep learning
  • Machine learning
  • Neural networks
  • Complex numbers
  • Intelligence artificielle
  • Apprentissage profond
  • Apprentissage automatique
  • Réseaux de neurones
  • Nombres complexes
  • Applied Sciences - Computer Science / Sciences appliqués et technologie - Informatique (UMI : 0984)
Abstract(s)
Dans la dernière décennie, une heureuse confluence de matériel, de logiciels et de théorie ont permis à l'intelligence artificielle de connaître un renouveau: un "printemps" et qui, contrairement au passé, semblent avoir mené non pas à la déception d'un autre "hiver", mais à un "été" durable, rempli de réelles avances. Une de ces récentes avances est l'entrée en scène de l'apprentissage véritablement ``profond''. Dans maintes applications les architectes de réseaux de neurones ont connu du succès en les approfondissant, et plus personne ne doute de l'utilité de représentations profondes, composées, hiérarchiques, apprises automatiquement à base d'exemples. Mais il existe d'autres avenues, moins explorées, qui pourraient être utiles, comme l'emploi d'alternatives au système numérique le plus commun, les nombres réels: nombres à basse précision, nombres complexe, quaternions. En 2017, moi-même et l'un de mes principaux collaborateurs discutâmes du manque d'intérêt accordé au traitement en nombres complexes et à l'analyse de signaux complexes ou aisément convertis en une série de nombres complexes grâce à la transformée de Fourier (1D, 2D, à court terme ou non). Puisque ce secteur semblait peu exploré, nous nous y sommes lancés et, au terme d'une année passée à relever des défis propres à l'architecture et l'initialisation d'un réseau de neurones n'employant que des nombres complexes, nous avons débouché sur des résultats prometteurs en vision informatique et en traitement de musique. Nous déjouons aussi les pièges d'une initialisation et d'une normalisation naïve de ce type de réseau de neurones avec des procédures adaptées.
 
In the past decade, a convergence of hardware, software and theory have allowed artificial intelligence to experience a renewal: a "spring" that, unlike previous times, seems to have led not to a burst hype bubble and a new "AI winter", but to a lasting "summer", anchored by tangible advances in the field. One of the key such advances is truly ``deep'' learning. In many applications, the architects of neural networks have had great success by deepening them, and there is now little doubt about the value of deep, composable, hierarchical, automatically-learned-from-examples representations. But there exist other, less-well-explored avenues for research, such as alternatives to the real-valued number system most commonly used: low-precision, complex, quaternions. In 2017, myself and one of my primary collaborators discussed the seeming lack of interest given to purely complex-valued processing of digital signals, either directly available in complex form or convertible to such using e.g. the Fourier Transform (1D, 2D, short-time or not). Since this area seemed under-explored, we threw ourselves into it and, after a year spent dealing with the challenges of neural networks with purely complex-valued internal representations, we obtained good results in computer vision and music spectrum prediction. We also expose the pitfalls of naively initializing and normalizing such complex-valued networks and solve them with custom formulations adapted for the use of complex numbers.
Collections
  • Thèses et mémoires électroniques de l’Université de Montréal [17174]
  • Faculté des arts et des sciences – Département d'informatique et de recherche opérationnelle - Thèses et mémoires [732]

DSpace software [version 5.8 XMLUI], copyright © 2002-2015  DuraSpace
Contact Us | Send Feedback
Certificat SSL / SSL Certificate
les bibliothéques/UdeM
  • Emergency
  • Private life
  • Careers
  • My email
  • StudiUM
  • iTunes U
  • Contact us
  • Facebook
  • YouTube
  • Twitter
  • University RSS
 

 


DSpace software [version 5.8 XMLUI], copyright © 2002-2015  DuraSpace
Contact Us | Send Feedback
Certificat SSL / SSL Certificate
les bibliothéques/UdeM
  • Emergency
  • Private life
  • Careers
  • My email
  • StudiUM
  • iTunes U
  • Contact us
  • Facebook
  • YouTube
  • Twitter
  • University RSS