Improving information subsampling with local inhibition
dc.contributor.advisor | Rish, Irina | |
dc.contributor.author | Piché, Marc-André | |
dc.date.accessioned | 2023-08-03T18:23:37Z | |
dc.date.available | NO_RESTRICTION | fr |
dc.date.available | 2023-08-03T18:23:37Z | |
dc.date.issued | 2023-06-19 | |
dc.date.submitted | 2022-09 | |
dc.identifier.uri | http://hdl.handle.net/1866/28495 | |
dc.subject | Réseau de Neurone | fr |
dc.subject | Inhibition Locale | fr |
dc.subject | Corrélation Factice | fr |
dc.subject | Robustesse | fr |
dc.subject | Precision Robuste | fr |
dc.subject | Neural Network | fr |
dc.subject | Local Inhibition | fr |
dc.subject | Spurious Correlation | fr |
dc.subject | Robustness | fr |
dc.subject | Robust Accuracy | fr |
dc.subject.other | Computer science / Informatique (UMI : 0984) | fr |
dc.title | Improving information subsampling with local inhibition | fr |
dc.type | Thèse ou mémoire / Thesis or Dissertation | |
etd.degree.discipline | Informatique | fr |
etd.degree.grantor | Université de Montréal | fr |
etd.degree.level | Maîtrise / Master's | fr |
etd.degree.name | M. Sc. | fr |
dcterms.abstract | L’apprentissage machine a parcouru beaucoup de chemin avec des succès marquants ces dernières années. Pourtant, les réseaux de neurones font encore des erreurs surprenantes en présence de corrélations factices. Le réseau basera sa décision sur des caractéristiques non pertinentes dans les données qui se corréleront avec son objectif lors de l'apprentissage. En revanche, les humains sont moins enclins à commettre de telles erreurs, car ils peuvent exploiter des sources d'information plus diverses pour leurs décisions. Bien que les représentations factorisées (démêlée) soient souvent présentées comme la solution pour une bonne généralisation, nous soutenons qu'un ensemble d'experts devrait apprendre aussi librement que possible avec des contraintes minimales, puis rééquilibrer leur sortie proportionnellement à leur similarité. Dans cette thèse, nous proposons une nouvelle approche : en nous inspirant de la façon dont les neurones biologiques sont connectés latéralement, nous introduisons un mécanisme pour rééquilibrer la décision des paires de neurones qui répondent de manière similaire aux entrées, favorisant la diversité de l'information par rapport à leur similarité. Nous démontrons par un cas de test extrême que l’inhibition locale peut avoir un impact positif sur la robustesse des décisions d’un réseau de neurones. | fr |
dcterms.abstract | Machine learning has made remarkable strides in recent years, yet neural networks still make surprising mistakes in the presence of spurious correlations. The network will base its decision on irrelevant features in the data that happen to correlate with its objective during training. In contrast, humans are less prone to making such errors since we can leverage more diverse sources of information to make decisions. While maximally factorized or disentangled representations is often cited as the solution for generalization, we argue that an ensemble of experts should learn as freely as possible with minimal constraints and then rebalance their output proportional to their similarity. In this thesis, we propose a novel approach to do this: inspired by the lateral connections between biological neurons, we introduce a mechanism that rebalances the output of pairs of neurons that respond similarly to inputs, promoting information diversity over redundancy. We demonstrate by subjective the network to an extreme test case that local inhibition can have a positive impact on an ANN’s decision robustness. | fr |
dcterms.language | eng | fr |
Files in this item
This item appears in the following Collection(s)
This document disseminated on Papyrus is the exclusive property of the copyright holders and is protected by the Copyright Act (R.S.C. 1985, c. C-42). It may be used for fair dealing and non-commercial purposes, for private study or research, criticism and review as provided by law. For any other use, written authorization from the copyright holders is required.