Improving information subsampling with local inhibition

Abstract

L’apprentissage machine a parcouru beaucoup de chemin avec des succès marquants ces dernières années. Pourtant, les réseaux de neurones font encore des erreurs surprenantes en présence de corrélations factices. Le réseau basera sa décision sur des caractéristiques non pertinentes dans les données qui se corréleront avec son objectif lors de l'apprentissage. En revanche, les humains sont moins enclins à commettre de telles erreurs, car ils peuvent exploiter des sources d'information plus diverses pour leurs décisions. Bien que les représentations factorisées (démêlée) soient souvent présentées comme la solution pour une bonne généralisation, nous soutenons qu'un ensemble d'experts devrait apprendre aussi librement que possible avec des contraintes minimales, puis rééquilibrer leur sortie proportionnellement à leur similarité. Dans cette thèse, nous proposons une nouvelle approche : en nous inspirant de la façon dont les neurones biologiques sont connectés latéralement, nous introduisons un mécanisme pour rééquilibrer la décision des paires de neurones qui répondent de manière similaire aux entrées, favorisant la diversité de l'information par rapport à leur similarité. Nous démontrons par un cas de test extrême que l’inhibition locale peut avoir un impact positif sur la robustesse des décisions d’un réseau de neurones.

Machine learning has made remarkable strides in recent years, yet neural networks still make surprising mistakes in the presence of spurious correlations. The network will base its decision on irrelevant features in the data that happen to correlate with its objective during training. In contrast, humans are less prone to making such errors since we can leverage more diverse sources of information to make decisions. While maximally factorized or disentangled representations is often cited as the solution for generalization, we argue that an ensemble of experts should learn as freely as possible with minimal constraints and then rebalance their output proportional to their similarity. In this thesis, we propose a novel approach to do this: inspired by the lateral connections between biological neurons, we introduce a mechanism that rebalances the output of pairs of neurons that respond similarly to inputs, promoting information diversity over redundancy. We demonstrate by subjective the network to an extreme test case that local inhibition can have a positive impact on an ANN’s decision robustness.