A multiscale model to account for orientation selectivity in natural images

Abstract

Cette thèse vise à comprendre les fondements et les fonctions des calculs probabilistes impliqués dans les processus visuels. Nous nous appuyons sur une double stratégie, qui implique le développement de modèles dans le cadre du codage prédictif selon le principe de l'énergie libre. Ces modèles servent à définir des hypothèses claires sur la fonction neuronale, qui sont testées à l'aide d'enregistrements extracellulaires du cortex visuel primaire. Cette région du cerveau est principalement impliquée dans les calculs sur les unités élémentaires des entrées visuelles naturelles, sous la forme de distributions d'orientations.

Ces distributions probabilistes, par nature, reposent sur le traitement de la moyenne et de la variance d'une entrée visuelle. Alors que les premières ont fait l'objet d'un examen neurobiologique approfondi, les secondes ont été largement négligées. Cette thèse vise à combler cette lacune.

Nous avançons l'idée que la connectivité récurrente intracorticale est parfaitement adaptée au traitement d'une telle variance d'entrées, et nos contributions à cette idée sont multiples. (1) Nous fournissons tout d'abord un examen informatique de la structure d'orientation des images naturelles et des stratégies d'encodage neuronal associées. Un modèle empirique clairsemé montre que le code neuronal optimal pour représenter les images naturelles s'appuie sur la variance de l'orientation pour améliorer l'efficacité, la performance et la résilience. (2) Cela ouvre la voie à une étude expérimentale des réponses neurales dans le cortex visuel primaire du chat à des stimuli multivariés. Nous découvrons de nouveaux types de neurones fonctionnels, dépendants de la couche corticale, qui peuvent être liés à la connectivité récurrente. (3) Nous démontrons que ce traitement de la variance peut être compris comme un graphe dynamique pondéré conditionné par la variance sensorielle, en utilisant des enregistrements du cortex visuel primaire du macaque. (4) Enfin, nous soutenons l'existence de calculs de variance (prédictifs) en dehors du cortex visuel primaire, par l'intermédiaire du noyau pulvinar du thalamus. Cela ouvre la voie à des études sur les calculs de variance en tant que calculs neuronaux génériques soutenus par la récurrence dans l'ensemble du cortex.

This thesis aims to understand the foundations and functions of the probabilistic computations involved in visual processes. We leverage a two-fold strategy, which involves the development of models within the framework of predictive coding under the free energy principle. These models serve to define clear hypotheses of neuronal function, which are tested using extracellular recordings of the primary visual cortex. This brain region is predominantly involved in computations on the elementary units of natural visual inputs, in the form of distributions of oriented edges.

These probabilistic distributions, by nature, rely on processing both the mean and variance of a visual input. While the former have undergone extensive neurobiological scrutiny, the latter have been largely overlooked. This thesis aims to bridge this knowledge gap.

We put forward the notion that intracortical recurrent connectivity is optimally suited for processing such variance of inputs, and our contributions to this idea are multi-faceted. (1) We first provide a computational examination of the orientation structure of natural images and associated neural encoding strategies. An empirical sparse model shows that the optimal neural code for representing natural images relies on orientation variance for increased efficiency, performance, and resilience. (2) This paves the way for an experimental investigation of neural responses in the cat's primary visual cortex to multivariate stimuli. We uncover novel, cortical-layer-dependent, functional neuronal types that can be linked to recurrent connectivity. (3) We demonstrate that this variance processing can be understood as a dynamical weighted graph conditioned on sensory variance, using macaque primary visual cortex recordings. (4) Finally, we argue for the existence of (predictive) variance computations outside the primary visual cortex, through the Pulvinar nucleus of the thalamus. This paves the way for studies on variance computations as generic weighting of neural computations, supported by recurrence throughout the entire cortex.