Application de méthodes d’apprentissage profond pour images avec structure additionnelle à différents contextes

Abstract

Les méthodes d’apprentissage profond connaissent une croissance fulgurante. Une explication de ce phénomène est l’essor de la puissance de calcul combiné à l’accessibilité de données en grande quantité. Néanmoins, plusieurs applications de la vie réelle présentent des difficultés: la disponibilité et la qualité des données peuvent être faibles, l’étiquetage des données peut être ardu, etc. Dans ce mémoire, nous examinons deux contextes : celui des données limitées et celui du modèle économique CATS. Pour pallier les difficultés rencontrées dans ces contextes, nous utilisons des modèles d’apprentissage profond pour images avec structure additionnelle. Dans un premier temps, nous examinons les réseaux de scattering et étudions leur version paramétrée sur des petits jeux de données. Dans un second temps, nous adaptons les modèles de diffusion afin de proposer une alternative aux modèles à base d’agents qui sont complexes à construire et à optimiser. Nous vérifions empiriquement la faisabilité de cette démarche en modélisant le marché de l’emploi du modèle CATS. Nous constatons tout d’abord que les réseaux de scattering paramétrés sont performants sur des jeux de données de classification pour des petits échantillons de données. Nous démontrons que les réseaux de scattering paramétrés performent mieux que ceux non paramétrés, c’est-à-dire les réseaux de scattering traditionnels. En effet, nous constatons que des banques de filtres adaptés aux jeux de données permettent d’améliorer l’apprentissage. En outre, nous observons que les filtres appris se différencient selon les jeux de données. Nous vérifions également la propriété de robustesse aux petites déformations lisses expérimentalement. Ensuite, nous confirmons que les modèles de diffusion peuvent être adaptés pour modéliser le marché de l’emploi du modèle CATS dans une approche d’apprentissage profond. Nous vérifions ce fait pour deux architectures de réseau de neurones différentes. De plus, nous constatons que les performances sont maintenues pour différents scénarios impliquant l’apprentissage avec une ou plusieurs séries temporelles issues de CATS, lesquelles peuvent être tirées à partir d’hyperparamètres standards ou de perturbations de ceux-ci.

Deep learning methods are booming. An explanation of this phenomenon is the rise of computing power combined with the accessibility of large data quantity. Nevertheless, several real-life applications present difficulties: the availability and quality of data can be low, data labeling can be tricky, etc. In this thesis, we examine two contexts: that of limited data and that of the CATS economic model. To overcome the difficulties encountered in these contexts, we use deep learning models for images with additional structure. First, we examine scattering networks and study their parameterized version on small datasets. In a second step, we adapt diffusion models in order to propose an alternative to agent-based models which are complex to build and to optimize. We empirically verify the feasibility of this approach by modeling the labor market of the CATS model. We first observe that the parameterized scattering networks perform well on classification datasets for small samples of data. We demonstrate that parameterized scattering networks perform better than those not parametrized, i.e. traditional scattering networks. Indeed, we find that filterbanks adapted to the datasets make it possible to improve learning. Moreover, we observe that the learned filters differ according to the datasets. We also verify the property of robustness to small smooth deformations experimentally.. Then, we confirm that diffusion models can be adapted to model the labor market of the CATS model in a deep learning approach. We verify this fact for two different neural network architectures. Moreover, we find that performance is maintained for different scenarios involving training with one or more time series from CATS, which can be derived from standard hyperparameters or perturbations thereof.