MCMC adaptatifs à essais multiples

Abstract

Ce mémoire a pour but d'intégrer une composante adaptative au sein des algorithmes Metropolis à essais multiples (MTM) qui sont un cas particulier des méthodes de Monte Carlo par chaîne de Markov (MCMC). Les méthodes MCMC ainsi que leurs extensions adaptatives et à essais multiples sont explorées en profondeur (tant au niveau des variations possibles que de leurs propriétés théoriques) afin de bien ancrer l'étude de l'algorithme Metropolis à essais multiples adaptatif (aMTM) proposé. De plus, certains résultats dans la littérature sur les méthodes à essais multiples sont généralisés permettant alors l'obtention de résultats plus généraux à propos de l'algorithme aMTM. L'ergodicité de l'algorithme est ensuite démontrée en utilisant des résultats bien connus tirés de Roberts et Rosenthal (2007), d'Andrieu et Moulines (2006) et de Craiu et collab. (2015) et sa performance empirique est étudiée à travers une série d'expériences de simulation. L'algorithme aMTM arrive notamment à surpasser substantiellement des échantillonneurs plus simples (sans adaptation ou à un seul essai) pour des distributions cibles multimodales ou à géométrie complexe. Enfin, différentes variantes de l'algorithme sont proposées et comparées afin d'identifier des réglages particulièrement plus efficaces. Une implémentation de l'algorithme aMTM est fournie dans un progiciel R appelé aMTM disponible au https://github.com/fontaine618/aMTM.

This memoir aims at introducing adaptation within the Multiple-Try Metropolis (MTM) algorithms which are a special case of the Markov chain Monte Carlo (MCMC) methods. The MCMC methods, along with their adaptive and multiple-try extensions, are thoroughly explored (both in their possible variations and in their theoretical properties) in order to firmly anchor the study of the proposed adaptive Multiple-Try Metropolis (aMTM) algorithm. Moreover, some existing results on the properties of MTM algorithms are generalized to enable more general results about the aMTM algorithm. The ergodicity of the algorithm is then established using well known results of Roberts and Rosenthal (2007), Andrieu and Moulines (2006) and Craiu et al. (2015) and its empirical performance is studied through a series of simulation experiments. The aMTM algorithm achieves notably better performance than simpler samplers (non-adaptive or single-try) when applied to distributions that are multimodal or that exhibit complex geometry. Finally, many variations of the algorithm are proposed and compared to identify settings that are particularly more efficient. An implementation of the algorithm is provided in a R package called aMTM available at https://github.com/fontaine618/aMTM.