Une généralisation des preuves en théorie de l'information du cas discret au cas continu

Abstract

L'objectif principal de ce mémoire est de généraliser du cas discret au cas continu plusieurs quantités, inégalités et preuves qui surviennent en théorie de l'information.

Dans plusieurs cas, à la place de transposer la preuve ou les quantités d'intérêts au continu, le cas discret est étendu à l'extrême en prenant un très grand nombre de probabilités discrètes. Nous espérons que ce mémoire puisse servir de ressource pour faciliter la transition du discret au continu et que les différentes quantités trouvées puissent servir de fondation à toute autre preuve concernant les variables continues en théorie de l'information.

Les premières sections présenteront un survol des fondements de la théorie de l'information, une introduction aux probabilités ainsi que des fondements mathématiques requis pour la compréhension du reste du document. Les sections subséquentes introduiront les analogues continus à la théorie de l'information classique, en plus de différentes inégalités et preuves en rapport avec ces quantités.

This document's main goal is to generalize multiple quantities, inequalities, and proofs that arise in information theory. Many of these proofs use discrete variables. We seek here to generalize these proofs to the continuous case.

In many instances, instead of transposing the proofs to the continuous case, the discrete case is taken to the extreme by taking very large pools of discrete possibilities. We hope that this thesis can serve as a tool to ease the transition from the discrete case to the continuous case and that the various quantities and bounds found herein will help in establishing a framework to prove statements regarding continuous variables in information theory.

The first few sections will present a review of elementary information theory, as well as a primer on probabilities and fundamental mathematical concepts required for the rest of the document. The later sections will introduce the continuous counterparts of classical information theory, as well as various inequalities and proofs with respect to these new quantities.