Multi-view 3D reconstruction using virtual cameras

Abstract

Ce mémoire s'intéresse à la reconstruction d'un modèle 3D à partir de plusieurs images. Le modèle 3D est élaboré avec une représentation hiérarchique de voxels sous la forme d'un octree. Un cube englobant le modèle 3D est calculé à partir de la position des caméras. Ce cube contient les voxels et il définit la position de caméras virtuelles. Le modèle 3D est initialisé par une enveloppe convexe basée sur la couleur uniforme du fond des images. Cette enveloppe permet de creuser la périphérie du modèle 3D. Ensuite un coût pondéré est calculé pour évaluer la qualité de chaque voxel à faire partie de la surface de l'objet. Ce coût tient compte de la similarité des pixels provenant de chaque image associée à la caméra virtuelle. Finalement et pour chacune des caméras virtuelles, une surface est calculée basée sur le coût en utilisant la méthode de SGM. La méthode SGM tient compte du voisinage lors du calcul de profondeur et ce mémoire présente une variation de la méthode pour tenir compte des voxels précédemment exclus du modèle par l'étape d'initialisation ou de creusage par une autre surface. Par la suite, les surfaces calculées sont utilisées pour creuser et finaliser le modèle 3D. Ce mémoire présente une combinaison innovante d'étapes permettant de créer un modèle 3D basé sur un ensemble d'images existant ou encore sur une suite d'images capturées en série pouvant mener à la création d'un modèle 3D en temps réel.

This master concentrates on the reconstruction of a 3D model from multiple images. The 3D model is built with a hierarchical representation of voxels using an octree. A cube surrounding the object is calculated from the camera's positions. This cube contains all the voxels and it defines the position of the virtual cameras. The 3d model is initialized by a visual hull that is based on the uniform color of the images’ background. This visual hull is used to pre-carve the 3D model. Then a cost is calculated to evaluate the quality of each voxel as being on the surface of the object. This cost takes into account the similarity of the pixels from each images associated to a virtual camera. Finally a surface is calculated for each virtual camera using the SGM method that is based on the voxel cost. The SGM method takes the surrounding voxels into account when calculating the depth and this master presents a variation to this method where we take the previously excluded voxels into account. The excluded voxels coming from the initialization step or from the carving done by another virtual camera. The resulting surface is used to carve the voxel representation. This master presents an innovative combination of steps leading to the creation of a 3D model from a set of existing images or from a series of images capture one after another leading to a real-time creation of a 3D model.