Scanner 3D à lumière non structurée non synchronisé

Abstract

Ce mémoire s’intéresse au domaine de la vision par ordinateur, et plus spécifiquement aux méthodes de reconstruction actives. Premièrement, il propose une nouvelle approche pour réaliser une correspondance par lumière structurée en résolvant le problème de la synchronisation caméra-projecteur. La carte de correspondances obtenue entre la caméra et le projecteur permet ensuite d'obtenir des modèles 3D denses et de grande qualité. Cette approche est idéale pour effectuer des scans de visages, qui sont difficiles à cause des mouvements involontaires des sujets. Deuxièmement, il propose une amélioration à la précision des correspondances en alignant, à une haute précision sous-pixel, le voisinage respectif de chaque pixel. Troisièmement, ce mémoire propose une application pratique de la méthode.

Jusqu’à maintenant, une grande attention était nécessaire pour s’assurer que chaque image de la caméra correspondait exactement au bon patron d'une séquence projetée. Ceci était très difficile à réaliser avec du matériel à faible coût ou dans des systèmes de capture à plus grande échelle. Dans notre méthode, un flux vidéo, constitué d’un nombre choisi de patrons de lumière non structurée, est projeté en boucle à une fréquence élevée (30 à 60 fps pour du matériel ordinaire) et ces patrons sont capturés par une caméra sans aucune forme de synchronisation. La seule contrainte à satisfaire est que la fréquence de capture de la caméra et la fréquence de projection du projecteur soient connues. Le processus de correspondance permet, non seulement, de retrouver la bonne séquence de patrons, mais est aussi robuste aux expositions partielles de deux patrons consécutifs en plus de l’effet d'obturateur déroulant (\emph{rolling shutter}). Par ces étapes, le problème important de la synchronisation caméra-projecteur est pris en charge.

L'amélioration de la précision des correspondances est obtenue par le recours à l'interpo\-lation sous-pixel des intensités des images suivant la mise en correspondance. On obtient ainsi une méthode comparable aux meilleures approches de mise en correspondance sous-pixel, mais avec une plus grande robustesse. Les résultats obtenus illustrent des modèles 3D reconstruits avec une très haute précision dans des conditions difficiles telles que l’illumination indirecte, les scènes discontinues ou l'utilisation d'un matériel non professionnel.

La dernière partie de ce mémoire se consacre à la description de la conception et la fabrication d’un casque de réalité virtuelle personnalisé épousant les contours du visage de l’utilisateur. Avec la méthode dense et précise préalablement proposée, la méthode à lumière non structurée non synchronisée sous-pixel, il est possible d’obtenir à très bas coût un casque sur-mesure et confortable.

This thesis is in the field of computer vision and specifically focuses on active reconstruction methods. Firstly, it proposes a new approach to structured light correspondence which alleviates the camera-projector synchronization problem. This allows the creation of a dense correspondence map between the camera and projector which can further be used to obtain 3D models. This high-speed approach is ideal for scanning human faces, which are notoriously difficult because of involuntary motions of the subjects. Secondly, it proposes an improvement to the matching accuracy by aligning, to high subpixel precision, the respective neighborhood patches of each pixel. Thirdly, an example of an application of the method is proposed.

Until now, great care was required to make sure that each camera image was captured exactly when the correct pattern was projected. This was difficult to achieve with low-cost hardware or large size installations. In our method, the projector sends a video loop of a selected number of unstructured light patterns at a high frame rate (30 to 60 fps for common hardware), which are captured by a camera without any form of synchronization. The only constraint to satisfy is that the camera and projector frame rates are known. The matching process not only recovers the correct pattern sequence, but is robust to partial exposures of consecutive patterns as well as rolling shutter effects. Through these steps, the crucial camera-projector synchronization problem is entirely taken care of.

Subpixel matching accuracy is obtained by relying on image interpolation to refine the original correspondences. These results are highly accurate and comparable to other state-of-the-art subpixel methods but with better robustness. The obtained results illustrate 3D models reconstructed with very high precision in difficult conditions such as indirect illumination, scene discontinuities, and use of low quality hardware.

The last part of this thesis is devoted to the description of the design and manufacturing of a customized virtual reality headset which snuggly matches a user’s face, thanks to 3d models constructed from the matching method proposed in the thesis, where high quality is obtained on low-cost hardware.