Cyclopean optical flow

Abstract

This thesis is in the field of computer vision, focusing on the problems of optical flow estimation. Optical flow is a notoriously difficult 2D problem since it’s inherently underconstrained. To introduce the concept of cyclopean optical flow, we will downgrade the 2D into 1D to make it more accessible. It proposes a new approach based on a "cyclopean" frame of reference. We apply a constrained gradient-based technique to solve 1D optical flow, for which the constraints are gradient behavior and correlation score. This thesis focuses on the fundamental problem of ensuring that the gradient remains usable in an interval large enough to cover the spatial displacement of motion. The proposed "cyclopean" approach does not enforce optical measurements over a fixed grid, which results in more reliable results. To further increase the allowed motion interval, we propose a pyramidal constraint that allows solving over a coarse-to-fine approach. We solved over aerial imagery, Sintel data-set, and Sintel data-set when artificially displaced 10% of the ground truth. This work is developed in the "continuous" framework commonly used for small motion optical flow. Our results showed good management of false positives while maintaining a good amount of convergence density. However, our method isn’t as precise as the current state-of-the-art benchmarks, as it specializes in very small motions. Also, it’s important to mention versatility comes with the concept of "continuous" representation. This allows us to select regions to be solved, opening the possibility of adapting to the spectrum of sparse or dense optical flow. From this study point of view, we can highlight traditional methods have relevance even in the deep learning era, offering a new set of tools to exploit on the pursue of solving optical flow.

Ce mémoire s’intéresse au domaine de la vision par ordinateur, et plus particulièrement l’estimation du flux optique. Le flux optique est un problème 2D notoirement difficile, car il est intrinsèquement sous-contraint. Pour introduire la notion de flux optique cyclopéen, nous allons considérer le problème en 1D pour éliminer le problème d’ouverture lié au mouvement 2D. Nous proposons une nouvelle approche basée sur un référentiel « cyclopéen », basée sur gradient calculé dans un espace continu pour résoudre le flux optique 1D. Ce mémoire se concentre a garantir que le gradient reste utilisable dans un intervalle suffisamment grand pour couvrir le déplacement spatial du mouvement. Lors de la résolution sur une approche coarse-to-fine, une représentation pyramidale est utilisée. Les résultats sur des images aériennes ainsi que des données synthétiques sont prometteurs. Ce travail se distingue des tendances actuelles en flux optique parle fait qu’il se spécialise pour les flux optiques à faible mouvement. Nos résultats ont montré une bonne gestion des faux positifs tout en conservant une bonne densité. Nous considérons que la fiabilité des mesures de mouvement est très élevée, ce qui est au moins aussi important que la précision elle-même dans beaucoup d’applications. Ainsi, la polyvalence de la représentation "continue" permet de mieux contrôler la densité obtenue en fonction de la scène analysée. À notre avis, cette approche, qui complète les méthodes traditionnelles, ouvrira la voie à de nouvelles approches en apprentissage profond.