Reconnaissance de postures humaines par fusion de la silhouette et de l'ombre dans l'infrarouge
Thesis or Dissertation
2017-01 (degree granted: 2017-05-01)
Advisor(s)
Level
DoctoralDiscipline
InformatiqueKeywords
- Reconnaissance de postures humaines
- Capteur infrarouge
- Calibrage de caméra
- Transfert d'apprentissage
- Apprentissage machine
- Reconstruction 3D
- Images synthétiques
- Réseau de neurones convolutionnel.
- Human posture recognition
- Infrared sensor
- Camera calibration
- Transfer learning
- Machine learning
- 3D reconstruction
- Synthetic images
- Convolution neural network
- Applied Sciences - Computer Science / Sciences appliqués et technologie - Informatique (UMI : 0984)
Abstract(s)
Les systèmes multicaméras utilisés pour la vidéosurveillance sont complexes, lourds et coûteux. Pour la surveillance d'une pièce, serait-il possible de les remplacer par un système beaucoup plus simple utilisant une seule caméra et une ou plusieurs sources lumineuses en misant sur les ombres projetées pour obtenir de l'information 3D ?
Malgré les résultats intéressants offerts par les systèmes multicaméras, la quantité d'information à traiter et leur complexité limitent grandement leur usage. Dans le même contexte, nous proposons de simplifier ces systèmes en remplaçant une caméra par une source lumineuse. En effet, une source lumineuse peut être vue comme une caméra qui génère une image d'ombre révélant l'objet qui bloque la lumière. Notre système sera composé par une seule caméra et une ou plusieurs sources lumineuses infrarouges (invisibles à l'oeil). Malgré les difficultés prévues quant à l'extraction de l'ombre et la déformation et l'occultation de l'ombre par des obstacles (murs, meubles...), les gains sont multiples en utilisant notre système. En effet, on peut éviter ainsi les problèmes de synchronisation et de calibrage de caméras et réduire le coût en remplaçant des caméras par de simples sources infrarouges.
Nous proposons deux approches différentes pour automatiser la reconnaissance de postures humaines. La première approche reconstruit la forme 3D d'une personne pour faire la reconnaissance de la posture en utilisant des descripteurs de forme. La deuxième approche combine directement l'information 2D (ombre+silhouette) pour faire la reconnaissance de postures.
Scientifiquement, nous cherchons à prouver que l'information offerte par une silhouette et l'ombre générée par une source lumineuse est suffisante pour permettre la reconnaissance de postures humaines élémentaires (p.ex. debout, assise, couchée, penchée, etc.).
Le système proposé peut être utilisé pour la vidéosurveillance d'endroits non encombrés tels qu'un corridor dans une résidence de personnes âgées (pour la détection des chutes p. ex.) ou d'une compagnie (pour la sécurité). Son faible coût permettrait un plus grand usage de la vidéosurveillance au bénéfice de la société. Au niveau scientifique, la démonstration théorique et pratique d'un tel système est originale et offre un grand potentiel pour la vidéosurveillance. Human posture recognition (HPR) from video sequences is one of the major active
research areas of computer vision. It is one step of the global process of human activity
recognition (HAR) for behaviors analysis. Many HPR application systems have
been developed including video surveillance, human-machine interaction, and the video
retrieval. Generally, applications related to HPR can be achieved using mainly two
approaches : single camera or multi-cameras. Despite the interesting performance achieved
by multi-camera systems, their complexity and the huge information to be processed
greatly limit their widespread use for HPR.
The main goal of this thesis is to simplify the multi-camera system by replacing a
camera by a light source. In fact, a light source can be seen as a virtual camera, which
generates a cast shadow image representing the silhouette of the person that blocks the
light. Our system will consist of a single camera and one or more infrared light sources.
Despite some technical difficulties in cast shadow segmentation and cast shadow deformation
because of walls and furniture, different advantages can be achieved by using our
system. Indeed, we can avoid the synchronization and calibration problems of multiple
cameras, reducing the cost of the system and the amount of processed data by replacing
a camera by one light source.
We introduce two different approaches in order to automatically recognize human
postures. The first approach directly combines the person’s silhouette and cast shadow
information, and uses 2D silhouette descriptor in order to extract discriminative features
useful for HPR. The second approach is inspired from the shape from silhouette technique
to reconstruct the visual hull of the posture using a set of cast shadow silhouettes,
and extract informative features through 3D shape descriptor. Using these approaches,
our goal is to prove the utility of the combination of person’s silhouette and cast shadow
information for recognizing elementary human postures (stand, bend, crouch, fall,...)
The proposed system can be used for video surveillance of uncluttered areas such as
a corridor in a senior’s residence (for example, for the detection of falls) or in a company (for security). Its low cost may allow greater use of video surveillance for the benefit of
society.
This document disseminated on Papyrus is the exclusive property of the copyright holders and is protected by the Copyright Act (R.S.C. 1985, c. C-42). It may be used for fair dealing and non-commercial purposes, for private study or research, criticism and review as provided by law. For any other use, written authorization from the copyright holders is required.