Bienvenue à l'Onera, le centre français de recherche aérospatiale

Ligne orange
Bouton Aronautique Bouton Espace Bouton Dfense et scurit Bouton Transfert de technologie Bouton Souffleries

ENGLISH

RECHERCHE DIRECTE

L’Onera de A à Z

ONERA-ISA

ONERA-ISA

Traitement de l'information et modélisation

Estimation de Mouvements 3D : Flot de Scène



A l'heure actuelle, la numérisation et la perception de scènes statiques est un domaine de la vision par ordinateur où bon nombre de solutions opérationnelles existent [1]. Cependant, la perception 3D de scène dynamiques avec une caméra monoculaire en mouvement reste un challenge difficile et peu stable, les rares travaux conduisent en général à des algorithmes très complexes et lourds en termes de coût de calculs [2]. Depuis 2010, nous avons entamé des travaux ayant pour objectif la perception en champ proche dans une scène dynamique. Nous avons choisi pour cela de passer par l'estimation d'un "scene flow" [3,4], c'est-à-dire le champ des mouvements 3D ainsi que la profondeur des points observés dans un repère lié à la caméra, soit un vecteur à 6 composantes par pixel. La plupart des solutions actuelles se basent sur une acquisition stéréoscopique et des traitements de stéréo dense associés à des traitements de flot optique [3]. De notre côté, nous avons fait le choix, dans un premier temps, d'utiliser un nouveau capteur disponible depuis novembre 2010 : le capteur ``Kinect'' de Microsoft [5].

 

Le Capteur Kinect

 

Le kinect est destiné au domaine du jeu, où il sert comme périphérique d'interface homme-machine. Cependant, les informations 3D que fournit ce capteur sont d'une grande utilité pour la perception, de sorte que, très vite, des développeurs ont proposé des interfaces pour récupérer les sorties d'une kinect [6].


Fig.1 : sorties du capteurs Kinect récupéré par la librairie libfreenect [6]. De gauche a droite : carte de profondeure, image infra-rouge et son pattern, image RGB.

 

 


Le kinect est composé de deux caméras (une caméra RGB classique et une caméra infra-rouge) d'un projecteur de motifs infra-rouges et d'une unité de calcul. Grâce à la connaissance du motif, et de traitements propriétaires embarqués [7], il fournit une carte de profondeurs dans le repère de la caméra infra-rouge. La figure .1 illustre les données issues du kinect.

Kinect et Flot de Scene

Le kinect fournissant la position de points 3D à chaque instant le seul problème est d'associer ces points dans le temps pour en déduire des déplacements 3D. Cette association est menée par flot optique (voir Folki-GPU) sur le flux vidéo RGB. En effet, le motif projeté en IR empèche la mise en correspondance des images IR (c'est l'équivalent d'une ombre portée projetée par l'observateur sur la scène). De plus les images visibles ont en général une meilleure richesse texturelle.

Bibliographie

[1] M. Pollefeys, J. Frahm, F. Fraundorfer, C. Zach, C. Wu, B. Clipp, and D. Gallup, “Challenges in wide-area structure-from-motion,” 2010.

[2] R. Vidal and R. Hartley, “Three-view multibody structure from motion,” IEEE transactions on pattern analysis and machine intelligence, pp. 214–227, 2007.

[3] A. Wedel, C. Rabe, T. Vaudrey, T. Brox, and D. Cremers, “Efficient dense scene flow  from sparse or dense stereo data,” 2008.

[4] I. Patras, N. Alvertos, and G. Tziritas, “Joint disparity and motion field estimation in  stereoscopic image sequences,” in Pattern Recognition, 1996., Proceedings of the 13th  International Conference on, vol. 1, pp. 359–363, IEEE, 2002.

[5] Microsoft, http://www.xbox.com/kinect

[6] OpenKinect, https://github.com/OpenKinect/libfreenect

[7]  PrimeSense, http://www.primesense.com/?p=514









Précédente | Haut | Suivante


Accueil GPU for Image

La programmation GPU

FOLKI-GPU

FOLKI-PIV

FOLKI-NECT

Téléchargements

Les auteurs

 


Mis à jour le - © ONERA 2010 - Crédits et conditions d'utilisation