Search

Networked 3D virtual environments allow multiple users to interact with each other over the Internet. Users can share some sense of telepresence by remotely animating an avatar that represents them. However, avatar control may be tedious and still render user gestures poorly. This work aims at animating a user’s avatar from real time 3D motion capture by monoscopic computer vision, thus allowing virtual telepresence to anyone using a personal computer with a webcam. The approach followed consists of registering a 3D articulated upper-body model to a video sequence. This involves searching iteratively for the best match between features extracted from the 3D model and from the image. A two-step registration process matches regions and then edges. The first contribution of this thesis is a method of allocating computing iterations under real-time constrain that achieves optimal robustness and accuracy. The major issue for robust 3D tracking from monocular images is the 3D/2D ambiguities that result from the lack of depth information. Particle filtering has become a popular framework for propagating multiple hypotheses between frames. As a second contribution, this thesis enhances particle filtering for 3D/2D registration under limited computation constrains with a number of heuristics, the contribution of which is demonstrated experimentally. A parameterization of the arm pose based on their end-effector is proposed to better model uncertainty in the depth direction. Finally, evaluation is accelerated by computation on GPU. In conclusion, the proposed algorithm is demonstrated to provide robust real-time 3D body tracking from a single webcam for a large variety of gestures including partial occlusions and motion in the depth direction., Les environnements virtuels collaboratifs permettent à plusieurs utilisateurs d’interagir à distance par Internet. Ils peuvent partager une impression de téléprésence en animant à distance un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l’utilisateur. Ce travail vise à animer l’avatar à partir d’une acquisition 3D des gestes de l’utilisateur par vision monoculaire en temps réel, et à rendre la téléprésence virtuelle possible au moyen d’un PC grand public équipé d’une webcam. L’approche suivie consiste à recaler un modèle 3D articulé de la partie supérieure du corps humain sur une séquence vidéo. Ceci est réalisé en cherchant itérativement la meilleure correspondance entre des primitives extraites du modèle 3D d’une part et de l’image d’autre part. Le recalage en deux étapes peut procéder sur les régions, puis sur les contours. La première contribution de cette thèse est une méthode de répartition des itérations de calcul qui optimise la robustesse et la précision sous la contrainte du temps-réel. La difficulté majeure pour le suivi 3D à partir d’images monoculaires provient des ambiguïtés 3D/2D et de l’absence d’information de profondeur. Le filtrage particulaire est désormais une approche classique pour la propagation d’hypothèses multiples entre les images. La deuxième contribution de cette thèse est une amélioration du filtrage particulaire pour le recalage 3D/2D en un temps de calcul limité par des heuristiques, dont la contribution est démontée expérimentalement. Un paramétrage de l’attitude des bras par l’extrémité de leur chaîne cinématique est proposé qui permet de mieux modéliser l’incertitude sur la profondeur. Enfin, l’évaluation est accélérée par calcul sur GPU. En conclusion, l’algorithme proposé permet un suivi 3D robuste en temps-réel à partir d’une webcam pour une grande variété des gestes impliquant des occlusions partielles et des mouvements dans la direction de la profondeur.

Cette thèse aborde le problème de localisation et cartographie simultanée pour un robot mobile. Lorsque le robot évolue dans un environnement inconnu, il doit construire une carte au fur et à mesure qu'il explore le monde, tout en se localisant dans celle-ci. De l'anglais Simultaneous Localisation And Mapping, le SLAM est une brique essentielle de l'architecture d'un robot autonome. Plusieurs éléments sont nécessaires à la résolution du SLAM, en particulier la perception de l'environnement permet d'observer les éléments de référence (appelés amers) qui constituent la carte. Ces travaux se focalisent sur l'utilisation de la vision artificielle comme moyen de percevoir l'environnement, ainsi la carte et la position du robot peuvent être estimées dans l'espace 3D complet. Les caméras numériques sont des capteurs bien adaptés aux systèmes embarqués et fournissent une information riche sur l'environnement. Mais une caméra ne permet pas de mesurer la distance aux objets, dont on n'obtient donc que des observations partielles. En particulier, ceci rend difficile l'ajout d'un nouvel amer dans la carte. Une méthode d'initialisation pour des amers de type point est proposée, elle s'appuie sur un mécanisme de génération puis de sélection d'hypothèses. Une architecture SLAM pour un robot terrestre est décrite dans son ensemble, en particulier une caméra panoramique est utilisée et permet de percevoir l'environnement sur 360 degrés. Cette architecture a été implémentée sur un robot de type ATRV. Une carte de points 3D est pertinente pour la localisation d'un robot, mais donne une information limitée sur la structure de l'environnement. Un algorithme permettant d'utiliser des segments de droite est proposé, et testé sur des données réelles. This thesis tackles the Simultaneous Localisation And Mapping problem (SLAM for short). When the robot moves in an unknown environment, it has to incrementally build a map of the environment while using this map to localise itself. A SLAM algorithm is a fundamental part of the architecture of a fully autonomous robot. Several elements are required to solve SLAM, among which perception is of main importance since it produces observations of the objects of the environment (referred as landmarks) which compose the map. In this work, the focus is put on artificial vision as the main perception mean for the robot: the map and the robot location can be estimated in the full 3D space. Digital cameras are well suited for embedded systems and produce a valuable information on the environment. But a camera does not give a measure of the distance to the objects, only partial observations are available. The addition of a new landmark in the map is then a difficult problem. An initialisation method for 3D point landmarks is proposed, it is based on a multi-hypotheses generation and selection scheme. A full SLAM solution for a rover is described, in particular the use of a panoramic camera delivers a 360 degrees field of view. This architecture has been implemented on an ATRV rover. 7 A map of 3D points is relevant for robot localisation, but gives a limited information on the structure of the environment. An algorithm to introduce 3D line segments in the map is proposed and tested on real data.