Search

National audience; In the field of obstacle detection and tracking for vision-based ADAS (Advanced Driver Assistance System), it is necessary to perform short-term vehicle localisation. Vision based SLAM (Simultaneous Localization and Mapping) solves this problem by combining the vehicle state estimation (local pose and speeds) and an incremental modelling of the environment. The environment is perceived by extracting features (interest points) in a sequence of images and tracking them over time to allow an incremental landmarks map construction. The perception step leads to an important computational load which affects very significantly the system latency and throughput. Co-design methodologies allow to design a mixed processing architecture optimized for a specific application In this type of architecture, the use of hardware accelerators allows for great performance increase (throughput, memory size, power consumption). The ZynQ (Xilinx) provides a prototyping mixed-architecture including a dual-core microprocessor combined with configurable hardware resources. The goal of this thesis is to propose a co-design implementation of a vision-based SLAM processing chain involving hardware accelerators for image processing in order to meet the constraints of an embedded ADAS system. The first contribution is the design of a complete 3D EKF-SLAM processing chain thanks to a co-design approach. We defined and validated, according to the followed co-design approach, the choice of a Hardware-in-the-loop (HIL) architecture to validate the different design iterations. The second contribution is the integration of dedicated hardware modules to accelerate the visual perception computations of this processing chain (features detection, description and matching).; Dans le domaine de la détection et du suivi d’obstacles pour les systèmes ADAS (Advanced Driver Assistance System) basés vision, il est nécessaire d’assurer la localisation à court terme du véhicule. Le SLAM (Simultaneous Localization and Mapping) basé vision propose de résoudre ce problème en combinant l’estimation de l’état du véhicule (pose dans un repère local et vitesses) et une modélisation incrémentale de l’environnement. Ce dernier est perçu par l’extraction de caractéristiques locales (points d’intérêt) dans une séquence d’images et leur suivi au cours du temps pour permettre la construction incrémentale d’une carte d’amers. Cette tâche de perception engendre une importante charge de calcul qui affecte très significativement la latence et la cadence du système. Les méthodologies de co-design permettent de concevoir une architecture mixte de calcul pour l“exécution d’une application particulière. Dans ce type d’architecture, l’utilisation d’accélérateurs matériels permet d’améliorer significativement les performances (temps d’exécution, encombrement, consommation). Le ZynQ (Xilinx) propose une architecture de prototypage mixte comprenant un processeur dual-core associé à des ressources matérielles configurables. L’objectif de cette thèse est donc de proposer une implémentation co-design d’un SLAM basé vision par la conception d’accélérateurs pour les opérations de vision afin de satisfaire les contraintes en performances des systèmes ADAS embarqués. La première contribution des travaux est la conception de cette chaîne complète 3D EKFSLAM à l’aide une approche co-design. Nous avons défini et validé, selon notre méthodologie de conception, le choix d’une architecture Hardware-in-the-loop (HIL) afin de valider les différentes itérations de conception. La seconde contribution est l’intégration de modules matériels dédiés pour accélérer les traitements de perception visuelle de cette chaîne (détection, description et mise en correspondance de points d’intérêt).

Networked 3D virtual environments allow multiple users to interact with each other over the Internet. Users can share some sense of telepresence by remotely animating an avatar that represents them. However, avatar control may be tedious and still render user gestures poorly. This work aims at animating a user’s avatar from real time 3D motion capture by monoscopic computer vision, thus allowing virtual telepresence to anyone using a personal computer with a webcam. The approach followed consists of registering a 3D articulated upper-body model to a video sequence. This involves searching iteratively for the best match between features extracted from the 3D model and from the image. A two-step registration process matches regions and then edges. The first contribution of this thesis is a method of allocating computing iterations under real-time constrain that achieves optimal robustness and accuracy. The major issue for robust 3D tracking from monocular images is the 3D/2D ambiguities that result from the lack of depth information. Particle filtering has become a popular framework for propagating multiple hypotheses between frames. As a second contribution, this thesis enhances particle filtering for 3D/2D registration under limited computation constrains with a number of heuristics, the contribution of which is demonstrated experimentally. A parameterization of the arm pose based on their end-effector is proposed to better model uncertainty in the depth direction. Finally, evaluation is accelerated by computation on GPU. In conclusion, the proposed algorithm is demonstrated to provide robust real-time 3D body tracking from a single webcam for a large variety of gestures including partial occlusions and motion in the depth direction., Les environnements virtuels collaboratifs permettent à plusieurs utilisateurs d’interagir à distance par Internet. Ils peuvent partager une impression de téléprésence en animant à distance un avatar qui les représente. Toutefois, le contrôle de cet avatar peut être difficile et mal restituer les gestes de l’utilisateur. Ce travail vise à animer l’avatar à partir d’une acquisition 3D des gestes de l’utilisateur par vision monoculaire en temps réel, et à rendre la téléprésence virtuelle possible au moyen d’un PC grand public équipé d’une webcam. L’approche suivie consiste à recaler un modèle 3D articulé de la partie supérieure du corps humain sur une séquence vidéo. Ceci est réalisé en cherchant itérativement la meilleure correspondance entre des primitives extraites du modèle 3D d’une part et de l’image d’autre part. Le recalage en deux étapes peut procéder sur les régions, puis sur les contours. La première contribution de cette thèse est une méthode de répartition des itérations de calcul qui optimise la robustesse et la précision sous la contrainte du temps-réel. La difficulté majeure pour le suivi 3D à partir d’images monoculaires provient des ambiguïtés 3D/2D et de l’absence d’information de profondeur. Le filtrage particulaire est désormais une approche classique pour la propagation d’hypothèses multiples entre les images. La deuxième contribution de cette thèse est une amélioration du filtrage particulaire pour le recalage 3D/2D en un temps de calcul limité par des heuristiques, dont la contribution est démontée expérimentalement. Un paramétrage de l’attitude des bras par l’extrémité de leur chaîne cinématique est proposé qui permet de mieux modéliser l’incertitude sur la profondeur. Enfin, l’évaluation est accélérée par calcul sur GPU. En conclusion, l’algorithme proposé permet un suivi 3D robuste en temps-réel à partir d’une webcam pour une grande variété des gestes impliquant des occlusions partielles et des mouvements dans la direction de la profondeur.

This dissertation concerns the detection and the tracking of mobile objets in a dynamic environment, using a camera embedded on a mobile robot. It is an important challenge because only a single camera is used to solve the problem.We must detect mobile objects in the scene, analyzing their apparent motions on images, excluding the motion caused by the ego-motion of the camera. First it is proposed a spatio-remporal analysis of the image sequence based on the sparse optical flow. The a contrario clustering method provides the grouping of dynamic points, without using a priori information and without parameter tuning. This method success is based on the accretion of sufficient information on positions and velocities of these points. We call tracking time, the time required in order to acquire images analyzed to provide the points characterization. A probabilistic map is built in order to find image areas with the higher probabilities to find a mobile objet ; this map allows an active selection of new points close the previously detected mobile regions, making larger these regions. In a second step, it is proposed an iterative approach to perform the detection-clustering-tracking process on image sequences acquired from a fixed camera for indoor or outdoor applications. An object is described by an active contour, updated so that the initial object model remains inside the contour. Finally it is presented experimental results obtained on images acquired from a camera embedded on a mobile robot navigating in outdoor environments with rigid or non rigid mobile objects ; it is shown that the method works to detect obstacles during the navigation in a priori unknown environments, first with a weak speed, then with more a realistic speed, compensating the robot ego-motion in images.; Cette thèse traite de la détection et du suivi d'objets mobiles dans un environnement dynamique, en utilisant une caméra embarquée sur un robot mobile. Ce sujet représente encore un défi important car on exploite uniquement la vision mono-caméra pour le résoudre. Nous devons détecter les objets mobiles dans la scène par une analyse de leurs déplacements apparents dans les images, en excluant le mouvement propre de la caméra. Dans une première étape, nous proposons une analyse spatio-temporelle de la séquence d'images, sur la base du flot optique épars. La méthode de clustering a contrario permet le groupement des points dynamiques, sans information a priori sur le nombre de groupes à former et sans réglage de paramètres. La réussite de cette méthode réside dans une accumulation suffisante des données pour bien caractériser la position et la vitesse des points. Nous appelons temps de pistage, le temps nécessaire pour acquérir les images analysées pour bien caractériser les points. Nous avons développé une carte probabiliste afin de trouver les zones dans l'image qui ont les probabilités la plus grandes de contenir un objet mobile. Cette carte permet la sélection active de nouveaux points près des régions détectées précédemment en permettant d'élargir la taille de ces régions. Dans la deuxième étape nous mettons en oeuvre une approche itérative pour exécuter détection, clustering et suivi sur des séquences d'images acquises depuis une caméra fixe en intérieur et en extérieur. Un objet est représenté par un contour actif qui est mis à jour de sorte que le modèle initial reste à l'intérieur du contour. Finalement nous présentons des résultats expérimentaux sur des images acquises depuis une caméra embarquée sur un robot mobile se déplaçant dans un environnement extérieur avec des objets mobiles rigides et nonrigides. Nous montrons que la méthode est utilisable pour détecter des obstacles pendant la navigation dans un environnement inconnu a priori, d'abord pour des faibles vitesses, puis pour des vitesses plus réalistes après compensation du mouvement propre du robot dans les images.

The works presented in this manuscript are in the field of computer vision, and tackle the problem of real-time vision based localization and 3D reconstruction. In this context, the trajectory of a camera and the 3D structure of the filmed scene are initially estimated by linear algorithms and then optimized by a nonlinear algorithm, bundle adjustment. The thesis first presents a new technique of line search, dedicated to the nonlinear minimization algorithms used in Structure-from-Motion. The proposed technique is not iterative and can be quickly installed in traditional bundle adjustment frameworks. This technique, called Global Algebraic Line Search (G-ALS), and its two-dimensional variant (Two way-ALS), accelerate the convergence of the bundle adjustment algorithm. The approximation of the reprojection error by an algebraic distance enables the analytical calculation of an effective displacement amplitude (or two amplitudes for the Two way-ALS variant) by solving a degree 3 (G-ALS) or 5 (Two way-ALS) polynomial. Our experiments, conducted on simulated and real data, show that this amplitude, which is optimal for the algebraic distance, is also efficient for the Euclidean distance and reduces the convergence time of minimizations. One difficulty of real-time tracking algorithms (monocular SLAM) is that the estimated trajectory is often affected by drifts : on the absolute orientation, position and scale. Since these algorithms are incremental, errors and approximations are accumulated throughout the trajectory and cause global drifts. In addition, a tracking vision system can always be dazzled or used under conditions which prevented temporarily to calculate the location of the system. To solve these problems, we propose to use an additional sensor measuring the displacement of the camera. The type of sensor used will vary depending on the targeted application (an odometer for a vehicle, a lightweight inertial navigation system for a person). We propose to integrate this additional information directly into an extended bundle adjustment, by adding a constraint term in the weighted cost function. We evaluate three methods (based on machine learning or regularization) that dynamically select the weight associated to the constraint and show that these methods can be used in a real time multi-sensor SLAM, and validate them with different types of constraint on the orientation or on the scale. Experiments conducted on real video sequences show that this technique of constrained bundle adjustment reduces the drifts observed with the classical vision algorithms and improves the global accuracy of the positioning system.; Les travaux présentés dans ce manuscrit concernent le domaine de la localisation et la reconstruction 3D par vision artificielle. Dans ce contexte, la trajectoire d’une caméra et la structure3D de la scène filmée sont initialement estimées par des algorithmes linéaires puis optimisées par un algorithme non-linéaire, l’ajustement de faisceaux. Cette thèse présente tout d’abord une technique de recherche de l’amplitude de déplacement (recherche linéaire), ou line search pour les algorithmes de minimisation itérative. La technique proposée est non itérative et peut être rapidement implantée dans un ajustement de faisceaux traditionnel. Cette technique appelée recherche linéaire algébrique globale (G-ALS), ainsi que sa variante à deux dimensions (Two way-ALS), accélèrent la convergence de l’algorithme d’ajustement de faisceaux. L’approximation de l’erreur de reprojection par une distance algébrique rend possible le calcul analytique d’une amplitude de déplacement efficace (ou de deux pour la variante Two way-ALS), par la résolution d’un polynôme de degré 3 (G-ALS) ou 5 (Two way-ALS). Nos expérimentations sur des données simulées et réelles montrent que cette amplitude, optimale en distance algébrique, est performante en distance euclidienne, et permet de réduire le temps de convergence des minimisations. Une difficulté des algorithmes de localisation en temps réel par la vision (SLAM monoculaire) est que la trajectoire estimée est souvent affectée par des dérives : dérives d’orientation, de position et d’échelle. Puisque ces algorithmes sont incrémentaux, les erreurs et approximations sont cumulées tout au long de la trajectoire, et une dérive se forme sur la localisation globale. De plus, un système de localisation par vision peut toujours être ébloui ou utilisé dans des conditions qui ne permettent plus temporairement de calculer la localisation du système. Pour résoudre ces problèmes, nous proposons d’utiliser un capteur supplémentaire mesurant les déplacements de la caméra. Le type de capteur utilisé varie suivant l’application ciblée (un odomètre pour la localisation d’un véhicule, une centrale inertielle légère ou un système de navigation à guidage inertiel pour localiser une personne). Notre approche consiste à intégrer ces informations complémentaires directement dans l’ajustement de faisceaux, en ajoutant un terme de contrainte pondéré dans la fonction de coût. Nous évaluons trois méthodes permettant de sélectionner dynamiquement le coefficient de pondération et montrons que ces méthodes peuvent être employées dans un SLAM multi-capteur temps réel, avec différents types de contrainte, sur l’orientation ou sur la norme du déplacement de la caméra. La méthode est applicable pour tout autre terme de moindres carrés. Les expérimentations menées sur des séquences vidéo réelles montrent que cette technique d’ajustement de faisceaux contraint réduit les dérives observées avec les algorithmes de vision classiques. Ils améliorent ainsi la précision de la localisation globale du système.

Vehicle platooning is addressed in this thesis with the aim of contributing in reducing congestion and pollution in urban areas. The researches here focus on cooperative navigation of a fleet of communicating vehicles and relies on a global control approach : each vehicle is controlled from information shared by the entire fleet, using exact linearization techniques. This manuscript presents two theoretical contributions, introducing two new navigation functionalities, and the third contribution consists in their practical implementation. As a first part, the introduction of a manual navigation mode has been investigated, in which the first vehicle, guided by an operator, defines and broadcasts the path to be followed by platoon members. In that case, the numerical representation of the trajectory must be extended without disturbing the portion previously generated, to ensure that the entire platoon can precisely and smoothly follow the leader track. To meet these requirements, the trajectory is modeled using B-Spline curves and an iterative path creating algorithm has been developed from successive positions collected by the lead vehicle during its motion. A parametric analysis has finally resulted in the design of an optimal trajectory with respect to the fidelity of the path representation and to the robustness regarding the disturbances that could arise during the creation procedure. In a second part, a localization strategy relying on monocular vision has been integrated in platoon control algorithms. The localization approach is based on a learning phase during which a video sequence is used to perform a 3D mapping of the environment. However, such a virtual vision world is slightly distorted with respect to the actual metric one. This affects the performances of the platoon control laws. An analysis of distortion has demonstrated that platooning performances can be recovered, provided if a set of local scale factors attached to the reference trajectory is available. Several strategies have then been designed to estimate online such scale factors, either from an observer relying on odometric data, or from an optimization process based on telemetric data. As before, intensive simulations has been run to evaluate parameter influence and highlight the best configurations to use during experiments. Finally, above mentionned algorithms have been implemented in order to present full-scale demonstrators with up to four vehicles (either CyCab or RobuCab). Particular attention is data temporal consistency : since data are collected asynchronously within the platoon, a NTP has been used to synchronize vehicle clock, so that middleware AROCCAM can stamp vehicle data and manage the control scheduling. Thus, vehicle models can be integrated in order to obtain an accurate estimate of the platoon state at the time the control laws are evaluated., Cette thèse concerne la commande d’un convoi de véhicules avec l’objectif sociétal de réduire les problèmes de pollution et d’engorgement dans les milieux urbains. La recherche se concentre ici sur la navigation coopérative d’une flotte de véhicules communicants en s’appuyant sur une approche de commande globale : chaque véhicule est contrôlé à partir d’informations partagées par l’ensemble de la flotte, en s’appuyant sur des techniques de linéarisation exacte. Le développement de nouvelles fonctionnalités de navigation fait l’objet des deux contributions théoriques développées dans ce manuscrit et leur mise en oeuvre constitue la contribution pratique. Dans un premier temps, on s’intéresse à la mise en place d’un mode manuel de navigation dans lequel le premier véhicule, guidé par un opérateur, définit et retransmet la trajectoire à suivre aux membres du convoi. Il convient que la trajectoire, dont la représentation évolue au fur et à mesure de l’avancée du véhicule de tête, soit numériquement stable afin que les véhicules suiveurs qui sont asservis dessus puissent être contrôlés avec précision et sans subir de perturbations. A ces fins, la trajectoire a été modélisée par des courbes B-Spline et un algorithme itératif a été développé pour étendre cette dernière selon un critère d’optimisation évalué au regard des positions successives occupées par le véhicule de tête. Une analyse paramétrique a finalement permis d’aboutir à une synthèse optimale de la trajectoire en terme de fidélité et de stabilité de la représentation. Dans un second temps, on considère l’intégration d’une stratégie de localisation par vision monoculaire pour la navigation en convoi. L’approche repose sur une cartographie 3D de l’environnement préalablement construite à partir d’une séquence vidéo. Cependant, un tel monde virtuel comporte des distorsions locales par rapport au monde réel, ce qui affecte les performances des lois de commande en convoi. Une analyse des distorsions a permis de démontrer qu’il était possible de recouvrer des performances de navigation satisfaisantes à partir d’un jeu de facteurs d’échelle estimés localement le long de la trajectoire de référence. Plusieurs stratégies ont alors été élaborées pour estimer en-ligne ces facteurs d’échelle, soit à partir de données odométriques alimentant un observateur, soit à partir de données télémétriques intégrées dans un processus d’optimisation. Comme précédemment, l’influence des paramètres a été évaluée afin de mettre en évidence les meilleures configurations à utiliser en vue d’applications expérimentales. Pour finir, les algorithmes développés précédemment ont été mis en oeuvre lors d’expérimentations et ont permis d’obtenir des démonstrateurs en vraie grandeur comprenant jusqu’à quatre véhicules de type CyCab et RobuCab. Une attention particulière a été accordée à la cohérence temporelle des données. Celles-ci sont collectées de manière asynchrone au sein du convoi. L’utilisation du protocole NTP a permis de synchroniser l’horloge des véhicules et le middleware AROCCAM d’estampiller les données et de gérer le cadencement de la commande. Ainsi, le modèle d’évolution des véhicules a pu être intégré afin de disposer d’une estimation précise de l’état du convoi à l’instant où la commande est évaluée.

The works presented in this manuscript are in the field of computer vision, and tackle the problem of real-time vision based localization and 3D reconstruction. In this context, the trajectory of a camera and the 3D structure of the filmed scene are initially estimated by linear algorithms and then optimized by a nonlinear algorithm, bundle adjustment. The thesis first presents a new technique of line search, dedicated to the nonlinear minimization algorithms used in Structure-from-Motion. The proposed technique is not iterative and can be quickly installed in traditional bundle adjustment frameworks. This technique, called Global Algebraic Line Search (G-ALS), and its two-dimensional variant (Two way-ALS), accelerate the convergence of the bundle adjustment algorithm. The approximation of the reprojection error by an algebraic distance enables the analytical calculation of an effective displacement amplitude (or two amplitudes for the Two way-ALS variant) by solving a degree 3 (G-ALS) or 5 (Two way-ALS) polynomial. Our experiments, conducted on simulated and real data, show that this amplitude, which is optimal for the algebraic distance, is also efficient for the Euclidean distance and reduces the convergence time of minimizations. One difficulty of real-time tracking algorithms (monocular SLAM) is that the estimated trajectory is often affected by drifts : on the absolute orientation, position and scale. Since these algorithms are incremental, errors and approximations are accumulated throughout the trajectory and cause global drifts. In addition, a tracking vision system can always be dazzled or used under conditions which prevented temporarily to calculate the location of the system. To solve these problems, we propose to use an additional sensor measuring the displacement of the camera. The type of sensor used will vary depending on the targeted application (an odometer for a vehicle, a lightweight inertial navigation system for a person). We propose to integrate this additional information directly into an extended bundle adjustment, by adding a constraint term in the weighted cost function. We evaluate three methods (based on machine learning or regularization) that dynamically select the weight associated to the constraint and show that these methods can be used in a real time multi-sensor SLAM, and validate them with different types of constraint on the orientation or on the scale. Experiments conducted on real video sequences show that this technique of constrained bundle adjustment reduces the drifts observed with the classical vision algorithms and improves the global accuracy of the positioning system., Les travaux présentés dans ce manuscrit concernent le domaine de la localisation et la reconstruction 3D par vision artificielle. Dans ce contexte, la trajectoire d’une caméra et la structure3D de la scène filmée sont initialement estimées par des algorithmes linéaires puis optimisées par un algorithme non-linéaire, l’ajustement de faisceaux. Cette thèse présente tout d’abord une technique de recherche de l’amplitude de déplacement (recherche linéaire), ou line search pour les algorithmes de minimisation itérative. La technique proposée est non itérative et peut être rapidement implantée dans un ajustement de faisceaux traditionnel. Cette technique appelée recherche linéaire algébrique globale (G-ALS), ainsi que sa variante à deux dimensions (Two way-ALS), accélèrent la convergence de l’algorithme d’ajustement de faisceaux. L’approximation de l’erreur de reprojection par une distance algébrique rend possible le calcul analytique d’une amplitude de déplacement efficace (ou de deux pour la variante Two way-ALS), par la résolution d’un polynôme de degré 3 (G-ALS) ou 5 (Two way-ALS). Nos expérimentations sur des données simulées et réelles montrent que cette amplitude, optimale en distance algébrique, est performante en distance euclidienne, et permet de réduire le temps de convergence des minimisations. Une difficulté des algorithmes de localisation en temps réel par la vision (SLAM monoculaire) est que la trajectoire estimée est souvent affectée par des dérives : dérives d’orientation, de position et d’échelle. Puisque ces algorithmes sont incrémentaux, les erreurs et approximations sont cumulées tout au long de la trajectoire, et une dérive se forme sur la localisation globale. De plus, un système de localisation par vision peut toujours être ébloui ou utilisé dans des conditions qui ne permettent plus temporairement de calculer la localisation du système. Pour résoudre ces problèmes, nous proposons d’utiliser un capteur supplémentaire mesurant les déplacements de la caméra. Le type de capteur utilisé varie suivant l’application ciblée (un odomètre pour la localisation d’un véhicule, une centrale inertielle légère ou un système de navigation à guidage inertiel pour localiser une personne). Notre approche consiste à intégrer ces informations complémentaires directement dans l’ajustement de faisceaux, en ajoutant un terme de contrainte pondéré dans la fonction de coût. Nous évaluons trois méthodes permettant de sélectionner dynamiquement le coefficient de pondération et montrons que ces méthodes peuvent être employées dans un SLAM multi-capteur temps réel, avec différents types de contrainte, sur l’orientation ou sur la norme du déplacement de la caméra. La méthode est applicable pour tout autre terme de moindres carrés. Les expérimentations menées sur des séquences vidéo réelles montrent que cette technique d’ajustement de faisceaux contraint réduit les dérives observées avec les algorithmes de vision classiques. Ils améliorent ainsi la précision de la localisation globale du système.

In the context of visual navigation in an open and dynamic environment, obstacle detection play a major role. In this thesis, we are interested in the characterization of obstacles by the Time To Collision (TTC). We showed that this TTC can be computed directly in an image by using the characteristic scale. Next, we developed a detector and a tracker invariant to change of scale and well adapted to urban environments. This detector can extract regions of interest called “ridge segments” corresponding to contrasted and elongated shapes in the image. The tracking of such structures is based on a particles filter and allows the calculation of the scale in order to estimate the TTC. At last, we studied two applications for visual navigation such as automatic stopping of vehicle and a Bayesian reactive obstacles avoidance system.; Dans un contexte de navigation visuelle en environnement ouvert et dynamique, la détection d'obstacles constitue un élément indispensable. Dans cette thèse, nous nous intéressons à la caractérisation des obstacles par le temps avant collision (TTC). Ayant montré que ce TTC peut être calculé directement dans une image à l'aide de l'échelle intrinsèque, nous avons mis au point un détecteur ainsi qu'un algorithme de suivi invariant au changement d'échelle et adapté à un environnement urbain. Ce détecteur permet d'extraire des régions d'intérêt appelées segments de crête correspondant à des formes contrastées et rectilignes dans l'image. Le suivi de ces régions d'intérêt est fondé sur un filtre à particules et permet de mesurer la variation d'échelles afin d'estimer le TTC. Enfin, nous avons étudié deux applications de navigation visuelle d'un véhicule telles que l'arrêt du véhicule avant collision et un système d'évitement réactif d'obstacles bayésien.

In the context of visual navigation in an open and dynamic environment, obstacle detection play a major role. In this thesis, we are interested in the characterization of obstacles by the Time To Collision (TTC). We showed that this TTC can be computed directly in an image by using the characteristic scale. Next, we developed a detector and a tracker invariant to change of scale and well adapted to urban environments. This detector can extract regions of interest called “ridge segments” corresponding to contrasted and elongated shapes in the image. The tracking of such structures is based on a particles filter and allows the calculation of the scale in order to estimate the TTC. At last, we studied two applications for visual navigation such as automatic stopping of vehicle and a Bayesian reactive obstacles avoidance system.; Dans un contexte de navigation visuelle en environnement ouvert et dynamique, la détection d'obstacles constitue un élément indispensable. Dans cette thèse, nous nous intéressons à la caractérisation des obstacles par le temps avant collision (TTC). Ayant montré que ce TTC peut être calculé directement dans une image à l'aide de l'échelle intrinsèque, nous avons mis au point un détecteur ainsi qu'un algorithme de suivi invariant au changement d'échelle et adapté à un environnement urbain. Ce détecteur permet d'extraire des régions d'intérêt appelées segments de crête correspondant à des formes contrastées et rectilignes dans l'image. Le suivi de ces régions d'intérêt est fondé sur un filtre à particules et permet de mesurer la variation d'échelles afin d'estimer le TTC. Enfin, nous avons étudié deux applications de navigation visuelle d'un véhicule telles que l'arrêt du véhicule avant collision et un système d'évitement réactif d'obstacles bayésien.

This thesis mainly deal with planar areas detection from monocular images and low-budget sensors. These works allow safe landing area detection for UAV and ground/air coopération with traversability maps fusion. In using homographies' properties, we segment the regions of images that are the projections of a plane surface. An extensive study has been made on robust linear estimators in a context of homography estimation from matched points. Synthesis datas were used in order to highlight the influence of the parameters of the environment on the quality of estimated homographies. These results were confronted thereafter with real data. These techniques allow the segmentation of matched points belonging to a plane zone. In order to produce a dense description (continues) of planar zones, we proposed an improvement of the Zero-mean Normal Cross Correlation score. By considering an adaptive model of the influence of the luminosity variances on the scores of correlation, we introduced an automatic segmentation method of planar zones which offer good results. The introduction of probabilistic models enabled us to fuze iteratively the observations, and to build local grids which represent the probability of flatness on zones. Finally with the aim of the co-operation between air and terrestrial robots, we extended this work to the context of terrestrial robotics and the fusion of aéro-terrestrial models.; Les travaux de cette thèse s'articulent principalement autour de la détection de surfaces planes à partir de séquences d'images faiblement calibrées. La détection de telles surfaces offre des possibilités pour l'atterrissage autonome de drones, la coopération air/sol par la fusion de modèles de traversabilité ou encore la cartographie aérienne. Considérant d'abord le contexte d'images aériennes faiblement localisées (GPS métrique, centrale inertielle bas coût...), nous exploitons les propriétés des homographies, qui définissent le déplacement entre deux images de points appartenant à un même plan du monde. Nous avons utilisé cette propriété pour segmenter les régions des images contenant la projection d'un plan. Un soin particulier à été donné à l'évaluation de différents algorithmes d'estimation linéaire robuste dans le cadre de l'estimation d'homographie à partir de points appariés. Des données de synthèse ont été utilisées afin de mettre en évidence l'influence des paramètres de l'environnement sur la qualité des estimées. Ces résultats ont été par la suite confrontés à des données réelles. Ces techniques permettent de segmenter les points appariés selon qu'ils appartiennent ou non à une zone plane. Afin de produire une description dense (continue) des zones détectées, nous avons proposé une amélioration du score de corrélation normalisée croisée. En considérant un modèle adaptatif de l'influence des variances des niveaux de gris sur les scores de corrélation, nous avons introduit une méthode de segmentation automatique de zones planes offrant de bons résultats. L'introduction de modèles probabilistes nous a permis de fusionner les observations au fur et à mesure du déplacement de la caméra, et de construire des grilles locales qui représentent la probabilité de planéité sur des zones. Enfin dans l'optique de la coopération entre robots aériens et terrestres, nous avons étendu ces travaux au contexte de la robotique terrestre et de la fusion de modèles aéro-terrestres.

Cette thèse aborde le problème de localisation et cartographie simultanée pour un robot mobile. Lorsque le robot évolue dans un environnement inconnu, il doit construire une carte au fur et à mesure qu'il explore le monde, tout en se localisant dans celle-ci. De l'anglais Simultaneous Localisation And Mapping, le SLAM est une brique essentielle de l'architecture d'un robot autonome. Plusieurs éléments sont nécessaires à la résolution du SLAM, en particulier la perception de l'environnement permet d'observer les éléments de référence (appelés amers) qui constituent la carte. Ces travaux se focalisent sur l'utilisation de la vision artificielle comme moyen de percevoir l'environnement, ainsi la carte et la position du robot peuvent être estimées dans l'espace 3D complet. Les caméras numériques sont des capteurs bien adaptés aux systèmes embarqués et fournissent une information riche sur l'environnement. Mais une caméra ne permet pas de mesurer la distance aux objets, dont on n'obtient donc que des observations partielles. En particulier, ceci rend difficile l'ajout d'un nouvel amer dans la carte. Une méthode d'initialisation pour des amers de type point est proposée, elle s'appuie sur un mécanisme de génération puis de sélection d'hypothèses. Une architecture SLAM pour un robot terrestre est décrite dans son ensemble, en particulier une caméra panoramique est utilisée et permet de percevoir l'environnement sur 360 degrés. Cette architecture a été implémentée sur un robot de type ATRV. Une carte de points 3D est pertinente pour la localisation d'un robot, mais donne une information limitée sur la structure de l'environnement. Un algorithme permettant d'utiliser des segments de droite est proposé, et testé sur des données réelles. This thesis tackles the Simultaneous Localisation And Mapping problem (SLAM for short). When the robot moves in an unknown environment, it has to incrementally build a map of the environment while using this map to localise itself. A SLAM algorithm is a fundamental part of the architecture of a fully autonomous robot. Several elements are required to solve SLAM, among which perception is of main importance since it produces observations of the objects of the environment (referred as landmarks) which compose the map. In this work, the focus is put on artificial vision as the main perception mean for the robot: the map and the robot location can be estimated in the full 3D space. Digital cameras are well suited for embedded systems and produce a valuable information on the environment. But a camera does not give a measure of the distance to the objects, only partial observations are available. The addition of a new landmark in the map is then a difficult problem. An initialisation method for 3D point landmarks is proposed, it is based on a multi-hypotheses generation and selection scheme. A full SLAM solution for a rover is described, in particular the use of a panoramic camera delivers a 360 degrees field of view. This architecture has been implemented on an ATRV rover. 7 A map of 3D points is relevant for robot localisation, but gives a limited information on the structure of the environment. An algorithm to introduce 3D line segments in the map is proposed and tested on real data.

This thesis presents the realization of a localization system for a mobile robot relying on monocular vision. The aim of this project is to be able to make a robot follow a path in autonomous navigation in an urban environment. First, the robot is driven manually. During this learning step, the on board camera records a video sequence. After an off-line processing step, an image taken with the same hardware allows to compute the pose of the robot in real-time. This localization can be used to control the robot and make it follow the same trajectory as in the learning step. To do this, we build a three dimensional model of the environment (a map) and use this map to localize the robot. The map building step is a structure from motion algorithm. The map is a three dimensional model of the environment made of points. In order to localize the robot, we establish correspondences between the curent image and the 3D model. This allows to compute the pose of the camera and the robot. Even if the goal is to be able to localize a vehicle in an urban environment, we have chosen not to make restrictive assumptions on the structure of the scenes. Additionally, the pose computation is done with six degrees of freedom which doesn't limit the usage of the system to vehicles moving on a ground plane. Finally, a large part of this report is dedicated to the performance evaluation of the system. Many experiments in real situations were conducted to evaluate the robustness. The accuracy was measured by comparing the localization computed with the vision algorithm to the ground truth recorded with a differential GPS sensor., Ce mémoire de thèse présente la réalisation d'un système de localisation pour un robot mobile fondé sur la vision monoculaire. L'objectif de ces travaux est de pouvoir faire naviguer un véhicule robotique sur parcours donné en milieu urbain. Le robot est d'abord conduit manuellement. Pendant cette phase d'apprentissage, la caméra embarquée enregistre une séquence vidéo. Après un traitement approprié hors ligne, une image prise avec le même matériel permet de localiser le robot en temps réel. Cette localisation peut être utilisée pour commander le robot et faire en sorte qu'il suive de façon autonome le même parcours que durant la phase d'apprentissage. Le principe retenu consiste à construire une carte tridimensionnelle de la zone parcourue pendant la phase d'apprentissage, puis à se servir de la carte pour se localiser. Une grande partie de ce mémoire est consacré à l'étude des performances du système

International audience

National audience; Depuis le debut des annees 90, nous travaillons sur un systeme de contrôle temps reel applique au guidage d'engins agricoles par vision monoculaire. Il s'agit d'alleger les tâches de pilotage confiees aux conducteurs d'engins en proposant un co-pilotage par un systeme entierement automatique. Ces tâches concernent particulierement les travaux de recolte (moisson), de fenaison, et de labour. Dans cet article, nous nous interessons a l'aspect contrôle du vehicule par vision monoculaire a partir de la detection de l'interface fauche/non-fauche dans l'image. Le vehicule considere est une moissonneuse-batteuse. L'approche fonction de tâche introduite par Samson et Espiau a la n des annees 80 est utilisee. Un premier contrôleur est elabore pour les recoltes sur terrains plats. Un second est propose pour tenir compte des effets de la pente.

In these works, we present methods to localize and to reconstruct cylindrical surfaces. A depicted scene may be mapped or painted on these cylindrical surfaces. In the case of monocular vision, we need to use it a priori knowledge. We assume cross-sections of Straight Homogeneous Generalized Cylinders (SHGC) are projected in the image plane in curves. The proposed methods are applied on works of art and the results can be used for painting restoration. In order to obtain a better resolution, we also present the problem of mosaicing. In a first time we provide some definitions concerning the camera model, cylindrical surfaces, it a priori knowledge and we give some connexions between image processing and works of art. We present two methods of projected axis detection in the image plane and we describe how to detect a second axis in the image. After detecting these two axes, we are able to localize a Straight Uniform Generalized Cylinder (SUGC) in the camera coordinate system. We show a method of 3D reconstruction of SUGC. This method can be used for SHGC with closed cross-sections (circle, ellipse) or opened cross-sections (parabola, ellipse). We show a linear relationship between the altitude of a SUGC cross-section and its projection in the image plane. We propose an automatic mosaicing method based on region matching. The image regions with large distortions, caused by perspective projection, are excluded from matching. We evaluate the bounds of the necessary number of views in order to represent the entire scene from a SUGC. We illustrate these works on synthetic examples and real paintings., Ces travaux concernent la localisation et la reconstruction de surfaces cylindriques sur lesquelles sont projetées ou plaquées des scènes que le capteur perçoit comme des images. Du fait d'une étude limitée à la vision monoculaire, l'utilisation de connaissances a priori est nécessaire. On se propose d'approfondir des méthodes intégrant des contours contenus dans l'image, qui sont supposés être des projections de sections de Cylindres Généralisés Homogènes à axe Droit (CGHD). Les résultats sont appliqués principalement au domaine des oeuvres d'art comme les peintures sur voutes ou les fresques sur colonnes. Compte tenu de la limitation du champ d'observation des capteurs, nous sommes aussi amenés à aborder le problème de mosaïque de surfaces. Dans un premier temps nous présentons un ensemble de définitions concernant le modèle d'une caméra et les surfaces cylindriques généralisées, nous développons les connaissances a priori utilisées et le contexte d'application reliant le traitement d'images et les oeuvres d'art. Nous décrivons alors des mèthodes de localisation de Cylindres Généralisés Uniformes à axe Droit (CGUD) dans le repère de la caméra. Nous présentons deux mèthodes de détection de la projection de l'axe d'un CGUD, puis nous décrivons comment obtenir un deuxième axe dans l'image. Nous interprétons alors la signification de ces deux axes. Nous décrivons ensuite une méthode de reconstruction 3D de CGUD pouvant être étendue aux CGHD de sections fermées circulaires ou elliptiques, ou de sections ouvertes paraboliques ou elliptiques. Dans un premier temps, nous démontrons que l'évolution des courbures des ellipses dans l'image, projections de sections du CGUD de sections circulaires, est fonction linéaire de l'altitude de la section dans l'espace 3D. Nous étendons ces travaux aux problèmes de mosaïques de surfaces cylindriques. Nous analysons les distorsions dues à la projection perspective sur le plan image d'une scène issue d'une surface cylindrique. Nous présentons aussi une estimation du nombre de vues d'un CGUD nécessaire pour obtenir une scène complète. Tout au long de ces travaux, des résultats issus d'images synthètiques ou de peintures illustrent les méthodes développées.