Search

With the massive use of digital photography, large databases of images have been built during the last decades, both for industry and medicine. However, the images were generally captured with different lighting conditions, poses of the camera and types of camera. This causes difficulties when comparing images of the same scene. I have proposed methods to analyse these large databases which address these issues. They have been applied to the field of tyres for the control of their visual aspect and the study of their performances as well as to the field of healthcare for the diagnosis and the follow-up of diabetic retinopathy. These methods fall into the framework of Mathematical Morphology and Logarithmic Image processing (LIP). In particular, thanks to partnerships with academia, I have developed approaches of morphological segmentation and classification by machine learning. They have been used for the analysis of images of tyre surfaces (which can be textured or in three dimensions) in order to look for defaults. They have also served for the automatic analysis of eye fundus images from patients with diabetes. Due to the large amount of data to analyse, I have speeded up algorithms with regards to their complexity as well as their efficient programming. The program can be run in parallel over several processor cores or written in a vector way (i.e., several numbers processed at the same time in place of a single one). Thanks to the LIP model, I have proposed methods to improve colour contrast in retinal images. I have studied the properties of these functional metrics which have been defined either with the LIP-additive law, or with the LIP-multiplicative law. The first metric, which is LIP-additive, is robust to lighting variations caused by a change in the exposure time of the camera or in the source intensity. The second one, which is LIP-multiplicative, is robust to lighting variations due to changes of opacity of the captured object. These metrics are useful for pattern matching, thanks to distance maps between a reference function and an image. I have established the link between these maps of Asplund distances and Mathematical Morphology. Then, I have created the new framework of Logarithmic Mathematical Morphology which is based on the fundamental operations of erosion and dilation with the LIP-additive law. This gives them the interesting property of being adaptive to lighting variations caused by a change of camera exposure-time. Other operators, robust to these variations, have been defined in this novel framework. The latter and the LIP model have allowed the introduction of segmentation methods robust to lighting variations. Percolation techniques have also been studied with logarithmic colour contrasts. In addition, I have conceived and made a three-dimensional and multimodal acquisition system by stereovision, in the domain of the visible light and in the one of X-rays for tyre imaging. The complete chain has been studied and validated, including stereoscopic acquisition, calibration of the acquisition system and 3D reconstruction. In addition, in order to compare images of radial cuts of tyres with their 2D plan, a deformable registration method based on cubic B-splines has been successfully tested. For the longitudinal (i.e., temporal) analysis of eye fundus images, I have introduced a superimposition model made of an affine homography (i.e., a rotation, a translation and an anisotropic scaling) and one or two corrections of radial distortions depending on the number of cameras used for the acquisition. Compared to other state-of-the-art methods, in series of image pairs from public health databases captured with an interval of a year, the proposed approach gives better results. These research works form my contribution to the analysis of large image databases in industry or in medicine., Avec l’utilisation de plus en plus massive de la photographie numérique, de grandes banques de données d’images ont été constituées durant ces dernières décennies tant dans l’industrie que pour la médecine. Cependant, les images ont généralement été acquises avec différentes conditions d’éclairement, poses de l’appareil photographique et types d’appareil. Ceci cause des difficultés de comparaison entre les images d’une même scène. J’ai proposé des méthodes pour l’analyse de ces grandes banques de données qui répondent à cette problématique. Elles ont été appliquées dans le domaine des pneumatiques pour le contrôle de leur aspect visuel et l’étude de leur performancesainsi que dans celui de la santé pour le diagnostic et le suivi de la rétinopathie diabétique. Ces méthodes appartiennent aux cadres de travail de la Morphologie Mathématique et du Logarithmic Image Processing (LIP). Grâce à des collaborations académiques, j’ai développé des approches de segmentation morphologiques et de classification par apprentissage statistique. Elles ont été utilisées pour l’analyse d’images texturées et tridimensionnelles de la surface des pneumatiques, à des fins de recherche de défauts. Elles ont aussi servi à l’analyse automatique des images du fond d’œil chez les patients atteints de diabète. Du fait de la grande quantité de données à analyser, j’ai amélioré des algorithmes tant au niveau de leur complexité qu’au niveau de leur programmation efficace. Le programme peut être exécuté en parallèle sur plusieurs cœurs de processeurs et écritde manière vectorielle (i.e. plusieurs nombres traités à la fois au lieu d’un seul). Grâce au modèle LIP, j’ai proposé des méthodes d’amélioration des contrastes couleur des images rétiniennes. J’ai étudié les propriétés des métriques fonctionnelles d’Asplund définies soit avec la loi LIP-additive, soit avec la loi LIP-multiplicative. La première métrique, qui est LIP-additive, est robuste aux variations d’éclairement causées par un changement du temps d’exposition de la caméra ou de l’intensité de la source. La seconde, qui est LIP-multiplicative, est robuste aux variations d’éclairement dues à un changement d’opacité de l’objet capturé. Ces métriques sont utiles à la reconnaissance des formes, grâce aux cartes de distances entre une fonction de référence et une image.J’ai établi le lien entre ces cartes de distances d’Asplund et la Morphologie Mathématique. Puis, j’ai créé le nouveau cadre de la Morphologie Mathématique Logarithmique qui consiste à définir les opérations fondamentales d’érosion et de dilatation avec la loi LIP-additive. Ceci leur donne la propriété intéressante d’être adaptatives aux variations d’éclairement causées par un changementdu temps d’exposition de la caméra. D’autres opérateurs, robustes à ces variations, ont été définis dans ce nouveau cadre de travail. Celui-ci et le modèle LIP ont permis l’introduction de méthodes de segmentation robustes aux variations d’éclairement. Des techniques de percolations ont aussi été étudiées avec des contrastes logarithmiques couleur. En outre, j’ai conçu et réalisé un système d’acquisitions tridimensionnelles et multimodales par stéréovision dans le domaine de la lumière visible et dans celui des rayons X pour l’imagerie des pneumatiques. La chaîne complète comprenant l’acquisition stéréoscopique, le calibrage des systèmes d’acquisition et la reconstruction 3D a été étudiée et validée. De plus, afin de comparer les images de coupes radiales de pneumatiques avec leurs épures (i.e. leurs plans 2D), une méthode de recalage déformable à partir de B-splines cubiques a été testée avec succès. Pour l’analyse longitudinale (i.e. temporelle) des images du fond d’œil, j’ai introduit un nouveau modèle de superposition composé d’une homographie affine (i.e. une rotation, une translation et une mise à l’échelle anisotrope) et d’une ou deux corrections de distorsions radiales selon le nombre de caméras employées lors de l’acquisition. Comparée à plusieurs méthodes de l’état de l’art, sur des séries de paires d’images provenant de banques dedonnées de santé publique acquises avec une année d’intervalle, l’approche proposée donne de meilleurs résultats. Ces travaux de recherche constituent ma contribution à l’analyse des grandes banques d’images dans l’industrie ou en médecine.

Gait analysis is the measurement of and ability evaluation of walking that can be used for fall risk assessment or as a diagnostic and prognostic tool for clinical applications. However, despite the clinical value, several difficulties attributed to the current established gold standard instrumentation, marker-based motion capture systems, limit the large-scale use in clinical applications. The current marker-based systems are costly and require a controlled laboratory environment. The test procedure is also time-consuming. Eliminating the markers would drastically shorten the patient preparatory time and would be more efficient. The objective of this study is to design a marker-less motion capture system for clinical applications. Recent advancements in computer vision and especially in convolutional neural networks, have provided the potential to pursue this objective. The designed system consists of four RGB cameras and can estimate the position of joint centers through a deep learning approach. For that purpose, a novel specific dataset has been collected including asymptomatic and pathologic subjects. To evaluate the validity of the developed system, its performance is assessed against a marker-based motion capture system in terms of joint position errors and clinically relevant gait parameters. The results demonstrate the high potential of the designed system for clinical applications.; L'analyse de la marche est la mesure et l'évaluation de la capacité de marche qui peut être utilisée pour l'évaluation des risques de chute ou comme outil de diagnostic et de pronostic pour des applications cliniques. Toutefois, malgré la valeur clinique, plusieurs difficultés attribuées à l'instrumentation de référence actuelle, les systèmes de capture du mouvement basés sur des marqueurs, limitent l'utilisation à grande échelle dans les applications cliniques. Les systèmes actuels sont coûteux et nécessitent un environnement de laboratoire contrôlé. La procédure de test est également longue. L'élimination des marqueurs réduirait considérablement le temps de préparation du patient et serait plus efficace. L'objectif de cette étude est de concevoir un système de capture de mouvement sans marqueur pour les applications cliniques. Les apprécents progrès réalisés dans le domaine de la vision par ordinateur et en particulier dans celui des réseaux neuronaux convolutifs, ont permis de poursuivre cet objectif. Le système conçu se compose de quatre caméras RGB et peut estimer la position des centres communs grâce à une approche d'apprentissage profond. À cette fin, un nouvel ensemble de données spécifiques a été collecté, incluant des sujets asymptomatiques et pathologiques. Pour évaluer la validité du système développé, ses performances sont évaluées par rapport à un système de capture de mouvement basé sur des marqueurs en termes d'erreurs de position des articulations et de paramètres de marche cliniquement pertinents. Les résultats démontrent le potentiel élevé du système conçu pour des applications cliniques.

Ever increasing weight, size and power demand limitations, ask for reliable, and modern material models, which in turn rely strongly on advanced identification and validation techniques. One of these techniques is the Stereo-Digital Image Correlation (S-DIC), which is increasingly used in experimental mechanics for full-field kinematic measurement. Recent developments of a global S-DIC formalism, based on finite element, allows to measure a 3D-kinematic field directly in the object coordinate system. A benefit of this method is that the experimental measurement is expressed in the same discretization support as the simulation, which allows to use the model in the measurement and to greatly simplify the dialogue between experiments and numerical simulations.A “learning phase” of the experimental setup precedes the displacement measurement, where the system learns the context of the scene. It is composed of (1) learning about characteristics and placement of the cameras; (2) learning of the true shape of the object by correcting the initial CAD shape. Using S-DIC framework the (1) calibration, and (2) shape measurement steps in learning phase are written in the unified manner. In addition, chosen procedure allows: simplifie initialization of the algorithms with feature marks; improve the boundary management with using of masks; limit reflections influence with an element by element adjustment of brightness. Finally, a noninvasive geometric regularization, based on iso-geometric analysis, is used.The performance of the proposed procedure is tried with a tension test on a stainless-steel sample. After the learning phase, the experimental setup is used for displacement field measurement. Then, the identification of parameters for an elastoplastic law is performed. For the identification procedure, the same finite element mesh is used both for displacement measurement and simulation within a finite element model updating (“FEMU”) algorithm.The presented methodology is implemented in an academic Python program.; Les limitations croissantes de poids, taille et puissance exigent des modèles de matériaux fiables et modernes, qui reposent fortement sur des techniques avancées d'identification et de validation. L'une d'entre-elles est la stéréo-corrélation d'images numériques (S-CIN), de plus en plus utilisée en mécanique expérimentale. Le développement récent d'un formalisme de S-CIN global, basé sur les éléments finis, permet de mesurer un champ cinématique 3D directement dans le repère de l'objet. Un avantage de cette approche est l'expression de la mesure dans le même support de discrétisation que la simulation, ce qui permet d'utiliser le modèle dans la mesure et de fortement simplifier le dialogue entre les essais et les simulations numériques.Une « phase d'apprentissage » de la configuration expérimentale précède la mesure de déplacement, où le système apprend le contexte de la scène. Elle se compose (1) de l'acquisition des caractéristiques et du positionnement des caméras ; (2) de l'apprentissage de la forme réelle de l'objet en corrigeant la forme issue de la CAO. Dans le même formalisme que la S-CIN, les étapes (1) d'étalonnage et (2) de mesure de forme, sont exprimées de façon unifiées. De plus la procédure adoptée permet : de faciliter l'initialisation des algorithmes grâce au marquage d'amers ; d'améliorer la gestion des bords par l'application d'un masque ; de limiter l'influence des reflets par l'ajustement de la luminosité, élément par élément. Enfin, une méthode géométrique et non-invasive de régularisation, basée sur l'analyse iso-géométrique, est mise en place.L'efficacité de cette procédure est testée avec un essai de traction sur une éprouvette d'acier inoxydable. Après la phase d'apprentissage, le montage est utilisé pour mesurer le champ de déplacement. Puis, l'identification des paramètres d'une loi de comportement élasto-plastique est réalisée. Dans cette étape, l'utilisation du même maillage éléments finis, à la fois pour la mesure et la simulation, est exploitée par une méthode de recalage de modèle éléments finis (ou « FEMU » en anglais).La méthodologie présentée est implémentée dans un logiciel académique programmé dans le langage Python.

International audience; Dans cet article, nous présentons un système de stéréovision-fisheye à large entraxe pour analyser le trafic principalement dans les carrefours ruraux. Dans ce contexte de déploiement, l'estimation de la calibration extrinsèque entre les caméras est très complexe. En effet la grande distance entre les caméras, la différence de vue et la forte présence de végétation, rendent inapplicables les méthodes de calibration qui requièrent des images de mires. Il est donc nécessaire d'avoir une solution indépendante de la géométrie de la scène. Ainsi, nous proposons une méthode automatique reposant sur l'idée que les véhicules mobiles peuvent être utilisés comme objets dynamiques de calibration. Il s'agit d'une approche de type Structure à partir du Mouvement (SfM), découplée en l'estimation de la rotation extrinsèque à partir de points de fuite, suivie du calcul de la translation extrinsèque à l'échelle absolue par mise en correspondance de plans virtuels. Les paramètres extrinsèques ainsi obtenus sont alors exploités pour obtenir une location précise des véhicules afin d'analyser leurs trajectoires.

This thesis aims at designing an embedded stereoscopic perception system that enables autonomous robot navigation in dynamic environments (i.e. including mobile objects). To do so, we need to satisfy several constraints: 1) We want to be able to navigate in unknown environment and with any type of mobile objects, thus we adopt a geometric approach. 2) We want to ensure the best possible coverage of the field of view, so we employ dense methods that process every pixel in the image. 3) The algorithms must be compliant with an embedded platform, therefore we must carefully design the algorithms so they are fast enough to keep a certain level of reactivity. The approach presented in this thesis manuscript and the contributions are summarized below. First, we study several stereo matching algorithms that estimate a disparity map from which we can deduce a depth map, by triangulation. This comparative study highlights one algorithm that is not in the KITTI benchmarks, but that gives a great accuracy/processing time tradeoff. We also propose a filtering method to post-process the disparity maps. By coding these algorithm in CUDA to benefit from hardware acceleration on Graphics Processing Unit, we show that they can perform very fast (19ms on KITTI images, with a GPU GeForce GTX Titan).Second, we want to detect mobile objects and estimate their motion. To do so we compute the stereo rig motion using visual odometry, in order to isolate the part induced by moving objects in the 2D or 3D apparent motion (estimated by optical flow or scene flow algorithms). Considering that the only optical flow algorithm able to perform in real-time is FOLKI, we propose several modifications of it to slightly improve its performances at the cost of a slower processing time. Regarding the scene flow estimation, existing algorithms cannot reach the desired computation speed, so we propose a new approach by decoupling structure and motion for a fast scene flow estimation. Three algorithms are proposed to use this structure-motion decomposition, and one of them, particularly efficient, enables very fast scene flow computing with a relatively good accuracy. To our knowledge it is the only published scene flow algorithm able to perform at framerate on KITTI dataset (10 Hz).Third, to detect moving objects and segment them in the image, we show several statistical models and residual quantities on which we can base the detection by thresholding a chi2 criterion. We propose a rigorous statistical modeling that takes into account all the uncertainties occurring during the estimation, in particular during the visual odometry, which had not been done to our knowledge, in the context of moving object detection. We also propose a new residual quantity for the detection, using an image prediction approach to facilitate uncertainty propagation and the chi2 criterion modeling. The benefit brought by the proposed residual quantity and error model is demonstrated by evaluating detection algorithms on a samples of annotated KITTI data. Finally, we implement our algorithms on ROS to run the perception system on en embedded platform, and we code some algorithms in CUDA to accelerate the computing using GPU. We describe the perception and the navigation system that we use for the experimental validation. We show in our experiments that the proposed stereovision perception system is suitable for embedded robotic applications., L'objectif de cette thèse est de concevoir un système de perception stéréoscopique embarqué, permettant une navigation robotique autonome en environnement dynamique (i.e. comportant des objets mobiles). Pour cela, nous nous sommes imposé plusieurs contraintes : 1) Puisque l'on souhaite pouvoir naviguer en terrain inconnu et en présence de tout type d'objets mobiles, nous avons adopté une approche purement géométrique. 2) Pour assurer une couverture maximale du champ visuel nous avons choisi d'employer des méthodes d'estimation denses qui traitent chaque pixel de l'image. 3) Puisque les algorithmes utilisés doivent pouvoir s'exécuter en embarqué sur un robot, nous avons attaché le plus grand soin à sélectionner ou concevoir des algorithmes particulièrement rapides, pour nuire au minimum à la réactivité du système. La démarche présentée dans ce manuscrit et les contributions qui sont faites sont les suivantes. Dans un premier temps, nous étudions plusieurs algorithmes d’appariement stéréo qui permettent d'estimer une carte de disparité dont on peut déduire, par triangulation, une carte de profondeur. Grâce à cette évaluation nous mettons en évidence un algorithme qui ne figure pas sur les benchmarks KITTI, mais qui offre un excellent compromis précision/temps de calcul. Nous proposons également une méthode pour filtrer les cartes de disparité. En codant ces algorithmes en CUDA pour profiter de l’accélération des calculs sur cartes graphiques (GPU), nous montrons qu’ils s’exécutent très rapidement (19ms sur les images KITTI, sur GPU GeForce GTX Titan).Dans un deuxième temps, nous souhaitons percevoir les objets mobiles et estimer leur mouvement. Pour cela nous calculons le déplacement du banc stéréo par odométrie visuelle pour pouvoir isoler dans le mouvement apparent 2D ou 3D (estimé par des algorithmes de flot optique ou de flot de scène) la part induite par le mouvement propre à chaque objet. Partant du constat que seul l'algorithme d'estimation du flot optique FOLKI permet un calcul en temps-réel, nous proposons plusieurs modifications de celui-ci qui améliorent légèrement ses performances au prix d'une augmentation de son temps de calcul. Concernant le flot de scène, aucun algorithme existant ne permet d'atteindre la vitesse d'exécution souhaitée, nous proposons donc une nouvelle approche découplant structure et mouvement pour estimer rapidement le flot de scène. Trois algorithmes sont proposés pour exploiter cette décomposition structure-mouvement et l’un d’eux, particulièrement efficace, permet d'estimer très rapidement le flot de scène avec une précision relativement bonne. A notre connaissance, il s'agit du seul algorithme publié de calcul du flot de scène capable de s'exécuter à cadence vidéo sur les données KITTI (10Hz).Dans un troisième temps, pour détecter les objets en mouvement et les segmenter dans l'image, nous présentons différents modèles statistiques et différents résidus sur lesquels fonder une détection par seuillage d'un critère chi2. Nous proposons une modélisation statistique rigoureuse qui tient compte de toutes les incertitudes d'estimation, notamment celles de l'odométrie visuelle, ce qui n'avait pas été fait à notre connaissance dans le contexte de la détection d'objets mobiles. Nous proposons aussi un nouveau résidu pour la détection, en utilisant la méthode par prédiction d’image qui permet de faciliter la propagation des incertitudes et l'obtention du critère chi2. Le gain apporté par le résidu et le modèle d'erreur proposés est démontré par une évaluation des algorithmes de détection sur des exemples tirés de la base KITTI. Enfin, pour valider expérimentalement notre système de perception en embarqué sur une plateforme robotique, nous implémentons nos codes sous ROS et certains codes en CUDA pour une accélération sur GPU. Nous décrivons le système de perception et de navigation utilisé pour la preuve de concept qui montre que notre système de perception, convient à une application embarquée.

This thesis is splitted into two relatively independant parts. The first part is devoted to the binocular stereovision problem, specifically to the occlusion handling. An analysis of this phenomena leads to a regularity model which includes a convex visibility constraint. The resulting energy functional is minimized by convex relaxation. The occluded areas are then detected thanks to the horizontal slope of the disparity map and densified. Another method with occlusion handling was proposed by Kolmogorov and Zabih. Because of its efficiency, we adapted it to two auxiliary problems encountered in stereovision, namely the densification of sparse disparity maps and the subpixel refinement of pixel-accurate maps.The second part of this thesis studies two convex optimization algorithms, for which an acceleration is proposed. The first one is the Alternating Direction Method of Multipliers (ADMM). A slight relaxation in the parameter choice is shown to enhance the convergence rate. The second one is an alternating proximal descent algorithm, which allows a parallel approximate resolution of the Rudin-Osher-Fatemi (ROF) pure denoising model, in color-image case. A FISTA-like acceleration is also proposed.; Le présent manuscrit est composé de deux parties relativement indépendantes.La première partie est consacrée au problème de la stéréovision binoculaire, et plus particulièrement au traitement de l'occultation. En partant d'une analyse de ce phénomène, nous en déduisons un modèle de régularité qui inclut une contrainte convexe de visibilité. La fonctionnelle d'énergie qui en résulte est minimisée par relaxation convexe. Les zones occultées sont alors détectées grâce à la pente horizontale de la carte de disparité avant d'être densifiées.Une autre méthode gérant l'occultation est la méthode des graph cuts proposée par Kolmogorov et Zabih. L'efficacité de cette méthode justifie son adaptation à deux problèmes auxiliaires rencontrés en stéréovision, qui sont la densification de cartes éparses et le raffinement subpixellique de cartes pixelliques.La seconde partie de ce manuscrit traite de manière plus générale de deux algorithmes d'optimisation convexe, pour lequels deux variantes accélérées sont proposées. Le premier est la méthode des directions alternées (ADMM). On montre qu'un léger relâchement de contraintes dans les paramètres de cette méthode permet d'obtenir un taux de convergence théorique plus intéressant.Le second est un algorithme de descentes proximales alternées, qui permet de paralléliser la résolution approchée du problème Rudin-Osher-Fatemi (ROF) de débruitage pur dans le cas des images couleurs. Une accélération de type FISTA est également proposée.

This research deals with 3D modelling from an embedded fisheye vision system, used for a GNSS application as part of CAPLOC project. Satellite signal propagation in urban area implies reflections on structures, impairing localisation's accuracy and availability. The project purpose is (1) to define an omnidirectional vision system able to provide information on urban 3D structure and (2) to demonstrate that it allows to improve localisation.This thesis addresses problems of (1) self-calibration, (2) matching between images, (3) 3D reconstruction; each algorithm is assessed on computer-generated and real images. Moreover, it describes a way to correct GNSS signals reflections from a 3D point cloud to improve positioning. We propose and evaluate two systems based on state-of-the-art methods. First one is a stereoscopic system made of two sky facing fisheye cameras. Second one is the adaptation of the former to a single camera.Calibration is handled by a two-steps process: the 9-point algorithm fitted to 'equisolid' model coupled with a RANSAC, followed by a Levenberg-Marquardt optimisation refinement. We focused on the way to apply the method for optimal and repeatable performances. It is a crucial point for a system composed of only one camera because the pose must be estimated for every new image.Stereo matches are obtained for every pixel by dynamic programming using a 3D graph. Matching is done along conjugated epipolar curves projected in a suitable manner on each image. A distinctive feature is that distortions are not rectified in order to neither degrade visual content nor to decrease accuracy. In the binocular case it is possible to estimate full-scale coordinates.In the monocular case, we do it by adding odometer information. Local clouds can be wedged in SfM to form a global cloud. The end application is the usage of the 3D cloud to improve GNSS localisation. It is possible to estimate and consider a signal pseudorange error after multiple reflections in order to increase positioning accuracy. Reflecting surfaces are modelled thanks to plane and buildings trace fitting. The method is evaluated on fixed image pairs, georeferenced by a low-cost receiver and a GPS RTK receiver (ground truth). Study results show the localisation improvement ability in urban environment., Cette recherche vise à la modélisation 3D depuis un système de vision fisheye embarqué, utilisée pour une application GNSS dans le cadre du projet Predit CAPLOC. La propagation des signaux satellitaires en milieu urbain est soumise à des réflexions sur les structures, altérant la précision et la disponibilité de la localisation. L'ambition du projet est (1) de définir un système de vision omnidirectionnelle capable de fournir des informations sur la structure 3D urbaine et (2) de montrer qu'elles permettent d'améliorer la localisation. Le mémoire expose les choix en (1) calibrage automatique, (2) mise en correspondance entre images, (3) reconstruction 3D ; chaque algorithme est évalué sur images de synthèse et réelles. De plus, il décrit une manière de corriger les réflexions des signaux GNSS depuis un nuage de points 3D pour améliorer le positionnement. En adaptant le meilleur de l'état de l'art du domaine, deux systèmes sont proposés et expérimentés. Le premier est un système stéréoscopique à deux caméras fisheye orientées vers le ciel. Le second en est l'adaptation à une unique caméra.Le calibrage est assuré à travers deux étapes : l'algorithme des 9 points adapté au modèle « équisolide » couplé à un RANSAC, suivi d'un affinement par optimisation Levenberg-Marquardt. L'effort a été porté sur la manière d'appliquer la méthode pour des performances optimales et reproductibles. C'est un point crucial pour un système à une seule caméra car la pose doit être estimée à chaque nouvelle image.Les correspondances stéréo sont obtenues pour tout pixel par programmation dynamique utilisant un graphe 3D. Elles sont assurées le long des courbes épipolaires conjuguées projetées de manière adaptée sur chaque image. Une particularité est que les distorsions ne sont pas rectifiées afin de ne pas altérer le contenu visuel ni diminuer la précision. Dans le cas binoculaire il est possible d'estimer les coordonnées à l'échelle. En monoculaire, l'ajout d'un odomètre permet d'y arriver. Les nuages successifs peuvent être calés pour former un nuage global en SfM. L'application finale consiste dans l'utilisation du nuage 3D pour améliorer la localisation GNSS. Il est possible d'estimer l'erreur de pseudodistance d'un signal après multiples réflexions et d'en tenir compte pour une position plus précise. Les surfaces réfléchissantes sont modélisées grâce à une extraction de plans et de l'empreinte des bâtiments. La méthode est évaluée sur des paires d'images fixes géoréférencées par un récepteur bas-coût et un récepteur GPS RTK (Îrité terrain). Les résultats montrent une amélioration de la localisation en milieu urbain.

This thesis is splitted into two relatively independant parts. The first part is devoted to the binocular stereovision problem, specifically to the occlusion handling. An analysis of this phenomena leads to a regularity model which includes a convex visibility constraint. The resulting energy functional is minimized by convex relaxation. The occluded areas are then detected thanks to the horizontal slope of the disparity map and densified. Another method with occlusion handling was proposed by Kolmogorov and Zabih. Because of its efficiency, we adapted it to two auxiliary problems encountered in stereovision, namely the densification of sparse disparity maps and the subpixel refinement of pixel-accurate maps.The second part of this thesis studies two convex optimization algorithms, for which an acceleration is proposed. The first one is the Alternating Direction Method of Multipliers (ADMM). A slight relaxation in the parameter choice is shown to enhance the convergence rate. The second one is an alternating proximal descent algorithm, which allows a parallel approximate resolution of the Rudin-Osher-Fatemi (ROF) pure denoising model, in color-image case. A FISTA-like acceleration is also proposed., Le présent manuscrit est composé de deux parties relativement indépendantes.La première partie est consacrée au problème de la stéréovision binoculaire, et plus particulièrement au traitement de l'occultation. En partant d'une analyse de ce phénomène, nous en déduisons un modèle de régularité qui inclut une contrainte convexe de visibilité. La fonctionnelle d'énergie qui en résulte est minimisée par relaxation convexe. Les zones occultées sont alors détectées grâce à la pente horizontale de la carte de disparité avant d'être densifiées.Une autre méthode gérant l'occultation est la méthode des graph cuts proposée par Kolmogorov et Zabih. L'efficacité de cette méthode justifie son adaptation à deux problèmes auxiliaires rencontrés en stéréovision, qui sont la densification de cartes éparses et le raffinement subpixellique de cartes pixelliques.La seconde partie de ce manuscrit traite de manière plus générale de deux algorithmes d'optimisation convexe, pour lequels deux variantes accélérées sont proposées. Le premier est la méthode des directions alternées (ADMM). On montre qu'un léger relâchement de contraintes dans les paramètres de cette méthode permet d'obtenir un taux de convergence théorique plus intéressant.Le second est un algorithme de descentes proximales alternées, qui permet de paralléliser la résolution approchée du problème Rudin-Osher-Fatemi (ROF) de débruitage pur dans le cas des images couleurs. Une accélération de type FISTA est également proposée.

This thesis presents the geometrical characteristics measurement of spreading vegetation fires with multimodal stereovision systems. Image processing and 3D registration are used in order to obtain a three-dimensional modeling of the fire at each instant of image acquisition and then to compute fire front characteristics like its position, its rate of spread, its height, its width, its inclination, its surface and its volume. The first important contribution of this thesis is the fire pixel detection. A benchmark of fire pixel detection algorithms and of those that are developed in this thesis have been on a database of 500 vegetation fire images of the visible spectra which have been characterized according to the fire properties in the image (color, smoke, luminosity). Five fire pixel detection algorithms based on fusion of data from visible and near-infrared spectra images have also been developed and tested on another database of 100 multimodal images. The second important contribution of this thesis is about the use of images fusion for the optimization of the matching point’s number between the multimodal stereo images.The second important contribution of this thesis is the registration method of 3D fire points obtained with stereovision systems. It uses information collected from a housing containing a GPS and an IMU card which is positioned on each stereovision systems. With this registration, a method have been developed to extract the geometrical characteristics when the fire is spreading.The geometrical characteristics estimation device have been evaluated on a car of known dimensions and the results obtained confirm the good accuracy of the device. The results obtained from vegetation fires are also presented., Les travaux menés dans cette thèse concernent le développement d'un dispositif de vision permettant l'estimation de caractéristiques géométriques d'un feu de végétation en propagation. Ce dispositif est composé de plusieurs systèmes de stéréovision multimodaux générant des paires d'images stéréoscopiques à partir desquelles des points tridimensionnels sont calculés et les caractéristiques géométriques de feu tels que sa position, vitesse, hauteur, profondeur, inclinaison, surface et volume sont estimées. La première contribution importante de cette thèse est la détection de pixels de feu de végétation. Tous les algorithmes de détection de pixels de feu de la littérature ainsi que ceux développés dans le cadre de cette thèse ont été évalués sur une base de 500 images de feux de végétation acquises dans le domaine du visible et caractérisées en fonction des propriétés du feu dans l'image (couleur, fumée, luminosité). Cinq algorithmes de détection de pixels de feu de végétation basés sur la fusion de données issues d'images acquises dans le domaine du visible et du proche-infrarouge ont également été développés et évalués sur une autre base de données composée de 100 images multimodales caractérisées. La deuxième contribution importante de cette thèse concerne l'utilisation de méthodes de fusion d'images pour l'optimisation des points appariés entre les images multimodales stéréoscopiques.La troisième contribution importante de cette thèse est l'estimation des caractéristiques géométriques de feu à partir de points tridimensionnels obtenus depuis plusieurs paires d'images stéréoscopiques et recalés à l'aide de relevés GPS et d'inclinaison de tous les dispositifs de vision.Le dispositif d'estimation de caractéristiques géométriques à partir de systèmes de stéréovision a été évalué sur des objets rigides de dimensions connues et a permis d'obtenir les informations souhaitées avec une bonne précision. Les résultats des données obtenues pour des feux de végétation en propagation sont aussi présentés.

The Abdominal Aorta Aneurysm (AAA) is a pathology that is defined by a localized and permanent dilation of the artery and which involves over 8.8% of the seniors. Currently, when a patient has a dilatation of the aorta leading to a surgery because of the rupture risk, the therapeutic decision is made depending on the diameter of the aneurysm. To determine this diameter, it is usually conducted an examination by medical imaging (ultrasound, CT, MRI...). However, it notes that the diagnosis can’t be satisfied with a single dimensional measurement face to induced risks: first of all, when the diameter exceed a certain growth, the risk of rupture can reach 50% but more than 5% of surgical procedures may cause the patient's death. Other metrics such as compliance of the artery can be used for the decision for surgery. Compliance corresponds to a precise definition by cardiologists: this is a quantity that characterizes the deformability, describing the ability of aorta to distend under the influence of blood pressure. From our point of view, this concept is insufficient because, generally, in the case of an aneurysm, rupture is highly localized because of the complexity of the shape. It is therefore necessary to extend its definition in a quantity not localized at a section or a specific location but to the whole wall. Diagnostics methods will be more reliable if they can determine localized compliance. From a mechanical standpoint, determining compliance is thus transformed into the measurement of localized parietal elasticity of aorta. The elasticity is not a directly measurable parameter. Therefore, the problem comes down to determining the local strain of the aortic wall in the hemodynamic condition. Solving this problem is complex. Indeed, the mechanical stresses are dependent on the flow of blood, the artery surrounding organs, the material properties of the artery and the geometry of the aneurysm which are specific to each patient. At present, many numerical and experimental works is done but few studies have well correlated medical imaging techniques for the diagnostic aid. It is in this context that are my thesis in collaboration both with the Dijon University Hospital where were performed all experiments using MRI and GMedTech laboratory GMIT (Galway- Mayo Institute of Technology) in Ireland who provided the replicas and their expertise in the cardiovascular area. This work, conducted on various form of phantoms in Vitro, are intended, first to build a metrological methodology to help doctors understand and validate MRI measurements using other devices measurement, on the other hand, to improve the methods of diagnosing the abdominal aortic aneurysm. The principle of this work is to develop experimental modeling in vitro in a metrology framework and correlate the results from different measurement techniques and numerical modeling throughout a cycle reproducing the hemodynamic conditions. To consider the problem as a whole, not only the evolution of deformation representing the elasticity of the aorta should be studied, but also the evolution of soliciting flow. Therefore, in this thesis, several devices such as stereovision, Particle image velocimetry (PIV), MRI kinetic sequence but also the flow 2D and 4D were employed. Various numerical models were established to not only correlate the results with those obtained experimentally, therefore, to improve the credibility of our study, but also to be part of the aid protocol to the diagnosis that we have proposed. In the end, all the results from different experimental and numerical models have led to propose a validated and feasible diagnosis protocol based on MRI sequences. The application of this protocol on a realistic AAA complex phantom showed its feasibility. We can therefore say that the feasibility of the proposed protocol is demonstrated and that based on MRI (…).; L’Anévrisme de l’Aorte Abdominale (AAA) est une pathologie qui est définie par une dilatation localisée et permanente de l’artère et qui concerne plus de 8.8% des personnes âgées. Actuellement, lorsqu’un patient présente une dilatation de l’aorte impliquant l’éventualité d’une intervention chirurgicale en raison du risque de rupture, la décision thérapeutique est prise en fonction du rapport des diamètres de l’artère au niveau de l’anévrisme et à proximité de celui-ci. Pour déterminer ces diamètres, il est généralement procédé à un examen par imagerie médicale (Echographie, Tomographie, IRM,..). On constate cependant que le diagnostic ne peut pas se contenter d’une mesure dimensionnelle simple face aux risques induits: d’une part, passé une certaine excroissance, le risque de rupture peut atteindre 50% mais d’autre part plus de 5% des interventions chirurgicales provoquent le décès du patient. D’autres paramètres de mesure comme la compliance de l’artère, peuvent être à la base de la décision d’une intervention chirurgicale. La compliance correspond à une définition précise utilisée par les cardiologues : c’est une grandeur qui permet de caractériser l’aptitude à la déformation, décrivant la capacité de l'aorte à se distendre sous l'influence de la pression sanguine. De notre point de vue cette notion est insuffisante car, généralement, dans le cas d’un anévrisme, la rupture est très localisée du fait de la complexité de la forme de celui-ci. Il est donc nécessaire d’étendre sa définition à une grandeur localisée non pas au niveau d’une section mais à un endroit précis de la paroi. Les moyens de diagnostics seront d’autant plus fiables qu’ils pourront détecter la compliance localisée. De point de vue mécanique, la détermination de la compliance se transforme donc en la mesure de l'élasticité pariétale aortique localisée. L’élasticité n’est pas un paramètre mesurable directement. Donc, la problématique revient à la détermination de la déformation locale de la paroi aortique sous la sollicitation hémodynamique. La résolution de ce problème reste complexe. En effet, les sollicitations mécaniques dépendent de l’écoulement du sang, des organes environnants l’artère, des propriétés matérielles de l’artère et de la géométrie de l’anévrisme qui sont spécifiques à chaque patient. A l’heure actuelle, beaucoup de travaux numériques et expérimentaux sont effectués mais peu d’études ont permis de bien corréler les techniques d’imageries médicales pour l’aide au diagnostic. C’est dans ce contexte que se situent les travaux de ma thèse, réalisée en collaboration, à la fois avec le CHU de Dijon où ont été effectuées toutes les expérimentations à l’aide d’IRM, le laboratoire GMedTech, GMIT (Galway-Mayo Institute of Technology) en Irlande qui nous a fourni les répliques ainsi que leur savoir-faire dans le domaine cardio-vasculaire et le Laboratoire DRIVE situé à Nevers où ont été menées les mesures d’écoulement par PIV. Les travaux, menés sur des fantômes de diverses formes in vitro, ont pour finalité, d’une part, de construire une méthodologie métrologique pour aider les médecins à comprendre et à valider les mesures d’IRM à l’aide d’autres dispositifs de mesure, d’autre part, de permettre d’améliorer les méthodes de diagnostic des pathologies de type d’anévrisme de l’aorte abdominale. Le principe de ces travaux est donc de mettre en place une modélisation expérimentale in Vitro dans un cadre métrologique d’intercomparaison par divers moyens de mesure et de corréler leurs résultats au long d’un cycle reproduisant les conditions hémodynamiques de mesure, mais aussi de confronter ces résultats à de modélisations numériques. Pour prendre en compte le problème dans sa globalité, non seulement l’évolution de la déformation, représentant l’élasticité de l’aorte, a dû être étudiée mais aussi l’évolution du flux sollicitant la paroi (…).

National audience; The aim of this study is to measure plate boundary conditions (displacement and curvature) with a Stereo Digital Image Correlation Method. A Finite-Element Method and an Integrated approach are used. The computation of the plate’s curvature is done with a kinematic plate Regularisation. This means that it is part of the measure and not a derivation of a measure.; Cette étude a pour but de mesurer des conditions aux limites en rotation et en déplacement pour un modèle plaque à l’aide de la Stéréo Corrélation d’Images Numérique. Une approche de type Éléments-Finis est alors utilisée ainsi qu’une approche intégrée de corrélation. La détermination de la courbure de la plaque s’effectue ainsi à l’aide d’une régularisation cinématique de type plaque afin de prendre en compte les rotations dans la mesure et non par dérivation d’une mesure.

The Abdominal Aorta Aneurysm (AAA) is a pathology that is defined by a localized and permanent dilation of the artery and which involves over 8.8% of the seniors. Currently, when a patient has a dilatation of the aorta leading to a surgery because of the rupture risk, the therapeutic decision is made depending on the diameter of the aneurysm. To determine this diameter, it is usually conducted an examination by medical imaging (ultrasound, CT, MRI...). However, it notes that the diagnosis can’t be satisfied with a single dimensional measurement face to induced risks: first of all, when the diameter exceed a certain growth, the risk of rupture can reach 50% but more than 5% of surgical procedures may cause the patient's death. Other metrics such as compliance of the artery can be used for the decision for surgery. Compliance corresponds to a precise definition by cardiologists: this is a quantity that characterizes the deformability, describing the ability of aorta to distend under the influence of blood pressure. From our point of view, this concept is insufficient because, generally, in the case of an aneurysm, rupture is highly localized because of the complexity of the shape. It is therefore necessary to extend its definition in a quantity not localized at a section or a specific location but to the whole wall. Diagnostics methods will be more reliable if they can determine localized compliance. From a mechanical standpoint, determining compliance is thus transformed into the measurement of localized parietal elasticity of aorta. The elasticity is not a directly measurable parameter. Therefore, the problem comes down to determining the local strain of the aortic wall in the hemodynamic condition. Solving this problem is complex. Indeed, the mechanical stresses are dependent on the flow of blood, the artery surrounding organs, the material properties of the artery and the geometry of the aneurysm which are specific to each patient. At present, many numerical and experimental works is done but few studies have well correlated medical imaging techniques for the diagnostic aid. It is in this context that are my thesis in collaboration both with the Dijon University Hospital where were performed all experiments using MRI and GMedTech laboratory GMIT (Galway- Mayo Institute of Technology) in Ireland who provided the replicas and their expertise in the cardiovascular area. This work, conducted on various form of phantoms in Vitro, are intended, first to build a metrological methodology to help doctors understand and validate MRI measurements using other devices measurement, on the other hand, to improve the methods of diagnosing the abdominal aortic aneurysm. The principle of this work is to develop experimental modeling in vitro in a metrology framework and correlate the results from different measurement techniques and numerical modeling throughout a cycle reproducing the hemodynamic conditions. To consider the problem as a whole, not only the evolution of deformation representing the elasticity of the aorta should be studied, but also the evolution of soliciting flow. Therefore, in this thesis, several devices such as stereovision, Particle image velocimetry (PIV), MRI kinetic sequence but also the flow 2D and 4D were employed. Various numerical models were established to not only correlate the results with those obtained experimentally, therefore, to improve the credibility of our study, but also to be part of the aid protocol to the diagnosis that we have proposed. In the end, all the results from different experimental and numerical models have led to propose a validated and feasible diagnosis protocol based on MRI sequences. The application of this protocol on a realistic AAA complex phantom showed its feasibility. We can therefore say that the feasibility of the proposed protocol is demonstrated and that based on MRI (…)., L’Anévrisme de l’Aorte Abdominale (AAA) est une pathologie qui est définie par une dilatation localisée et permanente de l’artère et qui concerne plus de 8.8% des personnes âgées. Actuellement, lorsqu’un patient présente une dilatation de l’aorte impliquant l’éventualité d’une intervention chirurgicale en raison du risque de rupture, la décision thérapeutique est prise en fonction du rapport des diamètres de l’artère au niveau de l’anévrisme et à proximité de celui-ci. Pour déterminer ces diamètres, il est généralement procédé à un examen par imagerie médicale (Echographie, Tomographie, IRM,..). On constate cependant que le diagnostic ne peut pas se contenter d’une mesure dimensionnelle simple face aux risques induits: d’une part, passé une certaine excroissance, le risque de rupture peut atteindre 50% mais d’autre part plus de 5% des interventions chirurgicales provoquent le décès du patient. D’autres paramètres de mesure comme la compliance de l’artère, peuvent être à la base de la décision d’une intervention chirurgicale. La compliance correspond à une définition précise utilisée par les cardiologues : c’est une grandeur qui permet de caractériser l’aptitude à la déformation, décrivant la capacité de l'aorte à se distendre sous l'influence de la pression sanguine. De notre point de vue cette notion est insuffisante car, généralement, dans le cas d’un anévrisme, la rupture est très localisée du fait de la complexité de la forme de celui-ci. Il est donc nécessaire d’étendre sa définition à une grandeur localisée non pas au niveau d’une section mais à un endroit précis de la paroi. Les moyens de diagnostics seront d’autant plus fiables qu’ils pourront détecter la compliance localisée. De point de vue mécanique, la détermination de la compliance se transforme donc en la mesure de l'élasticité pariétale aortique localisée. L’élasticité n’est pas un paramètre mesurable directement. Donc, la problématique revient à la détermination de la déformation locale de la paroi aortique sous la sollicitation hémodynamique. La résolution de ce problème reste complexe. En effet, les sollicitations mécaniques dépendent de l’écoulement du sang, des organes environnants l’artère, des propriétés matérielles de l’artère et de la géométrie de l’anévrisme qui sont spécifiques à chaque patient. A l’heure actuelle, beaucoup de travaux numériques et expérimentaux sont effectués mais peu d’études ont permis de bien corréler les techniques d’imageries médicales pour l’aide au diagnostic. C’est dans ce contexte que se situent les travaux de ma thèse, réalisée en collaboration, à la fois avec le CHU de Dijon où ont été effectuées toutes les expérimentations à l’aide d’IRM, le laboratoire GMedTech, GMIT (Galway-Mayo Institute of Technology) en Irlande qui nous a fourni les répliques ainsi que leur savoir-faire dans le domaine cardio-vasculaire et le Laboratoire DRIVE situé à Nevers où ont été menées les mesures d’écoulement par PIV. Les travaux, menés sur des fantômes de diverses formes in vitro, ont pour finalité, d’une part, de construire une méthodologie métrologique pour aider les médecins à comprendre et à valider les mesures d’IRM à l’aide d’autres dispositifs de mesure, d’autre part, de permettre d’améliorer les méthodes de diagnostic des pathologies de type d’anévrisme de l’aorte abdominale. Le principe de ces travaux est donc de mettre en place une modélisation expérimentale in Vitro dans un cadre métrologique d’intercomparaison par divers moyens de mesure et de corréler leurs résultats au long d’un cycle reproduisant les conditions hémodynamiques de mesure, mais aussi de confronter ces résultats à de modélisations numériques. Pour prendre en compte le problème dans sa globalité, non seulement l’évolution de la déformation, représentant l’élasticité de l’aorte, a dû être étudiée mais aussi l’évolution du flux sollicitant la paroi (…).

This manuscript provides the basis for a complete chain of videosurveillence for naturally cluttered environments. In the latter, we identify and solve the wide spectrum of methodological and technological barriers inherent to : 1) the acquisition of video sequences in natural conditions, 2) the image processing problems, 3) the multi-target tracking ambiguities, 4) the discovery and the modeling of recurring behavioral patterns, and 5) the data fusion. The application context of our work is the monitoring of honeybees, and in particular the study of the trajectories bees in flight in front of their hive. In fact, this thesis is part a feasibility and prototyping study carried by the two interdisciplinary projects EPERAS and RISQAPI (projects undertaken in collaboration with INRA institute and the French National Museum of Natural History). It is for us, computer scientists, and for biologists who accompanied us, a completely new area of investigation for which the scientific knowledge, usually essential for such applications, are still in their infancy.Unlike existing approaches for monitoring insects, we propose to tackle the problem in the three-dimensional space through the use of a high frequency stereo camera. In this context, we detail our new target detection method which we called HIDS segmentation. Concerning the computation of trajectories, we explored several tracking approaches, relying on more or less a priori, which are able to deal with the extreme conditions of the application (e.g. many targets, small in size, following chaotic movements). Once the trajectories are collected, we organize them according to a given hierarchical data structure and apply a Bayesian nonparametric approach for discovering emergent behaviors within the colony of insects. The exploratory analysis of the trajectories generated by the crowded scene is performed following an unsupervised classification method simultaneously over different levels of semantic, and where the number of clusters for each level is not defined a priori, but rather estimated from the data only. This approach is has been validated thanks to a ground truth generated by a Multi-Agent System. Then we tested it in the context of real data.; Ce manuscrit propose une approche méthodologique pour la constitution d’une chaîne complète de vidéosurveillance pour des environnements naturellement encombrés. Nous identifions et levons un certain nombre de verrous méthodologiques et technologiques inhérents : 1) à l’acquisition de séquences vidéo en milieu naturel, 2) au traitement d’images, 3) au suivi multi-cibles, 4) à la découverte et la modélisation de motifs comportementaux récurrents, et 5) à la fusion de données. Le contexte applicatif de nos travaux est la surveillance apicole, et en particulier, l’étude des trajectoires des abeilles en vol devant la ruche. De ce fait, cette thèse se présente également comme une étude de faisabilité et de prototypage dans le cadre des deux projets interdisciplinaires EPERAS et RISQAPI (projets menés en collaboration avec l’INRA Magneraud et le Muséum National d’Histoire Naturelle). Il s’agit pour nous informaticiens et pour les biologistes qui nous ont accompagnés, d’un domaine d’investigation totalement nouveau, pour lequel les connaissances métiers, généralement essentielles à ce genre d’applications,restent encore à définir.Contrairement aux approches existantes de suivi d’insectes, nous proposons de nous attaquer au problème dans l’espace à trois dimensions grâce à l’utilisation d’une caméra stéréovision haute fréquence. Dans ce contexte, nous détaillons notre nouvelle méthode de détection de cibles appelée segmentation HIDS. Concernant le calcul des trajectoires, nous explorons plusieurs approches de suivi de cibles, s’appuyant sur plus ou moins d’a priori, susceptibles de supporter les conditions extrêmes de l’application (e.g. cibles nombreuses, de petite taille, présentant un mouvement chaotique). Une fois les trajectoires collectées, nous les organisons selon une structure de données hiérarchique et mettons en oeuvre une approche Bayésienne non-paramétrique pour la découverte de comportements émergents au sein de la colonie d’insectes. L’analyse exploratoire des trajectoires issues de la scène encombrée s’effectue par classification non supervisée, simultanément sur des niveaux sémantiques différents, et où le nombre de clusters pour chaque niveau n’est pas défini a priori mais est estimé à partir des données. Cette approche est dans un premier temps validée à l’aide d’une pseudo-vérité terrain générée par un Système Multi-Agents, puis dans un deuxième temps appliquée sur des données réelles.

This manuscript provides the basis for a complete chain of videosurveillence for naturally cluttered environments. In the latter, we identify and solve the wide spectrum of methodological and technological barriers inherent to : 1) the acquisition of video sequences in natural conditions, 2) the image processing problems, 3) the multi-target tracking ambiguities, 4) the discovery and the modeling of recurring behavioral patterns, and 5) the data fusion. The application context of our work is the monitoring of honeybees, and in particular the study of the trajectories bees in flight in front of their hive. In fact, this thesis is part a feasibility and prototyping study carried by the two interdisciplinary projects EPERAS and RISQAPI (projects undertaken in collaboration with INRA institute and the French National Museum of Natural History). It is for us, computer scientists, and for biologists who accompanied us, a completely new area of investigation for which the scientific knowledge, usually essential for such applications, are still in their infancy. Unlike existing approaches for monitoring insects, we propose to tackle the problem in the three-dimensional space through the use of a high frequency stereo camera. In this context, we detail our new target detection method which we called HIDS segmentation. Concerning the computation of trajectories, we explored several tracking approaches, relying on more or less a priori, which are able to deal with the extreme conditions of the application (e.g. many targets, small in size, following chaotic movements). Once the trajectories are collected, we organize them according to a given hierarchical data structure and apply a Bayesian nonparametric approach for discovering emergent behaviors within the colony of insects. The exploratory analysis of the trajectories generated by the crowded scene is performed following an unsupervised classification method simultaneously over different levels of semantic, and where the number of clusters for each level is not defined a priori, but rather estimated from the data only. This approach is has been validated thanks to a ground truth generated by a Multi-Agent System. Then we tested it in the context of real data., Ce manuscrit propose une approche méthodologique pour la constitution d’une chaîne complète de vidéosurveillance pour des environnements naturellement encombrés. Nous identifions et levons un certain nombre de verrous méthodologiques et technologiques inhérents : 1) à l’acquisition de séquences vidéo en milieu naturel, 2) au traitement d’images, 3) au suivi multi-cibles, 4) à la découverte et la modélisation de motifs comportementaux récurrents, et 5) à la fusion de données. Le contexte applicatif de nos travaux est la surveillance apicole, et en particulier, l’étude des trajectoires des abeilles en vol devant la ruche. De ce fait, cette thèse se présente également comme une étude de faisabilité et de prototypage dans le cadre des deux projets interdisciplinaires EPERAS et RISQAPI (projets menées en collaboration avec l’INRA Magneraud et le Muséum National d’Histoire Naturelle). Il s’agit pour nous informaticiens et pour les biologistes qui nous ont accompagnés, d’un domaine d’investigation totalement nouveau, pour lequel les connaissances métiers, généralement essentielles à ce genre d’applications, restent encore à définir. Contrairement aux approches existantes de suivi d’insectes, nous proposons de nous attaquer au problème dans l’espace à trois dimensions grâce à l’utilisation d’une caméra stéréovision haute fréquence. Dans ce contexte, nous détaillons notre nouvelle méthode de détection de cibles appelée segmentation HIDS. Concernant le calcul des trajectoires, nous explorons plusieurs approches de suivi de cibles, s’appuyant sur plus ou moins d’a priori, susceptibles de supporter les conditions extrêmes de l’application (e.g. cibles nombreuses, de petite taille, présentant un mouvement chaotique). Une fois les trajectoires collectées, nous les organisons selon une structure de données hiérarchique et mettons en œuvre une approche Bayésienne non-paramétrique pour la découverte de comportements émergents au sein de la colonie d’insectes. L’analyse exploratoire des trajectoires issues de la scène encombrée s’effectue par classification non supervisée, simultanément sur des niveaux sémantiques différents, et où le nombre de clusters pour chaque niveau n’est pas défini a priori mais est estimé à partir des données. Cette approche est dans un premier temps validée à l’aide d’une pseudo-vérité terrain générée par un Système Multi-Agents, puis dans un deuxième temps appliquée sur des données réelles.

To compute a 3D representation of a rigid scene from a collection of pictures is now possible thanks to the progress made by the multiple-view stereovision methods, even with a simple camera. The reconstruction process, arising from photogrammetry, consists in integrating information from multiple images taken from different viewpoints in order to identify the relative positions and orientations. Once the positions and orientations (external calibration) of the cameras are retrieved, the structure of the scene can be reconstructed. To solve the problem of calculating the Structure from Motion (SfM), sequential and global methods have been proposed. By nature, sequential methods tend to accumulate errors. This is observable in trajectories of cameras that are subject to drift error. When pictures are acquired around an object it leads to reconstructions where the loops do not close. In contrast, global methods consider the network of cameras as a whole. The configuration of cameras is searched and optimized in order to preserve at best the constraints of the cyclical network. Reconstructions of better quality can be obtained, but at the expense of computation time. This thesis aims at analyzing critical issues at the heart of these methods of external calibration and at providing solutions to improve their performance(accuracy , robustness and speed) and their ease of use (restricted parametrization).We first propose a fast and efficient feature tracking algorithm. We then show that the widespread use of a contrario robust estimation of parametric models frees the user from choosing detection thresholds, and allows obtaining a reconstruction pipeline that automatically adapts to the data. Then in a second step, we use the adaptive robust estimation and a series of convex optimizations to build a scalable global calibration chain. Our experiments show that the a contrario based estimations improve significantly the quality of the pictures positions and orientations, while being automatic and without parameters, even on complex camera networks. Finally, we propose to improve the visual appearance of the reconstruction by providing a convex optimization to ensure the color consistency between images, Calculer une représentation 3D d'une scène rigide à partir d'une collection d'images est aujourd'hui possible grâce aux progrès réalisés par les méthodes de stéréo-vision multi-vues, et ce avec un simple appareil photographique. Le principe de reconstruction, découlant de travaux de photogrammétrie, consiste à recouper les informations provenant de plusieurs images, prises de points de vue différents, pour identifier les positions et orientations relatives de chaque cliché. Une fois les positions et orientations de caméras déterminées (calibration externe), la structure de la scène peut être reconstruite. Afin de résoudre le problème de calcul de la structure à partir du mouvement des caméras (Structure-from-Motion), des méthodes séquentielles et globales ont été proposées. Par nature, les méthodes séquentielles ont tendance à accumuler les erreurs. Cela donne lieu le plus souvent à des trajectoires de caméras qui dérivent et, lorsque les photos sont acquises autour d'un objet, à des reconstructions où les boucles ne se referment pas. Au contraire, les méthodes globales considèrent le réseau de caméras dans son ensemble. La configuration de caméras est recherchée et optimisée pour conserver au mieux l'ensemble des contraintes de cyclicité du réseau. Des reconstructions de meilleure qualité peuvent être obtenues, au détriment toutefois du temps de calcul. Cette thèse propose d'analyser des problèmes critiques au cœur de ces méthodes de calibration externe et de fournir des solutions pour améliorer leur performance (précision, robustesse, vitesse) et leur facilité d'utilisation (paramétrisation restreinte).Nous proposons tout d'abord un algorithme de suivi de points rapide et efficace. Nous montrons ensuite que l'utilisation généralisée de l'estimation robuste de modèles paramétriques a contrario permet de libérer l'utilisateur du réglage de seuils de détection, et d'obtenir une chaine de reconstruction qui s'adapte automatiquement aux données. Puis dans un second temps, nous utilisons ces estimations robustes adaptatives et une formulation du problème qui permet des optimisations convexes pour construire une chaine de calibration globale capable de passer à l'échelle. Nos expériences démontrent que les estimations identifiées a contrario améliorent de manière notable la qualité d'estimation de la position et de l'orientation des clichés, tout en étant automatiques et sans paramètres, et ce même sur des réseaux de caméras complexes. Nous proposons enfin d'améliorer le rendu visuel des reconstructions en proposant une optimisation convexe de la consistance colorée entre images

This PhD work is to be seen within the context of autonomous vehicle perception, in which the detection and localisation of elements of the surroundings in real time is an obvious requirement. Subsequent perception needs are manyfold, from localisation to obstacle detection, and are the subject of a continued research interest. The goal of this work is to build, in real time and from stereovision acquisition, a 3D map of the surroundings ; while detecting and tracking moving objects.Interest point selection and tracking on picture space are a first step, which we initiate by a thorough comparison of detectors from the literature. As regards tracking, we propose a massively parallel implementation of the standard KLT algorithm, using redundant tracking to provide reliable quality estimation. This allows us to track thousands of points in real-time, which compares favourably to the state of the art.Next step is the ego-motion estimation, along with the positioning of tracked points in 3D space. We first propose an iterative variant of the well known “SVD” process followed by UKF filtering, which allows for a very fast and reliable estimation. Then the position of every followed interest point is filtered on the fly over time, in contrast to most dense approaches from the literature.We finally propose a segmentation of moving objects in the augmented position-speed space, which is made possible by our continuous estimation of feature points position. Target tracking and filtering finally use a GM-PHD approach.; Cette thèse s'inscrit dans la problématique de la perception des véhicules autonomes, qui doivent notamment être capables de détecter et de positionner à tout moment les éléments fixes et mobiles de leur environnement. Les besoins sont ensuite multiples, de la détection d'obstacles à la localisation du porteur dans l'espace, et de nombreuses méthodes de la littérature s'y attellent. L'objectif de cette thèse est de reconstituer, à partir de prises de vues de stéréo-vision, une carte en trois dimensions décrivant l'environnement proche ; tout en effectuant une détection, localisation et suivi dans le temps des objets mobiles.La détection et le suivi dans le temps d'un grand nombre de points d'intérêt constitue une première étape. Après avoir effectué une comparaison exhaustive de divers détecteurs de points d'intérêt de la littérature, on propose pour réaliser le suivi de points une implémentation massivement parallélisée de l'algorithme KLT, dans une configuration redondante réalisée pendant cette thèse. Cette implémentation autorise le suivi fiable de milliers de points en temps réel, et se compare favorablement à l'état de l'art.Il s'agit ensuite d'estimer le déplacement du porteur, et de positionner ces points dans l'espace, tâche pour laquelle on propose une évolution robuste d'une procédure bien connue, dite "SVD", suivie d'un filtrage par UKF, qui nous permettent d'estimer très rapidement le mouvement propre du porteur. Les points suivis sont ensuite positionnés dans l'espace, en prenant en compte leur possible mobilité, en estimant continuellement la position la plus probable compte tenu des observations successives.La détection et le suivi des objets mobiles font l'objet d'une dernière partie, dans laquelle on propose une segmentation originale tenant compte des aspects de position et de vitesse. On exploite ainsi une des singularités de notre approche, qui conserve pour chaque point positionné un ensemble cohérent de positions dans le temps. Le filtrage et le suivi des cibles se basent finalement sur un filtre GM-PHD.

National audience; Les feux de forêt représentent un risque majeur pour de nombreux pays dans le monde. Il existe dans la recherche et dans la lutte contre les feux de forêt un besoin de métrologie pour estimer les caractéristiques géométriques de feux de végétation en propagation. Dans le cadre de cette étude, nous avons développé un dispositif de stéréovision composé de deux caméras JAI AD080GE rigidement fixées avec une distance inter-caméra de 1 m. Ces caméras produisent à partir du même faisceau de lumière deux images : l'une dans le visible et l'autre dans le proche infrarouge. Dans un premier temps, une étude a été menée afin de déterminer si l'utilisation du proche infrarouge permettait de résoudre la problématique du masquage des zones de feu par les fumées qui limite le traitement des images dans le domaine uniquement visible. Une procédure a ensuite été développée permettant l'estimation de caractéristiques géométriques d'un feu en propagation sur une surface de 5 m sur 10 m. Les caractéristiques estimées sont la position, la vitesse, la surface, la hauteur et l'inclinaison du front de feu. L'obtention de ces données nécessite des informations tridimensionnelles qui seront calculées à l'aide du système de stéréovision.

International audience; Lorsqu'un patient présente une dilatation de l'aorte impliquant la possibilité d'une intervention chirurgicale (en raison du risque de rupture), la décision thérapeutique est prise en fonction du rapport des diamètres de l'artère. Toutefois cette mesure dimensionnelle est insuffisante et doit être compléter d'une estimation de la compliance de l'artère. C'est un travail complexe prenant en compte divers aspects. C'est une première approche qui présentée dans ce papier. Elle a pour objectif de quantifier les déformations de fantômes (répliques) en silicone ayant des géométries simplifiées mais proches de celle des patients présentant une pathologie de type anévrisme. Un système de mesure par stéréo-vision, permet d'effectuer les mesures en 3D du fantôme soumis à des pressions similaires aux pressions cardiaques. Une modélisation par éléments finis basée sur un comportement hyperélastique permet de déterminer les états de contraintes suivant la pression interne. Afin d'obtenir un système pertinent et exploitable par les spécialistes de cardiologie, le dispositif expérimental a été installé dans un IRM. Les images obtenues des fantômes ont été confrontées à celles obtenues par le dispositif de stéréovision pour définir les écarts entre les deux systèmes de l'IRM. Abstract: When a patient has a dilated aorta involving the possibility of surgery (because of the risk of rupture), the therapeutic decision is made based on the ratio of the diameters of the artery. However, this is an insufficient dimensioning that must be completed by an estimation of the compliance of the artery. It is a complex work taking into account of many parameters. The present paper relates a first approach that aims to quantify the deformation of ghosts in silicone with simplified geometries but close to these of real clinic cases with diseased aneurysm. A stereo vision system, that allows 3D measurements, is used to measure the deformations of the phantom under pressure similar to the cardiac pressures. A finite element model based on a hyperelastic behavior is carried out to determine the stress state. To obtain a relevant and usable method by cardiology specialists, the experimental device has been installed in an MRI. The resulting images of ghosts are compared with those obtained by the stereovision device to define the gap between both systems.

This thesis addresses the issue of image matching for stereoscopic vision applications and image stabilization of video cameras. Methods of mapping are generally based on the use of interest points in the images, i.e. of points which have strong discontinuities in light intensity. We fi rst present a new descriptor of points of interest, obtained by means of an anisotropic rotary flter which delivers at each point of interest a one-dimensional signature based on an intensity gradient. Invariant to rotation by construction, this descriptor has very good properties of robustness and discrimination. We then propose a new matching method invariant to Euclidean and affine transformations. This method exploits the correlation of signatures subject to moderate warping, and defi nes a distance measure, necessary for the matching of points. The results obtained on difficult images augur promising extensions to this method., Ce mémoire de thèse traite de la mise en correspondance d'images pour des applications de vision stéréoscopique ou de stabilisation d'images de caméras vidéo. Les méthodes de mise en correspondance reposent généralement sur l'utilisation de points d'intérêt dans les images, c'est-à-dire de points qui présentent de fortes discontinuités d'intensité lumineuse. Nous présentons tout d'abord un nouveau descripteur de points d'intérêt, obtenu au moyen d'un fi ltre anisotropique rotatif qui délivre en chaque point d'intérêt une signature mono-dimensionnelle basée sur un gradient d'intensité. Invariant à la rotation par construction, ce descripteur possède de très bonnes propriétés de robustesse et de discrimination. Nous proposons ensuite une nouvelle méthode d'appariement invariante aux transformations euclidiennes et affines. Cette méthode exploite la corrélation des signatures sous l'hypothèse de faibles déformations, et dé finit une mesure de distance nécessaire à l'appariement de points. Les résultats obtenus sur des images difficiles laissent envisager des prolongements prometteurs à cette méthode.

National audience; Dans cet article, nous introduisons une nouvelle approche pour la reconstruction 3D de visage dans un système de stéréovision passive. L'approche vise une génération de la carte de disparité du visage qui ne nécessite pas l'utilisation d'équipements onéreux ni de modèles génériques pour le visage. L'algorithme proposé consiste à effectuer un appariement épars en se basant sur les propriétés du visage. La carte de disparité dense est ensuite calculée en utilisant un algorithme de corrélation tout en respectant le modèle épars calculé. Enfin, nous utilisons les données de calibration et les cartes de disparité pour établir une modélisation 3D du visage. Des résultats expérimentaux sont présentés pour démontrer la précision et l'intérêt de l'approche pro- posée.

In industrial vision, many applications for measuring and quality control are moving to three-dimensional problems. Stereovision systems are technological solutions that attract industry by their mechanical simplicity. Two static cameras placed at strategic locations may be sufficient to address this problem although the industrial constraints imposed to respect a short processing time and precise measurements. The diversity of applications lead us to consider two approaches to resolve the two types of application. The first technique consists in the 3D reconstruction from pairs of image points which correspond in both images. It is intended to address the problem of 3D measurement. The methods of monocular calibration and 3D triangulation are the basis of 3D reconstruction. We study the accuracy and its evolution according to the capture system pose compared to the observed scene. The second technique is to construct disparity maps to address problems of building profile and default analysis. The alignment constraint of cameras needed to accelerate the process of matching involves the use of methods of stereoscopic calibration and image rectification. We study the impact of alignment on the quality of the rectification. The production of dense disparity map is based on the stereo-correlation techniques. We show the limits of the use of a squared correlation kernel and propose an alternative production of two dense disparity maps from two mono-directional kernels, improving the measurement of disparity around edges and occlusions.; En vision industrielle, de nombreuses applications de mesure et de contrôle qualité évoluent vers des problématiques tri-dimensionnelles. Les systèmes de stéréovision sont des solutions technologiques qui attirent les industriels par leur simplicité mécanique. Deux caméras statiques disposées à des endroits stratégiques peut s'avérer suffisantes pour répondre à cette problématique bien que les contraintes industrielles imposent de respecter des temps de traitement courts et des mesures précises. La diversité des applications nous amènent à envisager deux approches afin de répondre à deux types d'application. La première technique consiste en la reconstruction 3D à partir de paires de points images qui se correspondent dans les deux images. Elle est destinée à répondre à la problématique de mesure 3D. Les méthodes de calibration monoculaire et de calcul 3D par triangulation sont la base de la reconstruction 3D. Nous étudions la précision de mesure et son évolution selon la pose du système de capture par rapport à la scène observée. La seconde technique consiste à construire des images de disparité afin de répondre à des problématiques de construction de profil et d'analyse de défaut. La contrainte d'alignement des caméras, nécessaire pour accélérer le processus de mise en correspondance, implique d'utiliser des méthodes de calibration stéréoscopique et de rectification des images. Nous étudions l'impact de l'alignement sur la qualité de la rectification. La production de carte dense de disparité se base sur les techniques de stéréo-corrélation. Nous montrons les limites de l'utilisation d'un noyau de corrélation carré et proposons une alternative par production de deux cartes denses de disparité à partir de deux noyaux mono-directionnels, améliorant la mesure de disparité sur les zones de contours et d'occultations.

Tutoriel CAPTEUR; National audience; Le dimensionnement physique des capteurs en amont d'un systeme de vision artificielle, est un point souvent neglige ou sous-estime, conduisant parfois a des des efforts ou raffinements algorithmiques couteux, voire des echecs qui auraient pu etre evites si les caracteristiques precises du capteur avaient ete etudiees des la conception du systeme. Dans ce tutoriel, nous examinerons non les aspects electroniques (codage, cartes d'acquisition etc.) mais seulement les aspects proprement physiques et optiques de l'acquisition d'images, les limitations associees et leurs consequences sur le choix judicieux de cameras et d'optiques en fonction de l'application.

Session "Posters"; National audience; Cet article présente une méthode de détection de piétons basée sur la combinaison de classifieurs d'apparence et de profondeur. Des travaux récents ont montré l'intérêt de cette approche. Nous proposons deux contributions : 1) une étude comparative de différents classifieurs de profondeur, dans laquelle nous montrons que les meilleures performances sont atteintes par un classifieur simple, basé sur la moyenne des distances dans une sous-fenêtre de la région testée et 2) une adaptation de l'algorithme d'apprentissage Adaboost prenant en compte des classifieurs hétérogènes en terme de coût algorithmique. L'objectif de cette approche est de construire un classifieur à la fois performant en terme de taux de détection et de temps d'exécution. Nous montrons la pertinence de l'algorithme ainsi développé sur des séquences d'images réelles

Video analysis for video surveillance needs a good resolution in order to analyse video streams with a maximum of robustness. In the context of stationary object detection in wide areas a good compromise between a limited number of cameras and a high coverage of the area is hard to achieve. Here we use a pair of Pan-Tilt-Zoom (PTZ) cameras whose parameter (pan, tilt and zoom) can change. The cameras go through a predefined set of parameters chosen such that the entire scene is covered at an adapted resolution. For each triplet of parameters a camera can be assimilated to a stationary camera with a very low frame-rate and is referred to as a view. First each view is considered independently. A background subtraction algorithm, robust to changes in illumination and based on a grid of SURF descriptors, is proposed in order to separate background from foreground. Then the detection and segmentation of stationary objects is done by reidentifying foreground descriptor to a foreground model. Then in order to filter out false alarms and to localise the objects in the3D world, the detected stationary silhouettes are matched between the two cameras. To remain robust to segmentation errors, instead of matched a silhouette to another, groups of silhouettes from the two cameras and mutually explaining each other are matched. Each of the groups then correspond to a stationary object. Finally the triangulation of the top and bottom points of the silhouettes gives an estimation of the position and size of the object., L’analyse vidéo pour la vidéo-surveillance nécessite d’avoir une bonne résolution pour pouvoir analyser les flux vidéo avec un maximum de robustesse. Dans le contexte de la détection d’objets stationnaires dans les grandes zones, telles que les parkings, le compromis entre la largeur du champ d’observation et la bonne résolution est difficile avec un nombre limité de caméras. Nous allons utiliser une paire de caméras à focale variable de type Pan-Tilt-Zoom (PTZ). Les caméras parcourent un ensemble de positions (pan, tilt, zoom) prédéfinies afin de couvrir l’ensemble de la scène à une résolution adaptée. Chacune de ces positions peut être vue comme une caméra stationnaire à très faible taux de rafraîchissement. Dans un premier temps notre approche considère les positions des PTZ comme des caméras indépendantes. Une soustraction de fond robuste aux changements de luminosité reposant sur une grille de descripteurs SURF est effectuée pour séparer le fond du premier plan. La détection des objets stationnaires est effectuée par ré-identification des descripteurs à un modèle du premier plan. Dans un deuxième temps afin de filtrer certaines fausses alarmes et pouvoir localiser les objets en 3D une phase de mise en correspondance des silhouettes entre les deux caméras et effectuée. Les silhouettes des objets stationnaires sont placées dans un repère commun aux deux caméras en coordonnées rectifiées. Afin de pouvoir gérer les erreurs de segmentation, des groupes de silhouettes s’expliquant mutuellement et provenant des deux caméras sont alors formés. Chacun de ces groupes (le plus souvent constitué d’une silhouette de chaque caméra, mais parfois plus) correspond à un objet stationnaire. La triangulation des points frontière haut et bas permet ensuite d’accéder à sa localisation 3D et à sa taille.

In industrial vision, many applications for measuring and quality control are moving to three-dimensional problems. Stereovision systems are technological solutions that attract industry by their mechanical simplicity. Two static cameras placed at strategic locations may be sufficient to address this problem although the industrial constraints imposed to respect a short processing time and precise measurements. The diversity of applications lead us to consider two approaches to resolve the two types of application. The first technique consists in the 3D reconstruction from pairs of image points which correspond in both images. It is intended to address the problem of 3D measurement. The methods of monocular calibration and 3D triangulation are the basis of 3D reconstruction. We study the accuracy and its evolution according to the capture system pose compared to the observed scene. The second technique is to construct disparity maps to address problems of building profile and default analysis. The alignment constraint of cameras needed to accelerate the process of matching involves the use of methods of stereoscopic calibration and image rectification. We study the impact of alignment on the quality of the rectification. The production of dense disparity map is based on the stereo-correlation techniques. We show the limits of the use of a squared correlation kernel and propose an alternative production of two dense disparity maps from two mono-directional kernels, improving the measurement of disparity around edges and occlusions., En vision industrielle, de nombreuses applications de mesure et de contrôle qualité évoluent vers des problématiques tri-dimensionnelles. Les systèmes de stéréovision sont des solutions technologiques qui attirent les industriels par leur simplicité mécanique. Deux caméras statiques disposées à des endroits stratégiques peut s'avérer suffisantes pour répondre à cette problématique bien que les contraintes industrielles imposent de respecter des temps de traitement courts et des mesures précises. La diversité des applications nous amènent à envisager deux approches afin de répondre à deux types d'application. La première technique consiste en la reconstruction 3D à partir de paires de points images qui se correspondent dans les deux images. Elle est destinée à répondre à la problématique de mesure 3D. Les méthodes de calibration monoculaire et de calcul 3D par triangulation sont la base de la reconstruction 3D. Nous étudions la précision de mesure et son évolution selon la pose du système de capture par rapport à la scène observée. La seconde technique consiste à construire des images de disparité afin de répondre à des problématiques de construction de profil et d'analyse de défaut. La contrainte d'alignement des caméras, nécessaire pour accélérer le processus de mise en correspondance, implique d'utiliser des méthodes de calibration stéréoscopique et de rectification des images. Nous étudions l'impact de l'alignement sur la qualité de la rectification. La production de carte dense de disparité se base sur les techniques de stéréo-corrélation. Nous montrons les limites de l'utilisation d'un noyau de corrélation carré et proposons une alternative par production de deux cartes denses de disparité à partir de deux noyaux mono-directionnels, améliorant la mesure de disparité sur les zones de contours et d'occultations.

Knowledge of attitude, altitude, ground plane segmentation and motion is essential for an Unmanned Aerial Vehicle during critical maneuvers such as landing and take-off. In this thesis we present a hybrid stereoscopic rig composed of a fisheye and a perspective camera for vision-based navigation. This sensor is then exploited by systemic methods. In contrast to classical stereoscopic systems based on feature matching, we propose methods which avoid matching between hybrid views. A plane-sweeping approach is proposed for estimating altitude and detecting the ground plane. Rotation and translation are then estimated by decoupling : the fisheye camera contributes to evaluating attitude, while the perspective camera contributes to estimating the scale of the translation. The motion can be estimated robustly at the meter scale, thanks to the knowledge of the altitude. Our method uses a 2-point algorithm complemented by a Kalman filter. We propose a robust, real-time, accurate, exclusively vision-based approach with a C++ implementation. Although this approach removes the need for any non-visual sensors, it can also be coupled with an Inertial Measurement Unit.; La connaissance de l'attitude, de l'altitude, de la segmentation du sol et du mouvement est essentielle pour la navigation d'un drone, en particulier durant les phases critiques de décollage et d'atterrissage. Dans ce travail de thèse, nous présentons un système stéréoscopique hybride composé d'une caméra fisheye et d'une caméra perspective pour estimer les paramètres de navigation d'un drone. À partir de ce capteur, une approche systémique est proposée. Contrairement aux méthodes classiques de stéréovision basées sur l'appariement de primitives, nous proposons des méthodes qui évitent toute mise en correspondance entre les vues hybrides. Une technique de plane-sweeping est suggérée pour déterminer l'altitude et détecter le plan du sol. La rotation et la translation du mouvement sont ensuite découplés : la vue fisheye contribue à évaluer l'attitude et l'orientation tandis que la vue perspective contribue à apporter l'échelle métrique de la translation. Le mouvement peut ainsi être estimé de façon robuste et à l'échelle métrique grâce à la connaissance de l'altitude. Cette méthode repose sur l'algorithme des 2-points complété par un filtre de Kalman. Nous proposons des approches robustes, temps réel et précises, exclusivement basées sur la vision avec une implémentation C++. Bien que cette approche évite l'utilisation de capteurs autres que les caméras, ce système peut également être appuyé par une centrale inertielle.

Many embedded robotic applications could benefit from an explicit detection of mobile objects. To this day, most approaches rely on classification, or on some structural scene analysis (for instance, V-Disparity). During the last few years, we've witnessed a growing interest for collaboration methods, that use actively btw structural analysis and motion analysis. These two processes are, indeed, closely related. In this context, we propose, through this study, two novel approaches that address this issue. While the first one use information from stereo and motion, the second one focuses on monocular systems, and allows us to retrieve a partial information.The first presented approach consists in a novel visual odometry system. We have shown that, even though the wide majority of authors tackle the visual odometry problem as non-linear, it can be shown to be purely linear. We have also shown that our approach achieves performances, as good as, or even better than the ones achieved by high-end IMUs. Given this visual odometry system, we then define a procedure allowing us to detect mobile objects. This procedure relies on a compensation of the ego-motion and a measure of the residual motion. We then lead a reflexion on the causes of limitation and the possible sources of improvement of this system. It appeared that the main parameters of the vision system (baseline, focal length) have a major impact on the performances of our detector. To the best of our knowledge, this impact had never been discussed, prior to our study. However, we think that our conclusion could be used as a set of recommendations, useful for every designer of intelligent vision system.the second part of this work focuses on monocular systems, and more specifically on the concept of C-Velocity. When V-Disparity defined a disparity map transform, allowing an easy detection of specific planes, C-Velocity defines a transform of the optical flow field, using the position of the FoE, allowing an easy detection of specific planes. Through this work, we present a modification of the C-Velocity concept. Instead of using a priori knowledge of the ego-motion (the position of the FoE) in order to determine the scene structure, we use a prior knowledge of the scene structure in order to localize the FoE, thus the translational ego-motion. the first results of this work are promising, and allow us to define several future works.; Un grand nombre d'applications de robotique embarquées pourrait bénéficier d'une détection explicite des objets mobiles. A ce jour, la majorité des approches présentées repose sur la classification, ou sur une analyse structurelle de la scène (la V-Disparité est un bon exemple de ces approches). Depuis quelques années, nous sommes témoins d'un intérêt croissant pour les méthodes faisant collaborer activement l'analyse structurelle et l'analyse du mouvement. Ces deux processus sont en effet étroitement liés. Dans ce contexte, nous proposons, à travers de travail de thèse, deux approches différentes. Si la première fait appel à l'intégralité de l'information stéréo/mouvement, la seconde se penche sur le cas des capteurs monoculaires, et permet de retrouver une information partielle.La première approche présentée consiste en un système innovation d'odométrie visuelle. Nous avons en effet démontré que le problème d'odométrie visuelle peut être posé de façon linéaire, alors que l'immense majorité des auteurs sont contraint de faire appel à des méthodes d'optimisation non-linéaires. Nous avons également montré que notre approche permet d'atteindre, voire de dépasser le niveau de performances présenté par des système matériels haut de gamme (type centrale inertielle). A partir de ce système d'odométrie visuelle, nous définissons une procédure permettant de détecter les objets mobiles. Cette procédure repose sur une compensation de l'influence de l'égo-mouvement, puis une mesure du mouvement résiduel. Nous avons ensuite mené une réflexion de fond sur les limitations et les sources d'amélioration de ce système. Il nous est apparu que les principaux paramètres du système de vision (base, focale) ont un impact de premier plan sur les performances du détecteur. A notre connaissance, cet impact n'a jamais été décrit dans la littérature. Il nous semble cependant que nos conclusions peuvent constituer un ensemble de recommandations utiles à tout concepteur de système de vision intelligent.La seconde partie de ce travail porte sur les systèmes de vision monoculaire, et plus précisément sur le concept de C-Vélocité. Alors que la V-Disparité a défini une transformée de la carte de disparité permettant de mettre en avant certains plans de l'image, la C-Vélocité défini une transformée du champ de flot optique, et qui utilise la position du FoE, qui permet une détection facile de certains plans spécifiques de l'image. Dans ce travail, nous présentons une modification de la C-Vélocité. Au lieu d'utiliser un a priori sur l'égo-mouvement (la position du FoE) afin d'inférer la structure de la scène, nous utilisons un a priori sur la structure de la scène afin de localiser le FoE, donc d'estimer l'égo-mouvement translationnel. Les premiers résultats de ce travail sont encourageants et nous permettent d'ouvrir plusieurs pistes de recherches futures.

Many embedded robotic applications could benefit from an explicit detection of mobile objects. To this day, most approaches rely on classification, or on some structural scene analysis (for instance, V-Disparity). During the last few years, we've witnessed a growing interest for collaboration methods, that use actively btw structural analysis and motion analysis. These two processes are, indeed, closely related. In this context, we propose, through this study, two novel approaches that address this issue. While the first one use information from stereo and motion, the second one focuses on monocular systems, and allows us to retrieve a partial information.The first presented approach consists in a novel visual odometry system. We have shown that, even though the wide majority of authors tackle the visual odometry problem as non-linear, it can be shown to be purely linear. We have also shown that our approach achieves performances, as good as, or even better than the ones achieved by high-end IMUs. Given this visual odometry system, we then define a procedure allowing us to detect mobile objects. This procedure relies on a compensation of the ego-motion and a measure of the residual motion. We then lead a reflexion on the causes of limitation and the possible sources of improvement of this system. It appeared that the main parameters of the vision system (baseline, focal length) have a major impact on the performances of our detector. To the best of our knowledge, this impact had never been discussed, prior to our study. However, we think that our conclusion could be used as a set of recommendations, useful for every designer of intelligent vision system.the second part of this work focuses on monocular systems, and more specifically on the concept of C-Velocity. When V-Disparity defined a disparity map transform, allowing an easy detection of specific planes, C-Velocity defines a transform of the optical flow field, using the position of the FoE, allowing an easy detection of specific planes. Through this work, we present a modification of the C-Velocity concept. Instead of using a priori knowledge of the ego-motion (the position of the FoE) in order to determine the scene structure, we use a prior knowledge of the scene structure in order to localize the FoE, thus the translational ego-motion. the first results of this work are promising, and allow us to define several future works.; Un grand nombre d'applications de robotique embarquées pourrait bénéficier d'une détection explicite des objets mobiles. A ce jour, la majorité des approches présentées repose sur la classification, ou sur une analyse structurelle de la scène (la V-Disparité est un bon exemple de ces approches). Depuis quelques années, nous sommes témoins d'un intérêt croissant pour les méthodes faisant collaborer activement l'analyse structurelle et l'analyse du mouvement. Ces deux processus sont en effet étroitement liés. Dans ce contexte, nous proposons, à travers de travail de thèse, deux approches différentes. Si la première fait appel à l'intégralité de l'information stéréo/mouvement, la seconde se penche sur le cas des capteurs monoculaires, et permet de retrouver une information partielle.La première approche présentée consiste en un système innovation d'odométrie visuelle. Nous avons en effet démontré que le problème d'odométrie visuelle peut être posé de façon linéaire, alors que l'immense majorité des auteurs sont contraint de faire appel à des méthodes d'optimisation non-linéaires. Nous avons également montré que notre approche permet d'atteindre, voire de dépasser le niveau de performances présenté par des système matériels haut de gamme (type centrale inertielle). A partir de ce système d'odométrie visuelle, nous définissons une procédure permettant de détecter les objets mobiles. Cette procédure repose sur une compensation de l'influence de l'égo-mouvement, puis une mesure du mouvement résiduel. Nous avons ensuite mené une réflexion de fond sur les limitations et les sources d'amélioration de ce système. Il nous est apparu que les principaux paramètres du système de vision (base, focale) ont un impact de premier plan sur les performances du détecteur. A notre connaissance, cet impact n'a jamais été décrit dans la littérature. Il nous semble cependant que nos conclusions peuvent constituer un ensemble de recommandations utiles à tout concepteur de système de vision intelligent.La seconde partie de ce travail porte sur les systèmes de vision monoculaire, et plus précisément sur le concept de C-Vélocité. Alors que la V-Disparité a défini une transformée de la carte de disparité permettant de mettre en avant certains plans de l'image, la C-Vélocité défini une transformée du champ de flot optique, et qui utilise la position du FoE, qui permet une détection facile de certains plans spécifiques de l'image. Dans ce travail, nous présentons une modification de la C-Vélocité. Au lieu d'utiliser un a priori sur l'égo-mouvement (la position du FoE) afin d'inférer la structure de la scène, nous utilisons un a priori sur la structure de la scène afin de localiser le FoE, donc d'estimer l'égo-mouvement translationnel. Les premiers résultats de ce travail sont encourageants et nous permettent d'ouvrir plusieurs pistes de recherches futures.

This dissertation was lead in the context of the R3T project (Real Time and True Temperature measurement), dedicated to metrology from thermal infrared measurements. The estimation of true temperature from apparent temperature measurement by an infrared camera uses a radiometric model which depends on nature and shape of the considered object. This work focuses on the construction of a geometric model from infrared cameras moved by a robot around an object. Those cameras, in comparison with standard ones, have speci c characteristics : low resolution, low texture. To minimize the complexity and easily implement the nal system, we chose an stereo approach using uncalibrated cameras. So we have an infrared stereoring embeded on a Cartesian robot, to acquire multiple views of the object of interest. First, the main steps implemented concern uncalibrated images recti cation and autocalibration of infrared stereoring and hand-eye transformation without use of a calibration pattern. Then, the reconstruction of locals 3D models and the merge of these models was done to reach a global model of the object. The contributions cover the rst two stages, recti cation and autocalibration, for the other stereo reconstruction steps, di erent algorithms were tested and the best was chosen for our application. For the uncalibrated images recti cation, an optimization approach under constraints is proposed. The estimation of recti cation homographies is done, without the Fundamental matrix determination, while minimizing the distortion between original and corrected images. The cost function is based on the Sampson's distance with breakdown of the Fundamental matrix. Two constraints, geometrical and analytical, are compared to minimize distortion. The proposed approach is compared to methods proposed by Loop and Zhang, Hartley, Mallon et al ... on data sets from state of art. It is shown that the results are at least equivalent on conventional images and better on low quality images such as infrared images. For the autocalibration, the author proposes to calibrate cameras and hand-eye transformation, essential whenever the stereoring is embeded on a robot, in one step. One of the originality is that this method allows to calibrate recti ed cameras and so minimize the number of parameters to estimate. Similarly, several criteria are proposed and evaluated by numerous results on synthetic and real data. Finally, all methods of stereovision tested for this application context are brie y described, the experimental results obtained on objects are presented and compared to ground truth.; Ces travaux de thèse ont été menés dans le contexte du projet ANR blanc "Real Time and True Temperature measurement" (R3T), dédié à la métrologie thermique à partir de mesures dans l'infrarouge. L'estimation d'une température vraie à partir d'une mesure de température apparente par une caméra infrarouge, exploite un modèle radiométrique dans lequel apparaît des facteurs qui dépendent de la nature et de la forme de l'objet considéré. Ces travaux portent sur la construction d'un modèle géométrique de l'objet à partir de caméras infrarouges déplacées par un robot autour d'un objet. Ces caméras, par rapport à des caméras standards, ont des caractéristiques spé- ci ques : faible résolution, peu de texture. A n de faciliter la mise en oeuvre et de minimiser la complexité du système nal, nous avons choisi une approche de stéréovision non calibrée. Nous avons donc un banc de stéréovision infrarouge embarqué sur un robot cartésien, pour acquérir plusieurs vues de l'objet d'intérêt ; les principales étapes concernent la recti cation non calibrée des images acquises par le banc stéréo, puis le calibrage des caméras recti ées et de la relation main-oeil sans utilisation de mire, puis la construction de modèles 3D locaux denses et le recalage de ces modèles partiels pour construire un modèle global de l'objet. Les contributions portent sur les deux premières étapes, recti cation et calibrage pour la stéréovision. Pour la recti cation non calibrée, il est proposé une approche d'optimisation sous contraintes qui estime les homographies, à appliquer sur ces images pour les recti er, sans calcul préalable de la matrice Fondamentale, tout en minimisant les déformations projectives entre images d'origine et images recti ées. La fonction coût est calculée à partir de la distance de Sampson avec une décomposition de la matrice fondamentale. Deux types de contraintes, géométriques et algébriques, sont compar és pour minimiser les déformations projectives. L'approche proposée est comparé e aux méthodes proposées par Loop et Zhang, Hartley, Mallon et al... sur des jeux de données classiques de la littérature. Il est montré que les résultats sont au moins équivalents sur des images classiques et meilleurs sur des images de faible qualité comme des images infrarouges. Pour le calibrage sans mire, l'auteur propose de calibrer les caméras ainsi que la transformation main-oeil, indispensable dès lors que le banc stéréo est porté par un robot, en une seule étape ; l'une des originalités est que cette méthode permet de calibrer les caméras préalablement recti ées et ainsi de minimiser le nombre de paramètres à estimer. De même plusieurs critères sont proposés et évalués par de nombreux résultats sur des données de synthèse et sur des données réelles. Finalement, les méthodes de stéréovision testées pour ce contexte applicatif sont rapidement décrites ; des résultats expérimentaux acquis sur des objets sont présent és ainsi que des comparaisons vis-à-vis d'une vérité terrain connue.

This dissertation was lead in the context of the R3T project (Real Time and True Temperature measurement), dedicated to metrology from thermal infrared measurements. The estimation of true temperature from apparent temperature measurement by an infrared camera uses a radiometric model which depends on nature and shape of the considered object. This work focuses on the construction of a geometric model from infrared cameras moved by a robot around an object. Those cameras, in comparison with standard ones, have speci c characteristics : low resolution, low texture. To minimize the complexity and easily implement the nal system, we chose an stereo approach using uncalibrated cameras. So we have an infrared stereoring embeded on a Cartesian robot, to acquire multiple views of the object of interest. First, the main steps implemented concern uncalibrated images recti cation and autocalibration of infrared stereoring and hand-eye transformation without use of a calibration pattern. Then, the reconstruction of locals 3D models and the merge of these models was done to reach a global model of the object. The contributions cover the rst two stages, recti cation and autocalibration, for the other stereo reconstruction steps, di erent algorithms were tested and the best was chosen for our application. For the uncalibrated images recti cation, an optimization approach under constraints is proposed. The estimation of recti cation homographies is done, without the Fundamental matrix determination, while minimizing the distortion between original and corrected images. The cost function is based on the Sampson's distance with breakdown of the Fundamental matrix. Two constraints, geometrical and analytical, are compared to minimize distortion. The proposed approach is compared to methods proposed by Loop and Zhang, Hartley, Mallon et al ... on data sets from state of art. It is shown that the results are at least equivalent on conventional images and better on low quality images such as infrared images. For the autocalibration, the author proposes to calibrate cameras and hand-eye transformation, essential whenever the stereoring is embeded on a robot, in one step. One of the originality is that this method allows to calibrate recti ed cameras and so minimize the number of parameters to estimate. Similarly, several criteria are proposed and evaluated by numerous results on synthetic and real data. Finally, all methods of stereovision tested for this application context are brie y described, the experimental results obtained on objects are presented and compared to ground truth.; Ces travaux de thèse ont été menés dans le contexte du projet ANR blanc "Real Time and True Temperature measurement" (R3T), dédié à la métrologie thermique à partir de mesures dans l'infrarouge. L'estimation d'une température vraie à partir d'une mesure de température apparente par une caméra infrarouge, exploite un modèle radiométrique dans lequel apparaît des facteurs qui dépendent de la nature et de la forme de l'objet considéré. Ces travaux portent sur la construction d'un modèle géométrique de l'objet à partir de caméras infrarouges déplacées par un robot autour d'un objet. Ces caméras, par rapport à des caméras standards, ont des caractéristiques spé- ci ques : faible résolution, peu de texture. A n de faciliter la mise en oeuvre et de minimiser la complexité du système nal, nous avons choisi une approche de stéréovision non calibrée. Nous avons donc un banc de stéréovision infrarouge embarqué sur un robot cartésien, pour acquérir plusieurs vues de l'objet d'intérêt ; les principales étapes concernent la recti cation non calibrée des images acquises par le banc stéréo, puis le calibrage des caméras recti ées et de la relation main-oeil sans utilisation de mire, puis la construction de modèles 3D locaux denses et le recalage de ces modèles partiels pour construire un modèle global de l'objet. Les contributions portent sur les deux premières étapes, recti cation et calibrage pour la stéréovision. Pour la recti cation non calibrée, il est proposé une approche d'optimisation sous contraintes qui estime les homographies, à appliquer sur ces images pour les recti er, sans calcul préalable de la matrice Fondamentale, tout en minimisant les déformations projectives entre images d'origine et images recti ées. La fonction coût est calculée à partir de la distance de Sampson avec une décomposition de la matrice fondamentale. Deux types de contraintes, géométriques et algébriques, sont compar és pour minimiser les déformations projectives. L'approche proposée est comparé e aux méthodes proposées par Loop et Zhang, Hartley, Mallon et al... sur des jeux de données classiques de la littérature. Il est montré que les résultats sont au moins équivalents sur des images classiques et meilleurs sur des images de faible qualité comme des images infrarouges. Pour le calibrage sans mire, l'auteur propose de calibrer les caméras ainsi que la transformation main-oeil, indispensable dès lors que le banc stéréo est porté par un robot, en une seule étape ; l'une des originalités est que cette méthode permet de calibrer les caméras préalablement recti ées et ainsi de minimiser le nombre de paramètres à estimer. De même plusieurs critères sont proposés et évalués par de nombreux résultats sur des données de synthèse et sur des données réelles. Finalement, les méthodes de stéréovision testées pour ce contexte applicatif sont rapidement décrites ; des résultats expérimentaux acquis sur des objets sont présent és ainsi que des comparaisons vis-à-vis d'une vérité terrain connue.

International audience; Dans le cadre du projet VULCOMP soutenu par l'ANR et dédié à la vulnérabilité des composites, le logiciel de stéréocorrélation CORRELISTC [2] a été développé. Il permet la mesure des déplacements, calcule les déformations, mais donne aussi la possibilité de plusieurs post traitements tels que la création de jauges virtuelles, de profils. Une première évaluation du logiciel et du procédé qui le sous-tend a permis d'estimer les incertitudes sur les déplacements mesurés [3,4]. Au travers de nombreux essais aussi bien en mode quasi-statique qu'en mode dynamique, nous avons également évalué la qualité des résultats en termes de déformations. La première partie de cette étude montrera une comparaison entre des mesures par jauges collées sur le matériau étudié, prises en référence, et des mesures par jauges virtuelles mises en place dans le logiciel de stéréocorrélation. L'influence de paramètres tels que la taille de la jauge virtuelle, son positionnement et son orientation seront abordés. La deuxième partie de cette étude montrera les possibilités de comparaison directe entre les déformations issues de mesures par stéréocorrélation et les déformations théoriques calculées par des logiciels de calcul par éléments finis, ainsi que les perspectives d'applications qui peuvent en découler.

The issue of retrieving a 3D shape from a static scene captured with multiple view point calibrated cameras has been deeply studied these last decades. Results presented in the stereovision benchmark made by Strecha et al., show the high quality of state of the art methods. Particularly, works from IMAGINE laboratory lead to impressive results. So, it becomes convenient to calibrate wider and wider scenes, in order to apply these stereovision algorithms to large scale scenes. Three main objectives appear : – The calibration accuracy should be improved. As stated by Yasutaka Furukawa, even stereovision benchmarks use noisy cameras. So one obvious way to improve stereovision, is to improve camera calibration. – It is crucial to take cycles into account in cameras graph in a global way. Most of nowadays methods are sequential and so present a drift. So these methods do not offer the guarantee to retrieve the loopy configuration for a loop made of a high number of images, but retrieve a spiral configuration. As we aim to calibrate wider and wider cameras networks, this point becomes quite crucial. – To calibrate wide cameras networks, having quick and linear algorithms can be necessary. Calibration methods we propose in the first part, allow to calibrate with an accuracy close to state of the art. Moreover, we take cyclicity constraints into account in a global way, with linear optimisations under linear constraints. So these methods allow to take cycle into account and benefit from quickness of linear programming. Finally, sterovision being a well studied topic, it is convenient to concentrate on the next step, that is, spatio-temporal reconstruction. The IMAGINE' stereovision method being the state of the art, it is interesting to extend this method to spatio-temporal reconstruction, that is, dynamique scene reconstruction captured from a dome of cameras, Le problème de la stéréovision à partir de caméras multiples calibrées capturant une scène fixe est étudié depuis plusieurs décennies. Les résultats présentés dans le benchmark de stéréovision proposé par Strecha et al., attestent de la qualité des reconstructions obtenues. En particulier, les travaux du laboratoire IMAGINE, mènent à des résultats visuellement impressionnant. Aussi, il devient intéressant de calibrer des scènes de plus en plus vastes, afin d'appliquer ces algorithmes de stéréovision de façon optimale. Trois objectifs essentiels apparaissent : – La précision de la calibration doit être améliorée. En effet comme pointé par Yasutaka Furukawa, même les benchmarks de stéréovision fournissent parfois des caméras bruitées à la précision imparfaite. Un des moyen d'améliorer les résultats de stéréovision est d'augmenter la précision de la calibration. – Il est important de pouvoir prendre en compte les cycles dans le graphe des caméras de façon globale. En effet la plupart des méthodes actuelles sont séquentielles, et dérivent. Ainsi ces méthodes ne garantissent pas, pour une très grande boucle, de retrouver cette configuration cyclique, mais peuvent plutôt retrouver une configuration des caméras en spirale. Comme on calibre des réseaux d'images, de plus en plus grand, ce point est donc crucial. – Pour calibrer des réseaux d'images très grands, il convient d'avoir des algorithmes rapides. Les méthodes de calibration que nous proposons dans la première partie, permettent de calibrer des réseaux avec une précision très proche de l'état de l'art. D'autre part elle permettent de gérer les contraintes de cyclicité par le biais d'optimisations linéaires sous contraintes linéaires. Ainsi ces méthodes permettent de prendre en compte les cycles et bénéficient de la rapidité de la programmation linéaire. Enfin, la recherche en stéréovision étant arrivée à maturité, il convient de s'intéresser à l'étape suivante, à savoir la reconstruction spatio-temporelle. La méthode du laboratoire IMAGINE représentant l'état de l'art en stéréovision, il est intéressant de développer cette méthode et de l'étendre à la reconstruction spatio-temporelle, c'est-à-dire la reconstruction d'une scène dynamique capturée par un dôme de caméras. Nous verrons cette méthode dans la seconde partie de ce manuscrit

This work is about omnidirectional vision, monocular and stereoscopic. Position and orientation estimation of a robot using this kind of artificial vision relies on the same theoretical framework as visual servoing. This technique consists in the control of a robot motion using visual information brought by one or several cameras. This motion is virtual when dealing with pose estimation. Using the wide field of view of omnidirectional vision has generally a good impact on the robot behavior but visual informations, and particularly their representation, influence deeply this behavior. A bad choice can lead the servoing or pose estimation to fail. This thesis aims to study and compare various visual features and their representations in omnidirectional vision. Even if a projection model involving a sphere has been designed for central omnidirectional cameras, a point, a line or a plane are always represented in the image plane. Some works have expressed pose estimation or visual servoing from spherical features but without showing, practically, which surface is the best : image plane or sphere. This is a motivation for this work. This work also proposes to use pixel intensities of an omnidirectional image as a visual feature for the servoing of a robot, allowing, hence, to withdraw image processing for the detection of points, lines, and so on. Experimental validation shows a great positioning precision. This is the base of the use of photometric neighborhoods included in a region for the precise plane tracking or neighboring a line for the precise tracking of vertical straight lines. This last contribution is one of the most important of this thesis because it allows to reconstruct a vertical line thanks to the photometric fitting of their projections neighborhoods in omnidirectional stereovision images. Furthermore, it can be extended to motion estimation and to every geometrical feature.; Ce travail s'inscrit dans le cadre d'un programme de recherche sur la vision omnidirectionnelle, monoculaire et stéréoscopique. L'estimation de position et d'orientation de robot par ce type de vision artificielle repose sur le même formalisme de base que l'asservissement visuel. Cette technique consiste à commander le mouvement d'un robot en utilisant l'information visuelle apportée par une ou plusieurs caméras. Ce mouvement est virtuel dans le cas d'une estimation de pose. Utiliser le large champ de vue apporté par la vision omnidirectionnelle a généralement une bonne influence sur le comportement du robot mais les informations visuelles, et en particulier leur représentation, ont un impact important sur ce comportement. Un choix inadéquat de représentation d'information peut engendrer l'échec de l'asservissement ou du calcul de pose. Cette thèse vise à étudier et comparer différentes primitives visuelles et leurs représentations en vision omnidirectionnelle. Même si un modèle de projection stéréographique impliquant une sphère a été défini pour les caméras omnidirectionnelles centrales, un point, une droite ou un plan est presque toujours représenté dans le plan image. Quelques travaux ont certes formulé l'estimation de pose ou l'asservissement visuel à partir de primitives définies sur la sphère mais sans montrer, en pratique, quel est le meilleur lieu de définition : le plan image ou la sphère. C'est une des motivations de cette étude. Ce travail propose aussi d'utiliser les intensités des pixels d'une image omnidirectionnelle comme primitive visuelle pour l'asservissement de robot, permettant ainsi de s'affranchir du traitement d'image nécessaire à la détection de points, de droites, etc. La validation expérimentale montre une très grande précision de positionnement. Cette constatation a servi de base à l'utilisation de voisinage photométrique inclus dans une région pour le suivi de plan ou avoisinant un segment pour le suivi de droites verticales. Ce dernier point est une des contributions les plus importantes de cette thèse car cela permet de reconstruire une droite verticale par ajustement photométrique des voisinages de ses projections dans les images de stéréovision omnidirectionnelle. Ceci peut, de plus, être étendu à l'estimation de mouvement et à toute primitive géométrique.

This work is about omnidirectional vision, monocular and stereoscopic. Position and orientation estimation of a robot using this kind of artificial vision relies on the same theoretical framework as visual servoing. This technique consists in the control of a robot motion using visual information brought by one or several cameras. This motion is virtual when dealing with pose estimation. Using the wide field of view of omnidirectional vision has generally a good impact on the robot behavior but visual informations, and particularly their representation, influence deeply this behavior. A bad choice can lead the servoing or pose estimation to fail. This thesis aims to study and compare various visual features and their representations in omnidirectional vision. Even if a projection model involving a sphere has been designed for central omnidirectional cameras, a point, a line or a plane are always represented in the image plane. Some works have expressed pose estimation or visual servoing from spherical features but without showing, practically, which surface is the best : image plane or sphere. This is a motivation for this work. This work also proposes to use pixel intensities of an omnidirectional image as a visual feature for the servoing of a robot, allowing, hence, to withdraw image processing for the detection of points, lines, and so on. Experimental validation shows a great positioning precision. This is the base of the use of photometric neighborhoods included in a region for the precise plane tracking or neighboring a line for the precise tracking of vertical straight lines. This last contribution is one of the most important of this thesis because it allows to reconstruct a vertical line thanks to the photometric fitting of their projections neighborhoods in omnidirectional stereovision images. Furthermore, it can be extended to motion estimation and to every geometrical feature.; Ce travail s'inscrit dans le cadre d'un programme de recherche sur la vision omnidirectionnelle, monoculaire et stéréoscopique. L'estimation de position et d'orientation de robot par ce type de vision artificielle repose sur le même formalisme de base que l'asservissement visuel. Cette technique consiste à commander le mouvement d'un robot en utilisant l'information visuelle apportée par une ou plusieurs caméras. Ce mouvement est virtuel dans le cas d'une estimation de pose. Utiliser le large champ de vue apporté par la vision omnidirectionnelle a généralement une bonne influence sur le comportement du robot mais les informations visuelles, et en particulier leur représentation, ont un impact important sur ce comportement. Un choix inadéquat de représentation d'information peut engendrer l'échec de l'asservissement ou du calcul de pose. Cette thèse vise à étudier et comparer différentes primitives visuelles et leurs représentations en vision omnidirectionnelle. Même si un modèle de projection stéréographique impliquant une sphère a été défini pour les caméras omnidirectionnelles centrales, un point, une droite ou un plan est presque toujours représenté dans le plan image. Quelques travaux ont certes formulé l'estimation de pose ou l'asservissement visuel à partir de primitives définies sur la sphère mais sans montrer, en pratique, quel est le meilleur lieu de définition : le plan image ou la sphère. C'est une des motivations de cette étude. Ce travail propose aussi d'utiliser les intensités des pixels d'une image omnidirectionnelle comme primitive visuelle pour l'asservissement de robot, permettant ainsi de s'affranchir du traitement d'image nécessaire à la détection de points, de droites, etc. La validation expérimentale montre une très grande précision de positionnement. Cette constatation a servi de base à l'utilisation de voisinage photométrique inclus dans une région pour le suivi de plan ou avoisinant un segment pour le suivi de droites verticales. Ce dernier point est une des contributions les plus importantes de cette thèse car cela permet de reconstruire une droite verticale par ajustement photométrique des voisinages de ses projections dans les images de stéréovision omnidirectionnelle. Ceci peut, de plus, être étendu à l'estimation de mouvement et à toute primitive géométrique.

This thesis deals with three-dimensional reconstruction of a mobile robot's environment. Based on omnidirectional vision data, it aims at preparing military operations. We first developed a well-adapted architecture for 3D reconstruction and autonomous navigation. Calibration is a key step for a vision system in order to measure its environment. This step consists in modelling the system to establish the mathematical relationship between 3D points and their projections onto the image. After discussing a model choice, we will present a method to estimate its parameters. The stereoscopic structure of the sensor allows three-dimensional reconstruction from a static viewpoint. We thus propose algorithms allowing a dense reconstruction as well as detection of the primitives in omnidirectional images. When the sensor is moving, we use its motion to enhance the 3D model. Our major contribution consists in developing a bundle adjustment algorithm for omnidirectional stereoscopic sensors, which provides a motion estimation using only visual data.; Les travaux présentés dans cette thèse concernent la reconstruction tridimensionnelle de l'environnement d'un robot mobile, à partir d'informations de vision omnidirectionnelle, pour la préparation d'interventions. Nous nous intéressons dans un premier temps à la conception d'une architecture matérielle adaptée aux problématiques de la reconstruction 3D et de la navigation autonome. Le calibrage d'un système de vision est une étape indispensable dès lors que celui-ci est destiné à effectuer des mesures sur son environnement. Cette phase consiste à modéliser le système pour établir la relation mathématique liant les points 3D et leurs projections dans les images. Après une discussion sur le choix du modèle, nous présentons une méthodologie pour estimer les paramètres du modèle retenu. La structure stéréoscopique du capteur que nous avons développé rend possible la reconstruction tridimensionnelle de l'environnement sans déplacement. Nous proposons donc des algorithmes permettant la reconstruction dense de l'environnement, ainsi que des algorithmes de détection de primitives dans les images omnidirectionnelles. Lorsque le capteur est en mouvement, nous exploitons ses déplacements pour enrichir le modèle 3D. Notre principale contribution porte sur le développement d'un algorithme d'ajustement de faisceaux pour les capteurs stéréoscopiques omnidirectionnels qui permet d'obtenir une estimation des déplacements en ne nécessitant que des données visuelles.

This thesis deals with three-dimensional reconstruction of a mobile robot's environment. Based on omnidirectional vision data, it aims at preparing military operations. We first developed a well-adapted architecture for 3D reconstruction and autonomous navigation. Calibration is a key step for a vision system in order to measure its environment. This step consists in modelling the system to establish the mathematical relationship between 3D points and their projections onto the image. After discussing a model choice, we will present a method to estimate its parameters. The stereoscopic structure of the sensor allows three-dimensional reconstruction from a static viewpoint. We thus propose algorithms allowing a dense reconstruction as well as detection of the primitives in omnidirectional images. When the sensor is moving, we use its motion to enhance the 3D model. Our major contribution consists in developing a bundle adjustment algorithm for omnidirectional stereoscopic sensors, which provides a motion estimation using only visual data., Les travaux présentés dans cette thèse concernent la reconstruction tridimensionnelle de l'environnement d'un robot mobile, à partir d'informations de vision omnidirectionnelle, pour la préparation d'interventions. Nous nous intéressons dans un premier temps à la conception d'une architecture matérielle adaptée aux problématiques de la reconstruction 3D et de la navigation autonome. Le calibrage d'un système de vision est une étape indispensable dès lors que celui-ci est destiné à effectuer des mesures sur son environnement. Cette phase consiste à modéliser le système pour établir la relation mathématique liant les points 3D et leurs projections dans les images. Après une discussion sur le choix du modèle, nous présentons une méthodologie pour estimer les paramètres du modèle retenu. La structure stéréoscopique du capteur que nous avons développé rend possible la reconstruction tridimensionnelle de l'environnement sans déplacement. Nous proposons donc des algorithmes permettant la reconstruction dense de l'environnement, ainsi que des algorithmes de détection de primitives dans les images omnidirectionnelles. Lorsque le capteur est en mouvement, nous exploitons ses déplacements pour enrichir le modèle 3D. Notre principale contribution porte sur le développement d'un algorithme d'ajustement de faisceaux pour les capteurs stéréoscopiques omnidirectionnels qui permet d'obtenir une estimation des déplacements en ne nécessitant que des données visuelles.

National audience; L'objet de cette étude est l'identification des facteurs d'incertitude de mesure intervenant dans les procédés de stéréocorrélation d'images, ainsi que l'évaluation de l'incertitude globale. Dans un premier temps, nous faisons une description détaillée des deux procédés qui sous-tendent un dispositif de mesure de champ de déplacement 3D par corrélation d'images : le procédé de corrélation d'images de mouchetis d'une part et la reconstruction 3D par stéréovision d'autre part. La phase initiale de calibrage est également détaillée. Une liste non exhaustive des facteurs d'incertitudes de mesure est ensuite donnée, pour un essai typique sur structure composite en ambiance industrielle. L'influence de chaque facteur est étudiée et son apport au bilan d'incertitude globale est quantifié. En raison du grand nombre de paramètres intervenant dans le bilan de l'incertitude de mesure globale, celle-ci est évaluée par des essais métrologiques (répétitivité, reproductibilité). Des valeurs d'incertitudes sont fournies. La mise en oeuvre d'une procédure de vérification d'un moyen de mesure sur site industriel est ensuite discutée. Si elle ne nécessite qu'un étalon de forme pour valider la mesure de forme 3D, elle peut s'avérer plus délicate pour vérifier la justesse de la mesure des déplacements.

The work presented in this thesis deals with the design and the evaluation of a vision sensor made of two catadioptric sensors, one above the other. To obtain a 3D model, it is necessary to calibrate the sensors, that is to say to estimate the relationships between the 3D space and the image plane. A parametric method has been implemented. It uses an ad hoc model and a cylindrical 3D pattern whose points of interest are light-emetting diodes. This method is based on the assumption that the sensor respects the single effective viewpoint constraint, but which is difficult to put into practice. Thus, we propose a non-parametric method which eliminate the problem of model restrictions. The relationships are defined for a finite number of points and numerical interpolation algorithms allow us to approximate the projection and back-projection functions for all pairs of 3D points-2D points. Then, we propose the implementation and the evaluation of a 3D volumetric reconstruction method which models the scene by a 3D array whose cells are voxels. A colorimetric similarity measure of the voxel projections estimate whether or not the voxel is an object in 3D. This method is evaluated on a 3D static reconstruction, that is a simultaneous image acquisition. Then, this method is studied for sensor displacements. This is a 3D dynamic reconstruction which is defined as the intersection of 3D static reconstructions made at successive times., Les travaux de thèse présentés dans ce mémoire ont pour objectif la conception et l'évaluation d'un système de vision 3D constitué de deux capteurs catadioptriques positionnés verticalement. Afin d'obtenir un modèle 3D, l'étalonnage des capteurs, c'est-à-dire l'estimation des relations entre l'espace 3D et le plan image, est un préalable indispensable. Une méthode, qualifiée de paramétrique a tout d'abord été implémentée. Elle utilise un modèle ad hoc et une mire 3D de forme cylindrique dont les points d'intérêt sont des diodes électroluminescentes. Cette méthode formule l'hypothèse d'un centre de projection unique qui peut s'avérer difficile à mettre oeuvre en pra- tique. Nous proposons donc une méthode non-paramétrique qui permet de s'affranchire des contraintes liées aux modèles. Les relations entre l'espace 3D et le plan image sont alors définies pour un nombre fini de points et des algorithmes d'interpolation numérique permettent d'approximer les fonctions de projection et rétro-projection pour tous les couples points 3D-points 2D. Nous proposons ensuite l'implémentation et l'évaluation d'une méthode de reconstruction 3D volumétrique qui modélise la scène sous forme d'un tableau 3D dont chaque cellule est un voxel. Une mesure de similarité colorimétrique des projections du voxel dans chaqu'une des images permet de statuer quant à l'appartenance du voxel à un objet de la scène. Cette méthode est évaluée pour une reconstruction statique de la scène 3D, c'est-à-dire pour une acquisition d'images simultanée. Puis cette méthode est étudiée pour des déplacements du capteur. Il s'agit d'une reconstruction dynamique définie comme l'intersection des reconstructions statiques réalisées à des instants successifs.

The work presented in this thesis contribute to global localization systems for mobile robots using stereovision. This works are in line with the collaboration between LORIA-NANCY from Nancy and the SeT laboratory from UTBM. The proposed localization method is composed of two steps. The first one is a learning environment phase that allows a three-dimensional model generation of the navigation environment. The second step is devoted to the vehicle localization by the three-dimensional model. During the learning phase a three-dimensional model is build on features. These features can be match into geometric constraints (translation, rotation, scale) and/or illumination changes. Constraints are respected using an invariant approach to these variations that allow distant point of views matching. Features are described using several attributes which make them useful for robust localization. From extracted points, the three-dimensional model is build using an incremental method with position adjustment to remove deviations. The localization process computes an accurate vehicle position by matching the three-dimensional features extracted using stereovision and the three-dimensional model data. This matching is done through interest points obtained by a scale invariant feature transform (SIFT) method. The proposed localization method has been evaluated using a simulation platform that allows stereoscopic sensor simulation onto a vehicle navigating into virtual environment. Moreover, some experiments into real conditions have been made to evaluate the method performance., Les travaux présentés dans cette thèse contribuent aux systèmes de localisation pour un robot mobile en utilisant la stéréovision. Ces travaux s'inscrivent dans le cadre d'une collaboration entre le LORIA-INRIA de Nancy et le laboratoire SeT de l'UTBM. L'approche proposée est décomposée en deux étapes. La première étape constitue une phase d'apprentissage qui permet de construire un modèle 3D de l'environnement de navigation. La deuxième étape est consacrée à la localisation du véhicule par rapport au modèle 3D. La phase d'apprentissage a pour objectif de construire un modèle tridimensionnel, à partir de points d'intérêt pouvant être appariés sous différentes contraintes géométriques (translation, rotation, changement d'échelle) et/ou contraintes de changements d'illumination. Dans l'objectif de répondre à toutes ces contraintes, nous utilisons la méthode SIFT (Scale Invariant Feature Transform) permettant des mises en correspondance de vues éloignées. Ces points d'intérêt sont décrits par de nombreux attributs qui font d'eux des caractéristiques très intéressantes pour une localisation robuste. Suite à la mise en correspondance de ces points, un modèle tridimensionnel est construit, en utilisant une méthode incrémentale. Un ajustement des positions est effectué afin d'écarter les éventuelles déviations. La phase de localisation consiste à déterminer la position du mobile par rapport au modèle 3D représentant l'environnement de navigation. Elle consiste à apparier les points 3D reconstruits à partir d'une pose du capteur stéréoscopie et les points 3D du modèle. Cet appariement est effectué par l'intermédiaire des points d'intérêt, issus de la méthode d'extraction SIFT. L'approche proposée a été évaluée en utilisant une plate-forme de simulation permettant de simuler un capteur stéréoscopique, installé sur véhicule naviguant dans un environnement 3D virtuel. Par ailleurs, le système de localisation développé a été testé en utilisant le véhicule instrumenté du laboratoire SeT afin d'évaluer ses performances en conditions réelles d'utilisation.

La lutte contre les feux de forêt nécessite des outils permettant la prédiction de la propagation du front de feu. Des modèles mathématiques de propagation de feu existent et leurs résultats théoriques doivent être confrontés à des situations de feux réels. Des instruments de métrologie doivent être inventés pour réaliser le suivi de l'évolution temporelle de caractéristiques telle que la position et le volume du front de feux, la hauteur et l'inclinaison des flammes. Nous avons fait le choix d'utiliser la stéréovision pour obtenir ces caractéristiques. Ce procédé présente l'avantage d'être non intrusif et facilement utilisable. L'idée principale est d'obtenir à partir d'images en stéréovision un volume tridimensionnel de feu à partir duquel des coupes sont réalisées et les informations nécessaires extraites. Le traitement complet comprend plusieurs phases dont la segmentation afin d'extraire les zones de feu dans les images, la détection de points d'intérêt dans les flammes et sur leur contour, l'appariement des points correspondant entre les images des différents systèmes optiques et enfin la reconstruction tridimensionnelle du feu. Notre objectif est de développer un système complet pouvant être utilisé en total autonomie par les professionnels de la lutte contre les feux.

The aim of this study is to propose a complete 3-dimension reconstruction method of natural submarine objects improved by a new acquisition method for quantitative measures, which can be used in operational conditions. First, it was necessary to take into account the various problems connected with the deep sea environment; the main constraint is that the system used to collect images must be manipulated at very important depths, up to 6000 meters by an underwater vehicle positioned on the sea floor. Thus, a method allowing the automatic acquisition of images was developed, adapted to any type of small-scale submarine object (approximately 1m3). The image acquisition is performed with a stereovision system operated by a manipulator arm. The method that we propose enables us to know extrinsic camera parameters by following a specific trajectory defined by the geometry of a stereo rig. Indeed, the trajectory is generated by the displacement of one camera onto the position of the other one by visual servoing. With this method, we can register images at regular intervals directly linked to the geometry of the stereo rig. Then, the 3D model of the underwater object is calculated from the collected images and camera parameters. The final result is a dense 3D reconstruction with texture mapping that enables metric measures., L'objectif de cette thèse est de proposer une méthodologie complète de reconstruction 3D d'objets sous-marins naturels, améliorée par une nouvelle méthode d'acquisition afin de permettre des mesures quantitatives. Il a d'abord fallu prendre en compte les différents problèmes liés au milieu sous-marin profond ; la contrainte principale est que le système utilisé pour faire l'acquisition des images doit être contrôlé à des profondeurs très importantes, jusqu'`a 6000 mètres, à l'aide d'un véhicule positionné sur le fond. Ainsi, une méthode permettant l'acquisition automatique d'images a été développée, adaptée à tout type d'objet sous-marin de faible échelle (environ 1m3). L'acquisition d'image est réalisée avec un système de stéréovision contrôlé par un bras manipulateur. La méthode que nous proposons permet de connaître les paramètres extrinsèques des caméras du système de vision, par le suivi d'une trajectoire définie par la géométrie de la tête stéréo. Ainsi, la trajectoire est générée par le déplacement d'une caméra sur la position de l'autre caméra par asservissement visuel. Avec cette méthode, nous pouvons enregistrer des images à intervalles réguliers directement liés à la géométrie de la tête stéréo. Ensuite, le modèle 3D de l'objet sous-marin est calculé à partir des images collectées et des paramètres des caméras. Le résultat final est une reconstruction 3D dense avec un plaquage de texture, qui permet de faire des mesures métriques.

This thesis examines the problem of 3D Modelling of indoor environment (supposed unknown) by a mobile robot. Our main contribution consists in constructing a dense geometrical model represented as a heterogeneous map containing textured planar landmarks, 3D lines and interest points. In order to achieve this mission, we must fuse geometrical and photometrical data. Hence, we began by improving the stereo vision algorithm. We proposed a new approach that transform the stereo matching into a problem of minimization of a global energy function. The minimum of this function is found by finding a minimum cut in a graph. The most significant contribution on stereovision is to propose, for the first time, the construction of a reduced graph that allows to accelerate the stereo correspondence using graph cuts and to provide better results than the local methods. Nevertheless, this method remains non applicable in mobile robotics. Also, to perceive the environment, the robot is equipped by a laser scanner rotating around a horizontal axis and by a camera. We proposed an algorithmic chain allowing to construct incrementally the heterogeneous map, using the algorithm of Simultaneous Localization and Mapping based on the extended Kalman filter (EKF-SLAM). Mapping the texture on the planar landmarks makes the model more realistic for a user, and makes more robust the phase of data association, which is essential to guarantee the map consistency. The different developed mechanisms were illustrated by experimental results.; Ce travail traite la problématique de la Modélisation 3D d'un environnement intérieur supposé inconnu par un robot mobile. Notre principale contribution concerne la construction d'un modèle géométrique dense représenté par une carte hétérogène qui combine des amers plans texturés, des lignes 3D et des points d'intérêt. Afin de réaliser cette tâche, nous devons fusionner des données géométriques et photométriques. Pour cela, nous avons d'abord amélioré la stéréovision dense, en proposant une approche qui transforme le problème de la mise en correspondance stéréoscopique en un problème de minimisation d'une fonction d'énergie globale. Le minimum de cette fonction est trouvé par une coupure minimale dans un graphe. Notre contribution réside dans la construction d'un graphe réduit qui a permis d'accélérer considérablement cette méthode globale de l'appariement stéréoscopique et d'obtenir de meilleurs résultats que les méthodes locales. Néanmoins, cette méthode reste non applicable en robotique mobile. Aussi, pour percevoir l'environnement, le robot est équipé d'un télémètre laser pivotant autour d'un axe horizontal et d'une caméra. Nous proposons une chaîne algorithmique permettant de construire de manière incrémentale une carte hétérogène, par l'algorithme de Cartographie et Localisation Simultanées basé sur le filtre de Kalman étendu (EKF-SLAM). Le placage de la texture sur les facettes planes rend le modèle plus réaliste pour un opérateur ; il a permis aussi de solidifier l'étape d'association de données, une étape essentielle pour garantir la cohérence de la carte. Les différents mécanismes développés sont illustrés et validés par des résultats expérimentaux.

Road obstacle detection is a major topic for the developpment of future Advanced Driver Assistance Systems (ADAS). In this document, we propose a multi-sensor approach to obstacle detection. It is assumed to be robust and generic, thanks to a control task confered to stereovision. In the proposed approach, various sensors (stereoscopic sensor, laser scanner, optical identification sensor) provide hypothesis of detections, which are represented as volumes of interest in the disparity space associated to the stereoscopic images. These volumes are then processed by a stereovision algorithm to perform validation and characterization of the hypothesis. We propose a description of this methodology, three methods for the creation of hypothesis, and criteria for their validation. We also explore some practical aspects related to the implementation and the evaluation of the proposed strategy. Particularily, we propose to determine the appropriate method to obtain usable data from the stereoscopic images. Finally, three applications of the proposed methodology, fully operational in experimental vehicles, are presented. They figure how obstacle detection and cooperation with inter-vehicle communication could be used for the developpment of future ADAS.; Parmi les nouvelles technologies envisagées pour le développement d'aides à la conduite innovantes, la détection d'obstacles tient une place importante. Elle permet en effet d'anticiper d'éventuelles collisions, pour un gain réel en sécurité. Cette thèse propose d'aborder le thème de la détection d'obstacles par une approche multi-capteurs qui se veut robuste et générique, grâce au rôle central conféré à la stéréovision. Dans la méthodologie proposée, les différents capteurs (capteur stéréoscopique, télémètre laser, capteur d'identification optique) fournissent des hypothèses de détection sous la forme de volumes d'intérêt dans l'espace de disparité lié aux images stéréoscopiques. Un traitement localisé dans chacune de ces régions permet ensuite de valider et de caractériser ces hypothèses. Nous proposons dans cette thèse la description de cette méthodologie, trois méthodes de création d'hypothèses de détection et des critères pour la validation de celles-ci. Par ailleurs, des aspects pragmatiques liés à la mise en oeuvre de cette approche sont abordés, comme les choix algorithmiques permettant l'obtention en temps réel de données exploitables pour la stéréovision et l'évaluation des méthodes proposées. Enfin, nous présentons trois applications fonctionnant dans des véhicules expérimentaux et anticipant sur de futures aides à la conduite.

Road obstacle detection is a major topic for the developpment of future Advanced Driver Assistance Systems (ADAS). In this document, we propose a multi-sensor approach to obstacle detection. It is assumed to be robust and generic, thanks to a control task confered to stereovision. In the proposed approach, various sensors (stereoscopic sensor, laser scanner, optical identification sensor) provide hypothesis of detections, which are represented as volumes of interest in the disparity space associated to the stereoscopic images. These volumes are then processed by a stereovision algorithm to perform validation and characterization of the hypothesis. We propose a description of this methodology, three methods for the creation of hypothesis, and criteria for their validation. We also explore some practical aspects related to the implementation and the evaluation of the proposed strategy. Particularily, we propose to determine the appropriate method to obtain usable data from the stereoscopic images. Finally, three applications of the proposed methodology, fully operational in experimental vehicles, are presented. They figure how obstacle detection and cooperation with inter-vehicle communication could be used for the developpment of future ADAS.; Parmi les nouvelles technologies envisagées pour le développement d'aides à la conduite innovantes, la détection d'obstacles tient une place importante. Elle permet en effet d'anticiper d'éventuelles collisions, pour un gain réel en sécurité. Cette thèse propose d'aborder le thème de la détection d'obstacles par une approche multi-capteurs qui se veut robuste et générique, grâce au rôle central conféré à la stéréovision. Dans la méthodologie proposée, les différents capteurs (capteur stéréoscopique, télémètre laser, capteur d'identification optique) fournissent des hypothèses de détection sous la forme de volumes d'intérêt dans l'espace de disparité lié aux images stéréoscopiques. Un traitement localisé dans chacune de ces régions permet ensuite de valider et de caractériser ces hypothèses. Nous proposons dans cette thèse la description de cette méthodologie, trois méthodes de création d'hypothèses de détection et des critères pour la validation de celles-ci. Par ailleurs, des aspects pragmatiques liés à la mise en oeuvre de cette approche sont abordés, comme les choix algorithmiques permettant l'obtention en temps réel de données exploitables pour la stéréovision et l'évaluation des méthodes proposées. Enfin, nous présentons trois applications fonctionnant dans des véhicules expérimentaux et anticipant sur de futures aides à la conduite.

Fight against cancer witnessed the rise of new patient care enhancing technologies. Laser ablation is one of the most recent in situ destruction techniques for tumors. An optical fiber has therefore got to be introduced into the core of the tumor by inserting a sheath through skin. This laser diode sends photon so that the tumor can be burned locally without opening the patient, thus considerably reducing the average hospitalization stay. The gesture that has to be performed is however so complex that it dims the great advantages of this therapy. For guidance during each stage, surgeons could use an MRI scanner. This thesis, financed by the Nord Pas de Calais Region and the CHRU from 2005 to 2007, aims at providing tools for interventional MRI during laser ablation. This project will thus not only propose a tool to prepare this highly complex intervention (three-dimensional visualization of patient's tumors, computation of the best trajectory to avoid perforation of vital anatomical structures ...), but will also provide peroperative assisting tools (sheath positioning assisted by stereovision on early centimeter, evaluation of thermal damage of the processed area).During this first step, we turned our attention on hepatic tumors, which remain a challenge, but the system we proposed is adaptable to any abdominal tumor.; La lutte contre le cancer a vu l'émergence de nouvelles technologies permettant d'améliorer le soin aux patients. Parmi celles-ci, la thermo-ablation par laser est une des techniques de destruction in situ des tumeurs les plus récentes. Elle consiste à plonger la fibre optique au cœur d'une tumeur en insérant un guide au travers de la peau. La diode laser émettrice de lumière permet ensuite de brûler localement la tumeur sans abord chirurgical, le patient pourra ainsi quitter plus rapidement l'hôpital. Les énormes avantages de cette thérapie sont cependant limités par la difficulté du geste à réaliser. Pour se guider durant les différentes étapes, le chirurgien pourra utiliser l'imagerie par résonance magnétique.L'objectif de cette thèse, qui bénéficie du soutien de la Région Nord Pas de Calais et du CHRU de Lille de 2005 à 2007, est de fournir des outils pour l'assistance par IRM de la thermo-ablation par laser. Les différents développements offriront ainsi non seulement un outil de préparation à cet acte complexe (visualisation en trois dimensions des tumeurs du patient, calcul de la trajectoire optimale pour éviter la perforation de structures anatomiques vitales ...) mais également des outils d'assistance per-opératoire (positionnement du guide assisté par la stéréovision sur les premiers centimètres, évaluation des dommages thermiques de la zone traitée...).Lors de cette première phase, nous nous sommes concentrés sur les tumeurs hépatiques, qui demeurent une réelle difficulté, tout en proposant un système pouvant être adapté à toute tumeur abdominale.

Fight against cancer witnessed the rise of new patient care enhancing technologies. Laser ablation is one of the most recent in situ destruction techniques for tumors. An optical fiber has therefore got to be introduced into the core of the tumor by inserting a sheath through skin. This laser diode sends photon so that the tumor can be burned locally without opening the patient, thus considerably reducing the average hospitalization stay. The gesture that has to be performed is however so complex that it dims the great advantages of this therapy. For guidance during each stage, surgeons could use an MRI scanner. This thesis, financed by the Nord Pas de Calais Region and the CHRU from 2005 to 2007, aims at providing tools for interventional MRI during laser ablation. This project will thus not only propose a tool to prepare this highly complex intervention (three-dimensional visualization of patient's tumors, computation of the best trajectory to avoid perforation of vital anatomical structures ...), but will also provide peroperative assisting tools (sheath positioning assisted by stereovision on early centimeter, evaluation of thermal damage of the processed area).During this first step, we turned our attention on hepatic tumors, which remain a challenge, but the system we proposed is adaptable to any abdominal tumor., La lutte contre le cancer a vu l'émergence de nouvelles technologies permettant d'améliorer le soin aux patients. Parmi celles-ci, la thermo-ablation par laser est une des techniques de destruction in situ des tumeurs les plus récentes. Elle consiste à plonger la fibre optique au cœur d'une tumeur en insérant un guide au travers de la peau. La diode laser émettrice de lumière permet ensuite de brûler localement la tumeur sans abord chirurgical, le patient pourra ainsi quitter plus rapidement l'hôpital. Les énormes avantages de cette thérapie sont cependant limités par la difficulté du geste à réaliser. Pour se guider durant les différentes étapes, le chirurgien pourra utiliser l'imagerie par résonance magnétique.L'objectif de cette thèse, qui bénéficie du soutien de la Région Nord Pas de Calais et du CHRU de Lille de 2005 à 2007, est de fournir des outils pour l'assistance par IRM de la thermo-ablation par laser. Les différents développements offriront ainsi non seulement un outil de préparation à cet acte complexe (visualisation en trois dimensions des tumeurs du patient, calcul de la trajectoire optimale pour éviter la perforation de structures anatomiques vitales ...) mais également des outils d'assistance per-opératoire (positionnement du guide assisté par la stéréovision sur les premiers centimètres, évaluation des dommages thermiques de la zone traitée...).Lors de cette première phase, nous nous sommes concentrés sur les tumeurs hépatiques, qui demeurent une réelle difficulté, tout en proposant un système pouvant être adapté à toute tumeur abdominale.

In the context of stereovision SLAM, we propose a way to enrich the landmark models. Vision-based SLAM usually approaches rely on interest points associated to a point in the cartesian space : by adjoining oriented planar patches (if they are present in the environment), we augment the landmark description with an oriented frame. Thanks to this additional information, the robot pose is fully obser- vable with the perception of a single landmark, and the knowledge of the patches orientation helps the matching of landmarks perceived from two different viewpoints. The pa- per depicts the chosen landmark model, the way to extract and match them, and presents some SLAM results obtained with such landmarks.

International audience; Nous proposons de décrire un algorithme original d'estimation de la profondeur d'une scène observée par une seule caméra couleur. Notre but est de mettre au point une méthode de reconstruction 3D de montages pour l'usinage, à faible coût, pour la surveillance de la validité des trajectoires d'usinage grande vitesse. L'algorithme suit la méthode que nous avons développée précédemment qui s'appuie sur le traitement d'une image nette et d'une image floue composées en rapport des modules des gradients. Cette méthode, que nous décrivons brièvement, exploite le flou optique mesuré sur les contours comme information de profondeur. Le nouvel algorithme utilise trois images floues acquises d'un même point de vue et avec les mêmes réglages des paramètres du système optique. Seule l'ouverture de l'iris change donnant un flou différent selon les profondeurs et selon la taille de l'ouverture. Nous montrons que nous pouvons substituer à l'acquisition des trois images celle d'une seule image couleur.