Search

In the context of autonomous robots, one of the most contentious topics is the notion of risk. Indeed, no robot escapes from such a question, that is whether robots will not cause any harm to themselves or the living beings in the surrounding environment. Robotics arms have a finite, relatively small workspace where the risk is tackled in a way that the robot completely stops whenever a human enters its workspace. In mobile robotics, this notion is more complex and still an open problem. First, a representation of the environment is needed for the robot to navigate in it. Oftentimes, the preferred representation of the environment is the semantic one, where each obstacle is stored as a single, unique entity. However, in complex scenarios or unstructured environments, detecting such obstacles is a tedious task and missing one could lead to disastrous events. In these cases, a metric map is used where each position stores the information of occupancy. The most common type of metric map is the Bayesian occupancy map. However, this type of map is not well-fitted to perform risk assessment for continuous paths due to its discrete nature. Hence, we introduce in this thesis a novel type of map called Lambda-Field, specially designed for risk assessment. The Lambda-Fields are a counterpart of the classical Bayesian occupancy grid. Instead of storing the probability of occupancy at each position, the Lambda-Field stores the intensity that a collision will occur at this position: the higher the intensity, the higher the probability of collision. Using this novel formulation, the Lambda-Fields are able to assess a generic risk over a path. Contrary to the Bayesian occupancy grid, the use of intensity instead of directly the probability of collision allows the risk assessment framework to produce physic-based metrics that conserve their physical units. Throughout this thesis, we present how to construct and use the Lambda-Field in both static and dynamic environments. We demonstrate that the Lambda-Field also possesses interesting mapping properties that induce more accurate maps of unstructured environments. Using this risk definition and the Lambda-Field, we show that our framework is capable of doing classical path planning but also cross unstructured environments where a Bayesian occupancy grid would not find any path., Dans le contexte des robots autonomes, l'un des sujets les plus controversés est la notion de risque. En effet, aucun robot n'échappe à une telle question, à savoir si ce robot ne causera aucun dommage à lui-même ou aux êtres vivants dans l'environnement qui l'entoure. Les bras robotiques ont un espace de travail fini et relativement petit, où le risque est abordé de telle sorte que le robot s'arrête complètement dès qu'un humain pénètre dans son espace de travail. En robotique mobile, cette notion est plus complexe et reste un problème ouvert. Souvent, la représentation préférée de l'environnement est la représentation sémantique, où chaque obstacle est stocké comme une entité unique. Cependant, dans des scénarios complexes ou des environnements non structurés, la détection de tels obstacles est une tâche fastidieuse et en manquer un peut conduire à des événements désastreux. Dans ces cas, une carte métrique est utilisée, où chaque position stocke l'information d'occupation. Le type le plus courant de carte métrique est la carte d'occupation bayésienne. Cependant, ce type de carte n'est pas bien adapté pour calculer l'évaluation du risque pour les chemins continus en raison de sa nature discrète. Par conséquent, nous introduisons dans cette thèse un nouveau type de carte appelé Lambda-Field, spécialement conçu pour l'évaluation du risque. Les Lambda-Fields sont une contrepartie de la grille d'occupation bayésienne classique. Au lieu de stocker la probabilité d'occupation à chaque position, le Lambda-Field stocke l'intensité de la probabilité qu'une collision se produise à cette position : plus l'intensité est élevée, plus la probabilité de collision est élevée. Grâce à cette nouvelle formulation, les Lambda-Fields sont capables d'évaluer un risque générique sur un chemin. Contrairement à la grille d'occupation bayésienne, l'utilisation de l'intensité au lieu de la probabilité directe de collision permet à la méthode d'évaluation de risque de produire des métriques basées sur la physique qui conservent leurs unités physiques. Tout au long de cette thèse, nous présentons comment construire et utiliser le Lambda-Field dans des environnements statiques et dynamiques. Nous montrons que le Lambda-Field possède également des propriétés cartographiques intéressantes qui induisent des cartes d'environnements non structurés plus précises. En utilisant cette définition du risque et le Lambda-Field, nous montrons que notre méthode est capable de faire de la planification de chemin classique mais aussi de traverser des environnements non structurés où une grille d'occupation bayésienne ne trouverait pas de chemin.

In the context of modern connected world, the concept of atomic data transfer/transaction has been completely redefined. Traditional distributed databases solve the issue of data safety through classical Atomicity, Consistency, Isolation and Durability (ACID) properties. However, the complex issue of transaction security remains difficult to address. Introducing blockchain (BC) as distributed database partially solves the problem but another issue arises i.e., BC’s modeling and evaluation. For e.g., what parameter values are ideal, is the selected blockchain framework compatible, etc.In this thesis, we solve it through dimensioning of BC using graph theory. With binomial distribution and preferential attachment models, we model the underlying BC P2P network to reduce topology control overhead while ensuring high flexibility, fast reconfigurability, connectivity, small diameter and clustering. Next, to reduce the no. of connections per peer, we establish ideal bounds on outbound and inbound connections that still guarantee P2P network feasibility and connectivity using r-out digraphs. For an already developed BC framework, we evaluate its applicability through topology mapping. We demonstrate the efficiency of our approach using our BTCmap framework applied to Bitcoin and present its real captured snapshot.However, using BC alone cannot holistically secure transaction as it only guarantees data immutability whereas in most scenarios, the data has also to be secured at point of generation and usage. Further, BC has high overhead and cannot penetrate to lower levels in a system. To mitigate this, we propose the use of Secure Element (SE) to establish “root of trust”, following the “secure by design” paradigm.Using these two technologies as the base of our proposed decentralized system, we apply it to three disparate fields. In Smart Grids, we address the problem of designing of distributed marketplace using the concepts of blockchain, SE, applied smart contracts, escrow accounts. We also address the issue of large data storage on blockchain for DR and centralization in DR allotment by designing a decentralized autonomous bidding system. We also propose a fair and efficient DR allotment algorithm whose execution time is less than 1 minute for more than 20k participants.Next, we apply our BC-SE based Safeguarding Framework (SaFe) to smart vehicles and address the problem of insecure Execution and Storage Environment within the smart vehicle. With SaFe, we show, how non-repudiable responsibility can be enforced. This ensures that when regulators audit the data, its veracity is undeniable. The issue of secure firmware update and key management is also solved while improving performance.In IoT, we apply our SE BC Stratagem (SEBS) to solve the pressing issue of holistic data security in resource constrained devices i.e., securing data at all 3 points viz., generation, storage, and usage while maintaining very low overhead and improving performance. We also address the niche issue of verification of blockchain data where a remote device which receives data from blockchain through an intermediary, does not have resources and online connectivity to verify it. By proposing SEOVA's double signature algorithm using the technology of SE, we successfully solve this issue without compromising on security and privacy.In the last leg, we solve the classical problem of sensor monitoring where data is transmitted using "limited transmit" method which results in aperiodicity in transmit patterns for various onsite sensors. The system on the other end must distinguish between two scenarios i.e. 1) data is not transmitted because transmission conditions are unmet, and 2) data is not transmitted because of an error on remote site. Given the same outcome for both cases, our SE-based PulSec framework, cleverly solves this problem while maintaining extremely low overhead (bandwidth=7.73 B/s, memory=464 B, time=500 ms) and zero false-positive cases; Les bases de données distribuées traditionnelles résolvent le problème de la sûreté des données grâce aux propriétés classiques d'atomicité, de cohérence, d'isolation et de durabilité (ACID) des transactions en charge de la mise à jour de ces données. Cependant, la question complexe de la sécurité des transactions reste difficile à résoudre. L'introduction de la chaîne de blocs (BlockChain : BC) en tant que base de données distribuée résout partiellement le problème, mais une autre question se pose, à savoir la modélisation et l'évaluation de la performance de la BC. Dans cette thèse, nous étudions le problème de dimensionnement de la BC en utilisant la théorie des graphes. À l'aide d’un modèle de distribution binomiale pour la sélection des nœuds voisins, nous modélisons le réseau P2P sous-jacent d’une BC pour le contrôle de la topologie du réseau P2P. Ensuite nous caractérisons le nombre de connexions sortantes et entrantes qui garantissent la connectivité du réseau P2P à l'aide de digraphes r-out. Nous démontrons l'efficacité de notre approche en utilisant notre outil BTCmap appliqué à un réseau existant.L'utilisation de la BC seule ne peut pas sécuriser les transactions de manière globale car elle ne garantit que l'immuabilité des données. Cependant, les données doivent également être sécurisées à leur source. De plus, la BC a un coût élevé en termes de puissance de calcul et ne peut pas être utilisée au niveau des nœuds sources des données. Pour traiter ce problème, nous proposons d'utiliser le concept d'élément de sécurité (SE) pour établir une "chaîne de confiance" selon le paradigme de la "sécurité par conception". Nous appliquons notre approche SE+BC à trois différents contextes:-Dans le cadre des réseaux intelligents, nous abordons le problème de conception d'un marché distribué pour l’énergie en utilisant les concepts de contrats intelligents et de comptes séquestre. Nous abordons également le problème du stockage de données sur la chaîne de blocs pour la proposition d’un service d’effacement énergétique décentralisé.-Ensuite, nous nous nous nous attaquons au problème de l'environnement d'exécution et de stockage non sécurisé dans un véhicule intelligent. Avec la solution SaFe, nous montrons comment la responsabilité non-réfutable peut être mise en œuvre. Cela garantit que lorsque les régulateurs vérifient les données, leur véracité est indéniable. La question de la mise à jour sécurisée des microprogrammes et de la gestion des clés de chiffrement est résolue par la solution SaFe.-Dans le contexte de l’Internet des Objets, nous appliquons notre stratégie SE-BC dans la solution SEBS, pour résoudre le problème de la sécurité globale des données dans les dispositifs à ressources limitées. Nous sécurisons les données en trois points, à savoir le point de génération, le stockage et l'utilisation avec un coût faible. Nous abordons également la question de la vérification des données de la BC lorsqu'un appareil distant qui reçoit des données de la BC par un intermédiaire ne dispose pas des ressources et de la connectivité en ligne nécessaires pour les vérifier. En proposant l'algorithme de double signature de SEOVA utilisant la technologie de SE, nous proposons une solution à ce problème sans compromettre la sécurité et la confidentialité. Pour finir, nous résolvons le problème classique de la surveillance de capteurs où les données sont transmises en utilisant une méthode de "transmission limitée" qui conduit à une apériodicité dans les transmissions de divers capteurs sur site. Le système à l'autre bout de la chaîne qui récupère les données doit distinguer deux scénarios : 1) les données ne sont pas transmises parce que les conditions de transmission ne sont pas remplies, c.a.d. pas de changement des données, et 2) les données ne sont pas transmises en raison d'une erreur sur un site distant. Avec le même résultat pour les deux cas, notre solution PulSec, basé sur les SE, résout ce problème avec un coût très faible

Intelligent vehicles are a key component in humanity’s vision for safer, efficient, and accessible transportation systems across the world. Due to the multitude of data sources and processes associated with Intelligent vehicles, the reliability of the total system is greatly dependent on the possibility of errors or poor performances observed in its components. In our work, we focus on the critical task of localization of intelligent vehicles and address the challenges in monitoring the integrity of data sources used in localization. The primary contribution of our research is the proposition of a novel protocol for integrity by combining integrity concepts from information systems with the existing integrity concepts in the field of Intelligent Transport Systems (ITS). An integrity monitoring framework based on the theorized integrity protocol that can handle multimodal localization problems is formalized. As the first step, a proof of concept for this framework is developed based on cross-consistency estimation of data sources using polynomial models. Based on the observations from the first step, a 'Feature Grid' data representation is proposed in the second step and a generalized prototype for the framework is implemented. The framework is tested in highways as well as complex urban scenarios to demonstrate that the proposed framework is capable of providing continuous integrity estimates of multimodal data sources used in intelligent vehicle localization., Les véhicules intelligents sont un élément clé pour des systèmes de transport plus sûrs, efficaces et accessibles à travers le monde. En raison de la multitude de sources de données et de processus associés aux véhicules intelligents, la fiabilité de l'ensemble du système dépend fortement de la possibilité d'erreurs ou de mauvaises performances observées dans ses composants. Dans notre travail, nous nous intéressons à la tâche critique de localisation des véhicules intelligents et relevons les défis de la surveillance de l'intégrité des sources de données utilisées dans la localisation. La contribution clé de notre recherche est la proposition d'un nouveau protocole d'intégrité en combinant les concepts d'intégrité des systèmes d'information et les concepts d'intégrité existants dans les Systèmes de Transport Intelligents (STI). Un cadre de surveillance de l'intégrité basé sur le protocole d'intégrité proposé qui peut gérer les problèmes de localisation multimodale est développé. Dans la première étape, une preuve de concept pour ce cadre est développée sur la base d'une estimation de cohérence croisée des sources de données à l'aide de modèles polynomiaux. Sur la base des observations de la première étape, une représentation des données «Feature Grid» est proposée dans la deuxième étape et un prototype généralisé pour le cadre est mis en œuvre. Le cadre est testé sur les autoroutes ainsi que dans des scénarios urbains complexes pour démontrer que le cadre proposé est capable de fournir des estimations d'intégrité continue des sources de données multimodales utilisées dans la localisation intelligente des véhicules.

With the aim of developing a more advanced parking system than what is currently available, different maneuvers typically performed in parking situations have been revisited using an original Multi- Sensor-Based Control (MSBC) approach. Furthermore, in order to overcome the well-known limitations of classical sensorbased techniques, the parking maneuvers have been formalized as well under a common Multi-Sensor-Based Predictive Control (MSBPC) framework. The developed strategies have been tested extensively using a robotized Renault ZOE with positive outcomes.; Dans l’objectif de développer des systèmes de parking plus avancés que ce que l’on trouve actuellement, différentes manoeuvres typiquement réalisées dans des situations de parking ont été revisitées en utilisant une approche originale : la commande référencée multi-capteurs. En outre, pour surmonter les limitations bien connues des techniques référencée capteur classiques, les manoeuvres de parking ont également été formalisées dans un cadre commun de commande prédictive référencée multi-capteur. Les stratégies développées ont été testées avec une Renault ZOE robotisée validant l’approche.

With the aim of developing a more advanced parking system than what is currently available, different maneuvers typically performed in parking situations have been revisited using an original Multi- Sensor-Based Control (MSBC) approach. Furthermore, in order to overcome the well-known limitations of classical sensorbased techniques, the parking maneuvers have been formalized as well under a common Multi-Sensor-Based Predictive Control (MSBPC) framework. The developed strategies have been tested extensively using a robotized Renault ZOE with positive outcomes.; Dans l’objectif de développer des systèmes de parking plus avancés que ce que l’on trouve actuellement, différentes manoeuvres typiquement réalisées dans des situations de parking ont été revisitées en utilisant une approche originale : la commande référencée multi-capteurs. En outre, pour surmonter les limitations bien connues des techniques référencée capteur classiques, les manoeuvres de parking ont également été formalisées dans un cadre commun de commande prédictive référencée multi-capteur. Les stratégies développées ont été testées avec une Renault ZOE robotisée validant l’approche.

Road traffic accidents have always been a concern to the driving community which has led to various research developments for improving the way we drive the vehicles. Since human error causes most of the road accidents, introducing automation in the vehicle is an efficient way to address this issue thus making the vehicles intelligent. This approach has led to the development of ADAS (Advanced Driver Assistance Systems) functionalities. The process of introducing automation in the vehicle is continuously evolving. Currently the research in this field has targeted full autonomy of the vehicle with the aim to tackle the road safety to its fullest potential. The gap between ADAS and full autonomy is not narrow. One of the approach to bridge this gap is to introduce collaboration between human driver and autonomous system. There have been different methodologies such as haptic feedback, cooperative driving where the autonomous system adapts according to the human driving inputs/intention for the corrective action each having their own limitations. This work addresses the problem of shared control authority between human driver and autonomous driving system without haptic feedback using the fusion of driving inputs. The development of shared control authority is broadly divided into different stages i.e. shared control framework, driving input assessment, driving behavior prediction, fusion process etc. Conflict resolution is the high level strategy introduced in the framework for achieving the fusion. The driving inputs are assessed with respect to different factors such as collision risk, speed limitation,lane/road departure prevention etc in the form of degree of belief in the driving input admissibility using sensor data. The conflict resolution is targeted for a particular time horizon in the future using a sensor based driving input prediction using neural networks. A two player non-cooperative game (incorporating admissibility and driving intention) is defined to represent the conflict resolution as a bargaining problem. The final driving input is computed using the Nash equilibrium. The shared control strategy is validated using a test rig integrated with the software Simulink and IPG CarMaker. Various aspects of shared control strategy such as human-centered, collision avoidance, absence of any driving input, manual driving refinement etc were included in the validation process.; Ce travail aborde le problème de l’autorité de contrôle partagée entre les conducteurs et système de conduite autonome sans retour haptique utilisant la fusion des entrées de conduite. Le développement d’une autorité de contrôle partagée est divisé en différentes étapes : cadre de contrôle partagé, évaluation des facteurs de conduite, prévision du comportement de conduite, processus de fusion, etc. La résolution des conflits est la stratégie de haut niveau introduite dans le cadre permettant de réaliser la fusion. Les entrées de conduite sont évaluées en fonction de différents facteurs tels que le risque de collision, la limitation de vitesse, la prévention de voie / départ, etc., sous la forme d’un degré de confiance dans l’admissibilité d’une entrée de conduite à l’aide de données de capteur. La résolution de conflit est ciblée pour un horizon temporel particulier dans le futur en utilisant une prédiction d’entrée de conduite basée sur un capteur utilisant des réseaux de neurones. Un jeu non coopératif à deux joueurs (comprenant l’admissibilité et l’intention de conduite) est défini comme représentant la résolution du conflit comme un problème de négociation. L’entrée motrice finale est calculée en utilisant l’équilibre de Nash. La stratégie de contrôle partagé est validée à l’aide d’un banc d’essai intégré aux logiciels Simulink et IPG CarMaker. Divers aspects de la stratégie de contrôle partagé, tels que l’accent mis sur l’homme, la prévention des collisions, l’absence de toute information sur la conduite, l’affinement de la conduite manuelle, etc., ont été inclus dans le processus de validation.

Road traffic accidents have always been a concern to the driving community which has led to various research developments for improving the way we drive the vehicles. Since human error causes most of the road accidents, introducing automation in the vehicle is an efficient way to address this issue thus making the vehicles intelligent. This approach has led to the development of ADAS (Advanced Driver Assistance Systems) functionalities. The process of introducing automation in the vehicle is continuously evolving. Currently the research in this field has targeted full autonomy of the vehicle with the aim to tackle the road safety to its fullest potential. The gap between ADAS and full autonomy is not narrow. One of the approach to bridge this gap is to introduce collaboration between human driver and autonomous system. There have been different methodologies such as haptic feedback, cooperative driving where the autonomous system adapts according to the human driving inputs/intention for the corrective action each having their own limitations. This work addresses the problem of shared control authority between human driver and autonomous driving system without haptic feedback using the fusion of driving inputs. The development of shared control authority is broadly divided into different stages i.e. shared control framework, driving input assessment, driving behavior prediction, fusion process etc. Conflict resolution is the high level strategy introduced in the framework for achieving the fusion. The driving inputs are assessed with respect to different factors such as collision risk, speed limitation,lane/road departure prevention etc in the form of degree of belief in the driving input admissibility using sensor data. The conflict resolution is targeted for a particular time horizon in the future using a sensor based driving input prediction using neural networks. A two player non-cooperative game (incorporating admissibility and driving intention) is defined to represent the conflict resolution as a bargaining problem. The final driving input is computed using the Nash equilibrium. The shared control strategy is validated using a test rig integrated with the software Simulink and IPG CarMaker. Various aspects of shared control strategy such as human-centered, collision avoidance, absence of any driving input, manual driving refinement etc were included in the validation process., Ce travail aborde le problème de l’autorité de contrôle partagée entre les conducteurs et système de conduite autonome sans retour haptique utilisant la fusion des entrées de conduite. Le développement d’une autorité de contrôle partagée est divisé en différentes étapes : cadre de contrôle partagé, évaluation des facteurs de conduite, prévision du comportement de conduite, processus de fusion, etc. La résolution des conflits est la stratégie de haut niveau introduite dans le cadre permettant de réaliser la fusion. Les entrées de conduite sont évaluées en fonction de différents facteurs tels que le risque de collision, la limitation de vitesse, la prévention de voie / départ, etc., sous la forme d’un degré de confiance dans l’admissibilité d’une entrée de conduite à l’aide de données de capteur. La résolution de conflit est ciblée pour un horizon temporel particulier dans le futur en utilisant une prédiction d’entrée de conduite basée sur un capteur utilisant des réseaux de neurones. Un jeu non coopératif à deux joueurs (comprenant l’admissibilité et l’intention de conduite) est défini comme représentant la résolution du conflit comme un problème de négociation. L’entrée motrice finale est calculée en utilisant l’équilibre de Nash. La stratégie de contrôle partagé est validée à l’aide d’un banc d’essai intégré aux logiciels Simulink et IPG CarMaker. Divers aspects de la stratégie de contrôle partagé, tels que l’accent mis sur l’homme, la prévention des collisions, l’absence de toute information sur la conduite, l’affinement de la conduite manuelle, etc., ont été inclus dans le processus de validation.

The growth in the number of mobile devices today result in an increasing demand for large amount of rich multimedia content to support numerous applications. It is however challenging for the current cellular networks to deal with such increasing demand, both in terms of cost and bandwidth that are necessary to handle the “massive” content generated and consumed by mobile users in an urban environment. This is partly due to the connection-centric nature of current mobile systems. The technological advancement in modern vehicles allow us to harness their computing, caching and communication capabilities to supplement infrastructure network. It is now possible to recruit smart vehicles to collect, store and share heterogeneous data on urban streets in order to provide citizens with different services. Therefore, we leverage the recent shift towards Information Centric Networking (ICN) to introduce two novel schemes, VISIT and SAVING. These schemes aim the efficient collection and storage of content at vehicles, closer to the urban mobile user, to reduce bandwidth demand and cost. VISIT is a platform which defines novel centrality metrics, based on the social interest of urban users, to identify and select the appropriate set of best candidate vehicles to perform urban data collection. SAVING is a social-aware data storage system which exploits complex networks to present game-theoretic solutions for finding and recruiting the vehicles, which are adequate to perform collaborative content caching in an urban environment. VISIT and SAVING are simulated for about 2986 vehicles with realistic urban mobility traces. Comparison results with other schemes in the literature suggest that both are not only efficient but also scalable data collection and storage systems., De nos jours, Le nombre de dispositifs ne cesse d’augmenter ce qui induit une forte demande des applications en données multimédia. Cependant gérer des données massives générées et consommées par les utilisateurs mobiles dans une zone urbaine reste une problématique de taille pour les réseaux cellulaires existants qui sont à la fois limités en termes de cout et de bande passante mais aussi due à la nature de telles données centrées- connexion. D’autre part, l’avancée technologique en matière de véhicules autonomes permet de constituer une infrastructure prometteuse capable de prendre en charge le traitement, la sauvegarde, et la communication de ces données. En effet, Il est maintenant possible de recruter des véhicules intelligents pour des fins de collecte, de stockage, et de partage des données hétérogènes en provenance d’un réseau routier afin de répondre aux demandes des citoyens via des applications. Par conséquent, nous tirons profit de l'évolution récente en « information Centric Networking » ICN afin d'introduire deux nouvelles approches de collecte et de stockage de contenu par les véhicules, nommées respectivement VISIT et SAVING, plus efficaces et plus proches de l'utilisateur mobile en zone urbaine ainsi nous remédions aux problèmes liés à la bande passante et le coût. VISIT est une plate-forme qui définit de nouvelles mesures de centralité basées sur l'intérêt social des citoyens afin d’identifier et de sélectionner l'ensemble approprié des meilleurs véhicules candidats pour la collecte des données urbaines. SAVING est un système de stockage de données sociales, qui présente une solution de mise en cache des données d’une façon collaborative entre un ensemble de véhicules parmi d’autres désignés et recrutés selon une stratégie des théorie des jeux basée sur les réseaux complexes. Nous avons testé ces deux méthodes VISIT et SAVING sur des données simulées pour environ 2986 véhicules avec des traces de mobilité réalistes en zone urbaine, et les résultats ont prouvés que les deux méthodes permettent non seulement une collecte et un stockage efficaces mais aussi bien scalables

For autonomous or semi-autonomous intelligent vehicles, perception constitutes the first fundamental task to be performed before decision and action/control. Through the analysis of video, Lidar and radar data, it provides a specific representation of the environment and of its state, by extracting key properties from sensor data with time integration of sensor information. Compared to other perception modalities such as GPS, inertial or range sensors (Lidar, radar, ultrasonic), the cameras offer the greatest amount of information. Thanks to their versatility, cameras allow intelligent systems to achieve both high-level contextual and low-level geometrical information about the observed scene, and this is at high speed and low cost. Furthermore, the passive sensing technology of cameras enables low energy consumption and facilitates small size system integration. The use of cameras is however, not trivial and poses a number of theoretical issues related to how this sensor perceives its environmen. In this thesis, we propose a vision-only system for moving object detection. Indeed,within natural and constrained environments observed by an intelligent vehicle, moving objects represent high risk collision obstacles, and have to be handled robustly. We approach the problem of detecting moving objects by first extracting the local contextusing a color-based road segmentation. After transforming the color image into illuminant invariant image, shadows as well as their negative influence on the detection process can be removed. Hence, according to the feature automatically selected onthe road, a region of interest (ROI), where the moving objects can appear with a high collision risk, is extracted. Within this area, the moving pixels are then identified usin ga plane+parallax approach. To this end, the potential moving and parallax pixels a redetected using a background subtraction method; then three different geometrical constraints : the epipolar constraint, the structural consistency constraint and the trifocaltensor are applied to such potential pixels to filter out parallax ones. Likelihood equations are also introduced to combine the constraints in a complementary and effectiveway. When stereo vision is available, the road segmentation and on-road obstacles detection can be refined by means of the disparity map with geometrical cues. Moreover, in this case, a robust tracking algorithm combining image and depth information has been proposed. If one of the two cameras fails, the system can therefore come back to a monocular operation mode, which is an important feature for perception system reliability and integrity. The different proposed algorithms have been tested on public images data set with anevaluation against state-of-the-art approaches and ground-truth data. The obtained results are promising and show that the proposed methods are effective and robust on the different traffic scenarios and can achieve reliable detections in ambiguous situations., Pour les véhicules intelligents autonomes ou semi-autonomes, la perception constitue la première tâche fondamentale à accomplir avant la décision et l’action. Grâce à l’analyse des données vidéo, Lidar et radar, elle fournit une représentation spécifique de l’environnement et de son état, à travers l’extraction de propriétés clés issues des données des capteurs. Comparé à d’autres modalités de perception telles que le GPS, les capteurs inertiels ou les capteurs de distance (Lidar, radar, ultrasons), les caméras offrent la plus grande quantité d’informations. Grâce à leur polyvalence, les caméras permettent aux systèmes intelligents d’extraire à la fois des informations contextuelles de haut niveau et de reconstruire des informations géométriques de la scène observée et ce, à haute vitesse et à faible coût. De plus, la technologie de détection passive des caméras permet une faible consommation d’énergie et facilite leur miniaturisation. L’utilisation des caméras n’est toutefois pas triviale et pose un certain nombre de questions théoriques liées à la façon dont ce capteur perçoit son environnement. Dans cette thèse, nous proposons un système de détection d’objets mobiles basé seule- ment sur l’analyse d’images. En effet, dans les environnements observés par un véhicule intelligent, les objets en mouvement représentent des obstacles avec un risque de collision élevé, et ils doivent être détectés de manière fiable et robuste. Nous abordons le problème de la détection d’objets mobiles à partir de l’extraction du contexte local reposant sur une segmentation de la route. Après transformation de l’image couleur en une image invariante à l’illumination, les ombres peuvent alors être supprimées réduisant ainsi leur influence négative sur la détection d’obstacles. Ainsi, à partir d’une sélection automatique de pixels appartenant à la route, une région d’intérêt où les objets en mouvement peuvent apparaître avec un risque de collision élevé, est extraite. Dans cette zone, les pixels appartenant à des objets mobiles sont ensuite identifiés à l’aide d’une approche plan+parallaxe. À cette fin, les pixels potentiellement mobiles et liés à l’effet de parallaxe sont détectés par une méthode de soustraction du fond de l’image; puis trois contraintes géométriques différentes: la contrainte épipolaire, la contrainte de cohérence structurelle et le tenseur trifocal, sont appliquées à ces pixels pour filtrer ceux issus de l’effet de parallaxe. Des équations de vraisemblance sont aussi proposées afin de combiner les différents contraintes d’une manière complémentaire et efficace. Lorsque la stéréovision est disponible, la segmentation de la route et la détection d’obstacles peuvent être affinées en utilisant une segmentation spécifique de la carte de disparité. De plus, dans ce cas, un algorithme de suivi robuste combinant les informations de l’image et la profondeur des pixels a été proposé. Ainsi, si l’une des deux caméras ne fonctionne plus, le système peut donc revenir dans un mode de fonctionnement monoculaire ce qui constitue une propriété importante pour la fiabilité et l’intégrité du système de perception. Les différents algorithmes proposés ont été testés sur des bases de données d’images publiques en réalisant une évaluation par rapport aux approches de l’état de l’art et en se comparant à des données de vérité terrain. Les résultats obtenus sont prometteurs et montrent que les méthodes proposées sont efficaces et robustes pour différents scénarios routiers et les détections s’avèrent fiables notamment dans des situations ambiguës.

Autonomous Vehicles (AV) applications and Advanced Driving Assistance Systems (ADAS) relay in scene understanding processes allowing high level systems to carry out decision marking. For such systems, the localization of a vehicle evolving in a structured dynamic environment constitutes a complex problem of crucial importance. Our research addresses scene structure detection, localization and error modeling. Taking into account the large functional spectrum of vision systems, the accessibility of Open Geographical Information Systems (GIS) and the widely presence of Global Positioning Systems (GPS) onboard vehicles, we study the performance and the reliability of a vehicle localization method combining such information sources. Monocular vision–based lane marking detection provides key information about the scene structure. Using an enhanced multi-kernel framework with hierarchical weights, the proposed parametric method performs, in real time, the detection and tracking of the ego-lane marking. A self-assessment indicator quantifies the confidence of this information source. We conduct our investigations in a localization system which tightly couples GPS, GIS and lane makings in the probabilistic framework of Particle Filter (PF). To this end, it is proposed the use of lane markings not only during the map-matching process but also to model the expected ego-vehicle motion. The reliability of the localization system, in presence of unusual errors from the different information sources, is enhanced by taking into account different confidence indicators. Such a mechanism is later employed to identify error sources. This research concludes with an experimental validation in real driving situations of the proposed methods. They were tested and its performance was quantified using an experimental vehicle and publicly available datasets., Les applications pour véhicules autonomes et les systèmes d’aide avancée à la conduite (Advanced Driving Assistance Systems - ADAS) mettent en oeuvre des processus permettant à des systèmes haut niveau de réaliser une prise de décision. Pour de tels systèmes, la connaissance du positionnement précis (ou localisation) du véhicule dans son environnement est un pré-requis nécessaire. Cette thèse s’intéresse à la détection de la structure de scène, au processus de localisation ainsi qu’à la modélisation d’erreurs. A partir d’un large spectre fonctionnel de systèmes de vision, de l’accessibilité d’un système de cartographie ouvert (Open Geographical Information Systems - GIS) et de la large diffusion des systèmes de positionnement dans les véhicules (Global Positioning System - GPS), cette thèse étudie la performance et la fiabilité d’une méthode de localisation utilisant ces différentes sources. La détection de marquage sur la route réalisée par caméra monoculaire est le point de départ permettant de connaître la structure de la scène. En utilisant, une détection multi-noyau avec pondération hiérarchique, la méthode paramétrique proposée effectue la détection et le suivi des marquages sur la voie du véhicule en temps réel. La confiance en cette source d’information a été quantifiée par un indicateur de vraisemblance. Nous proposons ensuite un système de localisation qui fusionne des informations de positionnement (GPS), la carte (GIS) et les marquages détectés précédemment dans un cadre probabiliste basé sur un filtre particulaire. Pour ce faire, nous proposons d’utiliser les marquages détectés non seulement dans l’étape de mise en correspondance des cartes mais aussi dans la modélisation de la trajectoire attendue du véhicule. La fiabilité du système de localisation, en présence d’erreurs inhabituelles dans les différentes sources d’information, est améliorée par la prise en compte de différents indicateurs de confiance. Ce mécanisme est par la suite utilisé pour identifier les sources d’erreur. Cette thèse se conclut par une validation expérimentale des méthodes proposées dans des situations réelles de conduite. Leurs performances ont été quantifiées en utilisant un véhicule expérimental et des données en libre accès sur internet.

Perception is a fundamental input for robotic systems, particularly for positioning, navigation and interaction with the environment. But the data perceived by these systems are often complex and subject to significant imprecision. To overcome these problems, the multi-sensor approach uses either multiple sensors of the same type to exploit their redundancy or sensors of different types for exploiting their complementarity to reduce the sensors inaccuracies and uncertainties. The validation of the data fusion approach raises two major problems. First, the behavior of fusion algorithms is difficult to predict, which makes them difficult to verify by formal approaches. In addition, the open environment of robotic systems generates a very large execution context, which makes the tests difficult and costly. The purpose of this work is to propose an alternative to validation by developing fault tolerance mechanisms : since it is difficult to eliminate all the errors of the perceptual system, We will try to limit impact in their operation. We studied the inherently fault tolerance allowed by data fusion by formally analyzing the data fusion algorithms, and we have proposed detection and recovery mechanisms suitable for multi-sensor perception, we implemented the proposed mechanisms on vehicle localization application using Kalman filltering data fusion. We evaluated the proposed mechanims using the real data replay and fault injection technique.; La perception est une entrée fondamentale des systèmes robotiques, en particulier pour la localisation, la navigation et l'interaction avec l'environnement. Or les données perçues par les systèmes robotiques sont souvent complexes et sujettes à des imprécisions importantes. Pour remédier à ces problèmes, l'approche multi-capteurs utilise soit plusieurs capteurs de même type pour exploiter leur redondance, soit des capteurs de types différents pour exploiter leur complémentarité afin de réduire les imprécisions et les incertitudes sur les capteurs. La validation de cette approche de fusion de données pose deux problèmes majeurs.Tout d'abord, le comportement des algorithmes de fusion est difficile à prédire,ce qui les rend difficilement vérifiables par des approches formelles. De plus, l'environnement ouvert des systèmes robotiques engendre un contexte d'exécution très large, ce qui rend les tests difficiles et coûteux. L'objet de ces travaux de thèse est de proposer une alternative à la validation en mettant en place des mécanismes de tolérance aux fautes : puisqu'il est difficile d'éliminer toutes les fautes du système de perception, on va chercher à limiter leurs impacts sur son fonctionnement. Nous avons étudié la tolérance aux fautes intrinsèquement permise par la fusion de données en analysant formellement les algorithmes de fusion de données, et nous avons proposé des mécanismes de détection et de rétablissement adaptés à la perception multi-capteurs. Nous avons ensuite implémenté les mécanismes proposés pour une application de localisation de véhicules en utilisant la fusion de données par filtrage de Kalman. Nous avons finalement évalué les mécanismes proposés en utilisant le rejeu de données réelles et la technique d'injection de fautes, et démontré leur efficacité face à des fautes matérielles et logicielles.

My research focuses on trajectory planning and control of autonomous vehicles. This work is a part of an extremely ambitious project launched by the Heudiasyc laboratory about autonomous driving at high speed (longitudinal speed greater to 5m/s ~= 18 km/h). With regard to the control of autonomous vehicles at high speed, a lateral controler using higher-order sliding mode control is proposed. Given the implicit similarity between the sliding mode and the principle of immersion and invariance, two controllers using the principle of immersion and invariance have been subsequently proposed in order to improve the performance with respect to the sliding mode. The development of these new controllers shows very strong robust stability which leads us to study the intrinsic properties of the system. A study of the passivity properties of the system is also crried out, showing some interesting characteristics of the system. Hence, a robust passivity-based controller has been developed. Regarding the navigation, we have developed two navigation algorithms based on the tentacles method. Subsequently, a feasibility study of trajectory generation strategies for high speed driving is conducted. The outcome of the simulation proved that the algorithms gave out good results with respect to the expected ogjectives of obstacle avoidance and global reference path following. Control and motion planning algorithms developed were validated offline by simulation with real data. They have been also tested on a realistic simulator.; Ces travaux de recherche portent sur la commande et la planification de trajectoires pour la navigation de véhicules autonomes. Ils se situent dans le cadre d'un projet très ambitieux lancé par le laboratoire Heudiasyc sur la conduite autonome à grande vitesses (vitesse longitudinale supérieure à 5m/s ~= 18 km/h). Pour proposer des solutions à cette problématique, après avoir réalisé une large recherche bibliographique sur la commande et la planification des trajectoires des véhicules autonomes, plusieurs contributions ont été présentées. En ce qui concerne la commande des véhicules autonomes, un contrôleur latéral par mode glissant d'ordre supérieur a été proposé. Compte tenu de la ressemblance implicite entre le mode glissant et le principe d'immersion et d'invariance (I&I), deux contrôleurs utilisant le principe d'immersion et d'invariance ont été proposés par la suite pour améliorer les performances par rapport au mode glissant. Le développement de ces nouveaux contrôleurs nous a permis de garantir une stabilité robuste pour tous les gains positifs des contrôleurs I&I. Ce résultat nous a conduit à étudier les propriétés intrinsèques du système. Une étude des propriétés de passivité du système a révélé des caractéristiques de passivité intéressantes. Par la suite, nous avons développé un contrôleur robuste basé sur la passivité. Concernant la navigation, nous avons développé deux algorithmes de navigation basés sur la méthode des tentacules. Ceci dans le but d'améliorer la méthode de base. Les résultats de la simulation montrent que les algorithmes donnent de bons résultats vis-à-vis des objectifs attendus d'évitement d'obstacles et de suivi de la trajectoire globale de référence. Les algorithmes de commande et de planification de trajectoires développés ont été validés en simulation hors-ligne avec des données réelles après avoir été testés sur un simulateur réaliste.

Advanced driver assistance systems (ADAS) help drivers to perform complex driving tasks and to avoid or mitigate dangerous situations. The vehicle senses the external world using sensors and then builds and updates an internal model of the environment configuration. Vehicle perception consists of establishing the spatial and temporal relationships between the vehicle and the static and moving obstacles in the environment. Vehicle perception is composed of two main tasks: simultaneous localization and mapping (SLAM) deals with modelling static parts; and detection and tracking moving objects (DATMO) is responsible for modelling moving parts of the environment. The perception output is used to reason and decide which driving actions are the best for specific driving situations. In order to perform a good reasoning and control, the system has to correctly model the surrounding environment. The accurate detection and classification of moving objects is a critical aspect of a moving object tracking system. Therefore, many sensors are part of a common intelligent vehicle system.Multiple sensor fusion has been a topic of research since long; the reason is the need to combine information from different views of the environment to obtain a more accurate model. This is achieved by combining redundant and complementary measurements of the environment. Fusion can be performed at different levels inside the perception task.Classification of moving objects is needed to determine the possible behaviour of the objects surrounding the vehicle, and it is usually performed at tracking level. Knowledge about the class of moving objects at detection level can help to improve their tracking, reason about their behaviour, and decide what to do according to their nature. Most of the current perception solutions consider classification information only as aggregate information for the final perception output.Also, the management of incomplete information is an important issue in these perception systems. Incomplete information can be originated from sensor-related reasons, such as calibration issues and hardware malfunctions; or from scene perturbations, like occlusions, weather issues and object shifting. It is important to manage these situations by taking into account the degree of imprecision and uncertainty into the perception process.The main contributions in this dissertation focus on the DATMO stage of the perception problem. Precisely, we believe that including the object's class as a key element of the object's representation and managing the uncertainty from multiple sensors detections, we can improve the results of the perception task, i.e., a more reliable list of moving objects of interest represented by their dynamic state and appearance information. Therefore, we address the problems of sensor data association, and sensor fusion for object detection, classification, and tracking at different levels within the DATMO stage. We believe that a richer list of tracked objects can improve future stages of an ADAS and enhance its final results. Although we focus on a set of three main sensors: radar, lidar, and camera, we propose a modifiable architecture to include other type or number of sensors. First, we define a composite object representation to include class information as a part of the object state from early stages to the final output of the perception task. Second, we propose, implement, and compare two different perception architectures to solve the DATMO problem according to the level where object association, fusion, and classification information is included and performed. Our data fusion approaches are based on the evidential framework, which is used to manage and include the uncertainty from sensor detections and object classifications. Third, we propose an evidential data association approach to establish a relationship between two sources of evidence from object detections. We apply this approach at tracking level to fuse information from two track representations, and at detection level to find the relations between observations and to fuse their representations. We observe how the class information improves the final result of the DATMO component. Fourth, we integrate the proposed fusion approaches as a part of a real-time vehicle application. This integration has been performed in a real vehicle demonstrator from the interactIVe European project. Finally, we analysed and experimentally evaluated the performance of the proposed methods. We compared our evidential fusion approaches against each other and against a state-of-the-art method using real data from different driving scenarios and focusing on the detection, classification and tracking of different moving objects: pedestrian, bike, car and truck. We obtained promising results from our proposed approaches and empirically showed how our composite representation can improve the final result when included at different stages of the perception task.

Advanced driver assistance systems (ADAS) help drivers to perform complex driving tasks and to avoid or mitigate dangerous situations. The vehicle senses the external world using sensors and then builds and updates an internal model of the environment configuration. Vehicle perception consists of establishing the spatial and temporal relationships between the vehicle and the static and moving obstacles in the environment. Vehicle perception is composed of two main tasks: simultaneous localization and mapping (SLAM) deals with modelling static parts; and detection and tracking moving objects (DATMO) is responsible for modelling moving parts in the environment. In order to perform a good reasoning and control, the system has to correctly model the surrounding environment. The accurate detection and classification of moving objects is a critical aspect of a moving object tracking system. Therefore, many sensors are part of a common intelligent vehicle system. Classification of moving objects is needed to determine the possible behaviour of the objects surrounding the vehicle, and it is usually performed at tracking level. Knowledge about the class of moving objects at detection level can help improve their tracking. Most of the current perception solutions consider classification information only as aggregate information for the final perception output. Also, management of incomplete information is an important requirement for perception systems. Incomplete information can be originated from sensor-related reasons, such as calibration issues and hardware malfunctions; or from scene perturbations, like occlusions, weather issues and object shifting. It is important to manage these situations by taking them into account in the perception process. The main contributions in this dissertation focus on the DATMO stage of the perception problem. Precisely, we believe that including the object's class as a key element of the object's representation and managing the uncertainty from multiple sensors detections, we can improve the results of the perception task, i.e., a more reliable list of moving objects of interest represented by their dynamic state and appearance information. Therefore, we address the problems of sensor data association, and sensor fusion for object detection, classification, and tracking at different levels within the DATMO stage. Although we focus on a set of three main sensors: radar, lidar, and camera, we propose a modifiable architecture to include other type or number of sensors. First, we define a composite object representation to include class information as a part of the object state from early stages to the final output of the perception task. Second, we propose, implement, and compare two different perception architectures to solve the DATMO problem according to the level where object association, fusion, and classification information is included and performed. Our data fusion approaches are based on the evidential framework, which is used to manage and include the uncertainty from sensor detections and object classifications. Third, we propose an evidential data association approach to establish a relationship between two sources of evidence from object detections. We observe how the class information improves the final result of the DATMO component. Fourth, we integrate the proposed fusion approaches as a part of a real-time vehicle application. This integration has been performed in a real vehicle demonstrator from the interactIVe European project. Finally, we analysed and experimentally evaluated the performance of the proposed methods. We compared our evidential fusion approaches against each other and against a state-of-the-art method using real data from different driving scenarios. These comparisons focused on the detection, classification and tracking of different moving objects: pedestrian, bike, car and truck.; Les systèmes avancés d'assistance au conducteur (ADAS) aident les conducteurs à effectuer des tâches de conduite complexes et à éviter ou atténuer les situations dangereuses. Le véhicule détecte le monde extérieur au moyen de capteurs, et ensuite construit et met à jour un modèle interne de la configuration de l'environnement. La perception de véhicule consiste à établir des relations spatiales et temporelles entre le véhicule et les obstacles statiques et mobiles dans l'environnement. Cette perception se compose de deux tâches principales : la localisation et cartographie simultanées (SLAM) traite de la modélisation de pièces statiques; et la détection et le suivi d'objets en mouvement (DATMO) est responsable de la modélisation des pièces mobiles dans l'environnement. Afin de réaliser un bon raisonnement et contrôle, le système doit modéliser correctement l'environnement. La détection précise et la classification des objets en mouvement est un aspect essentiel d'un système de suivi d'objets. Classification des objets en mouvement est nécessaire pour déterminer le comportement possible des objets entourant le véhicule, et il est généralement réalisée au niveau de suivi des objets. La connaissance de la classe d'objets en mouvement au niveau de la détection peut aider à améliorer leur suivi. La plupart des solutions de perception actuels considèrent informations de classification seulement comme information additional pour la sortie final de la perception. Aussi, la gestion de l'information incomplète est une exigence importante pour les systèmes de perception. Une information incomplète peut être originaire de raisons liées à la détection, tels que les problèmes d calibrage et les dysfonctionnements des capteurs; ou des perturbations de la scène, comme des occlusions, des problèmes de météo et objet déplacement. Les principales contributions de cette thèse se concentrent sur ​​la scène DATMO. Précisément, nous pensons que l'inclusion de la classe de l'objet comme un élément clé de la représentation de l'objet et la gestion de l'incertitude de plusieurs capteurs de détections, peut améliorer les résultats de la tâche de perception. Par conséquent, nous abordons les problèmes de l'association de données, la fusion de capteurs, la classification et le suivi à différents niveaux au sein de la phase de DATMO. Même si nous nous concentrons sur un ensemble de trois capteurs principaux: radar, lidar, et la caméra, nous proposons une architecture modifiables pour inclure un autre type ou nombre de capteurs. Premièrement, nous définissons une représentation composite de l'objet pour inclure des informations de classe et de l'état d'objet deouis le début de la tâche de perception. Deuxièmement, nous proposons, mettre en œuvre, et comparons deux architectures de perception afin de résoudre le problème de DATMO selon le niveau où l'association des objets, la fusion et la classification des informations sont inclus et appliquées. Nos méthodes de fusion de données sont basées sur la théorie de l'evidence, qui est utilisé pour gérer et inclure l'incertitude de la détection du capteur et de la classification des objets. Troisièmement, nous proposons une approche d'association de données bassée en la théorie de l'evidence pour établir une relation entre deux liste des détections d'objets. Quatrièmement, nous intégrons nos approches de fusion dans le cadre d'une application véhicule en temps réel. Cette intégration a été réalisée dans un réelle démonstrateur de véhicule du projet European InteractIVe. Finalement, nous avons analysé et évalué expérimentalement les performances des méthodes proposées. Nous avons comparé notre fusion rapproche les uns contre les autres et contre une méthode state-of-the-art en utilisant des données réelles de scénarios de conduite différents. Ces comparaisons sont concentrés sur la détection, la classification et le suivi des différents objets en mouvement: piétons, vélos, voitures et camions.

Advanced driver assistance systems (ADAS) help drivers to perform complex driving tasks and to avoid or mitigate dangerous situations. The vehicle senses the external world using sensors and then builds and updates an internal model of the environment configuration. Vehicle perception consists of establishing the spatial and temporal relationships between the vehicle and the static and moving obstacles in the environment. Vehicle perception is composed of two main tasks: simultaneous localization and mapping (SLAM) deals with modelling static parts; and detection and tracking moving objects (DATMO) is responsible for modelling moving parts of the environment. The perception output is used to reason and decide which driving actions are the best for specific driving situations. In order to perform a good reasoning and control, the system has to correctly model the surrounding environment. The accurate detection and classification of moving objects is a critical aspect of a moving object tracking system. Therefore, many sensors are part of a common intelligent vehicle system.Multiple sensor fusion has been a topic of research since long; the reason is the need to combine information from different views of the environment to obtain a more accurate model. This is achieved by combining redundant and complementary measurements of the environment. Fusion can be performed at different levels inside the perception task.Classification of moving objects is needed to determine the possible behaviour of the objects surrounding the vehicle, and it is usually performed at tracking level. Knowledge about the class of moving objects at detection level can help to improve their tracking, reason about their behaviour, and decide what to do according to their nature. Most of the current perception solutions consider classification information only as aggregate information for the final perception output.Also, the management of incomplete information is an important issue in these perception systems. Incomplete information can be originated from sensor-related reasons, such as calibration issues and hardware malfunctions; or from scene perturbations, like occlusions, weather issues and object shifting. It is important to manage these situations by taking into account the degree of imprecision and uncertainty into the perception process.The main contributions in this dissertation focus on the DATMO stage of the perception problem. Precisely, we believe that including the object's class as a key element of the object's representation and managing the uncertainty from multiple sensors detections, we can improve the results of the perception task, i.e., a more reliable list of moving objects of interest represented by their dynamic state and appearance information. Therefore, we address the problems of sensor data association, and sensor fusion for object detection, classification, and tracking at different levels within the DATMO stage. We believe that a richer list of tracked objects can improve future stages of an ADAS and enhance its final results. Although we focus on a set of three main sensors: radar, lidar, and camera, we propose a modifiable architecture to include other type or number of sensors. First, we define a composite object representation to include class information as a part of the object state from early stages to the final output of the perception task. Second, we propose, implement, and compare two different perception architectures to solve the DATMO problem according to the level where object association, fusion, and classification information is included and performed. Our data fusion approaches are based on the evidential framework, which is used to manage and include the uncertainty from sensor detections and object classifications. Third, we propose an evidential data association approach to establish a relationship between two sources of evidence from object detections. We apply this approach at tracking level to fuse information from two track representations, and at detection level to find the relations between observations and to fuse their representations. We observe how the class information improves the final result of the DATMO component. Fourth, we integrate the proposed fusion approaches as a part of a real-time vehicle application. This integration has been performed in a real vehicle demonstrator from the interactIVe European project. Finally, we analysed and experimentally evaluated the performance of the proposed methods. We compared our evidential fusion approaches against each other and against a state-of-the-art method using real data from different driving scenarios and focusing on the detection, classification and tracking of different moving objects: pedestrian, bike, car and truck. We obtained promising results from our proposed approaches and empirically showed how our composite representation can improve the final result when included at different stages of the perception task.

Advanced driver assistance systems (ADAS) help drivers to perform complex driving tasks and to avoid or mitigate dangerous situations. The vehicle senses the external world using sensors and then builds and updates an internal model of the environment configuration. Vehicle perception consists of establishing the spatial and temporal relationships between the vehicle and the static and moving obstacles in the environment. Vehicle perception is composed of two main tasks: simultaneous localization and mapping (SLAM) deals with modelling static parts; and detection and tracking moving objects (DATMO) is responsible for modelling moving parts in the environment. In order to perform a good reasoning and control, the system has to correctly model the surrounding environment. The accurate detection and classification of moving objects is a critical aspect of a moving object tracking system. Therefore, many sensors are part of a common intelligent vehicle system. Classification of moving objects is needed to determine the possible behaviour of the objects surrounding the vehicle, and it is usually performed at tracking level. Knowledge about the class of moving objects at detection level can help improve their tracking. Most of the current perception solutions consider classification information only as aggregate information for the final perception output. Also, management of incomplete information is an important requirement for perception systems. Incomplete information can be originated from sensor-related reasons, such as calibration issues and hardware malfunctions; or from scene perturbations, like occlusions, weather issues and object shifting. It is important to manage these situations by taking them into account in the perception process. The main contributions in this dissertation focus on the DATMO stage of the perception problem. Precisely, we believe that including the object's class as a key element of the object's representation and managing the uncertainty from multiple sensors detections, we can improve the results of the perception task, i.e., a more reliable list of moving objects of interest represented by their dynamic state and appearance information. Therefore, we address the problems of sensor data association, and sensor fusion for object detection, classification, and tracking at different levels within the DATMO stage. Although we focus on a set of three main sensors: radar, lidar, and camera, we propose a modifiable architecture to include other type or number of sensors. First, we define a composite object representation to include class information as a part of the object state from early stages to the final output of the perception task. Second, we propose, implement, and compare two different perception architectures to solve the DATMO problem according to the level where object association, fusion, and classification information is included and performed. Our data fusion approaches are based on the evidential framework, which is used to manage and include the uncertainty from sensor detections and object classifications. Third, we propose an evidential data association approach to establish a relationship between two sources of evidence from object detections. We observe how the class information improves the final result of the DATMO component. Fourth, we integrate the proposed fusion approaches as a part of a real-time vehicle application. This integration has been performed in a real vehicle demonstrator from the interactIVe European project. Finally, we analysed and experimentally evaluated the performance of the proposed methods. We compared our evidential fusion approaches against each other and against a state-of-the-art method using real data from different driving scenarios. These comparisons focused on the detection, classification and tracking of different moving objects: pedestrian, bike, car and truck.; Les systèmes avancés d'assistance au conducteur (ADAS) aident les conducteurs à effectuer des tâches de conduite complexes et à éviter ou atténuer les situations dangereuses. Le véhicule détecte le monde extérieur au moyen de capteurs, et ensuite construit et met à jour un modèle interne de la configuration de l'environnement. La perception de véhicule consiste à établir des relations spatiales et temporelles entre le véhicule et les obstacles statiques et mobiles dans l'environnement. Cette perception se compose de deux tâches principales : la localisation et cartographie simultanées (SLAM) traite de la modélisation de pièces statiques; et la détection et le suivi d'objets en mouvement (DATMO) est responsable de la modélisation des pièces mobiles dans l'environnement. Afin de réaliser un bon raisonnement et contrôle, le système doit modéliser correctement l'environnement. La détection précise et la classification des objets en mouvement est un aspect essentiel d'un système de suivi d'objets. Classification des objets en mouvement est nécessaire pour déterminer le comportement possible des objets entourant le véhicule, et il est généralement réalisée au niveau de suivi des objets. La connaissance de la classe d'objets en mouvement au niveau de la détection peut aider à améliorer leur suivi. La plupart des solutions de perception actuels considèrent informations de classification seulement comme information additional pour la sortie final de la perception. Aussi, la gestion de l'information incomplète est une exigence importante pour les systèmes de perception. Une information incomplète peut être originaire de raisons liées à la détection, tels que les problèmes d calibrage et les dysfonctionnements des capteurs; ou des perturbations de la scène, comme des occlusions, des problèmes de météo et objet déplacement. Les principales contributions de cette thèse se concentrent sur ​​la scène DATMO. Précisément, nous pensons que l'inclusion de la classe de l'objet comme un élément clé de la représentation de l'objet et la gestion de l'incertitude de plusieurs capteurs de détections, peut améliorer les résultats de la tâche de perception. Par conséquent, nous abordons les problèmes de l'association de données, la fusion de capteurs, la classification et le suivi à différents niveaux au sein de la phase de DATMO. Même si nous nous concentrons sur un ensemble de trois capteurs principaux: radar, lidar, et la caméra, nous proposons une architecture modifiables pour inclure un autre type ou nombre de capteurs. Premièrement, nous définissons une représentation composite de l'objet pour inclure des informations de classe et de l'état d'objet deouis le début de la tâche de perception. Deuxièmement, nous proposons, mettre en œuvre, et comparons deux architectures de perception afin de résoudre le problème de DATMO selon le niveau où l'association des objets, la fusion et la classification des informations sont inclus et appliquées. Nos méthodes de fusion de données sont basées sur la théorie de l'evidence, qui est utilisé pour gérer et inclure l'incertitude de la détection du capteur et de la classification des objets. Troisièmement, nous proposons une approche d'association de données bassée en la théorie de l'evidence pour établir une relation entre deux liste des détections d'objets. Quatrièmement, nous intégrons nos approches de fusion dans le cadre d'une application véhicule en temps réel. Cette intégration a été réalisée dans un réelle démonstrateur de véhicule du projet European InteractIVe. Finalement, nous avons analysé et évalué expérimentalement les performances des méthodes proposées. Nous avons comparé notre fusion rapproche les uns contre les autres et contre une méthode state-of-the-art en utilisant des données réelles de scénarios de conduite différents. Ces comparaisons sont concentrés sur la détection, la classification et le suivi des différents objets en mouvement: piétons, vélos, voitures et camions.

The main purpose of constructing Intelligent Vehicles is to increase the safety for all traffic participants. The detection of pedestrians, as one of the most vulnerable category of road users, is paramount for any Advance Driver Assistance System (ADAS). Although this topic has been studied for almost fifty years, a perfect solution does not exist yet. This thesis focuses on several aspects regarding pedestrian classification and detection, and has the objective of exploring and comparing multiple light spectrums (Visible, ShortWave Infrared, Far Infrared) and modalities (Intensity, Depth by Stereo Vision, Motion).From the variety of images, the Far Infrared cameras (FIR), capable of measuring the temperature of the scene, are particular interesting for detecting pedestrians. These will usually have higher temperature than the surroundings. Due to the lack of suitable public datasets containing Thermal images, we have acquired and annotated a database, that we will name RIFIR, containing both Visible and Far-Infrared Images. This dataset has allowed us to compare the performance of different state of the art features in the two domains. Moreover, we have proposed a new feature adapted for FIR images, called Intensity Self Similarity (ISS). The ISS representation is based on the relative intensity similarity between different sub-blocks within a pedestrian region of interest. The experiments performed on different image sequences have showed that, in general, FIR spectrum has a better performance than the Visible domain. Nevertheless, the fusion of the two domains provides the best results. The second domain that we have studied is the Short Wave Infrared (SWIR), a light spectrum that was never used before for the task of pedestrian classification and detection. Unlike FIRcameras, SWIR cameras can image through the windshield, and thus be mounted in the vehicle’s cabin. In addition, SWIR imagers can have the ability to see clear at long distances, making it suitable for vehicle applications. We have acquired and annotated a database, that we will name RISWIR, containing both Visible and SWIR images. This dataset has allowed us to compare the performance of different pedestrian classification algorithms, along with a comparison between Visible and SWIR. Our tests have showed that SWIR might be promising for ADAS applications,performing better than the Visible domain on the considered dataset. Even if FIR and SWIR have provided promising results, Visible domain is still widely used due to the low cost of the cameras. The classical monocular imagers used for object detectionand classification can lead to a computational time well beyond real-time. Stereo Vision providesa way of reducing the hypothesis search space through the use of depth information contained in the disparity map. Therefore, a robust disparity map is essential in order to have good hypothesis over the location of pedestrians. In this context, in order to compute the disparity map, we haveproposed different cost functions robust to radiometric distortions. Moreover, we have showed that some simple post-processing techniques can have a great impact over the quality of the obtained depth images.The use of the disparity map is not strictly limited to the generation of hypothesis, and couldbe used for some feature computation by providing complementary information to color images.We have studied and compared the performance of features computed from different modalities(Intensity, Depth and Flow) and in two domains (Visible and FIR). The results have showed that the most robust systems are the ones that take into consideration all three modalities, especially when dealing with occlusions.; L’intérêt principal des systèmes d’aide à la conduite (ADAS) est d’accroître la sécurité de tous les usagers de la route. Le domaine du véhicule intelligent porte une attention particulière au piéton,l’une des catégories la plus vulnérable. Bien que ce sujet ait été étudié pendant près de cinquante ans par des chercheurs, une solution parfaite n’existe pas encore. Nous avons exploré dans ce travail de thèse différents aspects de la détection et la classification du piéton. Plusieurs domaines du spectre (Visible, Infrarouge proche, Infrarouge lointain et stéréovision) ont été explorés et comparés.Parmi la multitude des systèmes imageurs existants, les capteurs infrarouge lointain (FIR),capables de capturer la température des différents objets, reste particulièrement intéressants pour la détection de piétons. Les piétons ont, le plus souvent, une température plus élevée que les autres objets. En raison du manque d’accessibilité publique aux bases de données d’images thermiques, nous avons acquis et annoté une base de donnée, nommé RIFIR, contenant à la fois des images dans le visible et dans l’infrarouge lointain. Cette base nous a permis de comparer les performances de plusieurs attributs présentés dans l’état de l’art dans les deux domaines.Nous avons proposé une méthode générant de nouvelles caractéristiques adaptées aux images FIR appelées « Intensity Self Similarity (ISS) ». Cette nouvelle représentation est basée sur la similarité relative des intensités entre différents sous-blocks dans la région d’intérêt contenant le piéton.Appliquée sur différentes bases de données, cette méthode a montré que, d’une manière générale,le spectre infrarouge donne de meilleures performances que le domaine du visible. Néanmoins, la fusion des deux domaines semble beaucoup plus intéressante.La deuxième modalité d’image à laquelle nous nous sommes intéressé est l’infrarouge très proche (SWIR, Short Wave InfraRed). Contrairement aux caméras FIR, les caméras SWIR sont capables de recevoir le signal même à travers le pare-brise d’un véhicule. Ce qui permet de les embarquer dans l’habitacle du véhicule. De plus, les imageurs SWIR ont la capacité de capturer une scène même à distance lointaine. Ce qui les rend plus appropriées aux applications liées au véhicule intelligent. Dans le cadre de cette thèse, nous avons acquis et annoté une base de données, nommé RISWIR, contenant des images dans le visible et dans le SWIR. Cette base a permis une comparaison entre différents algorithmes de détection et de classification de piétons et entre le visible et le SWIR. Nos expérimentations ont montré que les systèmes SWIR sont prometteurs pour les ADAS. Les performances de ces systèmes semblent meilleures que celles du domaine du visible.Malgré les performances des domaines FIR et SWIR, le domaine du visible reste le plus utilisé grâce à son bas coût. Les systèmes imageurs monoculaires classiques ont des difficultés à produire une détection et classification de piétons en temps réel. Pour cela, nous avons l’information profondeur (carte de disparité) obtenue par stéréovision afin de réduire l’espace d’hypothèses dans l’étape de classification. Par conséquent, une carte de disparité relativement correcte est indispensable pour mieux localiser le piéton. Dans ce contexte, une multitude de fonctions coût ont été proposées, robustes aux distorsions radiométriques, pour le calcul de la carte de disparité.La qualité de la carte de disparité, importante pour l’étape de classification, a été affinée par un post traitement approprié aux scènes routières.Les performances de différentes caractéristiques calculées pour différentes modalités (Intensité,profondeur, flot optique) et domaines (Visible et FIR) ont été étudiées. Les résultats ont montré que les systèmes les plus robustes sont ceux qui prennent en considération les trois modalités,plus particulièrement aux occultations.

This thesis focuses on the study of fusion techniques for distributed and uncertain data in a vehicle network in order to manage the confidence in other vehicles or in received data. The proposed distributed fusion algorithm is based on belief functions and is applied by each node when it receives messages. It is based on the management of direct knowledge, local for each node, and the management of a distributed knowledge broadcasted over the network. The distributed knowledge is the result of the fusion of messages by a suitable operator taking into account the possible cycles and limiting the effect of "data incest". Each node can be autonomous to estimate confidence but cooperation between vehicles can improve and make more robust this estimation. The algorithm can be adapted to the case of study by considering one or more elements of observation and taking into account the data obsolescence. When there are multiple elements of observation, the data association is necessary before the combination step. A new association algorithm was formalized in the framework of belief functions.It has been shown that this problem is equivalent to a linear assignment problem which can be solved in polynomial time. This solution is both optimal and more effective than other approaches developed in this formalism. The confidence management in the nodes and in the received data were illustrated by the implementation of two applications : the detection of false nodes in a Sybil attack and the distributed dynamic maps for enhanced perception; Cette thèse porte sur l'étude des techniques de fusion de données réparties et incertaines au sein d’un réseau de véhicules pour gérer la confiance dans les autres véhicules ou dans les données reçues. L'algorithme de fusion distribuée proposé est basé sur les fonctions de croyance et est appliqué par chaque nœud à la réception des messages. In se base sur la gestion d'une connaissance directe, locale à chaque nœud et d'une connaissance distribuée diffusée dans le réseau. Cette dernière résulte de la fusion des messages par un opérateur adapté prenant en compte les cycles éventuels et limitant l'effet de "data incest". Chaque nœud peut être autonome pour estimer la confiance mais la coopération entre les véhicules permet d'améliorer et de rendre plus robuste cette estimation. L'algorithme peut être adapté au cas d'étude en considérant un ou plusieurs éléments d'observation et en prenant en compte l'obsolescence des données. Lorsqu'il y a plusieurs éléments d'observation, se pose le problème de l'association de données nécessaire avant l'étape de combinaison. Un nouvel algorithme d'association a été formalisé dans le cadre des fonctions de croyance. Il a été démontré que ce problème est équivalent à un problème d'affectation linéaire, qui peut être résolu en temps polynomial. Cette solution est à la fois optimale et beaucoup plus efficace que d'autres approches développées dans ce formalisme. La gestion de la confiance dans les nœuds et dans les données échangées ont été illustrées par la mise en œuvre de deux applications : la détection de faux nœuds dans une attaque Sybil et la gestion de la confiance dans les cartes dynamiques pour la perception augmentée.

Perception is a fundamental input for robotic systems, particularly for positioning, navigation and interaction with the environment. But the data perceived by these systems are often complex and subject to significant imprecision. To overcome these problems, the multi-sensor approach uses either multiple sensors of the same type to exploit their redundancy or sensors of different types for exploiting their complementarity to reduce the sensors inaccuracies and uncertainties. The validation of the data fusion approach raises two major problems. First, the behavior of fusion algorithms is difficult to predict, which makes them difficult to verify by formal approaches. In addition, the open environment of robotic systems generates a very large execution context, which makes the tests difficult and costly. The purpose of this work is to propose an alternative to validation by developing fault tolerance mechanisms : since it is difficult to eliminate all the errors of the perceptual system, We will try to limit impact in their operation. We studied the inherently fault tolerance allowed by data fusion by formally analyzing the data fusion algorithms, and we have proposed detection and recovery mechanisms suitable for multi-sensor perception, we implemented the proposed mechanisms on vehicle localization application using Kalman filltering data fusion. We evaluated the proposed mechanims using the real data replay and fault injection technique., La perception est une entrée fondamentale des systèmes robotiques, en particulier pour la localisation, la navigation et l'interaction avec l'environnement. Or les données perçues par les systèmes robotiques sont souvent complexes et sujettes à des imprécisions importantes. Pour remédier à ces problèmes, l'approche multi-capteurs utilise soit plusieurs capteurs de même type pour exploiter leur redondance, soit des capteurs de types différents pour exploiter leur complémentarité afin de réduire les imprécisions et les incertitudes sur les capteurs. La validation de cette approche de fusion de données pose deux problèmes majeurs.Tout d'abord, le comportement des algorithmes de fusion est difficile à prédire,ce qui les rend difficilement vérifiables par des approches formelles. De plus, l'environnement ouvert des systèmes robotiques engendre un contexte d'exécution très large, ce qui rend les tests difficiles et coûteux. L'objet de ces travaux de thèse est de proposer une alternative à la validation en mettant en place des mécanismes de tolérance aux fautes : puisqu'il est difficile d'éliminer toutes les fautes du système de perception, on va chercher à limiter leurs impacts sur son fonctionnement. Nous avons étudié la tolérance aux fautes intrinsèquement permise par la fusion de données en analysant formellement les algorithmes de fusion de données, et nous avons proposé des mécanismes de détection et de rétablissement adaptés à la perception multi-capteurs. Nous avons ensuite implémenté les mécanismes proposés pour une application de localisation de véhicules en utilisant la fusion de données par filtrage de Kalman. Nous avons finalement évalué les mécanismes proposés en utilisant le rejeu de données réelles et la technique d'injection de fautes, et démontré leur efficacité face à des fautes matérielles et logicielles.

This thesis focuses on the study of fusion techniques for distributed and uncertain data in a vehicle network in order to manage the confidence in other vehicles or in received data. The proposed distributed fusion algorithm is based on belief functions and is applied by each node when it receives messages. It is based on the management of direct knowledge, local for each node, and the management of a distributed knowledge broadcasted over the network. The distributed knowledge is the result of the fusion of messages by a suitable operator taking into account the possible cycles and limiting the effect of "data incest". Each node can be autonomous to estimate confidence but cooperation between vehicles can improve and make more robust this estimation. The algorithm can be adapted to the case of study by considering one or more elements of observation and taking into account the data obsolescence. When there are multiple elements of observation, the data association is necessary before the combination step. A new association algorithm was formalized in the framework of belief functions.It has been shown that this problem is equivalent to a linear assignment problem which can be solved in polynomial time. This solution is both optimal and more effective than other approaches developed in this formalism. The confidence management in the nodes and in the received data were illustrated by the implementation of two applications : the detection of false nodes in a Sybil attack and the distributed dynamic maps for enhanced perception, Cette thèse porte sur l'étude des techniques de fusion de données réparties et incertaines au sein d’un réseau de véhicules pour gérer la confiance dans les autres véhicules ou dans les données reçues. L'algorithme de fusion distribuée proposé est basé sur les fonctions de croyance et est appliqué par chaque nœud à la réception des messages. In se base sur la gestion d'une connaissance directe, locale à chaque nœud et d'une connaissance distribuée diffusée dans le réseau. Cette dernière résulte de la fusion des messages par un opérateur adapté prenant en compte les cycles éventuels et limitant l'effet de "data incest". Chaque nœud peut être autonome pour estimer la confiance mais la coopération entre les véhicules permet d'améliorer et de rendre plus robuste cette estimation. L'algorithme peut être adapté au cas d'étude en considérant un ou plusieurs éléments d'observation et en prenant en compte l'obsolescence des données. Lorsqu'il y a plusieurs éléments d'observation, se pose le problème de l'association de données nécessaire avant l'étape de combinaison. Un nouvel algorithme d'association a été formalisé dans le cadre des fonctions de croyance. Il a été démontré que ce problème est équivalent à un problème d'affectation linéaire, qui peut être résolu en temps polynomial. Cette solution est à la fois optimale et beaucoup plus efficace que d'autres approches développées dans ce formalisme. La gestion de la confiance dans les nœuds et dans les données échangées ont été illustrées par la mise en œuvre de deux applications : la détection de faux nœuds dans une attaque Sybil et la gestion de la confiance dans les cartes dynamiques pour la perception augmentée.

National audience; Cet article traite du problème de la compréhension de scènes routières pour des systèmes d'aide à la conduite. Afin de pouvoir reconnaître le grand nombre d'objets pouvant être présents dans la scène, plusieurs capteurs et algorithmes de classification doivent être utilisés. L'approche proposée est fondée sur la représentation de toutes les informations disponibles au niveau d'une image sur-segmentée. La principale nouveauté de la méthode est sa capacité à inclure de nouvelles classes d'objets ainsi que de nouveaux capteurs ou méthodes de détection. Plusieurs classes comme le sol, la végétation et le ciel sont considérées, ainsi que trois capteurs différents. L'approche est validée sur des données réelles de scènes routières en milieu urbain.

With an anticipation to make driving experience safer and more convenient, over the decades, researchers have tried to develop intelligent systems for modern vehicles. The intended systems can either drive automatically or monitor a human driver and assist him in navigation by warning in case of a developing dangerous situation. Contrary to the human drivers, these systems are not constrained by many physical and psychological limitations and therefore prove more robust in extreme conditions. A key component of an intelligent vehicle system is the reliable perception of the environment. Laser range finders have been popular sensors which are widely used in this context. The classical 2D laser scanners have some limitations which are often compensated by the addition of other complementary sensors including cameras and radars. The recent advent of new sensors, such as 3D laser scanners which perceive the environment at a high spatial resolution, has proven to be an interesting addition to the arena. Although there are well-known methods for perception using 2D laser scanners, approaches using a 3D range scanner are relatively rare in literature. Most of those which exist either address the problem partially or augment the system with many other sensors. Surprisingly, many of those rely on reducing the dimensionality of the problem by projecting 3D data to 2D and using the well-established methods for 2D perception. In contrast to these approaches, this work addresses the problem of vehicle perception using a single 3D laser scanner. First contribution of this research is made by the extension of a generic 3D mapping framework based on an optimized occupancy grid representation to solve the problem of simultaneous localization and mapping (SLAM). Using the 3D occupancy grid, we introduce a variance-based elevation map for the segmentation of range measurements corresponding to the ground. To correct the vehicle location from odometry, we use a grid-based incremental scan matching method. The resulting SLAM framework forms a basis for rest of the contributions which constitute the major achievement of this work. After obtaining a good vehicle localization and a reliable map with ground segmentation, we focus on the detection and tracking of moving objects (DATMO). The second contribution of this thesis is the method for discriminating between the dynamic objects and the static environment. The presented approach uses motion-based detection and density-based clustering for segmenting the moving objects from 3D occupancy grid. It does not use object specific models but enables detecting arbitrary traffic participants. Third contribution is an innovative method for layered classification of the detected objects based on supervised learning technique which makes it easier to estimate their position with time. Final contribution is a method for tracking the detected objects by using Viterbi algorithm to associate the new observations with the existing objects in the environment. The proposed framework is verified with the datasets acquired from a laser scanner mounted on top of a vehicle moving in different environments including urban, highway and pedestrian-zone scenarios. The promising results thus obtained show the applicability of the proposed system for simultaneous localization and mapping with detection, classification and tracking of moving objects in dynamic outdoor environments using a single 3D laser scanner.; Depuis des décennies, les chercheurs essaient de développer des systèmes intelligents pour les véhicules modernes, afin de rendre la conduite plus sûre et plus confortable. Ces systèmes peuvent conduire automatiquement le véhicule ou assister un conducteur en le prévenant et en l'assistant en cas de situations dangereuses. Contrairement aux conducteurs, ces systèmes n'ont pas de contraintes physiques ou psychologiques et font preuve d'une grande robustesse dans des conditions extrêmes. Un composant clé de ces systèmes est la fiabilité de la perception de l'environnement. Pour cela, les capteurs lasers sont très populaires et largement utilisés. Les capteurs laser 2D classiques ont des limites qui sont souvent compensées par l'ajout d'autres capteurs complémentaires comme des caméras ou des radars. Les avancées récentes dans le domaine des capteurs, telles que les capteurs laser 3D qui perçoivent l'environnement avec une grande résolution spatiale, ont montré qu'ils étaient une solution intéressante afin d'éviter l'utilisation de plusieurs capteurs. Bien qu'il y ait des méthodes bien connues pour la perception avec des capteurs laser 2D, les approches qui utilisent des capteurs lasers 3D sont relativement rares dans la littérature. De plus, la plupart d'entre elles utilisent plusieurs capteurs et réduisent le problème de la 3ème dimension en projetant les données 3D sur un plan et utilisent les méthodes classiques de perception 2D. Au contraire de ces approches, ce travail résout le problème en utilisant uniquement un capteur laser 3D et en utilisant les informations spatiales fournies par ce capteur. Notre première contribution est une extension des méthodes génériques de cartographie 3D fondée sur des grilles d'occupations optimisées pour résoudre le problème de cartographie et de localisation simultanée (SLAM en anglais). En utilisant des grilles d'occupations 3D, nous définissons une carte d'élévation pour la segmentation des données laser correspondant au sol. Pour corriger les erreurs de positionnement, nous utilisons une méthode incrémentale d'alignement des données laser. Le résultat forme la base pour le reste de notre travail qui constitue nos contributions les plus significatives. Dans la deuxième partie, nous nous focalisons sur la détection et le suivi des objets mobiles (DATMO en anglais). La deuxième contribution de ce travail est une méthode pour distinguer les objets dynamiques des objets statiques. L'approche proposée utilise une détection fondée sur le mouvement et sur des techniques de regroupement pour identifier les objets mobiles à partir de la grille d'occupations 3D. La méthode n'utilise pas de modèles spécifiques d'objets et permet donc la détection de tout type d'objets mobiles. Enfin, la troisième contribution est une méthode nouvelle pour classer les objets mobiles fondée sur une technique d'apprentissage supervisée. La contribution finale est une méthode pour suivre les objets mobiles en utilisant l'algorithme de Viterbi pour associer les nouvelles observations avec les objets présents dans l'environnement, Dans la troisième partie, l'approche propose est testée sur des jeux de données acquis à partir d'un capteur laser 3D monté sur le toit d'un véhicule qui se déplace dans différents types d'environnement incluant des environnements urbains, des autoroutes et des zones piétonnes. Les résultats obtenus montrent l'intérêt du système intelligent proposé pour la cartographie et la localisation simultanée ainsi que la détection et le suivi d'objets mobiles en environnement extérieur et dynamique en utilisant un capteur laser 3D.

With an anticipation to make driving experience safer and more convenient, over the decades, researchers have tried to develop intelligent systems for modern vehicles. The intended systems can either drive automatically or monitor a human driver and assist him in navigation by warning in case of a developing dangerous situation. Contrary to the human drivers, these systems are not constrained by many physical and psychological limitations and therefore prove more robust in extreme conditions. A key component of an intelligent vehicle system is the reliable perception of the environment. Laser range finders have been popular sensors which are widely used in this context. The classical 2D laser scanners have some limitations which are often compensated by the addition of other complementary sensors including cameras and radars. The recent advent of new sensors, such as 3D laser scanners which perceive the environment at a high spatial resolution, has proven to be an interesting addition to the arena. Although there are well-known methods for perception using 2D laser scanners, approaches using a 3D range scanner are relatively rare in literature. Most of those which exist either address the problem partially or augment the system with many other sensors. Surprisingly, many of those rely on reducing the dimensionality of the problem by projecting 3D data to 2D and using the well-established methods for 2D perception. In contrast to these approaches, this work addresses the problem of vehicle perception using a single 3D laser scanner. First contribution of this research is made by the extension of a generic 3D mapping framework based on an optimized occupancy grid representation to solve the problem of simultaneous localization and mapping (SLAM). Using the 3D occupancy grid, we introduce a variance-based elevation map for the segmentation of range measurements corresponding to the ground. To correct the vehicle location from odometry, we use a grid-based incremental scan matching method. The resulting SLAM framework forms a basis for rest of the contributions which constitute the major achievement of this work. After obtaining a good vehicle localization and a reliable map with ground segmentation, we focus on the detection and tracking of moving objects (DATMO). The second contribution of this thesis is the method for discriminating between the dynamic objects and the static environment. The presented approach uses motion-based detection and density-based clustering for segmenting the moving objects from 3D occupancy grid. It does not use object specific models but enables detecting arbitrary traffic participants. Third contribution is an innovative method for layered classification of the detected objects based on supervised learning technique which makes it easier to estimate their position with time. Final contribution is a method for tracking the detected objects by using Viterbi algorithm to associate the new observations with the existing objects in the environment. The proposed framework is verified with the datasets acquired from a laser scanner mounted on top of a vehicle moving in different environments including urban, highway and pedestrian-zone scenarios. The promising results thus obtained show the applicability of the proposed system for simultaneous localization and mapping with detection, classification and tracking of moving objects in dynamic outdoor environments using a single 3D laser scanner.; Depuis des décennies, les chercheurs essaient de développer des systèmes intelligents pour les véhicules modernes, afin de rendre la conduite plus sûre et plus confortable. Ces systèmes peuvent conduire automatiquement le véhicule ou assister un conducteur en le prévenant et en l'assistant en cas de situations dangereuses. Contrairement aux conducteurs, ces systèmes n'ont pas de contraintes physiques ou psychologiques et font preuve d'une grande robustesse dans des conditions extrêmes. Un composant clé de ces systèmes est la fiabilité de la perception de l'environnement. Pour cela, les capteurs lasers sont très populaires et largement utilisés. Les capteurs laser 2D classiques ont des limites qui sont souvent compensées par l'ajout d'autres capteurs complémentaires comme des caméras ou des radars. Les avancées récentes dans le domaine des capteurs, telles que les capteurs laser 3D qui perçoivent l'environnement avec une grande résolution spatiale, ont montré qu'ils étaient une solution intéressante afin d'éviter l'utilisation de plusieurs capteurs. Bien qu'il y ait des méthodes bien connues pour la perception avec des capteurs laser 2D, les approches qui utilisent des capteurs lasers 3D sont relativement rares dans la littérature. De plus, la plupart d'entre elles utilisent plusieurs capteurs et réduisent le problème de la 3ème dimension en projetant les données 3D sur un plan et utilisent les méthodes classiques de perception 2D. Au contraire de ces approches, ce travail résout le problème en utilisant uniquement un capteur laser 3D et en utilisant les informations spatiales fournies par ce capteur. Notre première contribution est une extension des méthodes génériques de cartographie 3D fondée sur des grilles d'occupations optimisées pour résoudre le problème de cartographie et de localisation simultanée (SLAM en anglais). En utilisant des grilles d'occupations 3D, nous définissons une carte d'élévation pour la segmentation des données laser correspondant au sol. Pour corriger les erreurs de positionnement, nous utilisons une méthode incrémentale d'alignement des données laser. Le résultat forme la base pour le reste de notre travail qui constitue nos contributions les plus significatives. Dans la deuxième partie, nous nous focalisons sur la détection et le suivi des objets mobiles (DATMO en anglais). La deuxième contribution de ce travail est une méthode pour distinguer les objets dynamiques des objets statiques. L'approche proposée utilise une détection fondée sur le mouvement et sur des techniques de regroupement pour identifier les objets mobiles à partir de la grille d'occupations 3D. La méthode n'utilise pas de modèles spécifiques d'objets et permet donc la détection de tout type d'objets mobiles. Enfin, la troisième contribution est une méthode nouvelle pour classer les objets mobiles fondée sur une technique d'apprentissage supervisée. La contribution finale est une méthode pour suivre les objets mobiles en utilisant l'algorithme de Viterbi pour associer les nouvelles observations avec les objets présents dans l'environnement, Dans la troisième partie, l'approche propose est testée sur des jeux de données acquis à partir d'un capteur laser 3D monté sur le toit d'un véhicule qui se déplace dans différents types d'environnement incluant des environnements urbains, des autoroutes et des zones piétonnes. Les résultats obtenus montrent l'intérêt du système intelligent proposé pour la cartographie et la localisation simultanée ainsi que la détection et le suivi d'objets mobiles en environnement extérieur et dynamique en utilisant un capteur laser 3D.

The research presented in this thesis focuses on the problem of the perception of the urban environment which is complex and dynamic in the presence of noisy and incomplete exteroceptive measurements obtained from on-board sensors. The problem is formalized in terms of sensor data fusion with a spatial representation of the environment. This work has been carried out for the autonomous navigation of intelligent vehicles within the national project ANR CityVIP. After having considered various formalisms to represent uncertainty, a fusion of spatio-referenced grids managing uncertainty with belief functions is studied. This system is capable of merging multi-layers and multi-echoes lidar measurements, obtainedat different time indexes to build a dynamic local map as a discrete evidential occupancy grid. The main advantages of belief functions are, firstly, to represent explicitly ignorance, which reduces the assumptions and therefore avoid introducing wrong a priori information and, secondly, to easily use conflicting information to determine the dynamics of the scene such as movements of the cells. The formalism of evidential occupancy grids is then presented in details and two multi-layers and multi-echos lidar sensor models are proposed. The propagation of the information through geometrical transformations is formalized in a similar way of image transformation framework. Then, the implementation of the approach is described and the injection of prior geographic information is finally investigated. Most of the works presented have been implemented in real time on a vehicle and many tests in real conditions have been realized. The results of these researches were presented through five international conferences [Moras et al., 2010, Moras et al., 2011a, Moras et al., 2011b, Moras et al., 2012], [Kurdej et al., 2012] and the experimental vehicle was presented at the official demonstration project CityVIP in Paris and at the IEEE Intelligent Vehicles Symposium 2011, in Germany.; Les travaux de recherche présentés dans cette thèse portent sur le problème de la perception de l'environnement en milieu urbain, complexe et dynamique et ce en présence de mesures extéroceptives bruitées et incomplètes obtenues à partir decapteurs embarqués. Le problème est formalisé sous l'angle de la fusion de données capteurs à l'aide d'une représentation spatiale de l'environnement. Ces travaux ont été réalisés pour la navigation autonome de véhicules intelligents dans le cadre du projet national ANR CityVIP. Après avoir considéré les principaux formalismes de modélisation de l'incertitude, un système de fusion de grilles spatio-référencées gérant l'incertitude avec des fonctions de croyances est étudié. Ce système est notamment capable de fusionner les mesures d'un lidar multi-nappes et multi-échos, obtenues à différents instants pour construire une carte locale dynamique sous la forme discrète d'une grille d'occupation évidentielle.Le principal avantage des fonctions de croyance est de représenter de manière explicite l'ignorance et ne nécessite donc pas d'introduire d'information à priori non fondée. De plus, ce formalisme permet d'utiliser facilement l'information conflictuelle pour déterminer la dynamique de la scène comme par exemple les cellules en mouvement. Le formalisme de grilles d'occupation évidentielles est présenté en détails et un modèle de capteur lidar multi-nappes et multi-echos est ensuite proposé. Deux approches de fusion séquentielle multi-grilles sont étudiées selon les paradigmes halocentréet égo-centré. Enfin, l'implémentation et les tests expérimentaux des approches sont décrits et l'injection d'informations géographiques connues a priori est étudiée. La plupart des travaux présentés ont été implémentés en temps réel sur un véhicule du laboratoire et de nombreux tests en conditions réelles ont été réalisés avec une interface d'analyse de résultat utilisant une rétro-projection dans une image grand angle. Les résultats ont été présentés dans 5 conférences internationales [Moras et al., 2010, Moras et al., 2011a, Moras et al., 2011b, Moras et al., 2012, Kurdej et al., 2012] etle système expérimental a servi à la réalisation de démonstrations officielles dans le cadre du projet CityVIP à Paris et lors de la conférence IEEE Intelligent Vehicles Symposium 2011 en Allemagne.

The research presented in this thesis focuses on the problem of the perception of the urban environment which is complex and dynamic in the presence of noisy and incomplete exteroceptive measurements obtained from on-board sensors. The problem is formalized in terms of sensor data fusion with a spatial representation of the environment. This work has been carried out for the autonomous navigation of intelligent vehicles within the national project ANR CityVIP. After having considered various formalisms to represent uncertainty, a fusion of spatio-referenced grids managing uncertainty with belief functions is studied. This system is capable of merging multi-layers and multi-echoes lidar measurements, obtainedat different time indexes to build a dynamic local map as a discrete evidential occupancy grid. The main advantages of belief functions are, firstly, to represent explicitly ignorance, which reduces the assumptions and therefore avoid introducing wrong a priori information and, secondly, to easily use conflicting information to determine the dynamics of the scene such as movements of the cells. The formalism of evidential occupancy grids is then presented in details and two multi-layers and multi-echos lidar sensor models are proposed. The propagation of the information through geometrical transformations is formalized in a similar way of image transformation framework. Then, the implementation of the approach is described and the injection of prior geographic information is finally investigated. Most of the works presented have been implemented in real time on a vehicle and many tests in real conditions have been realized. The results of these researches were presented through five international conferences [Moras et al., 2010, Moras et al., 2011a, Moras et al., 2011b, Moras et al., 2012], [Kurdej et al., 2012] and the experimental vehicle was presented at the official demonstration project CityVIP in Paris and at the IEEE Intelligent Vehicles Symposium 2011, in Germany.; Les travaux de recherche présentés dans cette thèse portent sur le problème de la perception de l'environnement en milieu urbain, complexe et dynamique et ce en présence de mesures extéroceptives bruitées et incomplètes obtenues à partir decapteurs embarqués. Le problème est formalisé sous l'angle de la fusion de données capteurs à l'aide d'une représentation spatiale de l'environnement. Ces travaux ont été réalisés pour la navigation autonome de véhicules intelligents dans le cadre du projet national ANR CityVIP. Après avoir considéré les principaux formalismes de modélisation de l'incertitude, un système de fusion de grilles spatio-référencées gérant l'incertitude avec des fonctions de croyances est étudié. Ce système est notamment capable de fusionner les mesures d'un lidar multi-nappes et multi-échos, obtenues à différents instants pour construire une carte locale dynamique sous la forme discrète d'une grille d'occupation évidentielle.Le principal avantage des fonctions de croyance est de représenter de manière explicite l'ignorance et ne nécessite donc pas d'introduire d'information à priori non fondée. De plus, ce formalisme permet d'utiliser facilement l'information conflictuelle pour déterminer la dynamique de la scène comme par exemple les cellules en mouvement. Le formalisme de grilles d'occupation évidentielles est présenté en détails et un modèle de capteur lidar multi-nappes et multi-echos est ensuite proposé. Deux approches de fusion séquentielle multi-grilles sont étudiées selon les paradigmes halocentréet égo-centré. Enfin, l'implémentation et les tests expérimentaux des approches sont décrits et l'injection d'informations géographiques connues a priori est étudiée. La plupart des travaux présentés ont été implémentés en temps réel sur un véhicule du laboratoire et de nombreux tests en conditions réelles ont été réalisés avec une interface d'analyse de résultat utilisant une rétro-projection dans une image grand angle. Les résultats ont été présentés dans 5 conférences internationales [Moras et al., 2010, Moras et al., 2011a, Moras et al., 2011b, Moras et al., 2012, Kurdej et al., 2012] etle système expérimental a servi à la réalisation de démonstrations officielles dans le cadre du projet CityVIP à Paris et lors de la conférence IEEE Intelligent Vehicles Symposium 2011 en Allemagne.

In this thesis, confidence domains for vehicle localization are characterized by using robust interval methods. Positioning is of prime importance in mobile robotics and more specifically for intelligent vehicle applications. When position information is used in a safety-critical context, like autonomous vehicle navigation, an integrity method is needed to check that the positioning error stays within the limits specified for the mission. In aeronautical navigation, protection levels are defined as bounds on the position error associated to a given integrity risk. This work aims to compute a confidence domain in which the user in guaranteed to be located with a given integrity risk. The possible presence of outliers is handled by the use of robust set-membership methods. Sensor measurements and model parameters are prone to errors, which are often modeled by their probability distribution. In the set-membership working frame, errors can be represented by intervals, thus making the assumption of bounded errors. When guaranteed error bounds are unknown or too pessimistic, error bounds associated with a risk can be used. The risk taken on measurements is then propagated to the computed confidence domain. Global navigation satellite systems enable high precision absolute positioning in open sky environments, but measurements suffer from multipath and non-line-of-sight propagation in urban areas. Robustness to outliers is thus needed. To counter the lack of visible satellites in urban canyons, position is constrained by a 3D map of the drivable space and by using the proprioceptive sensors embedded in recent vehicles. This document presents three positioning methods based on a robust set inversion via interval analysis with GPS pseudorange measurements : * Snapshot computation of a position confidence domain, with GPS measurements and altitude constraint from a digital elevation model. * Use of a precise 3D model of the drivable space as a positioning constraint, and observation of the GPS receiver's clock drift. * Robust pose estimation from a sliding horizon of positions and proprioceptive measurements, constrained by a 3D map. These positioning methods have been implemented in real-time and tested with real data in difficult environments for satellite positioning., On cherche dans cette thèse à caractériser un domaine de confiance pour la localisation d'un véhicule, en utilisant des méthodes ensemblistes robustes par intervalles. La localisation est essentielle à la navigation en robotique mobile, en particulier pour les véhicules intelligents. Lorsque la position est utilisée dans un contexte pouvant mettre en jeu la sécurité des personnes, tel que la navigation autonome, on doit avoir recours à un mécanisme d'intégrité vérifiant que l'erreur commise reste inférieure à l'erreur maximale tolérable pour la mission. Dans le domaine aéronautique, on définit ainsi un niveau de protection associé à un risque d'intégrité. Dans un esprit similaire aux niveaux de protections utilisés en aéronautique, ce travail vise à déterminer un domaine de confiance, dans lequel l'utilisateur est garanti de se trouver avec un risque d'intégrité donné. L'utilisation de méthodes ensemblistes robustes permet de calculer un domaine de localisation tenant compte de l'éventuelle présence de mesures aberrantes. Les mesures provenant de capteurs ainsi que les paramètres des modèles sont entachés d'erreurs, souvent modélisées par leur distribution de probabilité. Dans le cadre ensembliste, on peut représenter ces erreurs par des intervalles. Quand les bornes ne sont pas spécifiées ou trop pessimistes, on peut déterminer des bornes associées à un risque, et propager ce risque au domaine de confiance calculé. Les systèmes de navigation par satellites permettent un positionnement absolu avec une bonne précision en milieu ouvert. Cependant, les mesures de pseudodistance GPS sont sujettes aux problèmes de trajets multiples ou réfléchis en zone urbaine. Une robustesse aux valeurs aberrantes est donc nécessaire. Pour compenser le manque de satellites en milieu à visibilité satellitaire réduite, des contraintes sur la position sont apportées par la cartographie 3D de l'espace roulable et l'intégration des capteurs proprioceptifs présents sur les véhicules modernes. Trois méthodes de localisation, basées sur un algorithme robuste d'inversion ensembliste par intervalles associé aux mesures GPS sont présentées dans ce document. * La première consiste en un calcul époque par époque, fusionnant les mesures de pseudodistance d'un récepteur GPS avec l'information d'un modèle numérique de terrain. * La seconde s'appuie sur une carte surfacique précise de " l'espace roulable " en trois dimensions, ainsi que l'observation de la dérive de l'horloge du récepteur. * Enfin, la troisième méthode concerne l'estimation de la pose du véhicule à partir d'un historique fini de positions et de mesures proprioceptives. Ces trois méthodes ont été implémentées en temps-réel, et testées sur des données réelles acquises dans des environnements difficiles pour la localisation par satellites.

In this thesis, confidence domains for vehicle localization are characterized by using robust interval methods. Positioning is of prime importance in mobile robotics and more specifically for intelligent vehicle applications. When position information is used in a safety-critical context, like autonomous vehicle navigation, an integrity method is needed to check that the positioning error stays within the limits specified for the mission. In aeronautical navigation, protection levels are defined as bounds on the position error associated to a given integrity risk. This work aims to compute a confidence domain in which the user in guaranteed to be located with a given integrity risk. The possible presence of outliers is handled by the use of robust set-membership methods. Sensor measurements and model parameters are prone to errors, which are often modeled by their probability distribution. In the set-membership working frame, errors can be represented by intervals, thus making the assumption of bounded errors. When guaranteed error bounds are unknown or too pessimistic, error bounds associated with a risk can be used. The risk taken on measurements is then propagated to the computed confidence domain. Global navigation satellite systems enable high precision absolute positioning in open sky environments, but measurements suffer from multipath and non-line-of-sight propagation in urban areas. Robustness to outliers is thus needed. To counter the lack of visible satellites in urban canyons, position is constrained by a 3D map of the drivable space and by using the proprioceptive sensors embedded in recent vehicles. This document presents three positioning methods based on a robust set inversion via interval analysis with GPS pseudorange measurements : * Snapshot computation of a position confidence domain, with GPS measurements and altitude constraint from a digital elevation model. * Use of a precise 3D model of the drivable space as a positioning constraint, and observation of the GPS receiver's clock drift. * Robust pose estimation from a sliding horizon of positions and proprioceptive measurements, constrained by a 3D map. These positioning methods have been implemented in real-time and tested with real data in difficult environments for satellite positioning.; On cherche dans cette thèse à caractériser un domaine de confiance pour la localisation d'un véhicule, en utilisant des méthodes ensemblistes robustes par intervalles. La localisation est essentielle à la navigation en robotique mobile, en particulier pour les véhicules intelligents. Lorsque la position est utilisée dans un contexte pouvant mettre en jeu la sécurité des personnes, tel que la navigation autonome, on doit avoir recours à un mécanisme d'intégrité vérifiant que l'erreur commise reste inférieure à l'erreur maximale tolérable pour la mission. Dans le domaine aéronautique, on définit ainsi un niveau de protection associé à un risque d'intégrité. Dans un esprit similaire aux niveaux de protections utilisés en aéronautique, ce travail vise à déterminer un domaine de confiance, dans lequel l'utilisateur est garanti de se trouver avec un risque d'intégrité donné. L'utilisation de méthodes ensemblistes robustes permet de calculer un domaine de localisation tenant compte de l'éventuelle présence de mesures aberrantes. Les mesures provenant de capteurs ainsi que les paramètres des modèles sont entachés d'erreurs, souvent modélisées par leur distribution de probabilité. Dans le cadre ensembliste, on peut représenter ces erreurs par des intervalles. Quand les bornes ne sont pas spécifiées ou trop pessimistes, on peut déterminer des bornes associées à un risque, et propager ce risque au domaine de confiance calculé. Les systèmes de navigation par satellites permettent un positionnement absolu avec une bonne précision en milieu ouvert. Cependant, les mesures de pseudodistance GPS sont sujettes aux problèmes de trajets multiples ou réfléchis en zone urbaine. Une robustesse aux valeurs aberrantes est donc nécessaire. Pour compenser le manque de satellites en milieu à visibilité satellitaire réduite, des contraintes sur la position sont apportées par la cartographie 3D de l'espace roulable et l'intégration des capteurs proprioceptifs présents sur les véhicules modernes. Trois méthodes de localisation, basées sur un algorithme robuste d'inversion ensembliste par intervalles associé aux mesures GPS sont présentées dans ce document. * La première consiste en un calcul époque par époque, fusionnant les mesures de pseudodistance d'un récepteur GPS avec l'information d'un modèle numérique de terrain. * La seconde s'appuie sur une carte surfacique précise de " l'espace roulable " en trois dimensions, ainsi que l'observation de la dérive de l'horloge du récepteur. * Enfin, la troisième méthode concerne l'estimation de la pose du véhicule à partir d'un historique fini de positions et de mesures proprioceptives. Ces trois méthodes ont été implémentées en temps-réel, et testées sur des données réelles acquises dans des environnements difficiles pour la localisation par satellites.

Pas de résumé disponible, De nos jours les méthodes de vision par ordinateur sont utilisées dans de nombreuses applications telles que la vidéo-surveillance, l'aide à la conduite ou la reconstruction 3D par exemple. Ces différentes applications s'appuient généralement sur des procédés de reconnaissance de formes ou de suivi. Pour ce faire, l'image est analysée afin d'en extraire des amers ou des primitives (contours, fonctions d'intensité ou modèles morphologiques). Les méthodes les plus courantes s'appuient sur l'utilisation de points d'intérêt représentant une discontinuité des niveaux de gris caractérisant un coin dans une image. Afin de mettre en correspondance un ensemble de points d'une image à une autre, une description locale est utilisée. Elle permet d'extraire l'information du voisinage de chaque point (valeurs des pixels, des intensités lumineuses, des gradients). Dans le cas d'applications telles que la vidéo-surveillance ou les caméras embarquées, l'ajout d'une information temporelle est fortement recommandé. Cette généralisation est utilisée au sein du laboratoire pour des projets de type véhicules intelligents (CyCab : véhicule intelligent, VELAC : VEhicule du Lasmea pour l'Aide à la Conduite). Les travaux de recherche présentés dans ce mémoire ont pour objectif de mettre en oeuvre différents outils de détection, description et mise en correspondance de points d'intérêt. Un certain nombre de contraintes a été établi, notamment l'utilisation d'images en niveaux de gris, la robustesse et l'aspect générique de la méthode. Dans un premier temps, nous proposons une analyse bibliographique des méthodes existantes. Cette dernière permet en effet d'en déduire les paramètres de mise en oeuvre ainsi que les principaux avantages et inconvénients. Nous détaillons par la suite la méthode proposée. La détection des primitives repose sur l'utilisation du détecteur fast-hessien que nous optimisons. L'utilisation d'une description locale basée sur des histogrammes de gradients orientés (HOG) est très répandue et procure de très bons résultats. Nous proposons de compléter son utilisation par un recalage et une mise à l'échelle d'un masque d'analyse elliptique créant ainsi une nouvelle forme de description locale (E-HOG). La mise en correspondance des points d'intérêt se base quant à elle sur une approche par corrélation à laquelle nous ajoutons un coefficient de sélection ainsi qu'une étape de suppression des doublons. Les différents résultats validant notre approche s'appuient sur l'utilisation de transformations synthétiques (vérité terrain) ou réelles. Nous proposons également une généralisation de notre approche au domaine spatiotemporel, permettant ainsi d'élargir son domaine d'utilisation. Le masque d'analyse précédemment cité est modifié et s'appuie donc sur l'utilisation d'ellipsoïdes. Les tests de validation reposent d'une part sur des séquences vidéo ayant subi des transformations synthétiques et d'autre part sur des séquences réelles issues de la plate-forme PAVIN (Plate-forme d'Auvergne pour Véhicules Intelligents).

Many embedded robotic applications could benefit from an explicit detection of mobile objects. To this day, most approaches rely on classification, or on some structural scene analysis (for instance, V-Disparity). During the last few years, we've witnessed a growing interest for collaboration methods, that use actively btw structural analysis and motion analysis. These two processes are, indeed, closely related. In this context, we propose, through this study, two novel approaches that address this issue. While the first one use information from stereo and motion, the second one focuses on monocular systems, and allows us to retrieve a partial information.The first presented approach consists in a novel visual odometry system. We have shown that, even though the wide majority of authors tackle the visual odometry problem as non-linear, it can be shown to be purely linear. We have also shown that our approach achieves performances, as good as, or even better than the ones achieved by high-end IMUs. Given this visual odometry system, we then define a procedure allowing us to detect mobile objects. This procedure relies on a compensation of the ego-motion and a measure of the residual motion. We then lead a reflexion on the causes of limitation and the possible sources of improvement of this system. It appeared that the main parameters of the vision system (baseline, focal length) have a major impact on the performances of our detector. To the best of our knowledge, this impact had never been discussed, prior to our study. However, we think that our conclusion could be used as a set of recommendations, useful for every designer of intelligent vision system.the second part of this work focuses on monocular systems, and more specifically on the concept of C-Velocity. When V-Disparity defined a disparity map transform, allowing an easy detection of specific planes, C-Velocity defines a transform of the optical flow field, using the position of the FoE, allowing an easy detection of specific planes. Through this work, we present a modification of the C-Velocity concept. Instead of using a priori knowledge of the ego-motion (the position of the FoE) in order to determine the scene structure, we use a prior knowledge of the scene structure in order to localize the FoE, thus the translational ego-motion. the first results of this work are promising, and allow us to define several future works.; Un grand nombre d'applications de robotique embarquées pourrait bénéficier d'une détection explicite des objets mobiles. A ce jour, la majorité des approches présentées repose sur la classification, ou sur une analyse structurelle de la scène (la V-Disparité est un bon exemple de ces approches). Depuis quelques années, nous sommes témoins d'un intérêt croissant pour les méthodes faisant collaborer activement l'analyse structurelle et l'analyse du mouvement. Ces deux processus sont en effet étroitement liés. Dans ce contexte, nous proposons, à travers de travail de thèse, deux approches différentes. Si la première fait appel à l'intégralité de l'information stéréo/mouvement, la seconde se penche sur le cas des capteurs monoculaires, et permet de retrouver une information partielle.La première approche présentée consiste en un système innovation d'odométrie visuelle. Nous avons en effet démontré que le problème d'odométrie visuelle peut être posé de façon linéaire, alors que l'immense majorité des auteurs sont contraint de faire appel à des méthodes d'optimisation non-linéaires. Nous avons également montré que notre approche permet d'atteindre, voire de dépasser le niveau de performances présenté par des système matériels haut de gamme (type centrale inertielle). A partir de ce système d'odométrie visuelle, nous définissons une procédure permettant de détecter les objets mobiles. Cette procédure repose sur une compensation de l'influence de l'égo-mouvement, puis une mesure du mouvement résiduel. Nous avons ensuite mené une réflexion de fond sur les limitations et les sources d'amélioration de ce système. Il nous est apparu que les principaux paramètres du système de vision (base, focale) ont un impact de premier plan sur les performances du détecteur. A notre connaissance, cet impact n'a jamais été décrit dans la littérature. Il nous semble cependant que nos conclusions peuvent constituer un ensemble de recommandations utiles à tout concepteur de système de vision intelligent.La seconde partie de ce travail porte sur les systèmes de vision monoculaire, et plus précisément sur le concept de C-Vélocité. Alors que la V-Disparité a défini une transformée de la carte de disparité permettant de mettre en avant certains plans de l'image, la C-Vélocité défini une transformée du champ de flot optique, et qui utilise la position du FoE, qui permet une détection facile de certains plans spécifiques de l'image. Dans ce travail, nous présentons une modification de la C-Vélocité. Au lieu d'utiliser un a priori sur l'égo-mouvement (la position du FoE) afin d'inférer la structure de la scène, nous utilisons un a priori sur la structure de la scène afin de localiser le FoE, donc d'estimer l'égo-mouvement translationnel. Les premiers résultats de ce travail sont encourageants et nous permettent d'ouvrir plusieurs pistes de recherches futures.

Many embedded robotic applications could benefit from an explicit detection of mobile objects. To this day, most approaches rely on classification, or on some structural scene analysis (for instance, V-Disparity). During the last few years, we've witnessed a growing interest for collaboration methods, that use actively btw structural analysis and motion analysis. These two processes are, indeed, closely related. In this context, we propose, through this study, two novel approaches that address this issue. While the first one use information from stereo and motion, the second one focuses on monocular systems, and allows us to retrieve a partial information.The first presented approach consists in a novel visual odometry system. We have shown that, even though the wide majority of authors tackle the visual odometry problem as non-linear, it can be shown to be purely linear. We have also shown that our approach achieves performances, as good as, or even better than the ones achieved by high-end IMUs. Given this visual odometry system, we then define a procedure allowing us to detect mobile objects. This procedure relies on a compensation of the ego-motion and a measure of the residual motion. We then lead a reflexion on the causes of limitation and the possible sources of improvement of this system. It appeared that the main parameters of the vision system (baseline, focal length) have a major impact on the performances of our detector. To the best of our knowledge, this impact had never been discussed, prior to our study. However, we think that our conclusion could be used as a set of recommendations, useful for every designer of intelligent vision system.the second part of this work focuses on monocular systems, and more specifically on the concept of C-Velocity. When V-Disparity defined a disparity map transform, allowing an easy detection of specific planes, C-Velocity defines a transform of the optical flow field, using the position of the FoE, allowing an easy detection of specific planes. Through this work, we present a modification of the C-Velocity concept. Instead of using a priori knowledge of the ego-motion (the position of the FoE) in order to determine the scene structure, we use a prior knowledge of the scene structure in order to localize the FoE, thus the translational ego-motion. the first results of this work are promising, and allow us to define several future works.; Un grand nombre d'applications de robotique embarquées pourrait bénéficier d'une détection explicite des objets mobiles. A ce jour, la majorité des approches présentées repose sur la classification, ou sur une analyse structurelle de la scène (la V-Disparité est un bon exemple de ces approches). Depuis quelques années, nous sommes témoins d'un intérêt croissant pour les méthodes faisant collaborer activement l'analyse structurelle et l'analyse du mouvement. Ces deux processus sont en effet étroitement liés. Dans ce contexte, nous proposons, à travers de travail de thèse, deux approches différentes. Si la première fait appel à l'intégralité de l'information stéréo/mouvement, la seconde se penche sur le cas des capteurs monoculaires, et permet de retrouver une information partielle.La première approche présentée consiste en un système innovation d'odométrie visuelle. Nous avons en effet démontré que le problème d'odométrie visuelle peut être posé de façon linéaire, alors que l'immense majorité des auteurs sont contraint de faire appel à des méthodes d'optimisation non-linéaires. Nous avons également montré que notre approche permet d'atteindre, voire de dépasser le niveau de performances présenté par des système matériels haut de gamme (type centrale inertielle). A partir de ce système d'odométrie visuelle, nous définissons une procédure permettant de détecter les objets mobiles. Cette procédure repose sur une compensation de l'influence de l'égo-mouvement, puis une mesure du mouvement résiduel. Nous avons ensuite mené une réflexion de fond sur les limitations et les sources d'amélioration de ce système. Il nous est apparu que les principaux paramètres du système de vision (base, focale) ont un impact de premier plan sur les performances du détecteur. A notre connaissance, cet impact n'a jamais été décrit dans la littérature. Il nous semble cependant que nos conclusions peuvent constituer un ensemble de recommandations utiles à tout concepteur de système de vision intelligent.La seconde partie de ce travail porte sur les systèmes de vision monoculaire, et plus précisément sur le concept de C-Vélocité. Alors que la V-Disparité a défini une transformée de la carte de disparité permettant de mettre en avant certains plans de l'image, la C-Vélocité défini une transformée du champ de flot optique, et qui utilise la position du FoE, qui permet une détection facile de certains plans spécifiques de l'image. Dans ce travail, nous présentons une modification de la C-Vélocité. Au lieu d'utiliser un a priori sur l'égo-mouvement (la position du FoE) afin d'inférer la structure de la scène, nous utilisons un a priori sur la structure de la scène afin de localiser le FoE, donc d'estimer l'égo-mouvement translationnel. Les premiers résultats de ce travail sont encourageants et nous permettent d'ouvrir plusieurs pistes de recherches futures.

Perceiving or understanding the environment surrounding of a vehicle is a very important step in building driving assistant systems or autonomous vehicles. In this thesis, we focus on using laser scanner as a main perception sensor in context of dynamic outdoor environments. To solve this problem, we have to deal with 3 main tasks: (1) identify static part and dynamic entities moving in the environment, (2) use static part of the environment to build a map of the environment and localize the vehicle inside this map: this task is know as "Simultaneous Localization And Mapping" (SLAM) and finally (3) Detect And Track Moving Objects (DATMO). Regarding SLAM, the first contribution of this research is made by a grid-based approach\footnote{An occupancy grid is a decomposition of the environment in rectangular cells where each cell contains the probability that it is occupied by an obstacle.} to solve both problems of SLAM and detection of moving objects. To correct vehicle location from odometry we introduce a new fast incremental scan matching method that works reliably in dynamic outdoor environments. After good vehicle location is estimated, the surrounding map is updated incrementally and moving objects are detected without a priori knowledge of the targets. Our second contribution is an efficient, precise and multiscale representation of 2D/3D environment. This representation is actually an extension of occupancy grid where (1) only cells corresponding to occupied part of the environment are stored and updated (2) where cells are represented by a cluster of gaussian to have a fine representation of the environment and (3) where several occupancy grids are used to store and update a multiscale representation of the environment. Regarding DATMO, we firstly present a method of simultaneous detection, classification and tracking moving objects. A model-based approach is introduced to interpret the laser measurement sequence over a sliding window of time by hypotheses of moving object trajectories. The data-driven Markov chain Monte Carlo (DDMCMC) technique is used to explore the hypothesis space and effectively find the most likely solution. An other important problem to solve regarding DATMO is the definition of an appropriate dynamic model. In practice, objects can change their dynamic behaviors over time (e.g. : stopped, moving, accelerating, etc...). To adapt to these changing behaviors, a multiple dynamic model is generally required. But, this set of dynamic models and interactions between these models are always given a priori. Our second contribution on DATMO is a method to guide in the choice of motion models and in the estimation of interactions between these motion models. The last part of this thesis reports integration of these contributions on different experimental platforms in the framework of some national and european projects. Evaluations are presented which confirm the robustness and reliability of our contributions.

Advanced Driver Assistance Systems (ADAS) can improve road safety by supporting the driver through warnings in hazardous circumstances or triggering appropriate actions when facing imminent collision situations (e.g. airbags, emergency brake systems, etc). In this context, the knowledge of the location and the speed of the surrounding mobile objects constitute a key information. Consequently, in this work, we focus on object detection, localization and tracking in dynamic scenes. Noticing the increasing presence of embedded multi-camera systems on vehicles and recognizing the effectiveness of lidar automotive systems to detect obstacles, we investigate stereo vision systems contributions to multi-modal perception of the environment geometry. In order to fuse geometrical information between lidar and vision system, we propose a calibration process which determines the extrinsic parameters between the exterocep- tive sensors and quantifies the uncertainties of this estimation. We present a real-time visual odometry method which estimates the vehicle ego-motion and simplifies dynamic object motion analysis. Then, the integrity of the lidar-based object detection and tracking is increased by the means of a visual confirmation method that exploits stereo-vision 3D dense reconstruc- tion in focused areas. Finally, a complete full scale automotive system integrating the considered perception modalities was implemented and tested experimentally in open road situations with an experimental car., Les systèmes d'aide à la conduite peuvent améliorer la sécurité routière en aidant les utilisateurs via des avertissements de situations dangereuses ou en déclenchant des actions appropriées en cas de collision imminente (airbags, freinage d'urgence, etc). Dans ce cas, la connaissance de la position et de la vitesse des objets mobiles alentours constitue une information clé. C'est pourquoi, dans ce travail, nous nous focalisons sur la détection et le suivi d'objets dans une scène dynamique. En remarquant que les systèmes multi-caméras sont de plus en plus présents dans les véhicules et en sachant que le lidar est performant pour la détection d'obstacles, nous nous intéressons à l'apport de la vision stéréoscopique dans la perception géométrique multimodale de l'environnement. Afin de fusionner les informations géométriques entre le lidar et le système de vision, nous avons développé un procédé de calibrage qui détermine les paramètres extrinsèques et évalue les incertitudes sur ces estimations. Nous proposons ensuite une méthode d'odométrie visuelle temps-réel permettant d'estimer le mouvement propre du véhicule afin de simplifier l'analyse du mouvement des objets dynamiques. Dans un second temps, nous montrons comment l'intégrité de la détection et du suivi des objets par lidar peut être améliorée en utilisant une méthode de confirmation visuelle qui procède par reconstruction dense de l'environnement 3D. Pour finir, le système de perception multimodal a été intégré sur une plateforme automobile, ce qui a permis de tester expérimentalement les différentes approches proposées dans des situations routières en environnement non contrôlé.

The problematic of the thesis enter within the framework of the preventive driving assistance systems by the study of the vehicle dynamic behavior and the application of the observers for the detection upstream of driving critical situations. In this work, we proposed a warning unit to provide information or an alarm to the driver, sufficiently in advance, in order to avoid road departure accidents, which takes into account several constraints: Excessive longitudinal speed even on straight road section, excessive lateral dynamic (excessive lateral acceleration and yaw rate), vehicle lateral positioning (excessive lateral displacement and relative yaw angle) and small values of time to lane crossing. To give a solution to the problem of the road departure accidents related to a problem of vehicle dynamics, a new model of critical speed in curve was developed. This model takes into account the evolution of the vehicle dynamics as well as the mechanical parameters. The detection algorithms were tested on several scenarios and alarms obtained correspond well to felt drivers and in the exact places., La problématique de la thèse entre dans le cadre des systèmes préventifs d'aide à la conduite par l'étude du comportement dynamique d'un véhicule automobile et l'application des observateurs en vue de la détection en amont de situations critiques de la conduite. Dans ce travail de thèse, nous avons proposé une unité d'avertissement pour fournir une information ou une alarme au conducteur, suffisamment en avance, afin d'éviter des accidents de type sortie de voie, en tenant compte de plusieurs critères : Vitesse longitudinale excessive, dynamique latérale excessive, positionnement latéral du véhicule et le temps à sortie de voie. Pour donner une solution au problème des accidents par sortie de voie liés à un problème de dynamique du véhicule, un nouveau modèle de vitesse critique en courbe a été développé. Ce modèle prend en compte l'évolution de la dynamique du véhicule ainsi que les paramètres mécaniques. Les algorithmes de détection ont été testés sur plusieurs scénarios et les alertes obtenues correspondent bien aux ressentis des conducteurs et aux endroits exacts.

The objective of this Ph. Thesis is to apply, for data fusion problems, consistency techniques on real boxes in order to solve CSP (Constraint Satisfaction Problems). The considered application deals with dynamic localisation of a car-like vehicle using ABS odometers, a gyro and a differential GPS receiver.After this study and its conclusions, two main contributions are introduced to improve usual constraints satisfaction techniques thanks to the concepts of Vectorized CSP “VCSP” and “Consistency Domains”. The goal is to solve cycles thanks to Consistency Domains and to isolate and organise cycles appearing on constraints graphs in order to obtain optimal domains with an a priori known calculation time.; L'objectif de cette thèse est d'appliquer, aux problèmes de fusion de données, les techniques de résolution des CSP (Problèmes de Satisfaction de Contraintes) sur des pavés réels avec comme application réelle la localisation dynamique d'un véhicule à l'aide des capteurs odométriques, d'un gyromètre de lacet et d'un GPS différentiel.Après avoir mené cette étude et tiré des conclusions, deux contributions sont faites pour améliorer les techniques de satisfaction de contraintes utilisées. Dans un premier temps, la notion de "domaine de consistance" est introduite. Les propriétés qui lui sont associées permettent de résoudre de manière formelle des exemples de cycles. Grâce à cet outil, on améliore la précision des pavés obtenus tout en ayant une information précieuse du temps de calcul a priori. Dans un second temps, l'algorithme de propagation connu sous le nom de FALL/CLIMB permettant de résoudre de façon optimale un CSP ayant une représentation graphique sous forme de graphe est généralisé aux CSP vectorisés appelés "VCSP".

If many aspects of our life became more pleasant thanks to the use of leading-edge technologies, a long time was necessary for the transport field to fill its delay on the matter. Today, this progress became a necessity. This work describes the environment perception in front of the vehicle, using a stereoscopic sensor based on the concept of smart sensors, whose aim consists carrying out a Virtual Attachment between two vehicles.After a presentation of the associated problematic, the first chapter draws up the state of the art as regards intelligent vehicles. The second one introduces the concept of intelligent sensor and presents the designing approaches; we apply to identify the various services and functionalities that this intelligent stereoscopic sensor must integrate to contribute to the accomplishment of the Virtual Attachment task.The last chapter describes the realization of the stereoscopic sensor. We detail the problems raised when applying stereovision to the field of transport and the solutions we propose. Thus, we discuss difficulties of calibration procedure, real time extraction of region of interest and the problem of certification of the obtained data. We have implemented an extraction and tracking feature to satisfy temporal requirements. Performances of each module of our sensor are supported by experimental results obtained in actual situations. Finally, we present a technique allowing us to follow a vehicle just by using a single camera.; Si de nombreux aspects de notre vie sont devenus plus agréables grâce à l'utilisation de technologies avancées, il a fallu longtemps au secteur du transport pour combler son retard en la matière. Aujourd'hui, ces progrès sont devenus incontournables. Ce travail décrit la perception de l'environnement à l'avant d'un véhicule, sur la base d'un capteur stéréoscopique conçu et mis en place en s'appuyant sur le concept de capteur intelligent afin de réaliser un Attelage Virtuel.Après une présentation de la problématique associée, le premier chapitre dresse l'état de l'art en matière de véhicules intelligents. Le second introduit la notion de capteur intelligent et présente les approches de conception que nous mettons en application pour identifier les différents services et fonctionnalités que doit intégrer ce capteur stéréoscopique intelligent pour contribuer à la réalisation de la tâche de l'Attelage Virtuel.Le dernier chapitre expose la réalisation du capteur stéréoscopique. Nous y détaillons les problèmes que posent l'application de la stéréovision au domaine des transports et les solutions que nous y avons apportées. Ainsi, sont évoquées les difficultés posées par la phase de calibration, l'extraction en temps réel des zones d'intérêt et le problème de certification des données obtenues. Le respect des contraintes temporelles nous a conduit à mettre en œuvre un dispositif d'extraction et de tracking. Les performances de chacun des modules constitutifs de notre capteur sont étayées par des résultats expérimentaux obtenus en situation réelle. Enfin, nous présentons une technique permettant le suivi du véhicule avec une seule caméra.

If many aspects of our life became more pleasant thanks to the use of leading-edge technologies, a long time was necessary for the transport field to fill its delay on the matter. Today, this progress became a necessity. This work describes the environment perception in front of the vehicle, using a stereoscopic sensor based on the concept of smart sensors, whose aim consists carrying out a Virtual Attachment between two vehicles.After a presentation of the associated problematic, the first chapter draws up the state of the art as regards intelligent vehicles. The second one introduces the concept of intelligent sensor and presents the designing approaches; we apply to identify the various services and functionalities that this intelligent stereoscopic sensor must integrate to contribute to the accomplishment of the Virtual Attachment task.The last chapter describes the realization of the stereoscopic sensor. We detail the problems raised when applying stereovision to the field of transport and the solutions we propose. Thus, we discuss difficulties of calibration procedure, real time extraction of region of interest and the problem of certification of the obtained data. We have implemented an extraction and tracking feature to satisfy temporal requirements. Performances of each module of our sensor are supported by experimental results obtained in actual situations. Finally, we present a technique allowing us to follow a vehicle just by using a single camera.; Si de nombreux aspects de notre vie sont devenus plus agréables grâce à l'utilisation de technologies avancées, il a fallu longtemps au secteur du transport pour combler son retard en la matière. Aujourd'hui, ces progrès sont devenus incontournables. Ce travail décrit la perception de l'environnement à l'avant d'un véhicule, sur la base d'un capteur stéréoscopique conçu et mis en place en s'appuyant sur le concept de capteur intelligent afin de réaliser un Attelage Virtuel.Après une présentation de la problématique associée, le premier chapitre dresse l'état de l'art en matière de véhicules intelligents. Le second introduit la notion de capteur intelligent et présente les approches de conception que nous mettons en application pour identifier les différents services et fonctionnalités que doit intégrer ce capteur stéréoscopique intelligent pour contribuer à la réalisation de la tâche de l'Attelage Virtuel.Le dernier chapitre expose la réalisation du capteur stéréoscopique. Nous y détaillons les problèmes que posent l'application de la stéréovision au domaine des transports et les solutions que nous y avons apportées. Ainsi, sont évoquées les difficultés posées par la phase de calibration, l'extraction en temps réel des zones d'intérêt et le problème de certification des données obtenues. Le respect des contraintes temporelles nous a conduit à mettre en œuvre un dispositif d'extraction et de tracking. Les performances de chacun des modules constitutifs de notre capteur sont étayées par des résultats expérimentaux obtenus en situation réelle. Enfin, nous présentons une technique permettant le suivi du véhicule avec une seule caméra.

Le manuscrit est organisé autour de 4 chapitres scientifiques et techniques. Le premier porte sur la radiolocalisation. Il en dresse un état de l'art en décrivant les mesures et le fonctionnement de systèmes de radiolocalisation sur la base des exemples du LORAN C et du GPS. Ces principes serviront aux modélisations du chapitre 4. Les amers utilisés par les systèmes de localisation ont été souvent peu considérés. Depuis quelques années et suite au progrès des techniques de cartographie et localisation simultanées, ils sont au centre des préoccupations de chercheurs. Ainsi dans le chapitre 3, je présente quelques types d'amers en cherchant à faire le lien avec l'information géographique et les bases de données navigables utiles pour leur gestion. Le chapitre 4 pose le problème de la localisation dynamique comme un problème d'observation d'état et décrit les différentes méthodologies que j'ai étudiées.C'est le chapitre le plus méthodologique dans lequel je présente le plus de résultats. Enfin, le chapitre 5 présente l'application de mes travaux à l'aide à la conduite automobile.Le document se terminera par une synthèse de mes contributions scientifiques et dressera des perspectives de recherche.