Search

Perception and correct understanding of the road scene is crucial for any application of assisted and automated driving. In order to guarantee safety of the passenger and other road users, planning and navigation must be made on the basis of a reliable environment representation. Multi-sensor data and prior information is used to build this representation which incorporates identification of road users and road structure. For the latter, the focus is put on the drivablespace and lane repartition. On highways, urban streets and generally all over the road network, the drivable space is organized in oriented corridors which enablesafer and predictable navigation for everyone. In the development of intelligentvehicles, identifying the lane repartition and building an accurate road representation outlines the lane boundaries detection task. Depending on the specifics of the target automated system, car manufacturers integrate in currently commercialized vehicles ready-to-use lane detection solutions from Tier-1 suppliers generally featuring single and vision-based smart sensors. Such solutions may not be adequate in highly automated systems where the driver is allowed to divert their attention from the driving task and become passenger. This thesis addresses the problem of lane boundaries identification relying on multi-sensor fusion of smart camera data (specifically, frontal and AVM cameras) and HD-maps. In the first part, an appropriate modeling for smart sensor measurements which is independent from the sensor nature is proposed. Uncertain detections of markings, barriers and other road elements contribute to the tracking of the surrounding lane boundaries using a novel clothoid-spline model. The second part focuses on the integration of prior information coming from digital maps. Similarly to the modeling of smart sensors, the involved uncertainties in the usage of map-providers have been taken into account to support the lane boundaries estimation. For the testing of the proposed approaches, a custom dataset of road data has been recorded using both off-the-shelf smart sensors and live streamed HD-maps. Validated and tuned tracking solutions are then integrated in close-loop experimentations on Renault prototype vehicle of SAE Level 3 of automation., La perception et la compréhension correcte de la scène routière sont cruciales pour toute application de conduite assistée et automatisée. Afin de garantir la sécurité du passager et des autres usagers de la route, la planification et la navigation doivent être effectuées sur la base d’une représentation fiable de l’environnement. Les données multi-capteurs et les informations préalables sont utilisées pour construire cette représentation qui intègre l’identification des usagers de la route et de la structure de la route. Pour cette dernière, l’accent est mis sur l’espace de conduite et la répartition en voies. Sur les autoroutes, les rues urbaines et plus généralement sur l’ensemble du réseau routier, l’espace carrossable est organisé en couloirs orientes qui permettent une navigation plus sure et prévisible pour tous. Dans le cadre du développement des véhicules intelligents, l’identification de la répartition des voies et la construction d’une représentation précise de la route constituent la tache de détection des limites des voies. En fonction des spécificités du système automatise cible, les constructeurs automobiles intègrent dans les véhicules actuellement commercialises des solutions de détection des voies prêtes à l’emploi provenant de fournisseurs Tier-1 et comprenant généralement des capteurs intelligents simples et bases sur la vision. Ces solutions peuvent ne pas être adéquates dans les systèmes hautement automatisés où le conducteur est autorisé à détourner son attention de la tache de conduite pour devenir un passager. Cette thèse aborde le problème de l’identification des limites de voies en s’appuyant sur la fusion multi-capteurs des données des caméras intelligentes (en particulier, les cameras frontales et AVM) et des cartes HD. Dans la première partie, une modélisation appropriée pour les mesures des capteurs intelligents, indépendante de la nature du capteur, est proposée. Les détections incertaines des marquages, des barrières et d’autres éléments de la route contribuent au suivi des limites des voies environnantes à l’aide d’un nouveau modèle de splines de clothoides. La deuxième partie se concentre sur l’intégration d’informations préalables provenant de cartes numériques. Comme pour la modélisation des capteurs intelligents, les incertitudes liées à l’utilisation des fournisseurs de cartes ont été prises en compte pour aider à l’estimation des limites de la voie. Pour tester les approches proposées, un ensemble sur mesure de données routières a été enregistré en utilisant à la fois des capteurs intelligents disponibles dans le commerce et des cartes HD live stream. Les solutions de suivi validées et tunées sont ensuite intégrées dans des expérimentations en boucle fermée sur un véhicule prototype Renault de niveau 3 d’automatisation SAE., La percezione e la corretta comprensione della scena stradale e fondamentale per qualsiasi applicazione di guida assistita e automatizzata. Per garantire la sicurezza del passeggero e degli altri utenti della strada, la pianificazione e la navigazione devono essere effettuate sulla base di una rappresentazione affidabile dell’ambiente. Dati di origine multi-sensore e informazioni disponibili a priori sono utilizzati per costruire questa rappresentazione che incorpora l’identificazione degli utenti della strada e la struttura della strada stessa. Per quest’ultima, l’attenzione e posta sullo spazio percorribile e sulla ripartizione in corsie. Sulle autostrade, le strade urbane e in generale su tutta la rete stradale, lo spazio percorribile e organizzato in corridoi orientati che permettono una navigazione piu sicura e prevedibile per tutti. Nello sviluppo di veicoli intelligenti, l’identificazione della ripartizione in corsie e la costruzione di una rappresentazione accurata della strada delinea il compito di rilevamento dei confini delle corsie o lane boundaries detection. A seconda delle specifiche del sistema automatizzato di destinazione, le case automobilistiche integrano nei veicoli attualmente commercializzati soluzioni di rilevamento di corsia pronte all’uso da fornitori Tier-1, generalmente composte di singoli sensori intelligenti e basate sulla visione computerizzata. Tali soluzioni potrebbero non essere adeguate in sistemi altamente automatizzati dove al guidatore e permesso di distogliere l’attenzione dal compito di guida e di diventare passeggero. Questa tesi di dottorato affronta il problema dell’identificazione dei limiti di corsia basandosi sulla fusione multi-sensore di dati provenienti da telecamere intelligenti (in particolare, telecamere frontali e AVM) e mappe HD. Nella prima parte, viene proposta una modellazione appropriata per le misure dei sensori intelligenti che e indipendente dalla natura del sensore. I rilevamenti incerti di marcature, barriere e altri elementi stradali contribuiscono alla stima dei limiti delle corsie circostanti utilizzando un nuovo modello di spline di clotoidi. La seconda parte si concentra sull’integrazione di informazioni provenienti da mappe digitali. Analogamente alla modellazione dei sensori intelligenti, le incertezze coinvolte nell’uso di map-providers sono state prese in considerazione per supportare l’identificazione dei limiti di corsia. Per testare gli approcci proposti, e stato registrato un dataset personalizzato di dati stradali utilizzando sia sensori intelligenti off-the-shelf che mappe HD in live streaming. Le soluzioni di tracking convalidate e correttamente regolate sono poi integrate in sperimentazioni a circuito chiuso su un veicolo prototipo Renault di livello 3 di automazione SAE.

Un problème récurrent dans le domaine de la robotique est la difficulté à reproduire les résultats et valider les affirmations faites par les scientifiques. Les expériences conduites en laboratoire donnent fréquemment des résultats propres à l'environnement dans lequel elles ont été effectuées, rendant la tâche de les reproduire et de les valider ardues et coûteuses. Pour cette raison, il est difficile de comparer la performance et la robustesse de différents contrôleurs robotiques. Les environnements substituts à faibles coûts sont populaires, mais introduisent une réduction de performance lorsque l'environnement cible est enfin utilisé. Ce mémoire présente nos travaux sur l'amélioration des références et de la comparaison d'algorithmes (``Benchmarking'') en robotique, notamment dans le domaine de la conduite autonome. Nous présentons une nouvelle platforme, les Autolabs Duckietown, qui permet aux chercheurs d'évaluer des algorithmes de conduite autonome sur des tâches, du matériel et un environnement standardisé à faible coût. La plateforme offre également un environnement virtuel afin d'avoir facilement accès à une quantité illimitée de données annotées. Nous utilisons la plateforme pour analyser les différences entre la simulation et la réalité en ce qui concerne la prédictivité de la simulation ainsi que la qualité des images générées. Nous fournissons deux métriques pour quantifier l'utilité d'une simulation et nous démontrons de quelles façons elles peuvent être utilisées afin d'optimiser un environnement proxy., A common problem in robotics is reproducing results and claims made by researchers. The experiments done in robotics laboratories typically yield results that are specific to a complex setup and difficult or costly to reproduce and validate in other contexts. For this reason, it is arduous to compare the performance and robustness of various robotic controllers. Low-cost reproductions of physical environments are popular but induce a performance reduction when transferred to the target domain. This thesis present the results of our work toward improving benchmarking in robotics, specifically for autonomous driving. We build a new platform, the Duckietown Autolabs, which allow researchers to evaluate autonomous driving algorithms in a standardized framework on low-cost hardware. The platform offers a simulated environment for easy access to annotated data and parallel evaluation of driving solutions in customizable environments. We use the platform to analyze the discrepancy between simulation and reality in the case of predictivity and quality of data generated. We supply two metrics to quantify the usefulness of a simulation and demonstrate how they can be used to optimize the value of a proxy environment.

Nowadays, Autonomous Vehicles (AVs) are capable of realizing extraordinary and complicated tasks. Notwithstanding these amazing achievements, several challenges arise, one of them is the ability of the autonomous car to perceive its environment in order to properly evaluate the situation with regards to the road environment. Part of this situation evaluation is the knowledge about ego-localization. In the broadest sense, ego-localization is a meaningful concept that can be related to different problematics. However, one interpretation of ego-localization consists of the knowledge of three key components: the road on which the vehicle is traveling (Road Level Localization (RLL)), the ego-lane position (Ego-Lane Level Localization (ELL)), and the lane on which the vehicle is traveling (LLL). Therefore, a reliable ego-localization system has to fulfill the localization’s requirement of each of these components.The objective of this Ph.D. work is to propose a unified, generalized and modular localization system architecture that tackles every aspect of the localization system. In addition that, a focus is given on opensource map OpenSteetMap (OSM) to demonstrate that even a low-cost map can be used to obtain an accurate localization. To do so, an end-to-end framework composed of several interconnected components is presented. This framework is responsible of providing a localization solution on a digital map by developing a robust map-matching algorithm. Furthermore, it permits the localization of the ego-vehicle with respect to ego-lane by proposing a top-down approach that exploits the priors of the map in order to detect the lane marking. Finally, it determines the lane on which the vehicle is traveling by introducing a modular framework that handles the ambiguities in the lane-level localization. The reliability and the flexibility of the overall proposed architecture and its elementary components have been intensively validated, first, individually using different dataset, and secondly, as a whole solution using a collected dataset in the region of Clermont-Ferrand., De nos jours, les véhicules autonomes (VAs) sont capables de réaliser des tâches extraordinaires et compliquées. Malgré ces réalisations étonnantes, plusieurs défis se posent, l’un d’eux étant la capacité de la voiture autonome à percevoir correctement son environnement afin d’évaluer correctement la situation dans laquelle elle se trouve. Cette évaluation de la situation repose en partie sur la connaissance de l’égo-localisation. Au sens large, l’ego-localisation est un concept vaste qui peut être lié à différentes problématiques. Cependant, une interprétation de l’égo-localisation consiste en la connaissance de trois éléments clés : la route sur laquelle le véhicule circule (Road Level Localization (RLL)), la position de du véhciule par rapport aux marquages de sa voie (Ego-Lane Level Localization (ELL)), et la voie sur laquelle le véhicule circule (Lane-Level Localization (LLL)). Par conséquent, un système d’ego-localisation fiable doit répondre aux exigences de localisation de chacun de ces composants.L’objectif de ce travail de doctorat est de proposer une architecture de système de localisation unifiée, généralisée et modulaire qui aborde tous les aspects du système de localisation. En outre, l’accent est mis sur l’utilisation de la carte opensource OpenSteetMap (OSM) pour démontrer que même une carte à faible coût peut être utilisée pour obtenir une localisation précise. Pour ce faire, une architecture probabliste dite end-to-end composé de plusieurs composants interconnectés est présentée. Cette architecture est chargée de fournir une solution de localisation sur une carte numérique en développant un algorithme robuste de correspondance de carte (map-matching). De plus elle permet de localiser l’ego-véhicule par rapport à l’ego-voie en proposant une approche descendante qui exploite les informations a priori de la carte afin de détecter les marquages de l’egovoie. Enfin, elle permet de déterminer la voie sur laquelle le véhicule se déplace en introduisant une architecture modulaire qui gère les ambiguïtés dans le choix de la bonne voie. La fiabilité et la flexibilité de l’architecture globale proposée et de ses composants élémentaires ont été validées , d’abord individuellement à l’aide de différents ensembles de données, puis en tant que solution globale à l’aide d’un ensemble de données collectées dans la region de Clermont-Ferrand.

Les futurs véhicules permettraient l'alternance entre des phases de conduite autonome et des phases de conduite manuelle. Cette transition est cruciale sur le plan attentionnel et repose sur l'utilisation d'alertes. La littérature a montré que des omissions de perceptions d'alertes sonores peuvent être liées à un niveau élevé d'engagement attentionnel dans une tâche annexe. L'objectif de ce travail en cours est d'investiguer les conditions de création du phénomène d'omission, ainsi que l'efficacité d'une contremesure pour réguler ces états (ici un biofeedback temps-réel du rythme cardiaque). Les participants ont réalisé une double tâche consistant en une détection d'alertes sonores et en un jeu mnésique présentant des variations de difficulté et de stress. Des données physiologiques, subjectives et comportementales ont été collectées. Les premiers résultats montrent un impact des conditions sur les trois dimensions. La poursuite de l'analyse des données devrait nous permettre d'étudier sous divers angles les phénomènes attentionnels et les impacts du biofeedback générés lors de l'expérimentation.

The development of conditionally automated driving systems is expanding quickly. The partial delegation of the driving activity in an autonomous vehicle questions the driver's ability to takeover the vehicle in a risky situation.The objective of our work is to identify physiological and behavioral markers capable to predict response time (TOT) and the takeover quality. 32 volunteers (43 ± 16 years 16 men) carried out simulated driving where events (object on the road, bad weather, absence of road markings) required a takeover. Before each takeover request (TOR), drivers performed various non-driving tasks (NDRT) such as listening to the radio, reading a book, watching a video...Electrocardiographic (ECG), electroencephalographic (EEG) and oculomotor (OM) markers were recorded 2 minutes before the takeover and analyzed. These markers, age, gender and nature, duration, solicitation of the hands and gaze of NDRTs were included in our statistical models (binary logistic regressions, automatic linear models, Youden index, ROC curves).Takeovers are qualified in 4 ways. Qualification 1 (Q1) is based on the time to collision (TTC, time separating the vehicle from the obstacle when the lane change is engaged) and the presence or absence of a collision. Qualification 2 (Q2) uses the previous 2 criteria and the velocity of the steering wheel rotation. Qualification 3 (Q3) includes the first 2 criteria and the verification of the mirrors. And qualification 4 (Q4) by the presence or not of a collision, and the inappropriate line crossing (ILC).Our results show that TOT depends neither on age nor gender of the drivers. The longest TOTs are observed when the NDRT has a strong manual component or requires a strong solicitation of the head position during the takeover. In the case of a takeover with a lane change, the TOT is the main factor influencing the takeover quality: the longer the TOT, the poorer the quality of the takeover. The nature and duration of the NDRT do not change the takeover quality. Age has an impact on the takeover quality in Q2 and Q3: older drivers are less successful at takeover than younger ones because they have more unstable lateral control of the vehicule (higher standard deviation of the velocity of steering wheel rotation) and poorer analysis of the scene (lack of mirrors verification). On the other hand, age does not influence either longitudinal control (TTC) or the presence of collisions. In the case of a takeover without lane change, the takeover quality (Q4) is mainly determined by age: older subjects perform less well than younger subjects due to poor lateral control. It is above all age that determines the quality of recovery (Q4): elderly subjects (61-75) are less successful than younger subjects because of a worse lateral control.None of our models can predict TOT or Q1 takeover quality. The combination of OM parameters (duration of fixations, and pupil diameter) and EEG (Frontal Theta) are the markers that allow better predicting of take over quality in Q2. The OM parameters (frequency and duration of fixations, and distance of saccades) allow the prediction of the quality of recovery in Q3. Associated EEG markers (LFHF ratio, High Beta band in Cz, Theta / Beta ratio in frontal) and OM (mean pupil diameter), can predict the quality of recovery in Q4.Our results will make it possible in the future to improve new models (braking, steering or steering / braking model) capable of better explaining and / or predicting the behavior of the driver during takeover in level 3 autonomous driving., Le développement de systèmes de conduite conditionnellement automatisés est en pleine expansion. La délégation partielle de l’activité de conduite à un véhicule autonome interroge sur la capacité du conducteur à reprendre en main le véhicule lors d’une situation à risques.L’objectif de notre travail est d’identifier des marqueurs physiologiques et comportementaux capables de prédire le temps de réponse (TOT) et la qualité de reprise en main du véhicule. 32 volontaires sains (43 ± 16 ans, 16 hommes) ont effectué une conduite simulée où des événements (objet sur la voie, mauvaise météo, absence de marquage au sol) ont impliqué une reprise en main du véhicule. Avant chaque demande de reprise en main (TOR), les conducteurs réalisaient différentes tâches non liées à la conduite (NDRT) telles qu’écouter la radio, lire un livre, regarder une vidéo….Des marqueurs électrocardiographiques (ECG), électroencéphalographiques (EEG) et oculomoteurs (OM) ont été enregistrés 2 min avant la reprise en main et analysés. Ces marqueurs, ainsi que l’âge, le sexe, et la nature, durée des NDRTs et l’implication des mains et du regard dans les NDRTs, ont été utilisés dans nos modèles statistiques (régressions logistiques binaires, modélisations linéaires automatiques, Indice de Youden, courbes ROC).Les reprises de conduite sont qualifiées de 4 façons. La qualification 1 (Q1) s’appuie sur le temps de collision (TTC, temps séparant le véhicule de l’obstacle à l’engagement d’un changement de voie) et la présence ou non d’une collision. La qualification 2 (Q2) reprend les 2 critères précédents et la vitesse de rotation du volant. La qualification 3 (Q3) reprend les 2 premiers critères et la vérification des rétroviseurs. Et la qualification 4 (Q4) par la présence ou non d’une collision et le franchissement de ligne (ILC).Nos résultats démontrent que le TOT ne dépend ni de l’âge, ni du sexe des conducteurs. Les TOTs les plus longs sont observés lorsque la NDRT a une forte composante manuelle ou sollicitation de la position de la tête lors de la reprise. Lors d’une reprise avec changement de voie, le TOT est le principal facteur influençant la qualité de cette dernière : plus le TOT est long, plus la qualité de reprise est mauvaise. La nature et la durée de la NDRT ne modifient pas la qualité de reprise. L’âge a un impact sur la qualité de reprise en Q2 et Q3 : les conducteurs âgés réussissent moins bien leur reprise de conduite que les plus jeunes car ils présentent un contrôle latéral du véhicule plus instable (écart-type de la vitesse de rotation du volant plus important) et une analyse de la scène moins bonne (absence de vérification rétroviseurs). En revanche, l’âge n’influence ni le contrôle longitudinal (TTC) ni la présence de collisions. Lors d’une reprise en main sans changement de voie, c’est surtout l’âge qui conditionne la qualité de reprise (Q4) : les sujets âgés (61-75) réussissent moins bien que les sujets plus jeunes à cause d’un plus mauvais contrôle latéral.Aucune de nos modélisations ne permet de prédire le TOT ou la qualité de reprise en Q1. L’association de paramètres OM (durées des fixations, et diamètre pupillaire) et EEG (Thêta Frontal) sont les marqueurs permettant de mieux prédire les qualités de reprise en Q2. Les paramètres OM (fréquence et durée des fixations, et distance des saccades) permettent la prédiction de la qualité de reprise en Q3. Des marqueurs EEG (ratio LFHF, bande Beta Haut en Cz, rapport Thêta/Beta en frontal) et OM (diamètre moyen de la pupille) associés, permettent de prédire la qualité de reprise en Q4.Nos résultats permettront dans le futur d’améliorer de nouveaux modèles (modèle de freinage, de braquage ou braquage/freinage) capables de mieux expliquer et/ou prédire le comportement du conducteur lors d’une reprise en main en conduite autonome de niveau 3.

In this thesis, we address the challenges of 3D scene reconstruction and completion from sparse and heterogeneous density point clouds. Therefore proposing different techniques to create a 3D model of the surroundings.In the first part, we study the use of 3-dimensional occupancy grids for multi-frame reconstruction, useful for localization and HD-Maps applications. This is done by exploiting ray-path information to resolve ambiguities in partially occupied cells. Our sensor model reduces discretization inaccuracies and enables occupancy updates in dynamic scenarios.We also focus on single-frame environment perception by the introduction of a 3D implicit surface reconstruction algorithm capable to deal with heterogeneous density data by employing an adaptive neighborhood strategy. Our method completes small regions of missing data and outputs a continuous representation useful for physical modeling or terrain traversability assessment.We dive into deep learning applications for the novel task of semantic scene completion, which completes and semantically annotates entire 3D input scans. Given the little consensus found in the literature, we present an in-depth survey of existing methods and introduce our lightweight multiscale semantic completion network for outdoor scenarios. Our method employs a new hybrid pipeline based on a 2D CNN backbone branch to reduce computation overhead and 3D segmentation heads to predict the complete semantic scene at different scales, being significantly lighter and faster than existing approaches., Dans cette thèse, nous nous intéressons à des problèmes liés à la reconstruction et la complétion des scènes 3D à partir de nuages de points de densité hétérogène. Nous étudions l'utilisation de grilles d'occupation tridimensionnelles pour la reconstruction d'une scène 3D à partir de plusieurs observations. Nous proposons d'exploiter les informations de trajet des rayons pour résoudre des ambiguïtés dans les cellules partiellement occupées. Notre approche permet de réduire les imprécisions dues à la discrétisation et d'effectuer des mises à jour d'occupation des cellules dans des scénarios dynamiques. Puis, dans le cas où le nuage de points correspond à une seule observation de la scène, nous introduisons un algorithme de reconstruction de surface implicite 3D capable de traiter des données de densité hétérogène en utilisant une stratégie de voisinages adaptatifs. Notre méthode permet de compléter de petites zones manquantes de la scène et génère une représentation continue de la scène. Enfin, nous nous intéressons aux approches d'apprentissage profond adaptées à la complétion sémantique d'une scène 3D. Après avoir présenté une étude approfondie des méthodes existantes, nous introduisons une nouvelle méthode de complétion sémantique multi-échelle appropriée aux scenarios en extérieur. Pour ce faire, nous proposons une architecture constituée d'un réseau neuronal convolutif hybride basé sur une branche principale 2D et comportant des têtes de segmentation 3D pour prédire la scène sémantique complète à différentes échelles. Notre approche est plus légère et plus rapide que les approches existantes, tout en ayant une efficacité similaire.

Understanding urban scenes require recognizing the semantic constituents of a scene and the complex interactions between them. In this work, we explore and provide effective representations for understanding urban scenes based on in situ perception, which can be helpful for planning and decision-making in various complex urban environments and under a variety of environmental conditions. We first present a taxonomy of deep learning methods in the area of semantic segmentation, the most studied topic in the literature for understanding urban driving scenes. The methods are categorized based on their architectural structure and further elaborated with a discussion of their advantages, possible limitations, and future directions. Then, we proposed a new approach to visual attention for driving based on a conditional generative adversarial network. We have presented the well-known salience algorithms, both classical and Deep Learning approaches, used for visual attention. We built a large visual attention database on a new strategy for mining saliency heatmaps from existing driving datasets. We then proposed a novel object identification framework that combines motion and geometry cues to understand the urban driving environment. A new moving object detection model is developed by integrating an encoder-decoder network with semantic segmentation and a disparity estimator. An image registration algorithm is proposed along with the optical flow to compensate for ego-motion. Extensive empirical evaluations on various driving datasets show that all the proposed methods achieve remarkable performance in terms of accuracy and demonstrate the effectiveness of the essential techniques for scene understanding in autonomous driving., La tâche de compréhension des scènes urbaines nécessite la reconnaissance des constituants sémantiques de la scène et les interactions complexes entre eux. Par le biais de cette thèse, nous explorons et fournissons des représentations efficaces pour comprendre les scènes urbaines basées sur la perception, qui peuvent être utiles pour la planification et la prise de décision dans divers environnements urbains complexes et conditions environnementales variées. Nous présentons d'abord une taxonomie des méthodes d'apprentissage profond dans le domaine de la segmentation sémantique, en vue de l'intéret que porte la communauté scientifique à ce sujet pour la compréhension des scènes de conduite urbaine. Ainsi, nous avons d'abord classifié ces méthodes en fonction de leur structure architecturale afin d'élaborer ensuite une discussion sur leurs avantages, limites possibles et orientations futures. En suite, nous avons proposé une nouvelle approche de l'attention visuelle pour la conduite basée sur un réseau génératif conditionnel (GAN). Présentation des algorithmes de saillance bien connus, à la fois des approches classiques et d'apprentissage profond utilisées pour l'attention visuelle. Dans ce contexte, nous avons mis en place une large base de données d'attention visuelle basée sur une nouvelle stratégie d'extraction de cartes de saillance à partir d'un ensemble de données de conduite existant. Nous avons ensuite proposé un nouveau cadre d'identification d'objets qui combine des indices de mouvement et de géométrie pour comprendre l'environnement de conduite urbain. Par ailleurs, un nouveau modèle de détection d'objets en mouvement a été développé en intégrant un réseau codeur-décodeur couplé avec la segmentation sémantique et un réseau d'estimation de disparité. Un algorithme d'enregistrement d'image est proposé avec le flux optique pour compenser l'ego-mouvement. De nombreuses évaluations approfondies sur divers ensembles de données de conduite montrent que toutes les méthodes proposées atteignent des performances remarquables en termes de précision et démontrent l'efficacité des techniques essentielles pour la compréhension de la scène en conduite autonome.

The main aim of this thesis is to extend navigation models built for indoor environments to autonomous vehicles.These models follow a neurorobotics approach: they reproduce neural substrates that sustain the mechanism responsible for spatial cognition in the mammalian brain. This thesis introduces and shows the potential of bio-inspired robotics and neurorobotics to the community of autonomous driving.This manuscrit begins by giving a state of the art of robotic navigation. It presents the subsidiary question of visual recognition.The notions of bio-inspired robotics and neurorobotics are then introduced. An overview of anatomical observations necessary to the comprehension of bio-inspired models is also given.The document describes a model for visual place recognition inspired by hippocampal place cells. This model is tested in outdoor on-road environments. The results show that the model is able to build a representation of the environment that can be used in navigation tasks.A reactive navigation model (PerAc) is then presented. This model uses the representation built by the visual place recognition model to learn sensorimotor units linking places and actions. A set of these associations allows the model to learn robust trajectories or goal positions. This model was initially built for robots evolving in indoor environments. It is embbedded and tested on an autonomous vehicle. The experiments show that the model is able to learn trajectory with a car in outdoor environments.My last contribution presented is about a visual contexts model. A second visual processing chain inspired by the primary visual cortex is proposed to build a coarse representation of the environment that modulates the activities of the visual place cells.The essay ends by giving a set of leads to improve different aspects of the proposed models, by modeling in more depth other brain structures or change the encoding of data for instance., L'objectif premier de cette thèse est de tester et d'étendre des modèles de navigation initialement développés pour de la navigation en intérieur et de les appliquer à la délégation de conduite des véhicules autonomes. La particularité de ces architectures de contrôle pour robot mobile est qu'elles sont issus d'une approche bio-inspirée et sont dite neurorobotiques : elles reproduisent les mécanismes neuronaux impliqués dans les comportements de navigation observés chez les animaux.Ces travaux concourent à introduire auprès de la communauté du véhicule autonome les approches bio-inspirées et leur potentiel au travers des modèles présentés.Cette thèse commence par aborder les technologies utilisées (GPS, lidar, ...) et les différentes stratégies de navigation (réactive, avec carte). Cette présentation se termine en circonscrivant le problème de la navigation des véhicules autonomes à la reconnaissance de lieux par la vision.Le manuscrit présente ensuite les approches bio-inspirée et neurorobotique avant de donner les notions d'anatomie facilitant la compréhension des modèles bio-inspirés décrits par la suite.Un modèle de reconnaissance de lieux par la vision est présenté en détail. Des expériences de simulations avec des données réelles permettent de tester ce modèle, initialement conçu pour la navigation intérieure, dans des environnements propres aux véhicules. Les résultats de ces tests montrent que le modèle construit une représentation de l'environnement capable de discriminer et de reconnaître des lieux.Une architecture neuronale de navigation réactive reposant sur le précédent système, le modèle PerAc est décrite ensuite. Ce modèle utilise les lieux construits par le modèle de reconnaissance et associe chaque lieu à une direction à suivre. Par un ensemble d'associations, il est possible d'apprendre à suivre de manière robuste des trajectoires ou une position à rejoindre. Ce modèle, conçu pour de la navigation en intérieur, est testé sur un véhicule dans des expériences servant à évaluer sa capacité à fonctionner sur véhicule. Les résultats prouvent que le modèle est capable d'apprendre des trajectoires avec une voiture en environnement extérieur.Ma dernière contribution porte sur un modèle de contextes visuels permettant d'accroître les performances computationnelles de la reconnaissance de lieux. Une chaîne de traitements visuelle inspirée du cortex visuel primaire effectue un découpage de l'environnement qui vient moduler la reconnaissance de lieux du modèle précédent.Ce manuscrit se termine en proposant un ensemble de pistes à même d'améliorer les différents aspects des modèles présentés, par exemple, en modélisant plus finement certaines zones du cerveau ou en utilisant un codage épars afin de réduire le coût computationnel.

In this Ph.D. thesis, we study how autonomous vehicles can learn to act safely and avoid accidents, despite sharing the road with human drivers whose behaviours are uncertain. To explicitly account for this uncertainty, informed by online observations of the environment, we construct a high-confidence region over the system dynamics, which we propagate through time to bound the possible trajectories of nearby traffic. To ensure safety under such uncertainty, we resort to robust decision-making and act by always considering the worst-case outcomes. This approach guarantees that the performance reached during planning is at least achieved for the true system, and we show by end-to-end analysis that the overall sub-optimality is bounded. Tractability is preserved at all stages, by leveraging sample-efficient tree-based planning algorithms.Another contribution is motivated by the observation that this pessimistic approach tends to produce overly conservative behaviours: imagine you wish to overtake a vehicle, what certainty do you have that they will not change lane at the very last moment, causing an accident? Such reasoning makes it difficult for robots to drive amidst other drivers, merge into a highway, or cross an intersection –an issue colloquially known as the “freezing robot problem”. Thus, the presence of uncertainty induces a trade-off between two contradictory objectives: safety and efficiency. How does one arbitrate this conflict? The question can be temporarily circumvented by reducing uncertainty as much as possible. For instance, we propose an attention-based neural network architecture that better accounts for interactions between traffic participants to improve predictions. But to actively embrace this trade-off, we draw on constrained decision-making to consider both the task completion and safety objectives independently. Rather than a unique driving policy, we train a whole continuum of behaviours, ranging from conservative to aggressive. This provides the system designer with a slider allowing them to adjust the level of risk assumed by the vehicle in real-time., Dans cette thèse de doctorat, nous étudions comment des véhicules autonomes peuvent apprendre à garantir la sûreté et à éviter les accidents, bien qu'ils partagent la route avec des conducteurs humains dont les comportements sont incertains. Pour prendre en compte cette incertitude, nous nous appuyons sur les observations en ligne de l'environnement pour construire une région de confiance autour de la dynamique du système, qui est ensuite propagée au cours du temps pour borner l'ensemble des trajectoires possibles des véhicules à proximité. Pour assurer la sûreté en présence de cette incertitude, nous avons recours à la prise de décision robuste, qui préconise de toujours considérer le pire cas. Cette approche garantit que la performance obtenue pendant la planification sera également atteinte sur le système réel, et nous montrons dans une analyse de bout en bout que la sous-optimalité qui en résulte est bornée. Nous en fournissons une implémentation efficace, basée sur des algorithmes de recherche arborescente.Une seconde contribution est motivée par le constat que cette approche pessimiste tend à produire des comportements excessivement prudents : imaginez vouloir dépasser un véhicule, quelle certitude avez-vous que ce dernier ne changera pas de voie au tout dernier moment, provoquant un accident ? Ce type de raisonnement empêche les robots de conduire aisément parmi d'autres conducteurs, de s'insérer sur une autoroute ou de traverser une intersection, un phénomène connu sous le nom de « robot figé ». Ainsi, la présence d'incertitude induit un compromis entre deux objectifs contradictoires : sûreté et efficacité. Comment arbitrer ce conflit ? La question peut être temporairement contournée en réduisant au maximum l'incertitude. Par exemple, nous proposons une architecture de réseau de neurones basée sur de l'attention, qui tient compte des interactions entre véhicules pour améliorer ses prédictions. Mais pour aborder pleinement ce compromis, nous nous appuyons sur la prise de décision sous contrainte afin de considérer indépendamment les deux objectifs de sûreté et d'efficacité. Au lieu d'une unique politique de conduite, nous entrainons toute une gamme de comportements, variant du plus prudent au plus agressif. Ainsi, le concepteur du système dispose d'un curseur lui permettant d'ajuster en temps réel le niveau de risque assumé par le véhicule.

Recent advances in Autonomous Vehicles (AV) driving raised up all the importance to ensure the complete reliability of AV maneuvers even in highly dynamic and uncertain environments/situations. This objective becomes even more challenging due to the uniqueness of every traffic situation/condition. To cope with all these very constrained and complex configurations, AVs must have appropriate control architecture with reliable and real-time Risk Assessment and Management Strategies (RAMS). These targeted RAMS must lead to reduce drastically the navigation risks (theoretically, lower than any human-like driving behavior), with a systemic way. Consequently, the aim is also to reduce the need for too extensive testing (which could take several months and years for each produced RAMS without at the end having absolute prove). Hence the goal in this Ph.D. thesis is to have a provable methodology for AV RAMS. This dissertation addresses the full pipeline from risk assessment, path planning to decision-making and control of autonomous vehicles. In the first place, an overall Probabilistic Multi-Controller Architecture (P-MCA) is designed for safe autonomous driving under uncertainties. The P-MCA is composed of several interconnected modules that are responsible for: assessing the collision risk with all observed vehicles while considering their trajectories' predictions; planning the different driving maneuvers; making the decision on the most suitable actions to achieve; control the vehicle movement; aborting safely the engaged maneuver if necessary (due for instance to a sudden change in the environment); and as last resort planning evasive actions if there is no other choice. The proposed risk assessment is based on a dual-safety stage strategy. The first stage analyzes the actual driving situation and predicts potential collisions. This is performed while taking into consideration several dynamic constraints and traffic conditions that are known at the time of planning. The second stage is applied in real-time, during the maneuver achievement, where a safety verification mechanism is activated to quantify the risks and the criticality of the driving situation beyond the remaining time to achieve the maneuver. The decision-making strategy is based on a Sequential Decision Networks for Maneuver Selection and Verification (SDN-MSV) and corresponds to an important module of the P-MCA. This module is designed to manage several road maneuvers under uncertainties. It utilizes the defined safety stages assessment to propose discrete actions that allow to: derive appropriate maneuvers in a given traffic situation and provide a safety retrospection that updates in real-time the ego-vehicle movements according to the environment dynamic, in order to face any sudden hazardous and risky situation. In the latter case, it is proposed to compute the corresponding low-level control based on the Covariance Matrix Adaptation Evolution Strategy (CMA-ES) that allows the ego-vehicle to pursue the advised collision-free evasive trajectory to avert an accident and to guarantee safety at any time.The reliability and the flexibility of the overall proposed P-MCA and its elementary components have been intensively validated, first in simulated traffic conditions, with various driving scenarios, and secondly, in real-time with the autonomous vehicles available at Institut Pascal., Les dernières avancées en matière de conduite de véhicules autonomes (VAs) ont fait apparaître toute l'importance de garantir la fiabilité complète des manœuvres que doivent effectuer les VAs, y compris dans des environnements/situations très dynamiques et incertains. Cet objectif devient encore plus ardu en raison du caractère unique de chaque situation/condition de circulation. Pour faire face à toutes ces configurations très contraignantes et complexes, les VAs doivent disposer d'une architecture de contrôle appropriée avec des Stratégies d'Evaluation et de Gestion des Risques (SEGR) fonctionnant en temps-réel et d'une manière fiable. Ces SEGR ciblées doivent conduire à une réduction drastique des risques de conduite. Théoriquement et de maniéré systémique, ces SEGR doivent aboutir à un risque de conduite inférieur à tout comportement de conduite humaine. En conséquent, il est également question de réduire la nécessité d'effectuer des tests très poussés, qui peuvent prendre plusieurs mois/années pour au final ne pas avoir de preuves formelles de la viabilité et de la sûreté complète du système. Ainsi, les travaux présentés dans cette thèse de doctorat ont pour but d'avoir une méthodologie prouvable pour les SGER des VAs.Cette thèse porte sur l'ensemble du processus, en partant de l'évaluation des risques, de la planification de la trajectoire jusqu'à la prise de décision et au contrôle du véhicule autonome. En premier lieu, une architecture multi-contrôleurs probabiliste (Probabilistic Multi-Controller Architecture P-MCA) est conçue pour une conduite autonome sûre en présence d'incertitudes. Cette architecture est composé de plusieurs modules interconnectés qui sont responsables de : l'évaluation du risque de collision avec tous les véhicules observés tout en considérant les prévisions de leurs trajectoires ; la planification des différentes manœuvres de conduite ; la prise de décision sur les actions les plus appropriées à réaliser ; le contrôle du mouvement du véhicule ; l'interruption en toute sécurité de la manœuvre engagée si nécessaire (en raison par exemple d'un changement soudain de l'environnement routier) ; et en dernier recours la planification des actions évasives à défaut d'un autre choix. L'évaluation des risques proposée est basée sur une stratégie à deux étapes. La première étape consiste à analyser la situation actuelle de conduite et à prévoir les éventuelles collisions. Cette étape est réalisée en tenant compte de plusieurs contraintes dynamiques et des conditions de circulation connues au moment de la planification. La deuxième étape est appliquée en temps-réel, durant la réalisation de la manœuvre, où un mécanisme de vérification de la sécurité est activé pour quantifier les risques et la criticité de la situation de conduite sur le temps restant pour réaliser la manœuvre. La stratégie décisionnelle est basée sur un réseau Bayésien de décision à niveaux séquentiels pour la sélection et la vérification des manœuvres (Sequential Decision Networks for Maneuver Selection and Verification SDN-MSV) et constitue un module essentiel de l'architecture P-MCA. Ce module est conçu pour gérer plusieurs manœuvres routières dans un environnement incertain. Il utilise l'évaluation des étapes de sécurité définies pour proposer des actions discrètes qui permettent de : réaliser des manœuvres appropriées dans une situation de trafic donnée, il fournit également une rétrospective de la sécurité, cette dernière actualise en temps-réel les mouvements de l'égo-véhicule en fonction de la dynamique de l'environnement, afin de faire face à toute situation dangereuse et risquée soudaine. (...)

With the advent of deep learning supported by substantial technological advances, the Artificial Intelligence has taken a decisive step towards the automation of large dimension tasks. Reinforcement learning has been revolutionized thanks to new representation concepts introduced by deep learning. However, the extension of this paradigm application to the real world has triggered new challenges of generalization and optimization associated with higher level of tasks non-stationarity. In this thesis, we are interested in the recent methodological evolution of machine learning towards meta-learning in order to remedy the deep learning limits. The proposed approach is built on the basis of a Markovian formulation gradually evolving along 2 axes of improvement. In terms of learning robustness, we integrate in the policy gradient expression, the advantage function estimated by a generalized version of temporal difference learning. Regarding the generalization capacity, we implement a gradient meta-optimizer, learning the evaluations of the base-level algorithm across tasks. The resulting generalizable model showed a rapid adaptation to new contexts of urban autonomous driving., Avec l'avènement de l'apprentissage profond, l'intelligence artificielle a franchi un pas décisif vers l'automatisation des tâches de grande dimensionnalité. L'apprentissage par renforcement a été révolutionné grâce aux nouveaux concepts de représentation profonde. Toutefois, l'extension de l'application de ce paradigme vers la sphère du monde réel a engendré des nouveaux défis de généralisation et d'optimisation face à la non-stationnarité des tâches. Dans cette thèse, nous nous intéressons à l'évolution méthodologique récente de l'apprentissage automatique vers le méta-apprentissage afin de remédier aux limites de l'apprentissage profond. L'approche proposée est construite sur la base d'une formulation Markovienne évoluant graduellement selon 2 axes d'amélioration. Au niveau de la robustesse de l'apprentissage, nous intégrons dans l'expression du gradient de la politique la fonction avantage estimée par une version généralisée de l'apprentissage par différence temporelle. Concernant la capacité de généralisation, nous implémentons un méta-optimiseur de type gradient apprenant les évaluations de l'algorithme de base à travers les tâches. Le modèle généralisable obtenu a montré une adaptation rapide aux nouveaux contextes de conduite autonome en milieu urbain.

Merging in the highway on-ramp is a significant challenge toward realizing fully automated driving (level 4 of autonomous driving). The combination of communication technology and autonomous driving technology, which underpins the notion of Connected Autonomous Vehicles (CAVs), may improve greatly safety performances when performing highway on-ramp merging. However, even with the emergence of CAVs vehicles, some keys constraints should be considered to achieve a safe on-ramp merging. First, human-driven vehicles will still be present on the road, and it may take decades before all the commercialized vehicles will be fully autonomous and connected. Also, onboard vehicle sensors may provide inaccurate or incomplete data due to sensors limitations and blind spots, especially in such critical situations. To resolve these issues, the present thesis introduces a novel solution that uses an off-board Road-Side Unit (RSU) to realize fully automated highway on-ramp merging for connected and automated vehicles. Our proposed approach is based on an Artificial Neural Network (ANN) to predict drivers’ intentions. This prediction is used as an input state to a Deep Reinforcement Learning (DRL) agent that outputs the longitudinal acceleration for the merging vehicle. To achieve this, we first show how the roadside unit may be used to enhance perception in the on-ramp zone. We then propose a driver intention model that can predict the behavior of the human-driven vehicles in the main highway lane, with 99% accuracy. We use the output of this model as an input state to train a Twin Delayed Deep Deterministic Policy Gradients (TD3) agent that learns « safe » and « cooperative » driving policy to perform highway on-ramp merging. We show that our proposed decision-making strategy improves performance compared to the solutions proposed previously., L'insertion sur autoroute est un défi pour réaliser une conduite entièrement automatisée (Niveau 4 de conduite autonome). La combinaison des technologies de communication et de conduite autonome, qui sous-tend la notion de Connected Autonomous Vehicles (CAV), peut améliorer considérablement les performances de sécurité lors de l'insertion sur autoroute. Cependant, même avec l'émergence des véhicules CAVs, certaines contraintes clés doivent être prises en compte afin de réaliser une insertion sécurisée sur autoroute. Tout d'abord, les véhicules conduits par des conducteurs humains seront toujours présents sur la route, et il faudra peut-être des décennies avant que tous les véhicules commercialisés ne soient entièrement autonomes et connectés. Aussi, les capteurs embarqués des véhicules peuvent fournir des données inexactes ou incomplètes en raison des limites des capteurs et des angles morts, en particulier dans de telles situations de conduite critiques. Afin de résoudre ces problèmes, la présente thèse propose une nouvelle solution utilisant une unité de bord de route (Road-Side Unit (RSU)) permettant une insertion entièrement automatisée sur autoroute pour véhicules connectés et automatisés. Notre approche est basée sur un réseau de neurones artificiels (ANN) pour prédire l'intention des conducteurs. Cette prédiction est utilisée comme état d'entrée pour un agent Deep Reinforcement Learning (DRL) qui fournit l'accélération longitudinale pour le véhicule qui s'insère. Afin d'y parvenir, nous montrons d'abord comment l'unité Road-Side Unit peut-être utilisée pour améliorer la perception dans la zone d'insertion sur autoroute. Ensuite, nous proposons un modèle de reconnaissance d'intention du conducteur qui peut prédire le comportement des véhicules conduits par des conducteurs humains sur la voie principale de l'autoroute, avec une précision de 99%. Nous utilisons la sortie de ce modèle comme état d'entrée pour entrainer un agent Twin Delayed Deep Deterministic Policy Gradients (TD3) qui apprend une politique de conduite « sûre » et « coopérative » pour effectuer l'insertion sur autoroute. Nous montrons que notre stratégie de prise de décision améliore les performances par rapport aux solutions proposées dans l'état de l'art.

This thesis studies the trajectory planning of an automated vehicle surrounded by fast moving obstacles in an unconstrained environment (i.e. with no clear lane markings). Two main approaches are proposed: compute a speed profile on a given path, or find a valid path starting from a hypothesis on the speed of the vehicle. The first approach consists of a dynamic adaptation of the speed of an automated vehicle driving in a semi-constrained environment and in the presence of other vehicles. A set of speed profile references is used. They must be compatible with the dynamics of the vehicle and also comfortable for the passengers. Quantitative validations have been conducted in simulation together with qualitative validations on an automated vehicle, which demonstrate the benefits of this planning strategy. In the second approach, the « Reachable Interaction Sets » (RIS) are introduced as a new framework that allows to plan the trajectory of a vehicle surrounded by dynamic obstacles which move faster. The approach removes the temporal aspect of the problem by using a hypothesis about the speed of the vehicle. The remaining problem can be solved out by a static path finding algorithm. Quantitative validations show the advantage of planning approachs based on this framework compared to other state-of-the-art planning strategies., Cette thèse a pour objet la planification de trajectoire d’un véhicule robotisé en présence d’obstacles très dynamiques dans un environnement sans contraintes fortes (marquage au sol, voies de circulation…). Le problème est envisagé avec deux stratégies différentes : calculer le profil de vitesse du véhicule sur un chemin prédéfini, ou bien rechercher un chemin admissible à partir d’une hypothèse sur la vitesse du véhicule. Premièrement, nous proposons une approche permettant d’adapter la vitesse d’un véhicule robotisé circulant dans un environnement « semi-contraint » en présence d’autres véhicules. L’approche utilise un ensemble de profils de vitesse de référence compatibles avec les capacités du véhicule et le confort de ses passagers. Des validations quantitatives en simulation ainsi que qualitatives sur un véhicule automatisé ont été menées, démontrant l’intérêt de l’approche. En second lieu, nous introduisons les « Reachable Interaction Sets » (RIS) comme nouveau cadre de travail permettant d’effectuer la planification de chemin parmi des obstacles se déplaçant plus rapidement que le robot. L'approche supprime l’aspect temporel du problème en émettant une hypothèse a priori sur la vitesse du robot, ramenant la planification à une recherche de chemin duale. Des évaluations quantitatives comparent cette approche à l'état de l'art existant, et démontrent l’intérêt des RIS.

This PhD thesis focuses on developing a path tracking approach based on visual perception and localization in urban environments. The proposed approach comprises two systems. The first one concerns environment perception. This task is carried out using deep learning techniques to automatically extract 2D visual features and use them to learn in order to distinguish the different objects in the driving scenarios. Three deep learning techniques are adopted: semantic segmentation to assign each image pixel to a class, instance segmentation to identify separated instances of the same class and, image classification to further recognize the specific labels of the instances. Here our system segments 15 object classes and performs traffic sign recognition. The second system refers to path tracking. In order to follow a path, the equipped vehicle first travels and records the route with a stereo vision system and a GPS receiver (learning step). The proposed system analyses off-line the GPS path and identifies exactly the locations of dangerous (sharp) curves and speed limits. Later after the vehicle is able to localize itself, the vehicle control module together with our speed negotiation algorithm, takes into account the information extracted and computes the ideal speed to execute. Through experimental results of both systems, we prove that, the first one is capable to detect and recognize precisely objects of interest in urban scenarios, while the path tracking one reduces significantly the lateral errors between the learned and traveled path. We argue that the fusion of both systems will ameliorate the tracking approach for preventing accidents or implementing autonomous driving., Cette thèse de doctorat s’intéresse au suivi de trajectoire basé sur la perception visuelle et la localisation en milieu urbain. L'approche proposée comprend deux systèmes. Le premier concerne la perception de l'environnement. Cette tâche est effectuée en utilisant des techniques d'apprentissage profond pour extraire automatiquement les caractéristiques visuelles 2D et utiliser ces derniers pour apprendre à distinguer les différents objets dans les scénarios de conduite. Trois techniques d'apprentissage approfondi sont adoptées : la segmentation sémantique pour assigner chaque pixel d’une image à une classe, la segmentation d'instance pour identifier les instances séparées de la même classe et la classification d'image pour reconnaître davantage les étiquettes spécifiques des instances. Ici, notre système considère 15 classes d'objets et reconnaît les panneaux de signalisation. Le deuxième système fait référence au suivi de chemin numérisé. Dans un premier temps, le véhicule équipé enregistre d'abord l'itinéraire avec un système de vision stéréo et un récepteur GPS (étape d'apprentissage ou numérisation du chemin). Ensuite, le système proposé analyse hors ligne la trajectoire GPS et identifie exactement les emplacements des courbes dangereuses (brusques) et les limitation de vitesse via les données visuelles. Enfin, une fois que le véhicule est capable de se localiser lui-même durant la phase de suivi de chemin, le module de contrôle du véhicule piloté avec notre algorithme de négociation de vitesse, prend en compte les informations extraites et calcule la vitesse idéale à exécuter. Grâce aux résultats expérimentaux des deux systèmes, nous prouvons que le premier est capable de détecter et de reconnaître précisément les objets d'intérêt dans les scénarios urbains, tandis que le suivi de trajectoire réduit significativement les erreurs latérales entre le trajet appris et le trajet parcouru. Nous soutenons que la fusion des deux systèmes améliorera le suivi de chemin pour prévenir les accidents ou assurer la conduite autonome.

By realizing both low-cost implementationand dual functionality, VLC has becomean outstanding intriguing supportivetechnology by using the vehicular existedinfrastructure.This thesis aims to contribute to theautonomous vehicular communicationand urban mobility improvements. Thework addresses the main radio-basedV2V communication limitations and challengesfor ITS hard-safety applicationsand intends to deploy the vehicular lightingsystem as a supportive communicationsolution for platooning of IVCenabledautonomous vehicles. The ultimateobjectives of this Ph.D. researchare to integrate the VLC system withinthe existing C-ITS architecture by developinga VLC prototype, together withsufficient hand-over algorithms enablingVLC, RF, and perception-based solutionsin order to ensure the maximumsafety requirements and the continuousinformation exchange between vehicles.The feasibility and efficiency of thesystem implementation and hand-overalgorithms were subjects to deep investigationsusing computer simulators andtest-bed that considers applications ofautomated driving. In addition to the improvementin road capacity when platoonformations are used. The carried outsimulations followed-up by experimentalresults proved that the integration of VLCwith the existed RF solutions lead to adefinite benefit in the communicationchannel quality and safety requirementsof a platooning system when a properhand-over algorithm is used., La communication par lumière visibleVLC est devenue une technologie attractivevu qu’elle assure une implémentationà faible coût et une doublefonctionnalité. En effet, elle permetd’utiliser l’infrastructure déjà existantesur le véhicule à savoir les lampesd’arrière et frontales comme des unitésde transmission. Cette thèse s’intéresseà rendre plus efficace les communicationsdes véhicules autonomes ainsi quela gestion de la mobilité urbaine. Nousnous intéressons tout d’abord aux principaleslimitations des communicationsradio sans fil dans le contexte des applicationsde sécurité routière à hautes exigences.Nous nous concentrons ensuiteau déploiement d’un système d’éclairagesur les véhicules dans le but de fournir unmoyen de communication de soutien auxcommunications radio pour l’applicationde peloton. L’objectif primordial decette thèse est d’intégrer la technologieVLC dans l’architecture de communicationITS en implémentant un prototypede communication VLC et en concevantde nouveaux algorithmes de handoverpermettant une transition transparenteentre différents moyens de communicationinter-véhiculaires (VLC, communicationsans fil et techniques de perception).Le but est d’assurer les exigencesde sécurité requises par les applicationset l’échange continue de l’informationentre véhicules. L’efficacité de ces algorithmesa été validée à travers de nombreusessimulations et test-bed réels aucours desquels nous avons considérél’application de conduite automatisée.Ces différentes méthodes de validationont démontré que l’intégration de la technologieVLC avec les solutions de communicationsradio permet d’améliorer laqualité du canal de transmission ainsique la satisfaction des exigences de sécuritérelatives à l’application de peloton.