Search

Die Vielzahl an Situationen, welche im urbanen Straßenverkehr vorkommen, stellt aktuelle Bewegungsplanungsverfahren in automatisierten Fahrzeugen immer noch vor große Herausforderungen. Während die Modellierung zusätzlicher Szenarien für klassische Verfahren oft sehr mühsam ist, erleichtert die kontextbasierte Bewegungsplanung diese Erweiterung. Um dies zu demonstrieren, wird in diesem Beitrag ein bestehendes kontextbasiertes Verfahren um das Überqueren einer Kreuzung mit vernetzter Lichtsignalanlage erweitert. Diese stellt auch prädiktive Informationen zur Verfügung, welche durch die Bewegungsplanung im Fahrzeug gewinnbringend verwendet werden. Das vorgestellte Verfahren wird simulativ und im realen Verkehr evaluiert. Gegenüber einer rein reaktiven Planung zeigen sich dabei deutliche Vorteile., acceptedVersion

Die vorliegende Arbeit beschäftigt sich mit der Fragestellung, wie Verkehrssituationen charakterisiert werden können, um dadurch kritische Vertreter zu bestimmen und den Testaufwand zu reduzieren. Bei der großflächigen Einführung automatisierter Fahrzeuge besteht eine Herausforderung darin, die Sicherheit für Personen innerhalb und außerhalb der Fahrzeuge zu gewährleisten. Neben anderen großen technischen Herausforderungen, wie dem korrekten Umgang mit Sensordaten, dem richtigen Ableiten der Umweltinformationen und der Umsetzung eines angenehmen Fahrgefühls, steht die Absicherung der Funktionssicherheit. Bisher beruht die Auswahl der zu untersuchenden Fahrsituationen auf Expertenwissen und auf dem Einfahren großer Kilometerumfänge. Durch die fortschreitende Entwicklung der Fahrzeuge werden immer geringere Fehlerraten für einzelne Systeme gefordert. Die Absicherung ist dabei technisch und wirtschaftlich nicht mehr durch Fahrversuche allein zu erbringen. An diesem Punkt setzt die vorliegende Arbeit an, indem Situationen mathematisch modelliert werden und somit eine statistische Auswertung ermöglicht wird. Dies erlaubt alle modellierbaren Situationen mit beliebiger Auflösung zu untersuchen, wozu auch deren zeitlicher Verlauf berücksichtigt werden muss. Hierzu wird das Konzept der Episoden eingeführt, wodurch eine mathematische Darstellung für den möglichen Verlauf einzelner Situationen geschaffen wird. Durch die Auswertung mehrerer Episoden ergibt sich die Möglichkeit der zugrunde liegenden Situationen ein Risiko zuzuweisen, im Folgenden Kritikalität genannt. Durch dieses Vorgehen ist es weiterhin möglich, einer beliebig großen Menge an Situationen eine Kritikalität zuzuordnen, wodurch verschiedene Eigenschaften der Daten ausgewertet werden können. Die Erkennung der Grenzen zwischen kritischen und unkritischen Situationen erlaubt es beispielsweise, diese verstärkt bei Fahrtests zu verwenden. Die Idee dahinter ist es den Testaufwand zu reduzieren, indem nicht hauptsächlich Situationen gefahren werden, welche einerseits sicher unkritisch oder andererseits sicher kritisch sind. Es sollen solche Situationen gefunden werden bei denen das Testfahrzeug seine Funktion beweisen kann, um eine Situation vom kritischen in den unkritischen Bereich zu bewegen. Zusätzlich erlaubt das Wissen um die Beschaffenheit der kritischen Bereiche eine tiefgehende Analyse und Berücksichtigung bei der Entwicklung neuer Fahrfunktionen., The present thesis works on characterizing traffic situations in order to determine critical representatives and to reduce the testing effort. One challenge in the large-scale introduction of automated vehicles is to ensure the safety of people inside and outside of the vehicles. The validation of functional safety is a major technical challenge in addition to others, such as the correct handling of sensor data, the correct derivation of environmental information and the implementation of a comfortable driving experience. Up to now, the selection of driving situations to be investigated has been based on expert knowledge and large scale test driving. Nevertheless, the accepted error tolerances decline as the vehicles get more sophisticated. Therefore, the validation and verification of functional safety cannot be provided by test driving alone. The present work intervenes at this point by modelling situations mathematically and thus enabling a statistical evaluation. This allows to investigate all depictable situations with arbitrary resolution while considering their temporal process as well. For this purpose, the concept of episodes is introduced, which provides a mathematical representation of a situation's possible temporal process. By evaluating several episodes belonging to one situation this situation can be assessed with a risk, hereinafter referred to as criticality. This procedure also enables the criticality assignment to an arbitrarily large number of situations, allowing various data properties to be evaluated. For example, the detection of boundaries between critical and non-critical situation domains allows the usage of this boundary situations for driving tests. The purpose is to reduce the testing effort by not using driving situations that are certainly uncritical or certainly critical. Instead, focusing on situations where the test vehicle can prove its reliability by transferring a situation from the critical to the non-critical range. In addition, the knowledge of the nature of the critical areas allows in-depth analysis and consideration in the development of new driving functions.

Diese Arbeit befasst sich mit der Erstellung eines Systems zur Detektion von Lichtsignalanlagen in Kamerabildern mittels einer fahrzeugeigenen Stereofarbkamera. Die inhaltlichen Schwerpunkte werden durch eine umfangreiche Analyse des Stands der Technik vorbereitet. Die Detektion von Farblichtern durch eine Farbklassifikation bildet die Grundlage des Erkennungssystems. Eine große Stichprobe annotierter Ampeln ist der Ausgangspunkt für die Erstellung einer Farbtabelle mittels k-nächste-Nachbarn Klassifikator. Neben der annotierten Farbe berücksichtigt dieser die Auftrittshäufigkeit von Farbwerten. Im Ergebnis führt das Vorgehen zu einer probabilistischen Farbtabelle, die ohne Neutraining für verschiedene Anwendungen appliziert werden kann. Das Basissystem wird mit Implementierungen des häufig zitierten Bright Spot Detectors und eines Hough-Circle-Detectors verglichen und erzielt die besten Ergebnisse. Im Gegensatz zu den Referenzsystemen besitzt der erstelle Farblichtdetektor außerdem Arbeitspunkte mit extrem geringer Falschpositivrate, bei der nahezu jede Detektion eine Ampel darstellt. Das Basissystem wird durch die Fusion mit Disparitätsdaten erweitert. Hierfür werden Methoden zur Berechnung der Objektdisparität erstellt und zur Filterung und Optimierung der Detektionen des Basissystems verwendet. Es wird gezeigt, dass die Methoden die Erkennungsleistung um bis zu 35 Prozentpunkte verbessern. Sie führen, gemessen am Überschneidungsgrad mit den Annotationen des verwendeten Datensatzes, außerdem zu Detektionen von erheblich höherer Qualität, so dass annähernd jede Detektion in ihrer geometrischen Ausprägung perfekt erstellt wird. Bei weniger als zehn Hypothesen pro Bild erreicht das System bereits eine Detektionsrate von etwa 75%. Für sämtliche Evaluationen, aber auch zur Entwicklung der Methoden dient der DriveU Traffic Light Datensatz. Die Planung, Erstellung und Annotation von über 220.000 Ampeln in etwa 40.000 Bildern von über 2.100 Ampelkreuzungen aus ganz Deutschland sind Teil dieser Arbeit. Außerdem stellt ein Vergleich mit anderen Datensätzen die Größe, inhaltliche Varianz und Qualität heraus. Der Datensatz ist öffentlich im Internet abrufbar. Für die Evaluation werden außerdem bestehende Metriken der Objekterkennung überprüft und durch die Aspekte Relevanz und Redundanz ergänzt. Abschließend werden verschiedene Kombinationen von Subsystemen evaluiert, die die Detektionsrate um weitere 10% steigern., This thesis deals with the creation of a system that detects self-lighting traffic signals from color images of a car-mounted stereo camera. The emphases are prepared by a comprehensive analysis of related work. The detection of colored light blobs using a pixel-wise color-classification forms the basis of the recognition system. A huge dataset of annotated traffic lights is the starting point for a color look-up table using the k-nearest-neighbor algorithm. Beneath the labeled color, also the occurrence frequency is considered. The result is a probabilistic color look-up table that can be applied for the use in different systems without re-training. Compared to implementations of the well-known Bright Spot Detector and Hough-Circle Detector, the described detector shows the best results. In contrast to the reference systems, the new blob detector shows operating points with a extremely low false positive rate where nearly every blob detection indeed is a traffic light lamp. The base-system is enhanced using disparity data. Methods for calculating an object-wise disparity value are created and used for filtering and optimization of the base-systems's detections. Is is shown, that recognition rates get increased for up to 35 percentage points. Further more, measured by intersection-over-union with their annotations, the enhanced detections show an increased quality, resulting in near-perfect size generation. At less than ten detections per image, the enhanced system already has a true positive rate of 75%. For all evaluations in this thesis as well as for the development of the methods and models, the DriveU Traffic Light Dataset serves as main data source. Planning, creation and annotation of over 220,000 traffic lights from around 40,000 images taken at over 2100 crossings from all around Germany was part of this work. The comparison with existing datasets in terms of size, variance and quality emphasize the importance and meaning of the newly created dataset which is publicly available on the internet. When it comes to evaluation, the thesis reviews common object detection metrics and builds suitable metrics around the relevance and redundancy of traffic light deployments. Finally, different combinations of subsystems are evaluated and show another 10% improvement over the already enhanced system.

Die Arbeit befasst sich thematisch mit der Erfassung der Umgebung von Fahrzeugen für sowohl automatisiertes Fahren als auch Fahrerassistenzsysteme. Der Schwerpunkt liegt auf der Schätzung des Bewegungszustands sowie der Form dynamischer – das heißt sich bewegender – Objekte mit Hilfe von fahrzeugeigener Sensorik. Die Umgebungserfassung ist seit vielen Jahren Gegenstand der Forschung, gewinnt aber im Hinblick auf hochautomatisiertes Fahren und zukünftige Fahrerassistenzsysteme noch zusätzlich an Bedeutung. Eine Herausforderung stellt insbesondere der urbane Raum dar, in dem eine Vielzahl unterschiedlicher Objekte zu komplexen Verkehrsszenarien führt. Die Objekte unterscheiden sich potentiell sowohl in ihrer Bewegung als auch in ihrer Form stark voneinander. Hauptaugenmerk der Arbeit ist die Schätzung der Form eines Objekts bei gleichzeitiger Objektverfolgung, das heißt der Schätzung seiner dynamischen Zustandsgrößen. Verfahren, die aus der Modellierung der statischen Umgebung bereits bekannt und gut untersucht sind, werden eingesetzt, um eine beliebige Form des starren dynamischen Objekts über die Zeit zu schätzen. Dieser Ansatz wird darüber hinaus erweitert auf den Umgang mit mehreren Objekten in der Umgebung. Hier stellen sich besondere Herausforderungen an die Assoziation von Sensormessungen zu den Objekten, insbesondere in Situationen, in denen Objekte ganz oder teilweise von anderen Objekten verdeckt werden. Fahrzeuginterne Sensorik dient bei den vorgestellten Verfahren als Grundlage. Mit Laserscannern und Radarsensoren werden aktive Sensoren genutzt, die eine hohe Distanz sowie Winkelgenauigkeit bei der Abtastung der Umgebung aufweisen., The present work deals thematically with the perception of the environment of vehicles for both automated driving and driver assistance systems. The focus is on the tracking and estimation of the shape of dynamic - i.e. moving - objects with the help of the vehicle’s on-board sensors. Environment detection has been the subject of research for many years, but is becoming even more important with regard to highly automated driving and advanced driver assistance systems. One particular challenge is posed by urban areas, in which a large number of different objects leads to complex traffic scenarios. The objects potentially differ greatly in both their movement and their shape. The main focus of the work is the estimation of the shape of an object while simul- taneously tracking the object, i.e. estimating its dynamic state variables. Methods known from static environment modeling and well studied are applied to estimate any shape of rigid dynamic objects over time. This approach is also extended to the handling of multiple objects in the environment. Here special challenges arise in the association of measurements of the sensors to the objects, especially in situations in which objects are completely or partially occluded by other objects. Internal vehicle sensors serve as the basis for the methods presented. With laser scanners and radar sensors, active sensors are used which have a comparatively high distance and angular accuracy when perceiving the surrounding area.

A significant challenge in automated vehicle design is validation and verification. Purely test-based validation approaches can suffer from extremely high number of required test kilometers, as well as difficulties to transfer results to new driving situations. Classical offline verification approaches struggle to account for the high number of environmental variables and the mixture of continuous and discrete dynamics, which are apparent in the application. A promising approach investigated in the EU project UnCoVerCPS is the combination of online and offline verification as well as testing steps. The methods developed in UnCoVerCPS are applicable to many safety critical, cyber physical systems. As a specific use case, we investigate a system, which facilitates safe interactions of automated vehicles. Leveraging a formal proof on a validated vehicle dynamics model and by negotiating exclusive access to phase space regions via Car-to-Car communication, the freedom of collisions and safe operation in other respects are ascertained online and for the situation at hand. Our design is tailored to make the distributed system amenable to verification. Each individual vehicle has to guarantee certain time and space requirements, thus allowing to show safety of the vehicle group. Individual vehicle guarantees are constructed by subdividing a vehicle into the tree layers “physical vehicle”, “closed-loop control” and “decision making”. The physical vehicle is modeled as a set of nonlinear differential equations with bounded uncertain parameters and disturbances. The second layer is realized by a classical discrete time trajectory tracking controller, which stabilizes the vehicle around a given reference trajectory, while operating on state measurements that are also considered to be afflicted by bounded errors. The first validation step in the approach is to subject the vehicle to test drives targeting the two lower layers: Bounds on system parameters, disturbances and measurement errors are derived, which establish conformance between the mathematical vehicle model and each of the recorded time series. The validation step is independent from the control layer, the decision layer and the surrounding traffic situation. Coverage of the vehicle’s operable state space region, as well as admissible disturbance situations is required, (which can be achieved with relatively few test km). Based on the validated model, a subsequent offline verification step computes a set of reference trajectories, their admissible order of execution and bounds on control performance under consideration of the closed loop controller. Using reachability analysis for nonlinear dynamical systems, the computed bounds are formally sound and thus reliability of the second layer is established. Results are grouped in a so called Maneuver Database (MDB), which is made available to the decision layer. At the decision layer, an online verification module uses the MDB to determine at each time-step, which available actions are safe and compliant with the cooperation requirements. An action is proven to be safe by appending an emergency maneuver, which leads to a safe terminal state, adheres to precomputed bounds of the MDB and is collision free under certain types of worst-case behaviors of other traffic participants. Behavioral software components can be attached to the online verification module, e.g. behaviors for lane-following, lane-changing, cooperative lane-changing, etc. As long as these modules select only from the set of verified actions, they cannot infringe on the vehicle’s safety property. On the level of vehicle cooperation, a formal analysis of the negotiation protocol establishes correctness under arbitrary message delay and loss. A prototypical implementation of the system design is presented and analyzed in simulation for two cooperating vehicles. It remains to conclude with several benefits of our approach: Very limited physical testing is required. In contrast to other approaches, which are either restricted to linear systems or nonlinear systems in a small state space region, our approach is able to cover a broad operation regime for a nonlinear vehicle model and maintains guarantees for transitions between different areas of the state space. The offline analysis of the closed loop system and the precomputation of bounds enable formally sound online decision making. Furthermore, the online verification module is able to handle unforeseen traffic situations and encapsulates the safety property in such a way that computations of other behavioral modules cannot affect correctness.