Search

Current multi-modal object detection approaches focus on the vehicle domain and are limited in the perception range and the processing capabilities. Roadside sensor units (RSUs) introduce a new domain for perception systems and leverage altitude to observe traffic. Cameras and LiDARs mounted on gantry bridges increase the perception range and produce a full digital twin of the traffic. In this work, we introduce InfraDet3D, a multi-modal 3D object detector for roadside infrastructure sensors. We fuse two LiDARs using early fusion and further incorporate detections from monocular cameras to increase the robustness and to detect small objects. Our monocular 3D detection module uses HD maps to ground object yaw hypotheses, improving the final perception results. The perception framework is deployed on a real-world intersection that is part of the A9 Test Stretch in Munich, Germany. We perform several ablation studies and experiments and show that fusing two LiDARs with two cameras leads to an improvement of +1.90 mAP compared to a camera-only solution. We evaluate our results on the A9 infrastructure dataset and achieve 68.48 mAP on the test set. The dataset and code will be available at https://a9-dataset.com to allow the research community to further improve the perception results and make autonomous driving safer.

Intelligent Transportation Systems (ITS) allow a drastic expansion of the visibility range and decrease occlusions for autonomous driving. To obtain accurate detections, detailed labeled sensor data for training is required. Unfortunately, high-quality 3D labels of LiDAR point clouds from the infrastructure perspective of an intersection are still rare. Therefore, we provide the A9 Intersection Dataset, which consists of labeled LiDAR point clouds and synchronized camera images. Here, we recorded the sensor output from two roadside cameras and LiDARs mounted on intersection gantry bridges. The point clouds were labeled in 3D by experienced annotators. Furthermore, we provide calibration data between all sensors, which allow the projection of the 3D labels into the camera images and an accurate data fusion. Our dataset consists of 4.8k images and point clouds with more than 57.4k manually labeled 3D boxes. With ten object classes, it has a high diversity of road users in complex driving maneuvers, such as left and right turns, overtaking, and U-turns. In experiments, we provided multiple baselines for the perception tasks. Overall, our dataset is a valuable contribution to the scientific community to perform complex 3D camera-LiDAR roadside perception tasks. Find data, code, and more information at https://a9-dataset.com/

Software-defined vehicles (SDV) play an important role in future electrical and electronic (E&E) architectures. Their increased flexibility compared to traditional architectures is a crucial factor in the rapid development cycles of autonomous driving. Containerization and virtualization are two key technologies that enable rapid software installation and updates under the SDV framework. These two technologies have been widely adopted in cloud computing, but their performance and suitability in intelligent vehicles still has to be evaluated. In this work, we look at generic performance experiments of containerization and virtualization on both embedded and general-purpose computer systems regarding CPU, memory, network, and disk. We further investigate the impact of virtualization and containerization on the Autoware framework to evaluate scenarios that are close to real-world automotive applications. Additionally, we evaluate performance by splitting the Autoware framework into several dependent service parts, which are installed in separate containers. Extensive experimental results show that virtualization and containerization have no significant performance drop with 0-5% loss compared to a bare-metal setup in terms of CPU, memory, and network. However, both technologies suffer dramatic performance degradation on the disk side, losing 5-15% in containers and 35% in virtualization.

Modern vehicles include an increasing amount of software, e.g., for autonomous driving capabilities, connectivity, and personalized user experience. The capabilities in current vehicles are still mostly provided by multiple separated embedded systems, while the current trend goes toward purely software-defined vehicles (SDV). Traditional distributed electrical/electronic (E/E) architectures have tightly coupled hardware/software, and the computational power is optimized for the included feature set. For SDVs, a centralized E/E architecture utilizing high-performance computers has been proposed. In contrast to individual embedded systems with limited and fixed functionality, combing a large set of individual software components in a single system leads to a high complexity in the proper allocation of resources. Model-based system engineering (MBSE) has been promoted in the automotive industry to handle complex system design. However, existing MBSE approaches focus mainly on traditional E/E architectures. In this work, we propose an automated and model-based approach that can address the resource allocation problem in SDVs. Users can formally describe the vehicle's resources, safety/non-safety requirements, and optimization objectives based on existing software engineering standards. The proposed method is not restricted to specific system models, requirements, or optimization goals and is, therefore, compatible with other E/E architectures. By introducing a model-independent transformation from the model information to solver-independent optimization formulas, the resource allocation problem can be solved automatically by a wide range of state-of-the-art solvers. We demonstrate the applicability of this approach in a SDV scenario with a high-performance computer and multiple applications.

This work aims to address the challenges in domain adaptation of 3D object detection using roadside LiDARs. We design DASE-ProPillars, a model that can detect objects in roadside LiDARs in real-time. Our model uses PointPillars as the baseline model with additional modules to improve the 3D detection performance. To prove the effectiveness of our proposed modules in DASE-ProPillars, we train and evaluate the model on two datasets, the open source A9 dataset and a semi-synthetic roadside A11 dataset created within the Regensburg Next project. We do several sets of experiments for each module in the DASE-ProPillars detector that show that our model outperforms the SE-ProPillars baseline on the real A9 test set and a semi-synthetic A9 test set, while maintaining an inference speed of 45 Hz (22 ms) that allows to detect objects in real-time. We apply domain adaptation from the semi-synthetic A9 dataset to the semi-synthetic A11 dataset from the Regensburg Next project by applying transfer learning and achieve a 3D mAP@0.25 of 93.49% on the Car class of the target test set using 40 recall positions.

Precise perception is one of the key enablers of autonomous robotic operations. The right selection of sensors influences significantly the overall performance of the system. This paper provides a systematic approach for evaluation of various sensors available in the market. The main focus was to assess the performance in the use case of the short to medium distance operation, especially relevant for precise manipulation or quality control. The evaluation is based solely on the XYZ data (point clouds). We introduce six metrics to evaluate the sensors and propose a novel approach for low-cost fabrication of benchmark targets. The evaluation experiments were conducted on different materials to simulate various industrial environments. The evaluation provides a qualitative and quantitative comparison of different characteristics of various sensors and can be used for selection of appropriate device for specific conditions.

The main problems in transportation are accidents, increasingly slow traffic flow, and pollution. An intelligent transportation system (ITS) using external infrastructure can overcome these problems. For this reason, the number of such systems is increasing dramatically, and therefore requires an adequate overview. To the best of our knowledge, no current systematic review of existing ITS solutions exists. To fill this knowledge gap, our paper provides an overview of existing ITS that use external infrastructure worldwide. Accordingly, this paper addresses current questions and challenges. For this purpose, we performed a literature review of documents that describe existing ITS solutions from 2009 until today. We categorized the results according to technology levels and analyzed its hardware system setup and value-added contributions. In doing so, we made the ITS solutions comparable and highlighted past development alongside current trends. We analyzed more than 357 papers, including 52 test bed projects. In summary, current ITSs can deliver accurate information about individuals in traffic situations in real-time. However, further research into ITS should focus on more reliable perception of the traffic using modern sensors, plug-and-play mechanisms, and secure real-time distribution of the digital twins in a decentralized manner. By addressing these topics, the development of intelligent transportation systems will be able to take a step towards its comprehensive roll-out.

This paper presents a data-driven nonlinear disturbance observer to reduce the reality gap caused by the imperfect simulation of the real-world physics. The main focus is on increasing robustness of the closed-loop control without changing the RL algorithm or simulation model to account for the uncertainty of the real world. For this purpose, a DNN representing inverse dynamics of the deterministic source-domain environment is learned by the simulation data. The proposed approach offers a systematic way to transfer the policies trained in simulation into the real world without decreasing sample efficiency of the RL agent in contrast to domain randomization or min-max robust RL methods.

Current state-of-the-art approaches for transferring deep-learning models trained in simulation either rely on highly realistic simulations or employ randomization techniques to bridge the reality gap. However, such strategies do not scale well for complex robotic tasks; highly-realistic simulations are computationally expensive and hard to implement, while randomization techniques become sample-inefficient as the complexity of the task increases. In this paper, we propose a procedure for training on incremental simulations in a continual learning setup. We analyze whether such setup can help to reduce the training time for complex tasks and improve the sim2real transfer. For the experimental analysis, we develop a simulation platform that can serve as a training environment and as a benchmark for continual and reinforcement learning sim2real approaches

Biologically inspired spiking neural networks (SNNs) have shown to be energy-efficient alternatives to common artificial neural networks in real-world applications. This thesis elaborates on signal encoding techniques and training methods for SNNs. These enable efficient event-based processing of time series. The proposed methods are evaluated using applications in the fields of speech recognition and radar-based gesture recognition. Biologisch inspirierte gepulste neuronale Netze (SNNs) haben sich in realen Anwendungen als energieeffiziente Alternativen zu herkömmlichen künstlichen neuronalen Netzen erwiesen. Diese Arbeit diskutiert Ansätze zur Signalkodierung und Trainingsmethoden für SNNs. Diese ermöglichen die effiziente eventbasierte Verarbeitung von Zeitreihen. Die vorgestellten Methoden werden anhand von Applikationen aus den Bereichen der Sprachverarbeitung und radarbasierter Gestenerkennung evaluiert.

This thesis presents risk-constrained interactive planning for autonomous vehicles to balance safety and efficiency in dense traffic. The planner integrates probabilistic predictions in behavior spaces and worst-case and risk-constrained action selection to generate plans satisfying a maximum risk of safety envelope violations over time. The risk level balances safety and efficiency in an interpretable manner. Online planning is accomplished with parallelization and learned experiences. Diese Dissertation stellt eine risikobeschränkte interaktive Planung für autonome Fahrzeuge zur Abwägung von Sicherheit und Effizienz in dichtem Verkehr vor. Der Planer nutzt Vorhersagen in Verhaltensräumen, eine Schlechtfall- und risikobeschränkte Aktionsauswahl und erfüllt so ein maximales Risiko von Verletzungen der Sicherheitshüllkurve über die Zeit. Dieses Risikokonzept wägt zwischen Sicherheit und Effizienz ab. Laufzeitplanung wird durch Parallelisierung und gelernte Erfahrungen erreicht.

The safety of autonomous vehicles relies on accurate motion prediction. However, even the latest neural prediction models suffer from limited generalization and poor probabilistic modeling. Furthermore, even the best model can only function with a precise state estimate. In this work, we analyze what makes prediction models robust, propose a novel prediction architecture, and show how an intelligent infrastructure system can be used to obtain a reliable traffic perception for making predictions. Autonomes Fahren wird nur durch eine präzise Bewegungsvorhersage sicher. Die Generalisierung und probabilistische Ausdrucksfähigkeit moderner Prädiktionsmodelle ist jedoch begrenzt. Zudem hängt ihre Genauigkeit stark von der Perzeptionsleistung des Systems ab. In dieser Arbeit untersuchen wir, was eine verlässliche Prädiktion ausmacht, entwickeln ein neues Prädiktionsmodell, und zeigen, wie intelligente Infrastruktursysteme genutzt werden können, um eine akkurate Perzeption zu erzeugen.

Agent-Based Simulation has shown ability. However, ABS suffers from long execution times. Using heterogeneous hardware is a solution. However, significant effort is required to achieve high performance. To simplify this, OpenABLext is proposed. It generates high-performance ABS programs from sequential representations. Further, OptCL is also introduced to enable co-execution. We believe the framework consisting of OpenABLext and OptCL can simplify the future development of high-performance ABSs. Die agentenbasierte Simulation ist ein Ansatz zur Systembewertung, aber sie oft unter langen Ausführungszeiten leiden. Durch den Einsatz heterogener Hardware kann dieses Problem reduzieren. Um die Programmierung zu vereinfachen, wird in dieser Arbeit das Framework OpenABLext und eine Middleware namens OptCL entwickelt. Das vorgestellte Framework bestehend aus OpenABLext und OptCL vereinfacht die Entwicklung von hoch-performanten agentenbasierten Simulationen erheblich.

This thesis contributes to service robotics software development and particularly to behavior coordination. It enables the development of robotic applications, including robotics behavior, by composing “as is” building blocks that are developed separated in space and time within robotics business ecosystems. The presented approach proposes structures, patterns, and integrated tooling that bridge the gap between the development of functionalities and robotics behavior coordination. Diese Arbeit trägt zur Servicerobotik-Softwareentwicklung bei und speziell zur Handlungskoordination. Die Arbeit ermöglicht die Entwicklung von Anwendungen, inkl. Handlungskoordination, durch das Zusammenstellen vorgefertigter Bausteine, welche räumlich und zeitlich getrennt in Robotik-Business-Ökosystemen entwickelt werden. Der vorgestellte Ansatz schlägt Strukturen, Muster und integrierte Werkzeuge vor, welche die Lücke zwischen den funktionalen Bausteinen und den Verhaltensbaustein schließen.

The driver has a significant impact on creating and utilizing the context in context prediction architectures of the intelligent vehicle platforms. This work investigates two primary domains of safety assurance and emotional awareness, as the eminent fields that consider a principal role for the human driver in their development chain, to outline the related challenges in enabling context prediction architectures for intelligent vehicles and provide practical solutions for them accordingly. Der Fahrer hat einen erheblichen Einfluss auf die Schaffung und Nutzung des Kontexts in Kontextvorhersage-Architekturen der intelligenten Fahrzeugplattformen. Diese Arbeit untersucht zwei primäre Bereiche der Sicherheitsgewährleistung und des emotionalen Bewusstseins als die herausragenden Bereiche, die eine Hauptrolle für den menschlichen Fahrer in ihrer Entwicklungskette in Betracht ziehen, um die damit verbundenen Herausforderungen bei der Ermöglichung von Kontextvorhersage-Architekturen für intelligente Fahrzeuge zu skizzieren und dementsprechend praktische Lösungen für sie bereitzustellen.

For a fully autonomous vehicle, generating behavior that is aware of other traffic participants such as human-driven vehicles, connected autonomous vehicles, or other objects is one essential ingredient to release production-grade autonomous driving functions on public roads.This thesis will develop cooperative behavior and motion planning algorithms in generic, on-road scenarios using mixed-integer progamming and demonstrate these in simulation and using a prototype autonomous vehicle. Für ein vollautonomes Fahrzeug ist die Erzeugung eines Verhaltens, das andere Verkehrsteilnehmer wie konventionelle Fahrzeuge, vernetzte automatisierte Fahrzeuge oder Fußgänger berücksichtigt, eine wichtige Voraussetzung für die Freigabe auf öffentlichen Straßen. In dieser Arbeit werden Algorithmen für kooperative Verhaltens- und Bewegungsplanung basierende auf gemischt-ganzzahliger Programmierung entwickelt. Diese werden simulativ und auf einem Prototyp eines autonomen Fahrzeugs demonstriert.

In many safety-critical computer vision applications, it is mostly desired to seek the optimal solutions with provable guarantee in presence of noise and outliers. Therefore, in this thesis, globally optimal solutions for unit-norm constrained computer vision problems are investigated. Specifically, the globally optimal solutions are provided by the branch-and-bound algorithm, which is a deterministic global optimization algorithm. In vielen sicherheitskritischen Computer Vision Anwendungen ist es erwünscht nachweisbar optimale Lösungen mit einer Optimalitätsgarantie bei vorhandenem Rauschen und Ausreißern in den Daten zu finden. Deswegen, erforscht diese Dissertation global optimale Lösungen für Unit-norm Constrained Vision Probleme. Genauer gesagt werden die global optimalen Lösungen mithilfe eines Branch-and-Bound Algorithmus, welcher ein deterministischer global optimaler Optimierungsalgorithmus ist, gefunden.

This thesis proposes a new adaptive black-box adversarial attack method that is both reliable and efficient. With it, a comprehensive robustness evaluation of image classifiers and defenses against adversarial attacks is conducted. The results show that all classifiers are vulnerable and many defenses are ineffective. The attack is also effective against real-world commercial services. Recommendations for defenses in the real world are developed from the results. Die Dissertation stellt ein neues adaptives Black-Box-Verfahren zur Erzeugung von Adversarial Examples vor, welches sowohl zuverlässig als auch effizient ist. Hiermit wird die Robustheit von Bildklassifikatoren und Abwehrmechanismen experimentell untersucht. Alle untersuchten Klassifikatoren sind verwundbar und viele Verteidigungsmaßnahmen unwirksam. Der Angriff ist auch gegen reale kommerzielle Systeme erfolgreich. Aus den Ergebnissen werden Empfehlungen zur wirksamen Abwehr hergeleitet.

In this thesis, we argue for the need to expand graph neural network models to more complex graph types. We benchmark common GNN architectures on simple graphs. Then, we introduce local and hard pooling layer to modify graph topology. We apply GNNs to two tasks: Vehicle behaviour prediction on the highway (introducing edge features) and high-voltage power grid control (introducing more complex edge features and heterogeneous nodes). We use the latter's output to warm-start a classical optimizer. In dieser Arbeit argumentieren wir dafür, Graph Neural Network-Modelle für komplexere Graphen zu erweitern. Wir evaluieren häufig verwendete GNN-Architekturen auf einfachen Graphen. Dann entwickeln wir ein lokales und hartes Pooling-Layer um die Graphtopologie zu modifizieren. Wir wenden GNNs auf zwei Aufgaben an: Verkehrsprädiktion auf der Autobahn und Kontrolle von Hochspannungsnetzen. Die Ergebnisse von letzterem nutzen wir als Startpunkt für einen klassischen Optimierer.

This work introduces new learning methods based on neurorobotics. We develop a tool set that enables massively parallel neurorobotics experiments in the cloud and supports neuromorphic computing. As a link to physical neurorobotics, we design a biomimetic mouse robot. Our key results include a brain-derived modular-hierarchical neural network architecture, a topographic loss function for learning deep multisensory neural maps, and training protocols that mimic biological development processes. Diese Arbeit führt neue Lernverfahren auf Basis der Neurorobotik ein. Es werden Werkzeuge konzipiert, die hochparallele Neurorobotik-Experimente in der Cloud ermöglichen und neuromorphes Rechnen unterstützen. Als Brücke zur physischen Neurorobotik wird ein biomimetischer Mausroboter entwickelt. Die Hauptergebnisse sind eine vom Gehirn abgeleitete modular-hierarchische neuronale Netzarchitektur, eine topographische Verlustfunktion zum Lernen tiefer multisensorischer neuronaler Karten und Trainingsprotokolle, die biologische Entwicklungsprozesse nachbilden.

This thesis applies reinforcement learning to learn behavior policies for autonomous vehicles, evaluates and post-optimizes these to obtain smooth behaviors. It proposes reward shaping functions, discusses input representations, and introduces a graph neural network actor-critic architecture that is invariant towards the number and order of vehicles. The behavior policies are evaluated at runtime using a counterfactual behavior policy evaluation. A post-optimization smoothens the behavior that preserves the interactions with others while guaranteeing the same constraints. Diese Thesis wendet Reinforcement Learning zum Erlernen von Verhaltensstrategien für autonome Fahrzeuge an, wertet diese aus und optimiert diese nach, um reibungslose Verhalten zu erhalten. Es schlägt Belohnungsformungsfunktionen vor, diskutiert Eingabedarstellungen und führt eine Graph Neural Network Actor-Critic Architektur ein, die invariant gegenüber der Anzahl und Reihenfolge der Fahrzeuge ist. Die Verhaltensstrategien werden zur Laufzeit unter Verwendung der Counterfactual Behavior Policy Evaluation evaluiert. Das Verhalten wird von einer Nachoptimierung geglättet, welche die Interaktionen mit anderen bewahrt und gleichzeitig die gleichen Einschränkungen garantiert.

This thesis researches into the assessment of automated driving functions as existing methods are stretched to their limits. A scenario-based methodology incorporating virtual testing is elaborated and implemented in a proof of concept manner. In this context, a risk metric for driving tests and a framework for the re-simulation and cross-verification with real-world driving tests are proposed. Further, this thesis provides tooling for variation of scenarios and the definition of a scenario space for coverage estimation. Diese Arbeit untersucht die Bewertung automatisierter Fahrfunktionen, da existierende Methoden an ihre Grenzen stoßen. Es wird Szenarien-basierte Methodik unter Miteinbeziehung virtueller Tests ausgearbeitet und als Machbarkeitsnachweis implementiert. In diesem Rahmen werden eine Metrik für das Risiko in Fahrtests und ein Framework zum Quervergleich mit Realfahrten vorgestellt. Zudem bietet diese Arbeit Werkzeuge zur Variation von Szenarien und zur Definition eines Szenarienraumes für Abdeckungsabschätzungen.

In this doctoral thesis a solution for the following central research question is developed: How can a Plug & Produce industrial robot cell be built, which allows an easy exchange of individual system components and robot tools without the need for reprogramming or adaptation of control applications. To answer this question a generic skill model based on OPC UA is presented, which is an essential part of the presented system architecture. The research results are be evaluated on various robot work cells. In dieser Doktorarbeit wird eine Lösung für folgende zentrale Forschungsfrage erarbeitet: Wie kann eine Plug & Produce Industrieroboterzelle aufgebaut werden, die einen einfachen Austausch einzelner Systemkomponenten und Roboterwerkzeuge ermöglicht, ohne dass eine Neuprogrammierung oder Anpassung von Steuerungsapplikationen erforderlich ist. Zur Beantwortung der Frage wird ein generisches Skill Modell basierend auf OPC UA vorgestellt, welches ein essenzieller Bestandteil der vorgestellten Systemarchitektur ist. Die Forschungsergebnisse werden auf diversen Arbeitszellen evaluiert.

Subretinal injection is known to be a challenging operation, which requires very precise, dexterous manipulation, and profound experience. In this thesis, we work on the safety evaluation of robot with remote center of motion (RCM) and how to perform the robotic subretinal injection with microscope intergraded optical coherence tomography (OCT) images navigation. All these technical problems and corresponding solutions are proposed towards giving the robotic subretinal injection a certain level of autonomy. Die subretinale Injektion ist dafür bekannt eine herausfordernder chirurgischer Eingriff zu sein, die sehr präzise und geschickte Handhabung der Instrumente und ein hohes Maß an Erfahrung benötigt. In dieser Arbeit wird eine Beurteilung der Sicherheit eines Roboter, der sich um ein außerhalb des Roboters liegendes Zentrum (RCM) bewegen kann. Des Weiteren wird wird die Durchführung einer robotergestützten subretinalen Injektion mit bildgenützter Navigation durch ein in ein Mikroskop integrierten optischen Kohärenz-Tomographen (OCT) untersucht. All diese Technischen Probleme und deren Lösungen werden im Hinblick darauf entwickelt dem Roboter ein möglichst hohes Maß an Autonomie zu verleihen.

This thesis applies heterogeneous computing to the design of automated driving module and real-time ADAS applications. First, this thesis proposes a high-performance and heterogeneous ECU for automated driving. Several typical ADAS applications are customized to investigate the performance and energy tradeoff in the system. Subsequently, this thesis gives a detailed performance optimization procedure and proposes a hybrid framework to predict the performance of parallel workloads. At last, this thesis gives a solution to prune the program design space in order to locate the optimal program design configurations. Diese Diplomarbeit wendet heterogenes Computing auf das Design von automatisierten Fahrmodulen und Echtzeit-ADAS-Anwendungen an. Zunächst wird in dieser Arbeit ein leistungsstarkes und heterogenes Steuergerät für das automatisierte Fahren vorgeschlagen. Mehrere typische ADAS-Anwendungen werden angepasst, um die Leistung und den Energiekompromiss im System zu untersuchen. Anschließend wird in dieser Arbeit ein detailliertes Verfahren zur Leistungsoptimierung beschrieben und ein Hybrid-Framework zur Vorhersage der Leistung paralleler Workloads vorgeschlagen. Zuletzt bietet diese Arbeit eine Lösung, um den Programmdesignbereich zu beschneiden, um die optimalen Programmdesignkonfigurationen zu finden.

In this thesis, three novel algorithms for generating interpretable policies in model-based batch reinforcement learning using particle swarm optimization and genetic programming are proposed and evaluated: FPSRL and FGPRL to generate rule-based policies, GPRL to generate equation-based policies. The interpretable policies show performance on the level of, or even surpassing that of control strategies by PID, MPC, NFQ, or neural network policies for a variety of different benchmark problems, including a novel industrial benchmark. In dieser Dissertation werden drei neuartige Algorithmen zur Erzeugung von interpretierbaren Aktionsauswahlregeln in modelbasiertem bestärkendem Lernen durch die Verwendung von Schwarmoptimierung und genetischer Programmierung vorgeschlagen und evaluiert: FPSRL und FGPRL erzeugen regelbasierte, GPRL erzeugt gleichungsbasierte Aktionsauswahlregeln. Es zeigt sich, dass die interpretierbaren Aktionsauswahlregeln auf einer Reihe von Testaufgaben, inklusive einer neuartigen industriellen Testumgebung, von vergleichbarer oder sogar höher Regelungsgüte sind als Kontrollstrategien erzeugt durch PID, MPC, NFQ, oder künstlichen neuronalen Netzwerken.

Ausgehend von den in der technischen Spezifikation ISO TS-15066 neu formulierten Anforderungen an kollaborierende Roboteranlagen werden Einflussgrößen auf die auftretende Kollisionskraft identifiziert und experimentell untersucht. Auf Basis einer Datenbank wird ein Regressionsmodell aufgezeigt, mit welchem sich die Kollisionskraft entlang einer Trajektorie berechnen lässt. Dies ermöglicht eine frühzeitige Integration der Anforderungen in den Planungsprozess von kollaborierenden Roboteranlagen. Based on the requirements of the technical specification ISO TS-15066 for collaborative robot systems, influencing factors on the occurring collision force are identified and experimentally investigated. A regression model is outlined which allows a calculation of the collision force along a trajectory based on an experimental data base. This allows an early integration of the outlined requirements into the planning process for collaborative robot systems.

High-resolution traffic simulators require a large number of hardware resources, which are not accessible to everyone. Cloud computing is a possible solution to the democratization research by enabling access to high-performance resources. Within this thesis, a reference architecture for cloud-based traffic simulation is introduced and evaluated. An agent-based traffic simulation (CityMoS) is used as a use-case. The capabilities of cloud computing are demonstrated, while the challenges in data extraction and search-space exploration are presented and addressed. Detaillierte Simulatoren benötigen eine große Anzahl an Hardwareressourcen. Ein Ansatz dieses Problem zu bewältigen ist Cloud-Computing, das den Zugang zu hoch-performanten Ressourcen erleichtert. In dieser Dissertation wird eine cloudbasierte Referenzarchitektur für agenten-basierte Simulationen entworfen, anschließend im Verkehrssimulator CityMoS umgesetzt und evaluiert. Mit der hier vorgestellten Lösung wird somit eine verteilte und zeitsparende Erkundung von großen Parameterräumen möglich.

Studying the underlying mechanism of neural circuit and modelling it to control locomotion remains non-trivial. This thesis presents a biological-inspired hierarchical control architecture and takes a snake robot as an agent to perform autonomous locomotion tasks. This controller consists of two parts: a high-level Spiking Neural Network for processing information and making decisions; a low-level Central Pattern Generator generating joint orders for desired actions. Snake robots are studied to demonstrate the proposed controller for three different autonomous locomotion tasks. Die zu Grunde liegenden Vorgänge neuronaler Schaltkreise zu Untersuchen und diese derart zu modellieren ist nachwievor nicht trivial. Diese Arbeit stellt eine bionische, hierarchisch aufgebaute Kontrollstruktur vor und demonstriert diese anhand einer Roboterschlange, die versucht, Aufgaben für autonome Fortbewegung zu lösen. Diese Steuereinheit besteht aus zwei Teilen: Einem gepulsten neuronalen Netz zur Informationsverarbeitung und Entscheidungsfindung, sowie einem zentralen Mustergenerator, der Steuerbefehle für die gewünschten Bewegungsmuster erstellt. Schlangenroboter werden untersucht, um den vorgeschlagenen Controller für drei verschiedene autonome Fortbewegungsaufgaben zu demonstrieren.

Precise localization is a prerequisite for successful autonomous vehicles. This thesis proposes a new cooperative localization system using measurements from both internal ego-vehicle and external infrastructure sensors to improve the localization of the ego and neighbouring vehicles. The problem is formulated as novel factors in a factor graph. The graph is solved using a non-linear least square optimizer for the state estimates of the vehicles. The experiments show the feasibility of the proposed system. Präzise Lokalisierung ist eine Voraussetzung für autonome Fahrzeuge. Diese Arbeit schlägt ein neues kooperatives Lokalisierungssystem vor, das Messungen von internen Ego-Fahrzeug- und externen Infrastruktur-Sensoren verwendet, um die Lokalisierung des Ego- und benachbarter Fahrzeuge zu verbessern. Das Problem wird als neuartig Faktoren in einem Faktorgraph formuliert und mit einem nichtlinearen Algorithmus des kleinsten Quadrats für die Zustandsschätzungen der Fahrzeuge gelöst. Die Experimente zeigen die Funktionstüchtigkeit des vorgestellten Systems.

My main research interest described here is toward scientifically exploring the manner in which information is processed in the nervous system. Here I employ computational modeling, experimental extracellular recordings and applied mathematics for data analysis, in order to explore: (i) the sharpening in directional selectivity as a prominent example of information processing, (ii) the neural mechanisms involved in establishing functional and effective connectivity and (iii) the degree of efficiency in information transmitting between neurons. Der Schwerpunkt der vorliegenden Arbeit lag auf der Untersuchung der Informationsprozessierung im Nervensystem. Mittels Computermodellierung, extrazellulären Ableitungen und angewandter Mathematik für Datenanalyse wurden folgende Aspekte untersucht: (i) die Schärfung der Richtungsselektivität als bekanntes Beispiel der Informationsverarbeitung, (ii) die neuronalen Mechanismen der funktionalen und effektiven Verbindungsherstellung und (iii) der Effektivitätsgrad der Informationsweiterleitung zwischen Neuronen.

An integrated modeling approach addresses two common robotics software engineering needs in combination. One is related to complexity management by component-based engineering. The other is related to managing non-functional properties. An Eclipse-based modeling tool and a real-world example demonstrate that external analysis tools from other domains can be made accessible for the robotics domain to systematically manage non-functional aspects in robotics applications. Ein integrierter Modellierungsansatz adressiert zwei gängige Engineering Probleme in der Robotik. Komplexitätsbeherrschung durch Komponentenbauweise in Kombination mit dem Verwalten nichtfunktionaler Systemeigenschaften. Ein Eclipse-basiertes Modellierungstool und ein Realweltbeispiel demonstrieren wie externe Analysetools aus anderen Domänen in der Robotik systematisch benutzt werden können um nichtfunktionale Aspekte in Robotik Anwendungen zu verwalten.

Nondeterministic behavior of traffic participants and inaccurate sensors and actuators challenge the reliability of autonomous driving planning and control functions. This thesis presents a novel approach for efficiently testing the software implementation of such systems in a simulation environment. The algorithm splits the simulation into short sequences that cover different desired and undesired behaviors of the system. This way, the developed method is more efficient than existing approaches. Nichtdeterministisches Verhalten von Verkehrsteilnehmern, sowie Sensor- und Aktorungenauigkeiten sind eine Herausforderung für die Zuverlässigkeit von autonomen Planungs- und Regelungs- Funktionen. Die vorliegende Arbeit stellt einen neuen Ansatz vor, der die Implementierung eines solchen Systems effizient in einer Simulationsumgebung testet. Der Ansatz teilt die Simulation in kurze Sequenzen auf, die zusammengesetzt verschiedene potentiell unerwünschte Verhaltensmuster des Systems abbilden. Auf diese Weise ist das Konzept effizienter als existierende Ansätze.

As the VLSI technology is scaling to deep sub-micron domain, temperature has become an emerging issue of high importance for real-time systems. In this thesis, we focus on developing the system level dynamic thermal management technique for real-time systems. The main contributions are: 1. An offline thermal management is presented for single core real-time systems. 2. Periodic thermal management is extended to pipeline multicore systems. 3. An online adaptive periodic thermal management is proposed. 4. A thermal framework which can evaluate various thermal managements in a fast manner is presented. Aufgrund der Entwicklung von VLSI hin zu einer deep sub-micron Domäne, entwickelt sich Temperatur zu einem zunehmenden Problem von hoher Bedeutung für Echtzeitsysteme. Der Fokus dieser Arbeit liegt auf der Entwicklung einer auf Systemlevel dynamischen Thermomanagementmethode für Echtzeitsysteme. Die Hauptanteile sind: 1 ein offline Thermomanagementsystem wird vorgestellt. 2 das periodische Thermomanagementsystem wird erweitert, um Mehrkernsysteme zu unterstützen. 3 ein online anpassbares periodisches Thermomanagement wird vorgeschlagen. 4 ein Thermo-Framework, welches verschiedene Thermomanagementsysteme schnell evaluieren kann wird vorgestellt.

We present our efforts in bringing algorithmic game solving from theoretical results towards concrete applications. We first create the tool GAVS+ which collects most types of games having practical interests with various winning conditions. GAVS+ is the first library which summarizes existing efforts in such a comprehensive way. With the library in hand, we bridge games in theory and concrete applications in synthesis; new algorithms are introduced when required. Die vorliegende Arbeit beschäftigt sich mit der praktischen Anwendung von algorithmischer Spieletheorie. Die Arbeit stellt das Werkzeug GAVS+ vor, das verschiedenste Arten von Spielen und Gewinnbedingungen, die eine praktische Relevanz haben, umfasst. GAVS+ is das erste Werkzeug, das die verschiedenen Ansätze in dem Bereich, umfassend unterstützt. Auf Basis von dem Werkzeug wird das formale Fundament der Spieltheorie mit einem praktischen Anwendungsfeld, der Synthese, verbunden.

Intelligent Transportation Systems (ITS) using information dissemination techniques can steer the traffic flow into a more efficient operational state. However, the traffic participants massively using navigation recommendations can introduce new dynamics with potentially detrimental effects. The main contribution of this work is the identification of several phenomena related to information flow in transportation systems by performing a set of experiments using an agent-based simulation. Intelligente Transportsysteme (ITS) können mit Hilfe von Informationsverteilung zu einer deutlichen Verbesserung des Straßenverkehrs beitragen. Allerdings besteht die Möglichkeit, dass Kraftfahrer mit Navigationsempfehlungen massiv nachteilige Rückwirkungen auf Transportsysteme haben. Der Hauptbeitrag dieser Arbeit ist die Identifizierung verschiedener solcher Phänomene anhand von Experimenten mit Agenten-basierten Verkehrssimulationen.

This thesis presents efficient computational techniques for optimizing transportation systems split into four steps: 1) an analysis step, which identifies sensitive locations in the road network used as strategic steering tools; 2) a planning step, which involves applying hypothetical changes at problematic locations; 3) a routing control step, executed by state of the art system optimum computation algorithm; and 4) a surveillance step, solving the optimal sensor placement problem, ensuring robustness against long term traffic demand variations. In dieser Dissertation werden effiziente Berechnungsmethoden zur Optimierung von Verkehrssystemen vorgestellt. Diese sind in 4 Schritte aufgeteilt: 1) Analyse, welche problematische Standorte im Straßennetzwerk identifiziert und zur Steuerung einsetzt werden; 2) Planung, wendet hypothetischen Ergebnisse auf identifizierte Standorte an; 3) Streckenplanung, benutzt SoA Systemoptimum-Berechnungsmethoden und 4) Überwachung, welche die Lösung optimaler Sensorplatzierungsprobleme beinhaltet, welches Robust gegen Veränderungen in der Verkehrsnachfrage ist.

Building a 3D human motion perception system in an efficient way remains non-trivial. This work presents two frameworks for the development of 3D human motion perception systems: autonomously feature learning with un-supervision and efficient system developing with randomization and discrimination. The major contribution of this thesis is the presentation of three advanced machine learning techniques, Un-supervision, discrimination and randomization, to guarantee the efficiency when developing 3D human motion perception system. Two applications of 3D human action and gesture recognition systems are developed to demonstrate the practicability of the approach. Ein Wahrnehmungssystem für menschliche 3D Bewegungen effizient zu bauen ist nachwievor nicht trivial. Diese Arbeit stellt 2 Frameworks zur Entwicklung von 3D Wahrnehmungssystemen menschlicher Bewegungen vor: autonomes Lernen von Features und effiziente Systementwicklung mit Randomisierung und Diskriminierung. Der größte Beitrag dieser Arbeit ist die Vorstellung dreier Machine Learning Techniken, Nicht-Überwachung, Diskriminierung und Randomisierung, um die Effizienz bei der Entwicklung von Wahrnehmungssystemen menschlicher Bewegung in 3D zu gewährleisten. Zwei Anwendungen des Erkennungssystems wurden entwickelt, um die Anwendbarkeit des Ansatzes unter Beweis zu stellen.

This thesis presents a novel vision-based control system for industrial manipulators. The primary contribution is an uncalibrated Visual Servoing (VS) based on 6D orthogonal features. These features have good linearization and decoupling properties, leading to a full-rank image Jacobian which allows avoiding classical VS problems such as image space singularities and local minima. By integrating the VS system with the environment and robot model constraints in real world applications using a prioritized multi-constraints control framework, we demonstrate that it can be easily and safely integrated into a variety of robotic systems involving human-robot interaction. Diese Arbeit präsentiert ein neuartiges und robustes System zur bildgestützten Steuerung von industriellen Manipulatoren. Der primäre Beitrag dieser Arbeit ist ein Visual Servoing (VS) basierend auf einem neuen 6D-Lagevektor. Jede Komponente des Lagevektors ist orthogonal, unabhängig und weist gute Entkoppelungs- und Linearisierungseigenschaften auf. Dies führt zu einer bild-jakobischen Matrix mit vollem Rang, einige klassische Probleme umgeht. Durch die Integration des VS Systems mit einer priorisierenden Robotersteuerung, unter Berücksichtigung von Umgebungs- und Roboterrandbedingungen, wird gezeigt, dass die Ergebnisse dieser Arbeit leicht übertragen werden können.

In this thesis, we focus on adaptively postponing the mode-switch online by exploiting the system's static and runtime slacks; and we address the problem of schedulability analysis towards a more general task model in mixed-criticality systems. We also present a case study showing the application of some basic mixed-criticality scheduling concepts in an autonomous driving system. In dieser Arbeit konzentrieren wir uns darauf, den ”Modus-Wechsel“ während der Ausführung zu verschieben, indem wir die statischen Leerlaufzeiten des Systems ausnutzen. Hierbei wird ein Analyseverfahren für ein generisches Aufgabenmodell in Systemen mit gemischter Kritikalität entwickelt und genutzt, um ein Online-Verfahren zu entwerfen, das kurzfristig zur Laufzeit ein Zeitbudget fürÜberläufe nutzt, um so einen Modus-Wechsel zu verschieben.

The primary aim of Advanced Driver Assistance Systems (ADAS) is to aid in improving the safety and performance of assisted driving. This is achieved using a suite of integrated sensors to detect, identify and track targets within the environment. The map of target objects is then used to form the situational awareness for highly assisted (and in the future autonomous) driving operations. Since traffic participants are monitored by heterogeneous sensors with different capabilities and different fields of view, target tracking algorithms within ADAS are required to deal with randomly varying numbers of targets with various properties in presence of unknown data association and spatial registration. A rigorous mathematical foundation for dealing such scenarios has been developed, which is called 'Random Finite Set statistic (RFS)'. The RFS framework eliminates the need for pedigree tracking and data association required by traditional Bayesian techniques, but achieves this at the expense of being a conservative (or sub-optimal) estimate. This thesis has considered the traditional tracking problems in ADAS, which essentially concerns the 'Improve the performance of heterogeneous sensor integration for highly assisted driving functionality based on random finite set framework'. Several applications are developed as individual subsystems including localization, visual odometry and lane detection. In contrast to the traditional approaches, the proposed framework avoids the requirements of explicit data association and high precision calibration (i.e. registration) of the sensors. All the implementations developed for this thesis were published in international conferences and journals, indicating the credibility and novelty of the work. Das wichtigste Ziel von Fahrerassistenzsystemen ist die Verbesserung der Sicherheit und Leistungsfähigkeit des assistierten Fahrens. Möglich wird dies durch die Verwendung integrierter Sensor-Sets, mit denen Ziele in der Umgebung detektiert, identifiziert und verfolgt werden können. Eine so generierte Karte, die identifizierten Zielobjekte enthält, ist die Basis für die in der Zukunft für hoch automatisierte Fahrerassistenzsysteme notwendige Umgebungswahrnehmung. Da Verkehrsteilnehmer durch heterogene Sensorsets detektiert werden, welche über unterschiedliche Stärken, Schwächen und Sichtfelder verfügen, muss die Umgebungserfassung in der Lage sein die unterschiedlichen Messwerte der verschiedenen Sensoren in Einklang zu bringen. Dies beinhaltet die Auflösung scheinbarer Widersprüche in Messdaten, die korrekte Zuordnung von Messdaten zu den jeweiligen Zielobjekten, sowie die Eliminierung systematischer Fehler. So könnten unterschiedliche Sensoren unterschiedliche zufällig variierte Mengen und Positionen von Zielen melden und unterschiedliche Sensortypen unterschiedliche Zieleigenschaften erkennen. Eine rigorose mathematische Basis für den Umgang mit solchen Szenarien sind 'Random Finite Set Statistic (RFS)'. Das RFS-Framework beseitigt die Notwendigkeit für die Verfolgung von Objekttrajektorien und Datenzuordnung, die für traditionelle Bayesianische Methoden, zum Preis von konservativen statt optimalen Ergebnissen. In dieser Arbeit wurden traditionelle Szenarien für Objekt-Verfolgung für Fahrerassistenzsysteme untersucht, mit dem Ziel die Leistungsfähigkeit heterogener Sensor-Sets durch die Verwendung des Random Finite Set Frameworks zu verbessern. Mehrere Anwendungskonzepte wurden entwickelt und demonstriert. Die entwickelten Konzepte umfassen Szenarien zur Lokalisierung, visuellen Odometrie und Fahrspurerkennung. Im Unterschied zu traditionellen Ansätzen, beseitigen die neu entwickelten Ansätze die Notwendigkeit korrekter Messdatenzuordnung und hoch präziser Sensor Kalibrierung (Sensor Registrierung). Die entwickelten Konzepte und Implementierungen wurden jeweils auf internationalen Konferenzen und in Journals publiziert.

The development of the modern sensing, actuation, communication, and computation technology unfolds a promising future of intelligent mobile robots, especially for autonomous automobiles. Motion planning for mobile robots is one of the most important software components in an autonomous system, as it is responsible for a maneuver strategy or a motion trajectory while considering the prior knowledge of the world, real-time perception, and domain specific rules. Particularly, a motion planning problem for an intelligent vehicle is beyond a theoretical problem of finding an executable collision-free trajectory. An autonomous vehicle should also behave rationally in traffic, which includes following a global route from the navigation, adapting local behaviors according to its circumstances, obeying traffic rules, and considering the convenience of the human traffic participants. Furthermore, the different driving tasks are highly diverse, usually requiring a specific optimized motion planning method for each maneuver type. In this case, a motion planning agent should be able to handle the available information with domain knowledge, select efficient algorithms for specific tasks, and integrate them seamlessly. In this dissertation, a Space Exploration Guided Heuristic Search (SEHS) method is introduced as a base framework for mobile robot motion planning. Several extensions of SEHS such as Orientation-Aware Space Exploration Guided Heuristic Search (OSEHS) and Space Time Exploration Guided Heuristic Search (STEHS) are developed for specific autonomous driving scenarios. They can be integrated in a hierarchical planning architecture with a high-level symbolic task planning to process information in different layers and to achieve online motion planning for mobile robots, especially autonomous vehicles. The general idea of the Space Exploration Guided Heuristic Search approach is to boost the forward search algorithm in a continuous state space with heuristics of the space knowledge such as topology and dimension. The SEHS framework consists of two sequential procedures: (1) An exploration phase investigates a low dimensional sub-space with distance queries for a path corridor between the start and goal locations, (2) a heuristic search algorithm propagates robot states with primitive motions following the path corridor to construct a trajectory from the start state to the goal state. The space knowledge obtained in the exploration phase enables the search algorithm to adapt the step size of primitive motions and the state resolution regarding the free-space dimension. Furthermore, as a generic exploration and search framework, the SEHS method can flexibly scale the sub-space to include robot orientation for maneuvers in narrow places as Orientation-Aware Space Exploration Guided Heuristic Search, or the time domain for dynamic scenarios as Space Time Exploration Guided Heuristic Search. A Motion Planning Engine (MPE) is developed as a real-time planning entity for autonomous driving based on the hybrid planning schema. Task planning is introduced as the middle layer between route planning and motion planning. It evaluates symbolic states of the system with traffic domain knowledge for a sequence of driving tasks to accomplish the driving mission. Each task can be handled as a motion planning problem, which is constrained in an appropriate context so that it can be efficiently solved with a suitable planning algorithm in the low-level planning layer. Thus, the MPE provides interfaces to the data such as road-map, object-list, and traffic rules, produces motions with steering and acceleration commands, and guarantees safety during the whole driving process. In addition, a C++ library, named AutoDrive for autonomous driving, is developed. The library consists of packages for general math utilities, vehicle kinematic models, environment models, and various planning algorithms. A simulation environment is also provided to visualize planning procedures and results in different traffic scenarios. The goal is to provide a compact essential software base for education, research, and prototype development for mobile robots and autonomous driving applications. Die Entwicklung der modernen Sensorik, Aktorik, Kommunikations- und Rechentechnik lässt eine vielversprechende Zukunft von intelligenten mobilen Robotern erwarten, vor allem für autonome Fahrzeuge. Bewegungsplanung für mobile Roboter ist eine der wichtigsten Software-Komponenten in einem autonomen System, da es für die Manöverstrategie oder die Bewegungstrajektorie verantwortlich ist. Die gilt vor allem in Bezug auf Vorwissen der Welt, Echtzeit-Wahrnehmung und domänenspezifische Vorschriften. Insbesondere ist ein Bewegungsplanungsproblem für ein intelligentes Fahrzeug mehr als das theoretische Problem, eine ausführbare kollisionsfreie Trajektorie zu finden. Ein autonomes Fahrzeug sollte sich auch im Straßenverkehr rational verhalten. Das umfasst das Folgen eines globalen Pfads einer übergeordneten Navigationskomponente, eine Anpassung des lokalen Verhaltens an äußere Umstände, sowie die Befolgung von Verkehrsregeln. Dies alles, unter Berücksichtigung des Komforts menschlicher Verkehrsteilnehmer. Darüber hinaus sind verschiedene Fahraufgaben sehr vielfältig, was in der Regel eine spezifisch optimierte Bewegungsplanungsmethode für den einzelnen Manövertyp erfordert. In diesem Fall sollte ein Bewegungsplanungsagent in der Lage sein, die verfügbaren Informationen mit Domänenkenntnissen zu behandeln, effiziente Algorithmen für bestimmte Aufgaben zu wählen und alle Funktionen nahtlos zu integrieren. In dieser Dissertation wird eine Space Exploration Guided Heuristic Search (SEHS) Methode als Basis für die Bewegungsplanung mobiler Roboter eingeführt. Mehrere Erweiterungen von SEHS wie Orientation-Aware Space Exploration Guided Heuristic Search (OSEHS) und Space Time Exploration Guided Heuristic Search (STEHS) sind für bestimmte autonome Fahrszenarien entwickelt worden. Sie können in einer hierarchischen Planungsarchitektur mit einer symbolischen High-Level-Aufgabenplanung integriert werden, um Daten in verschiedenen Schichten zu verarbeiten zur Realisierung einer Online-Bewegungsplanung für mobile Roboter, insbesondere für autonome Fahrzeuge. Die Grundidee des Space Exploration Guided Heuristic Search Ansatzes ist es, den Vorwärtssuchalgorithmus in einem kontinuierlichen Zustandsraum mit raumbasierter Heuristiken zu unterstützen, wie etwa dem Wissen über Topologie und Abmessung des Raumes. Das SEHS Framework besteht aus zwei aufeinanderfolgenden Verfahren: (1) Eine Explorationsphase untersucht einen niedrigdimensionalen Unterraum mit Abfragen über Abstände um einen Pfadkorridor zwischen Start- und Zielpose zu finden, (2) ein heuristischer Suchalgorithmus propagiert Zustände des Roboters mit Bewegungsprimitiven zum Korridorweg um eine Trajektorie vom Startzustand zum Zielzustand zu konstruieren. Die Kenntnisse über den Raum, die in der Explorationsphase erhalten werden, ermöglichen es dem Suchalgorithmus, die Schrittweite der Bewegungsprimitive und die Auflösung der Zustände zur Freiraumdimension anzupassen. Ferner lässt sich mit dem SEHS Verfahren als generisches Explorations- und Such-Framework der Unterraum flexibel skalieren, um etwa die Ausrichtung des Roboters für Manöver in engen Stellen bei Orientation-Aware Space Exploration Guided Heuristic Search, oder die Zeitdomäne für dynamische Szenarien bei Space Time Exploration Guided Heuristic Search. Eine Motion Planning Engine (MPE) wird als Echtzeit-Planungsinstanz für autonomes Fahren auf Basis eines Hybridplanungsschemas entwickelt. Aufgabenplanung wird als eine Mittelschicht zwischen Routenplanung und Bewegungsplanung eingeführt. Diese evaluiert die symbolischen Zustände des Systems mit domänenspezifischem Wissen über den Verkehr für eine Folge von Fahraufgaben um die Fahrmission auszuführen. Jede Aufgabe kann als ein Bewegungsplanungsproblem dargestellt werden, das in einem geeigneten Kontext beschränkt wird, so dass es mit einem geeigneten Planungsalgorithmus in der Low-Level Planung gelöst werden kann. Somit bietet die MPE Schnittstellen zu den Daten wie Fahrplan, Objekt-Liste und Verkehrsregeln, produziert Bewegungen mit Lenk- und Beschleunigungsbefehlen und gewährleistet die Sicherheit während des gesamten Fahrvorgangs. Darüber hinaus wurde eine C++ Bibliothek mit dem Namen AutoDrive für autonomes Fahren entwickelt. Die Bibliothek besteht aus Paketen mit Funktionen für allgemeine Mathematik, Fahrzeugkinematik, Umwelt-Modelle und verschiedenen Planungsalgorithmen. Eine Simulationsumgebung wurde ebenfalls bereitgestellt, um Planungsverfahren und Ergebnisse in verschiedenen Verkehrsszenarien zu visualisieren. Das Ziel ist es, eine kompakte essenzielle Software-Basis für Bildung, Forschung und die Entwicklung von Prototypen von mobilen Robotern oder autonomen Fahranwendungen zu bieten.

Integrated robot task and motion planning requires an interface for the symbolic planner to query and sample in the geometric world. This work introduces a new set of bounded geometric predicates for collision and inclusion queries on a single-sided approximation of the geometry, generated by the bounding mesh algorithm. Integration leads to an efficient task and motion planner, which is evaluated on different robot systems, including tasks with branched plans, sensing actions, complex assembly actions, and bimanual manipulation. Integrierte Aufgaben- und Bahnplanung erfordert eine Schnittstelle, die dem symbolischen Planer Abfragen über den geometrischen Zustand ermöglicht. Die Arbeit führt eine neue Art geometrischer Prädikate zur Kollisions- und Inklusionsabfrage auf einer einseitig approximierten Geometrie ein, die durch den Bounding-Mesh-Algorithmus erstellt wird. Die Integration führt zu einem effizienten Aufgaben- und Bahnplaner, der auf verschiedenen Robotersystemen getestet wird, einschließlich komplexer Montageaktionen, Aufgaben mit verzweigten Plänen sowie der Handhabung mit beiden Roboterarmen.

The integration of further functionality into vehicles is hindered by the increasing system complexity. This work combines model-driven engineering with the event-based and data-centric communication paradigms to implement an automatic timing verification framework for changeable systems. This enables the flexible configuration of vehicles and other real-time critical systems in the sense of hardware and software – during the design and run-time with a selectable degree of approximation. Die Integration von weiterer Funktionalität in Fahrzeuge wird durch die zunehmende Systemkomplexität immer weiter erschwert. Diese Arbeit verbindet modellgetriebene Entwicklung mit den ereignisgesteuerten und datenzentrischen Kommunikationsparadigmen, um eine automatisierte Verifikation des zeitlichen Verhaltens von sich ändernden Systemen umzusetzen. Dies ermöglicht eine flexible Konfiguration von Fahrzeugen und anderen echtzeitkritischen Systemen im Sinne von Hardware und Software – zur Entwurfs- und Laufzeit mit wählbaren Approximationsgrad.

Multi-core architectures are believed to be one of the major solutions for future embedded systems, due to their advantages in the high average performance and procurement cost. However, the use of the architecture of multi-core processors in real-time systems poses important challenges on timing analysis. In this thesis, we present novel reconfiguration techniques and scheduling algorithms for resource management in real-time multi-core embedded systems. We provide approaches by considering effects of computation and cache memory together to optimize overall performance and energy of real-time multi-core embedded systems. Multikern-Architekturen stellen aufgrund ihrer Performance- und Kostenvorteile eine bedeutende Lösung im Bereich zukünftiger Embedded Systeme dar. Jedoch bedeutet die Verwendung von Multikernprozessor-Architekturen in Echtzeit große Herausforderungen hinsichtlich Zeitanalysen. In dieser Dissertation werden neuartige Rekonfigurations-Techniken und Scheduling-Algorithmen im Rahmen des Ressourcen-Managements innerhalb von Echtzeit-Multikern Embedded Systems präsentiert. Es werden Lösungen entwickelt, welche sowohl Berechnungseffekte als auch Cache-Speicher berücksichtigen, um Performance und Energie des Gesamtsystems des Echtzeit-Multikern Embedded Systems zu optimieren.

Multi-core architectures could provide the computational power needed to the demanding hard real-time systems. However, the interference on the shared resources makes the Worst Case Execution Time (WCET) of applications running on a multi-core architecture impossible or hard to estimate. Traditionally, predictable execution time is achieved after significantly sacrificing resource utilization/performance of the system. This thesis provides techniques that provide tight WCET bounds at minimal performance penalty. Additionally, the timing aspect of the system stays in accordance with the CAST32 avionics certification guidelines. Mehrkernarchitekturen können die notwendige Rechenleistung der anspruchsvollen harten Echtzeitssyteme zur Verfügung stellen. Aber die Interferenz auf dem gemeinsamen Speicher macht die Einschätzung der Worst Case Execution Time (WCET) der Anwendungen unmöglich oder sehr schwierig. Traditionell werden vorhersagbare Ausführungszeiten bei massivem Verzicht auf Ressourcenverwertung des Systems erreicht. Diese Arbeit präsentiert Methoden, die sehr strenge WCET-Grenzen anbieten während der Performanzverlust minimal bleibt. Zusätzlich entsprechen die Timing-Aspekte des Systems der CAST32 Avoinik-Richtlinien für die Zertifizierung.

Shorter product life cycles and increasing personalization of products demand frequent reconfiguration of industrial automation lines, where adaptation of control software is a major cost factor. In order to improve cost efficiency, this work employs game theory to synthesize industrial control software from a formal specification of the automation plant and the task to achieve. The presented workflow integrates with existing standards and is demonstrated on industrial-grade automation systems. Kürzere Produktlebenszyklen und die zunehmende Personalisierung zwingen die Betreiber von Produktionsanlagen zu häufigen Anpassungen, wobei die Anpassung der Steuerungssoftware hohe Kosten verursacht. Um die Kosten zu senken, setzt diese Arbeit Spieltheorie ein, um die Steuerungssoftware aus einer formalen Spezifikation der Anlage und der Produktionsaufgabe zu synthetisieren. Der vorgeschlagene Ansatz berücksichtigt vorhandene Standards und wird auf industrietauglichen Systemen demonstriert.

Elektromotorische Traktionsantriebe versprechen neue Freiheitsgrade mit einer in der Disziplin der Regelung der Radgeschwindigkeiten noch nicht dagewesenen Qualität. Durch eine domänenübergreifende und koordinierte Zusammenarbeit der Antriebs- und Bremsenregelung, neue Konzepte der Schwingungsdämpfung des Antriebsstrangs sowie Eliminierung der heute nur situationsabhängigen Verfügbarkeit des elektromotorischen Bremsens zeigt diese Arbeit eine Möglichkeit bislang ungelöste Schwächen des rekuperativen Bremsens zu beheben und zusätzlich die dynamische Leistungsfähigkeit derzeitiger Brems- und Antriebssysteme zu erhöhen. The use of electric motors as traction drives promises an improvement of the wheel speed control of passenger cars. Using a cross disciplinary and coordinated control of the break and propulsion systems, new software based drive train damping concepts and by solving the today only situation-dependent availability of the electromotive braking, this thesis shows a possibility for a higher exploitation of the dynamic potential of the electric drive train and facilitates the electric drive train to be an integral part of the braking and stabilizing system.

This thesis introduces a novel micro-manipulator which up-skills the ophthalmologists for performing vitreo-retinal surgery. The up-skilling tasks which are augmented by this master-slave setup consists of precise movement, tremor cancellation, motion scaling and virtual fixture control. This compact robot is mounted on patient head during the operation and is intuitively controlled by human surgeons. It is specifically designed to be adoptable to standard operation theaters without modification. In dieser Dissertation wird ein neuartiger Mikromanipulator vorgestellt, welcher die operativen Möglichkeiten bei der Vitreoretinalen Chirurgie verbessert. Diese Verbesserungen machen sich in Form von präziseren Bewegungen, dem Eliminieren von Handzittern, der Bewegungsskalierung sowie der Fähigkeit zur Steuerung virtueller Fix- bzw. Sperrbereiche bemerkbar. Der entwickelte kompakte Roboter, welcher auf sehr intuitive Weise vom Chirurgen bedienbar ist, besitzt ein Design, das eine einfache Integration in Standard Operationssälen ohne Adaptierungsaufwand erlaubt.

Automatic vision-based people tracking system promises to be the key for a large variety of domains. Although huge research efforts have been made to increase the performance, the robustness and accuracy of tracking systems is still far from being satisfactory. This thesis develops a complete system for long-term detection and tracking of multiple people in complex and crowded multi-camera environment, with a hierarchical grid-based, globally optimal tracking-by-detection strategy. We show that a finer analysis of human behavior can contribute to better resolving ambiguities between crossing trajectories. A novel evaluation framework is proposed, to quantitatively evaluate the performance of proposed system through experiments on a large variety of benchmark video sequences. Automatische Vision-basierte System zur Personenverfolgung werden der Schlüssel in einer Vielzahl verschiedener Anwendungen. Obwohl große Forschungsanstrengungen unternommen worden, um die Leistung zu erhöhen, ist die Robustheit und Genauigkeit der Tracking-Systeme noch lange nicht zufriedenstellend. Die vorliegende Arbeit konzentriert sich auf die Entwicklung eines vollständigen Systems zur Langzeiterkennung und Tracking mehreren Personen in überfüllten und komplexe Multi-Kamera Umgebung, mit einer hierarchischen gitterbasierten, global optimierten Verfolgung-durch-Detektion Strategie. Zusätzlich wird gezeigt, dass eine feinere Analyse des menschlichen Verhaltens kann, eine bessere Lösung von Mehrdeutigkeiten zwischen überkreuzenden Trajektorien zu beitragen. Die Arbeit stellt auch einen neuen Evaluierungsrahmen vor, um die Leistung des präsentierten Systems durch Experimente mit einer großen Vielfalt von Benchmark-Videosequenzen, quantitativ zu evaluieren.