Search

This thesis presents a comprehensive analysis of delay-based reservoir computation. Chapter 1 provides a brief motivation for the importance of studying dynamical systems in various research areas and the importance of being able to make predictions for such systems. It is emphasized that physics is reaching its limits in terms of the use of modern computers in predicting the most complex dynamical systems known. This is especially due to the physical limitations of the hardware implementations themselves, which in recent years have increasingly diminished the progress of computing power. Therefore, a paradigm shift is motivated, which describes the use of dynamical systems themselves as computational units for the prediction of other dynamical systems, opening new paths for hardware implementations. This concept is called "reservoir computing". A special case of this hardware implementation, called delay-based reservoir computing, is motivated and analyzed, which is based on dynamical systems with a time-delayed feedback loop. Chapter 2 provides a detailed introduction to theories and mathematical methods used in this thesis. The concepts of dynamical systems, eigenvalue analysis, machine learning, and delay-based reservoir computation are explained in detail. A strong focus is placed on dynamical systems with a time-delayed feedback signal. Furthermore, the introduction of linear and nonlinear memory capacity is described in detail, which enables a task-independent quantification of the computational power of a reservoir computer. In addition, all algorithms are presented and explained, including computing fixed points and eigenvalues, as well as methods for simulating all time series used in this thesis. In chapter 3, the linear and nonlinear memory capacity is used to show the fundamental limitations of a delay-based reservoir computer by finding memory gaps related to long time delays τ . In addition, degraded performance is identified at resonances between the delay time τ and the clock cycle T . As a result, it is found that the delay time τ cannot be increased indefinitely without either the emergence of the above-mentioned recall gaps or the need to increase the clock cycle T . Through this analysis, an optimal delay time of τ = √2T is identified as a starting point without prior knowledge of the training and target data. It should be noted that these results may need to be adjusted if additional information about the actual data set is obtained. Chapter 4 provides further insight into the inner workings of the delay-based reservoir calculation through an eigenvalue analysis. This analysis reinforces the results from Chapter 3 through a mathematical linearization approach. The imaginary parts of the eigenvalues indicate that resonances should be avoided because they reduce the usable phase space for the reservoir computer, while the real parts show that operating points close to criticality are most favorable for tasks requiring long-term memory, while operating points away from criticality yield faster, more nonlinear systems with less memory. Chapter 5 presents an analytic formula for the linear memory capacity of an arbitrary one-dimensional delay-based reservoir computer, referred to as the "master memory function." This is an important result of this work because it allows the prediction of the linear memory capacity of delay-based reservoir computers for systems with unknown models using measurements. The "master memory function" also exhibits a universal property. This property indicates that all delay-based reservoir computers driven by a small input signal, such that their respective linearizations yield the same system, also have the same linear memory capacity. The possibility of extending the formula to multiple time-delayed feedbacks and higher dimensionality is discussed, and further exploration is recommended for interested readers. Chapter 6 compares delay-based reservoir computers with other widely used approaches to time series prediction, in particular the nonlinear autoregressive model and the kernel trick in the reproducing kernel Hilbert space. It is shown that reservoir computers are able to make predictions of comparable quality on tasks with particularly long correlations, due to the inherent memory of reservoir-based approaches. In the final chapter 7, a hybrid approach is presented to improve each aspect of the reservoir computing scheme. A data-driven forecasting method called SINDy is applied to the same dataset to derive dynamic models. These models are used in conjunction with a delay-based reservoir computer, resulting in significant improvements in shortterm forecast accuracy and long-term forecast stability, while reducing the complexity of the required models. In summary, this work provides insight into the inner workings of delay-based reservoir computers, assists in determining optimal operating points, and provides an analytical description of the linear memory capacity. The delay-based reservoir computer is placed within the broader framework of data-driven time series forecasting. This thesis also introduces the concept of a hybrid data-driven approach to the reservoir computing community, with promising results., Diese Arbeit stellt eine umfassende Analyse der verzögerungsbasierten Reservoirberechnung dar. Kapitel 1 liefert eine kurze Motivation für die Bedeutung des Studiums dynamischer Systeme in verschiedenen Forschungsbereichen und betont die Wichtigkeit, Vorhersagen für dynamische Systeme machen zu können. Dabei wird hervorgehoben, dass die Physik im Hinblick der Nutzung des modernen Computers bei der Vorhersage der komplexesten bekannten dynamischen Systeme an ihre Grenzen stößt. Dies liegt insbesondere an den physikalischen Limitationen der Hardware-Implementierungen selbst, welche in den letzten Jahren immer mehr den Fortschritt von Rechenleistung vermindert haben. Daher wird ein Paradigmenwechsel motiviert, der die Nutzung von dynamischen Systemen selbst als Recheneinheiten zur Vorhersage anderer dynamischer Systeme beschreibt. Diese Konzepts nennt sich „Reservoir-Computing", also das Berechnen mithilfe eines Reservoirs gegeben durch ein dynamisches System. Ein spezieller Fall dieser Hardware-Implementierung, genannt verzögerungsbasierte Reservoirberechnung, wird analysiert, welches auf dynamischen Systemen mit einer zeitverzögerten Rückkopplung basiert. Kapitel 2 dieser Dissertation, bietet eine detaillierte Einführung über alle in dieser Arbeit verwendeten Theorien und mathematischen Methoden. Die Konzepte der dynamischen Systeme, der Eigenwertanalyse, des maschinellen Lernens und der verzögerungsbasierten Reservoirberechnung werden im Detail erläutert. Ein starker Fokus wird auf dynamische System mit einer zeitverzögerten Rückkopplung gelegt. Außerdem wird im Detail die Einführung der linearen und nichtlinearen Speicherkapazität beschrieben, welche eine aufgabenunabhängige Quantifizierung der Rechenleistung eines Reservoir-Computers ergibt. Darüber hinaus werden alle Algorithmen und rechenintensiven Methoden vorgestellt und eingeführt, einschließlich numerischer Algorithmen zur Berechnung von Fixpunkten und Eigenwerten, sowie Methoden zur Simulation aller in dieser Arbeit verwendeten Zeitserien. In Kapitel 3 wird die lineare und nichtlineare Speicherkapazität genutzt, um die grundlegenden Grenzen eines verzögerungsbasierte Reservoir-Computers aufzuzeigen, in dem Erinnerungslücken in Bezug auf lange Zeitverzögerungen τ gefunden werden. Außerdem wird eine verminderte Leistung bei Resonanzen zwischen der Verzögerungszeit τ und dem Taktzyklus T identifiziert. Als Ergebnis wird festgestellt, dass die Verzögerungszeit τ für die Rückkopplung nicht unbegrenzt erhöht werden kann, ohne dass entweder die oben erwähnten Abruflücken auftreten oder der Taktzyklus T erhöht werden muss. Durch diese Analyse wird eine optimale Verzögerungszeit von τ = √2T als Ausgangspunkt ohne vorherige Kenntnis der Trainings- und Zieldaten identifiziert. Es sei darauf hingewiesen, dass diese Ergebnisse möglicherweise angepasst werden müssen, wenn zusätzliche Informationen über den tatsächlichen Datensatz eingeholt werden. Kapitel 4 gibt durch eine Eigenwertanalyse weitere Einblicke in das Innenleben der verzögerungsbasierten Reservoirberechnung. Diese Analyse bekräftigt die Ergebnisse aus Kapitel 3 durch einen mathematischen Linearisierungsansatz. Die Imaginärteile der Eigenwerte weisen darauf hin, dass Resonanzen vermieden werden sollten, da sie den nutzbaren Phasenraum für den Reservoir-Computer verringern. Währenddessen zeigen die Realteile, dass Betriebspunkte nahe der Kritikalität für Aufgaben, die einen Langzeitspeicher erfordern, am günstigsten sind, während Betriebspunkte, die von der Kritikalität entfernt sind, schnellere, stärker nichtlineare Systeme mit weniger Speicher ergeben. Kapitel 5 stellt eine analytische Formel für die lineare Speicherkapazität eines beliebigen eindimensionalen verzögerungsbasierten Reservoir-Computers vor, die als „Master Memory Function" bezeichnet wird. Dies ist ein wichtiges Ergebnis dieser Arbeit, da es die Vorhersage der linearen Speicherkapazität von verzögerungsbasierten Reservoir-Computern für Systeme mit unbekannten Modellen anhand von Messungen ermöglicht. Die „Master Memory Function" weist auch eine universelle Eigenschaft auf: Alle verzögerungsbasierten Reservoir-Computer, die von einem kleinen Eingangssignal angetrieben werden, sodass ihre jeweiligen Linearisierungen dasselbe System ergeben, auch dieselbe lineare Speicherkapazität haben. Die Möglichkeit, die Formel auf mehrere zeitverzögerte Rückkopplungen und höhere Dimensionalität zu erweitern, wird erörtert, und interessierten Lesern wird eine weitere Erforschung empfohlen. Kapitel 6 vergleicht verzögerungsbasierte Reservoir-Computer mit anderen weit verbreiteten Ansätzen zur Zeitserienprognose, insbesondere dem nichtlinearen autoregresiven Modell und dem Kernel-Trick im reproduzierenden Kernel-Hilbert-Raum. Es wird gezeigt, dass Reservoir-Computer in der Lage sind, bei Aufgaben mit besonders langen Korrelationen Vorhersagen von vergleichbarer Qualität zu machen, und zwar aufgrund des inhärenten Speichers, der reservoir-basierten Ansätzen eigen ist. Im abschließenden Kapitel 7 wird ein hybrider Ansatz vorgestellt, mit dem jeder Aspekt des Reservoir-Computer-Schemas verbessert wird. Eine datengesteuerte Prognosemethode namens SINDy wird auf denselben Datensatz angewendet, um dynamische Modelle abzuleiten. Diese Modelle werden in Verbindung mit einem verzögerungsbasierten Reservoir-Computer verwendet, was zu einer erheblichen Verbesserung der kurzfristigen Vorhersagegenauigkeit und der langfristigen Vorhersagestabilität führt, während gleichzeitig die Komplexität der benötigten Modelle reduziert wird. Zusammenfassend lässt sich sagen, dass diese Arbeit einen Einblick in das Innenleben der verzögerungsbasierten Reservoir-Computer gibt, bei der Ermittlung optimaler Betriebspunkte hilft und eine analytische Beschreibung der linearen Speicherkapazität liefert. Der verzögerungsbasierte Reservoir-Computer wird in den breiteren Rahmen der datengesteuerten Zeitserienprognose eingeordnet und führt das Konzept eines hybriden datengesteuerten Ansatzes in die Reservoir-Computer-Gemeinschaft ein, wobei vielversprechende Ergebnisse erzielt werden.

Today, logistics and traffic management are two important elements for the urban population. Logistic service providers enable the availability of consumer goods to city residents and the traffic management optimizes traffic flows of the city by operating the traffic infrastructure (i.e. traffic signals). This dissertation investigates if logistics and traffic management can achieve a mutual benefit through an information sharing cooperation. The main motivation for a logistics company, which operates in the high cost pressure delivery industry, is a possible reduction of operational costs for their delivery fleet. The motivation of the traffic management to enter a cooperation is a possible reduction of the high traffic burden induced by freight vehicles. In such a cooperation the traffic management could transfer information about the state of the operable traffic infrastructure, and therefore their related current travel time impact, to the logistics company. With this information the logistics company can optimize their delivery tours. This dissertation assesses the benefits of cooperation by analyzing how the delivery tours can be improved and how the freight traffic burden can be reduced. This question is investigated in a case study of an environmental-sensitive traffic management system in the city of Braunschweig, Germany and a city logistics service provider. The air pollution in Braunschweig does not comply with the EU air pollution limit. If the air pollution is high in a hot-spot area, the traffic management changes the traffic infrastructure to reduce the traffic flow into the hot-spot areas, which affects the surrounding traffic situation. In the case study, the degree of information from the traffic management and the tasks of the logistics company are varied and formulated in different dynamic Vehicle Routing Problems. The evaluation of the case study shows that a mutual benefit of the cooperation can be discovered over all variations of the experiments. Der kontinuierlich wachsende E-Commerce führt weltweit zu in einem erhöhten innerstädtischen Frachtverkehr. Dieser Frachtverkehr wird von Logistikdienstleister durchgeführt, die einzelne Frachtsendungen zu Auslieferungstouren bündeln. Aufgrund von schwankenden Fahrzeiten im innerstädtischen Umfeld ist eine effiziente Planung der Auslieferungstouren für die Lieferfahrzeuge jeodch schwierig. Um die Verkehrssituation zu verbessern setzten viele Städte Verkehrsmanagementsysteme ein. Diese optimieren den Verkehr durch die Anpassung der Verkehrsleitstrategie an die Verkehrssituation. Diese Dissertation untersucht, ob eine Kooperation zum Austausch von Informationen zwischen einem Logistikdienstleister und dem Verkehrsmanagement die jeweiligen Interessen verbessert. Aufgrund des hohen Kostendrucks der Logistikbranche ist ein Logistikdienstleister an der Verkehrsleitstrategie interessiert um damit die Kosten ihrer Touren zu senken. Das Verkehrsmanagement erhofft sich eine Verminderung der Verkehrsbelastung durch den Frachtverkehr. Der Nutzen einer Kooperation wird in einer Fallstudie mit dem umweltorientierten Verkehrsmanagement in Braunschweig und einem Paketdienstleister analysiert. Dafür wird die Aufgabenstellung des Paketdienstleisters als dynamisches Vehicle Routing Problem, in dem das Verkehrsmanagement die Fahrzeiten beeinflusst, formuliert und mit unterschiedlichen Methoden gelöst. In den Experimenten wird der Einfluss der Verkehrsleitstrategien auf die Fahrzeiten, die Anzahl der Fahrzeuge in der Logistikflotte und zwei Variationen des dynamischen Vehicle Routing Problems betrachtet. Aus den Ergebnissen ist ersichtlich, dass eine Kooperation zwischen Logistikdienstleister und Verkehrsmanagement als sinnvoll zu erachten ist, da sie zu einer Reduktion in der Verkehrsbelastung durch Frachtverkehr in kritischen Bereichen und zu einer Reduktion der Fahrzeiten der Auslieferungstouren führt.