Search

This thesis presents a comprehensive analysis of delay-based reservoir computation. Chapter 1 provides a brief motivation for the importance of studying dynamical systems in various research areas and the importance of being able to make predictions for such systems. It is emphasized that physics is reaching its limits in terms of the use of modern computers in predicting the most complex dynamical systems known. This is especially due to the physical limitations of the hardware implementations themselves, which in recent years have increasingly diminished the progress of computing power. Therefore, a paradigm shift is motivated, which describes the use of dynamical systems themselves as computational units for the prediction of other dynamical systems, opening new paths for hardware implementations. This concept is called "reservoir computing". A special case of this hardware implementation, called delay-based reservoir computing, is motivated and analyzed, which is based on dynamical systems with a time-delayed feedback loop. Chapter 2 provides a detailed introduction to theories and mathematical methods used in this thesis. The concepts of dynamical systems, eigenvalue analysis, machine learning, and delay-based reservoir computation are explained in detail. A strong focus is placed on dynamical systems with a time-delayed feedback signal. Furthermore, the introduction of linear and nonlinear memory capacity is described in detail, which enables a task-independent quantification of the computational power of a reservoir computer. In addition, all algorithms are presented and explained, including computing fixed points and eigenvalues, as well as methods for simulating all time series used in this thesis. In chapter 3, the linear and nonlinear memory capacity is used to show the fundamental limitations of a delay-based reservoir computer by finding memory gaps related to long time delays τ . In addition, degraded performance is identified at resonances between the delay time τ and the clock cycle T . As a result, it is found that the delay time τ cannot be increased indefinitely without either the emergence of the above-mentioned recall gaps or the need to increase the clock cycle T . Through this analysis, an optimal delay time of τ = √2T is identified as a starting point without prior knowledge of the training and target data. It should be noted that these results may need to be adjusted if additional information about the actual data set is obtained. Chapter 4 provides further insight into the inner workings of the delay-based reservoir calculation through an eigenvalue analysis. This analysis reinforces the results from Chapter 3 through a mathematical linearization approach. The imaginary parts of the eigenvalues indicate that resonances should be avoided because they reduce the usable phase space for the reservoir computer, while the real parts show that operating points close to criticality are most favorable for tasks requiring long-term memory, while operating points away from criticality yield faster, more nonlinear systems with less memory. Chapter 5 presents an analytic formula for the linear memory capacity of an arbitrary one-dimensional delay-based reservoir computer, referred to as the "master memory function." This is an important result of this work because it allows the prediction of the linear memory capacity of delay-based reservoir computers for systems with unknown models using measurements. The "master memory function" also exhibits a universal property. This property indicates that all delay-based reservoir computers driven by a small input signal, such that their respective linearizations yield the same system, also have the same linear memory capacity. The possibility of extending the formula to multiple time-delayed feedbacks and higher dimensionality is discussed, and further exploration is recommended for interested readers. Chapter 6 compares delay-based reservoir computers with other widely used approaches to time series prediction, in particular the nonlinear autoregressive model and the kernel trick in the reproducing kernel Hilbert space. It is shown that reservoir computers are able to make predictions of comparable quality on tasks with particularly long correlations, due to the inherent memory of reservoir-based approaches. In the final chapter 7, a hybrid approach is presented to improve each aspect of the reservoir computing scheme. A data-driven forecasting method called SINDy is applied to the same dataset to derive dynamic models. These models are used in conjunction with a delay-based reservoir computer, resulting in significant improvements in shortterm forecast accuracy and long-term forecast stability, while reducing the complexity of the required models. In summary, this work provides insight into the inner workings of delay-based reservoir computers, assists in determining optimal operating points, and provides an analytical description of the linear memory capacity. The delay-based reservoir computer is placed within the broader framework of data-driven time series forecasting. This thesis also introduces the concept of a hybrid data-driven approach to the reservoir computing community, with promising results., Diese Arbeit stellt eine umfassende Analyse der verzögerungsbasierten Reservoirberechnung dar. Kapitel 1 liefert eine kurze Motivation für die Bedeutung des Studiums dynamischer Systeme in verschiedenen Forschungsbereichen und betont die Wichtigkeit, Vorhersagen für dynamische Systeme machen zu können. Dabei wird hervorgehoben, dass die Physik im Hinblick der Nutzung des modernen Computers bei der Vorhersage der komplexesten bekannten dynamischen Systeme an ihre Grenzen stößt. Dies liegt insbesondere an den physikalischen Limitationen der Hardware-Implementierungen selbst, welche in den letzten Jahren immer mehr den Fortschritt von Rechenleistung vermindert haben. Daher wird ein Paradigmenwechsel motiviert, der die Nutzung von dynamischen Systemen selbst als Recheneinheiten zur Vorhersage anderer dynamischer Systeme beschreibt. Diese Konzepts nennt sich „Reservoir-Computing", also das Berechnen mithilfe eines Reservoirs gegeben durch ein dynamisches System. Ein spezieller Fall dieser Hardware-Implementierung, genannt verzögerungsbasierte Reservoirberechnung, wird analysiert, welches auf dynamischen Systemen mit einer zeitverzögerten Rückkopplung basiert. Kapitel 2 dieser Dissertation, bietet eine detaillierte Einführung über alle in dieser Arbeit verwendeten Theorien und mathematischen Methoden. Die Konzepte der dynamischen Systeme, der Eigenwertanalyse, des maschinellen Lernens und der verzögerungsbasierten Reservoirberechnung werden im Detail erläutert. Ein starker Fokus wird auf dynamische System mit einer zeitverzögerten Rückkopplung gelegt. Außerdem wird im Detail die Einführung der linearen und nichtlinearen Speicherkapazität beschrieben, welche eine aufgabenunabhängige Quantifizierung der Rechenleistung eines Reservoir-Computers ergibt. Darüber hinaus werden alle Algorithmen und rechenintensiven Methoden vorgestellt und eingeführt, einschließlich numerischer Algorithmen zur Berechnung von Fixpunkten und Eigenwerten, sowie Methoden zur Simulation aller in dieser Arbeit verwendeten Zeitserien. In Kapitel 3 wird die lineare und nichtlineare Speicherkapazität genutzt, um die grundlegenden Grenzen eines verzögerungsbasierte Reservoir-Computers aufzuzeigen, in dem Erinnerungslücken in Bezug auf lange Zeitverzögerungen τ gefunden werden. Außerdem wird eine verminderte Leistung bei Resonanzen zwischen der Verzögerungszeit τ und dem Taktzyklus T identifiziert. Als Ergebnis wird festgestellt, dass die Verzögerungszeit τ für die Rückkopplung nicht unbegrenzt erhöht werden kann, ohne dass entweder die oben erwähnten Abruflücken auftreten oder der Taktzyklus T erhöht werden muss. Durch diese Analyse wird eine optimale Verzögerungszeit von τ = √2T als Ausgangspunkt ohne vorherige Kenntnis der Trainings- und Zieldaten identifiziert. Es sei darauf hingewiesen, dass diese Ergebnisse möglicherweise angepasst werden müssen, wenn zusätzliche Informationen über den tatsächlichen Datensatz eingeholt werden. Kapitel 4 gibt durch eine Eigenwertanalyse weitere Einblicke in das Innenleben der verzögerungsbasierten Reservoirberechnung. Diese Analyse bekräftigt die Ergebnisse aus Kapitel 3 durch einen mathematischen Linearisierungsansatz. Die Imaginärteile der Eigenwerte weisen darauf hin, dass Resonanzen vermieden werden sollten, da sie den nutzbaren Phasenraum für den Reservoir-Computer verringern. Währenddessen zeigen die Realteile, dass Betriebspunkte nahe der Kritikalität für Aufgaben, die einen Langzeitspeicher erfordern, am günstigsten sind, während Betriebspunkte, die von der Kritikalität entfernt sind, schnellere, stärker nichtlineare Systeme mit weniger Speicher ergeben. Kapitel 5 stellt eine analytische Formel für die lineare Speicherkapazität eines beliebigen eindimensionalen verzögerungsbasierten Reservoir-Computers vor, die als „Master Memory Function" bezeichnet wird. Dies ist ein wichtiges Ergebnis dieser Arbeit, da es die Vorhersage der linearen Speicherkapazität von verzögerungsbasierten Reservoir-Computern für Systeme mit unbekannten Modellen anhand von Messungen ermöglicht. Die „Master Memory Function" weist auch eine universelle Eigenschaft auf: Alle verzögerungsbasierten Reservoir-Computer, die von einem kleinen Eingangssignal angetrieben werden, sodass ihre jeweiligen Linearisierungen dasselbe System ergeben, auch dieselbe lineare Speicherkapazität haben. Die Möglichkeit, die Formel auf mehrere zeitverzögerte Rückkopplungen und höhere Dimensionalität zu erweitern, wird erörtert, und interessierten Lesern wird eine weitere Erforschung empfohlen. Kapitel 6 vergleicht verzögerungsbasierte Reservoir-Computer mit anderen weit verbreiteten Ansätzen zur Zeitserienprognose, insbesondere dem nichtlinearen autoregresiven Modell und dem Kernel-Trick im reproduzierenden Kernel-Hilbert-Raum. Es wird gezeigt, dass Reservoir-Computer in der Lage sind, bei Aufgaben mit besonders langen Korrelationen Vorhersagen von vergleichbarer Qualität zu machen, und zwar aufgrund des inhärenten Speichers, der reservoir-basierten Ansätzen eigen ist. Im abschließenden Kapitel 7 wird ein hybrider Ansatz vorgestellt, mit dem jeder Aspekt des Reservoir-Computer-Schemas verbessert wird. Eine datengesteuerte Prognosemethode namens SINDy wird auf denselben Datensatz angewendet, um dynamische Modelle abzuleiten. Diese Modelle werden in Verbindung mit einem verzögerungsbasierten Reservoir-Computer verwendet, was zu einer erheblichen Verbesserung der kurzfristigen Vorhersagegenauigkeit und der langfristigen Vorhersagestabilität führt, während gleichzeitig die Komplexität der benötigten Modelle reduziert wird. Zusammenfassend lässt sich sagen, dass diese Arbeit einen Einblick in das Innenleben der verzögerungsbasierten Reservoir-Computer gibt, bei der Ermittlung optimaler Betriebspunkte hilft und eine analytische Beschreibung der linearen Speicherkapazität liefert. Der verzögerungsbasierte Reservoir-Computer wird in den breiteren Rahmen der datengesteuerten Zeitserienprognose eingeordnet und führt das Konzept eines hybriden datengesteuerten Ansatzes in die Reservoir-Computer-Gemeinschaft ein, wobei vielversprechende Ergebnisse erzielt werden.