Search

Eine Steigerung von Energieeffizienz und Pünktlichkeit resultiert in einer erhöhten Wirtschaftlichkeit und Leistungsfähigkeit des Bahnsystems. Diese Leistungsindikatoren können im Vollbahnbereich aufgrund der abgetrennten Bahnkörper und vorhandener Zugsicherungssysteme mit höheren Automatisierungsgraden verbessert werden. Straßenbahnen teilen sich die Trasse mit dem motorisierten Individualverkehr, Radfahrern und Fußgängern. Aus diesen Gründen sind Automatisierungsmöglichkeiten begrenzt und durch das Fahren auf Sicht sind die Fahrer von der sicheren Fahrzeugführung vereinnahmt. Fahrzeitreserven sind dagegen durch das Fahrgast- und Verkehrsaufkommen variabel. Konventionelle Optimierungsverfahren können für einzelne Szenarien Fahrprofile ermitteln, welche den Energiebedarf bei einer pünktlichen Fahrweise minimieren. Bei betrieblichen Abweichungen sind diese Fahrprofile jedoch nicht mehr optimal. Aufgrund der variablen Fahrzeiten und Haltedauern bietet sich der Einsatz von Künstlicher Intelligenz (KI) an, welche die Muster über den Tag erlernen und darauf die Fahrprofile anpassen kann. Diese Dissertation untersucht, wie die Energieeffizienz und Pünktlichkeit von Straßenbahnen durch den Einsatz von KI gesteigert werden können. Zum Training der KI wird eine validierte Umgebung aus Messdaten aus dem regulären Fahrgastbetrieb aufgebaut. Der rechenzeitintensive Trainingsprozess wird durch ein datengetriebenes Energiebedarfsmodell beschleunigt. Auf zwei Szenarien wird die KI zu je drei Verkehrszeiten trainiert. Die ermittelten Fahrprofile werden mit denen von Fahrern aus dem regulären Fahrgastbetrieb sowie mit einem durch Dynamic Programming ermittelten theo-retischen Optimum verglichen. Zur Untersuchung der Generalisierungsfähig-keiten der KI wird diese in einem ersten Schritt ohne weiteres Training auf bekannten Szenarien zu unbekannten Haltedauern getestet und mit den Fahrern verglichen. Im zweiten Schritt wird eine Umleitungsfahrt auf einer für die KI unbekannten Strecke simuliert. Die berechneten Fahrprofile werden ebenfalls wieder mit Fahrern aus dem regulären Fahrgastbetrieb verglichen. Anhand der Ergebnisse werden abschließend potentielle Ein-satzmöglichkeiten der KI als Fahrerassistenzsystem diskutiert.

Der Bedarf an intelligenten Robotern wächst ständig, was sich in immer mehr Bereichen und Gebieten bemerkbar macht. Die Technologie des automatisierten Fahrens ist ein interessantes Thema für intelligente Städte, und fast alle Fahrzeughersteller arbeiten an der Entwicklung des automatisierten Fahrens, um es sicherer zu machen. Automatisiertes Fahren wird in vielen Bereichen benötigt, z. B. im öffentlichen Verkehr, in der Logistik, bei der Auslieferung und bei verschiedenen anderen Routineaufgaben, die ohne menschliches Zutun erledigt werden können. Daher ist automatisiertes Fahren die ideale Lösung, um die Sicherheit im Verkehr zu erhöhen. In dieser Arbeit wurde versucht, das Problem des automatisierten Fahrens mit Hilfe des Algorithmus des maschinellen Lernens (RL) zu lösen. Das Training findet statt, wenn der Agent Aktionen ausführt, für die er entweder belohnt oder bestraft wird. Die Implementierung des Verstärkungsalgorithmus mit dem OpenAI Gym Framework für automatisiertes Fahren lieferte zufriedenstellende Ergebnisse, wobei die Agenten in verschiedenen Umgebungen trainiert wurden. Der Agent ist in der Lage, mit seiner Umgebung zu interagieren, indem er sie mit Hilfe von (in die Umgebung eingebetteten) High-Level-Sensoren beobachtet. Um den Lernprozess zu unterstützen, stehen außerdem mehrere Belohnungsfunktionen zur Verfügung. Diese Arbeit ist als Grundlage für künftige Arbeiten zu betrachten, die darauf abzielen, mehrere Roboter zu automatisieren, anstatt nur einen einzigen in einer anspruchsvolleren Umgebung. The need for smart robots is continuously growing, which becomes more and more evident in an increasing number of areas and fields. Automated driving technology is an interesting subject for smart cities, and almost all vehicle companies are working on developing automated driving to make it safer. Automated driving is required in many areas such as public transportation, logistics, delivery, and various other routine tasks that can be carried out without human involvement. Therefore, automated driving is the ideal solution to enhance safety in traffic. In this thesis, the problem of automated driving was attempted to be solved by using the Machine Learning algorithm of RL. Training occurs as the agent takes actions, upon which it receives either rewards or punishments. Implementing the Reinforcement algorithm with the automated Environment OpenAI Gym framework delivered satisfactory results where the agents were trained in different environments. The agent is capable of interacting with its environment by observing it using high-level sensors (that are embedded) in the environment. To aid the learning process, multiple reward functions are also available. This thesis is to be considered a foundation for future work which aims to automate several robots rather than solely a single one in a more challenging environment.

Die Qualität und Leistungsfähigkeit von Bauteilen wird wesentlich von der Ausführung der beteiligten Fertigungsprozesse bestimmt. Das Prozessergebnis hängt -- neben dem Anfangszustand des Bauteils und des Prozesses -- von dem Prozessverlauf ab. Bei vielen Fertigungsprozessen kann der Prozessverlauf durch zeitlich veränderliche Stellgrößen maßgeblich bestimmt werden. Die Optimierung dieser zeitveränderlichen Größen mit Hinsicht auf die Qualität des Bauteils ist Gegenstand dieser Arbeit. Die Bauteilqualität ergibt sich zum einen aus den makroskopischen Eigenschaften des erzeugten Bauteils und zum anderen aus der Material-Struktur am Ende des Fertigungsprozesses. Beides lässt sich häufig erst im Anschluss an die Prozessausführung, in Form einer Qualitätskontrolle, beurteilen und quantifizieren. Prozesspfade sind Sequenzen von Werten der Stellgrößen, die in dieser Arbeit mit Hinsicht auf die Ergebnisqualität optimiert werden. Reale Prozesse sind nicht vollständig determiniert, sondern hängen auch von während des Prozesses schwankenden Prozessbedingungen ab, die häufig nicht direkt messbar sind. Somit können keine allgemein gültigen, optimalen Prozesspfade ermittelt werden. Die Optimierung der Stellgrößen muss vielmehr während der Prozessausführung erfolgen und stellt dann ein Problem der optimalen Regelung dar, wo anstelle der Prozesspfade Regelungsstrategien treten. Diese sind Abbildungen von beobachteten Größen auf Stellgrößen, welche in Hinsicht auf das Prozessergebnis optimiert werden. Herkömmliche Methoden zur optimalen Regelung setzen meist ein Prozessmodell voraus, das gleichzeitig effizient zu berechnen und ausreichend akkurat bezüglich der Aufgabenstellung sein muss. Dies stellt insbesondere bei komplexen nicht-linearen Fertigungsprozessen eine hohe Hürde dar. Ziel der vorliegenden Arbeit ist deshalb die Entwicklung und Untersuchung von modellfreien Methoden, die selbstständig optimale Regelungsstrategien von Fertigungsprozessen in Hinsicht auf die Ergebnisqualität lernen. Die Basis für derartige Methoden findet sich in Bereichen des bestärkenden maschinellen Lernens und der adaptiven dynamischen Programmierung. Zur Erreichung dieses übergreifenden Ziels werden in der Arbeit zwei Problemklassen, (a) die Optimierung von Regelungsstrategien partiell beobachtbarer Fertigungsprozesse (bei denen stellvertretend für den Prozesszustand nur einige, davon abhängige Messgrößen vorliegen) unter variierenden Einflüssen und (b) die Struktur-geleitete Optimierung von Fertigungsprozessen (bei denen die Herstellung einer gegebenen Material-Struktur angestrebt wird) definiert und Methoden des bestärkenden Lernens zur Lösung dieser Problemklassen gegenüber dem Stand der Forschung fortentwickelt und untersucht. Dabei werden weitere besondere Aufgabenstellungen in dem Kontext des übergreifenden Ziels, insbesondere die Entscheidungsoptimierung unter sich ändernden Zielvorgaben und die dateneffiziente Entscheidungsoptimierung bei mehreren äquivalenten Zielen, adressiert. Die entwickelten, generischen Methoden werden für Prozesse der Metallverarbeitung ausgeprägt und in einer virtuellen Surrogat-Umgebung experimentell untersucht. Die physikalische Simulation eines Tiefziehprozesses wird durch Module zur Simulation der variierenden Prozesseinflüsse und der partiellen Beobachtbarkeit erweitert und bildet die Basis der Untersuchungen der Lösungsmethoden für die Problemklasse (a). Die Simulation eines Metall-Bearbeitungsprozesses zur einachsigen Deformation in beliebige Richtungen bildet die Basis der Untersuchungen zur Struktur-geleiteten Optimierung. Die Ergebnisse der Untersuchungen zeigen die Leistungsfähigkeit der entwickelten Methoden im Vergleich zu klassischen Basismethoden. Neben der Leistungsfähigkeit werden die Dateneffizienz und die Robustheit gegenüber Parameterausprägungen der entwickelten Methoden gezeigt und die Auswirkungen einzelner entwickelter Methodenbestandteile auf die Ergebnisse untersucht.

Volume 2022, Issue 18, Aufgrund steigender Dynamik und Heterogenität in der Produktion sind auch die Anforderungen an die Intralogistik und im speziellen an Lagersysteme gestiegen. Lagersysteme müssen flexibel sein und einen hohen Durchsatz ermöglichen. Diese Anforderungen werden durch Shuttlesysteme erfüllt. Damit der Durchsatz von Shuttlesystemen softwarebasiert weiter gesteigert werden kann, wurden Konzepte entwickelt, welche mit Deep Reinforcement Learning (DRL) die Blockaden, welche z. B. beim Gassenwechsel oder bei mehreren Auslagerungen in einer Gasse auftreten, durch eine genänderte Auslagerungsreihenfolge minimieren. Die bisher entwickelten Konzepte betrachten ausschließlich eine sehr kleine Anzahl an Lagerplätzen. Reale Shuttlesysteme verfügen teilweise über mehrere tausend Lagerplätze pro Ebene. Daher wird in diesem Beitrag ein DRLKonzept entwickelt, welches in einem realen Shuttlesystem die Auslagerungsreihenfolge anpasst, um durch eine Minimierung der Blockaden eine Durchsatzsteigerung zu erreichen., Due to increasing dynamics and heterogeneity in production, the demands on intralogistics and especially on storage systems have increased. Storage systems must be flexible and enable a high throughput. These requirements are fulfilled by shuttle systems. To be able to increase the throughput of shuttle systems on a software basis, concepts have been developed that use Deep Reinforcement Learning (DRL) to minimise the blockages that arise, e.g. when changing gears or when several withdrawals are made in one gear, by changing the retrieval sequence. These concepts only consider a very small number of storage locations. Real shuttle systems sometimes have several thousand storage locations per level. Therefore, this paper develops a DRL concept that adapts the retrieval sequence in a real shuttle system to minimise blockades and increase throughput.

In der heutigen Zeit spielt die Robotik die größte Rolle in der Herstellungsindustrie, aber noch nicht in unseren privaten Leben. Es ist davon auszugehen, dass die Roboter in naher Zukunft auch einen großen Stellenwert in unseren eigenen vier Wänden haben werden. Damit wir aus den Robotern, das Beste herausholen können, ist es wichtig ihnen beizubringen selbständig zu sein. Bei den momentan verfügbaren Robotik Ansätzen, ist dies nicht möglich, da es an Flexibilität mangelt, sie werden oft nur für sehr spezifische Anwendungsfälle verwendet. Das Ziel in der vorliegenden Arbeit ist es zu beantworten, durch welche Ansätze ein Roboter in der Industrie angewendet werden kann. Für die Industrie stellt sich der Ansatz von Deep Reinforcement Learning als vielversprechend dar, ein Algorithmus der durch ''Trial-and-Error'' lernt und somit einfach zum Implementieren ist, aber momentan nicht der beste für den Einsatz in der Robotik ist. Dies zeigte, dass der Einsatz von DRL, in der realen Welt, sei es bei selbstfahrenden Autos oder bei Hausrobotern, noch weit entfernt ist und noch einige Forschungszeit benötigen wird. Weshalb der klassische Ansatz noch für eine Weile, in der Robotik einen Namen haben wird. In today's times, robotics plays the biggest role in the manufacturing industry, but not yet in our private lives. It can be assumed that in the near future, robots will also play a major role in our own homes. To get the most out of robots, it is important to teach them to be independent. With the currently available robotics approaches, this is not possible because of a lack of flexibility, they are often only used for very specific applications. The aim of this thesis is to answer which approaches can be used to apply a robot in industry. For industry, the approach of Deep Reinforcement Learning turns out to be promising, an algorithm that learns by trial-and-error and is therefore easy to implement, but is currently not the best for use in robotics. This showed that the use of DRL, in the real world, be it for self-driving cars or home robots, is still far away and will need some more research time. Which is why the classical approach will still have a name in robotics for a while.

Eine funktionsfähige Infrastruktur ist zentrale Voraussetzung für die Wettbewerbsfähigkeit einer Volkswirtschaft. Daher sieht beispielsweise der Bundesverkehrswegeplan bis zum Jahr 2030 allein 141,6 Mrd. Euro für die Instandhaltung der bundesdeutschen Verkehrswege vor. Netzwerke von Straßen oder Brücken sind Beispiele für modulare Systeme, in denen der effiziente Ressourceneinsatz für Instandhaltungsmaßnahmen eine herausragende Rolle spielt. Hier möchte diese Arbeit einen Beitrag leisten, indem sie Planungsansätze vorstellt, die eine effiziente Budgetallokation auf einzelne Komponenten wie z. B. Straßenabschnitte und Perioden ermöglicht, um eine größtmögliche Leistungsfähigkeit des Gesamtsystems zu erreichen. Die Festlegung einer geeigneten Budgetallokation für modulare Systeme unter Unsicherheit stellt eine anspruchsvolle Planungsaufgabe dar, die in der Literatur für unterschiedliche Annahmesysteme untersucht wurde. Besonderheiten der in der Dissertation untersuchten Problemstellung bestehen darin, dass die Planung sich auf einen mehrperiodigen Zeitraum bezieht, für den ein periodenübergreifendes Gesamtbudget zur Verfügung steht, und bei der Modellierung der zeitlichen Entwicklung der Komponentenzustände instationäre stochastische Verschleißprozesse zugelassen werden. Die Wirkungen der Investitionen in Instandhaltungsmaßnahmen der Komponenten auf deren Zustände werden durch eine Funktion beschrieben, die sich als Lösung eines Anfangswertproblems für eine nichtlineare partielle Differentialgleichung ergibt. Die Abhängigkeit der Systemleistung von den Komponentenzuständen wird in Anlehnung an die in der Instandhaltungstheorie übliche Strukturfunktion über eine monoton wachsende Strukturbewertungsfunktion modelliert, wobei der Spezialfall einer quasikonkaven Strukturbewertungsfunktion vertiefend untersucht wird. Als Zielsetzung wird die Maximierung der minimalen Perioden-Systemleistung betrachtet. Als erster Planungsansatz wird eine rollierende Planung untersucht, die unter Verwendung eines Erwartungswertmodells durchgeführt wird. Für die einperiodige Planung wird ein Grenznutzenalgorithmus entwickelt, der in einem Karush-Kuhn-Tucker-Punkt konvergiert, indem als homogener Grenznutzen positiver Investitionsentscheidungen der Lagrange-Multiplikator der Budgetrestriktion angenähert wird. Der Grenznutzen einer Instandhaltungsinvestition ergibt sich dabei jeweils als Produkt aus aktueller Birnbaum- Importanz der Komponente und Effektivität der Investition. Für den Fall quasikonkaver Strukturbewertungsfunktionen konnte die globale Optimalität von Karush-Kuhn-Tucker- Punkten auch für den mehrperiodigen Fall bewiesen werden. Der zweite Planungsansatz entspricht der Umsetzung einer flexiblen Planung zur Berechnung einer Politik, die für jede Periode und jedes Restbudget in Abhängigkeit eines beliebigen zulässigen Systemzustands eine gute Lösung für die zugehörige Budgetallokation liefert. Dazu wird das Optimierungsproblem als stochastisches dynamisches Programm aufgefasst, und die gesuchte Politik wird über die Gewichte eines tiefen neuronalen Netzes repräsentiert. Das Training dieses Netzes geschieht mittels Deep Reinforcement Learning, wobei das eingesetzte Actor-Critic-Verfahren „Deep Deterministic Policy Gradient“ spezifisch auf den Umgang mit überabzählbaren Zustands- und Aktionsräumen ausgelegt ist. Die beiden Planungsansätze werden anhand von zufällig generierten Instanzen für verschiedene Systemstrukturen (Serien-, Parallel-, Serien-Parallel- und Brückenschaltungen) mit einer zufälligen Budgetallokation und untereinander verglichen. Aus diesem Vergleich werden Handlungsempfehlungen für die geeignete Budgetallokation abgeleitet. Mit den in der Arbeit entwickelten Methoden ist es erstmalig möglich, gute periodenübergreifende Budgetallokationen für Probleme der Instandhaltungsplanung modularer Systeme unter instationären Verschleißprozessen innerhalb realistischer Rechenzeiten von – je nach Planungsansatz – einigen Sekunden bis wenigen Stunden zu berechnen., A functioning infrastructure is a key prerequisite for the competitiveness of an economy. For this reason, the German Federal Transport Infrastructure Plan, for example, earmarks 141.6 billion euros for the maintenance of Germany’s transport routes alone by 2030. Networks of roads or bridges are examples of modular systems in which the efficient use of resources for maintenance measures plays a prominent role. This thesis aims to make a contribution by presenting planning approaches that allow efficient budget allocation to individual components such as road sections and periods in order to achieve the highest possible performance of the overall system. Determining an appropriate budget allocation for modular systems under uncertainty is a challenging planning task that has been studied in the literature for different assumption systems. Special features of the problem studied in the dissertation are that the planning refers to a multi-period time frame for which a total budget spanning several periods is available, and non-stationary stochastic deterioration processes are allowed for when modeling the temporal evolution of the component states. The effects of component maintenance investments on their states are described by a function that results as a solution to an initial value problem for a nonlinear partial differential equation. The dependence of the system performance on the component states is modeled by a monotonically increasing structure evaluation function following the structure function commonly used in maintenance theory, and the special case of a quasiconcave structure evaluation function is studied in depth. The maximization of the minimum period system performance is considered as the objective. As a first planning approach, rolling planning is investigated using an expected value model. For single-period planning, a marginal utility algorithm is developed that converges to a Karush-Kuhn-Tucker point by approximating the Lagrange multiplier of the budget constraint as the homogeneous marginal utility of positive investment decisions. In each case, the marginal utility of a maintenance investment is the product of the current Birnbaum importance of the component and the effectiveness of the investment. For the case of quasiconcave structure valuation functions, the global optimality of Karush-Kuhn- Tucker points could also be proven for the multi-period case. The second planning approach corresponds to the implementation of flexible planning to compute a policy that provides a good solution for the associated budget allocation for each period and residual budget depending on any feasible system state. For this purpose, the optimization problem is conceived as a stochastic dynamic program, and the policy sought is represented by the weights of a deep neural network. The training of this network is done using Deep Reinforcement Learning, and the Actor-Critic method "Deep Deterministic Policy Gradient" used is specifically designed to deal with overcountable state and action spaces. The two planning approaches are compared using randomly generated instances for different system structures (series, parallel, series-parallel, and bridge networks) with a random budget allocation and with each other. From this comparison, recommended actions for appropriate budget allocation are derived. With the methods developed in the thesis, it is for the first time possible to compute good period-spanning budget allocations for problems of maintenance planning of modular systems under nonstationary deterioration processes within realistic computation times of - depending on the planning approach - a few seconds to a few hours.

In letzter Zeit hat sich Googles Deepmind in einigen Publikationen mit der Automatisierung von Spielen mittels von Machine Learning (ML) beschäftigt. Da Spiele und Simulationen die perfekten Übungsplätze für ML sind bevor die Algorithmen auf echte Probleme in der realen Welt angewendet werden, beschäftigt sich diese Arbeit mit der Analyse des Spiels 2048 (ein Einzelspielerspiel auf einem 4x4-Brett) um für diesen Anwendungsfall einen Deep Reinforcement Learning Algorithmus anzuwenden. Dadurch dass das 2048 Spiel ein Markov-Decision-Problem bildet lässt es sich gut mit Deep Q-Learning (DQN) lösen. Dabei wird bei dem Entwerfen des Modells klar dass die optimierte Variante von DQN Double Deep Q-Learning (DDQN) bessere Ergebnisse liefern könnte und deshalb basiert der Entwurf des Modells auf DDQN. Anschließend wird diskutiert, welche Techniken eingesetzt werden und wie die Hyperparameter des Algorithmus zu setzten sind, um die besten Ergebnisse zu erzielen und das Spiel lösen zu können. Für das Spiel 2048 wurde mithilfe von vielen verschiedenen ML Ansätze automatisierte Agenten entwickelt, dabei findet sich keine Arbeit die DDQN als Algorithmus verwendet und die gleichzeitig erläutert wieso welche Designentscheidungen getroffen und genau diese Entscheidungen werden in der vorliegenden Arbeit näher erläutert. Recently, Google’s Deepmind has published several papers on game automation using machine learning (ML). Since games and simulations are the perfect training environment for ML before applying the algorithms to real-world problems, this paper analysis the 2048 game (a single-player game on a 4x4 board) to apply a deep reinforcement learning algorithm for this use case. After the ML basics are explained, a DRL model is designed for an automated game agent. Because the 2048 game is a Markov-Decision problem it can be solved well with Deep Q-Learning (DQN). While designing the model it becomes clear that the optimized version of DQN Double Deep Q-Learning (DDQN) could give better results and therefore the model is based on DDQN. Afterwards it is discussed which techniques are used and how to set the hyperparameters of the algorithm to achieve the best results and to solve the game. In terms of the game 2048, automated agents were developed using many different ML approaches, but there is no paper that uses DDQN as an algorithm that explains why which design decision was made and these decisions are being discussed in the paper.

Nachdem in der ersten Arbeit der Double Deep Q-Learning Algorithmus als Methode ausgesucht und ein Modell für das Spiel entworfen wurde, beschäftigt sich diese Arbeit mit der Implementierung des DDQN Agenten. Dabei werden die Komponenten, die für die Integration des Agenten in das 2048 Spiel nötig sind, diskutiert. Anschließend werden die Ergebnisse, die durch das Training resultieren analysiert und visualisiert. Der Agent wurde in mehreren Experimenten mit verschiedenen Hyperparametern über 8000 Spiele hinweg trainiert. Die Resultate die durch das Trainieren entstehen, wurden dann mit einem Agenten verglichen, der Aktionen nach dem Zufallsprinzip auswählte, um überprüfen zu können, dass ein Lerneffekt tatsächlich vorhanden ist. Das Ziel dieser Arbeit war es, die Möglichkeiten der Entwicklung eines DDQN Agenten, der lernen kann, zu erforschen, das Brettspiel 2048 zu spielen und mindestens einmal die 2048 Kachel zu erreichen. Dies ist aufgrund der Hardware Limitierung nicht gelungen, da für das Erreichen einer 2048 Kachel der Agent circa 20 mal so lange trainiert werden muss wie für diese Arbeit möglich war. Beim 2048 Spiel handelt es sich zwar um ein simples Spiel aber dies ist ein komplexer Anwendungsfall für einen Reinforcement Learning Agenten. Dahingegen gelang es dem Agenten das Spiel so gut zu erlernen, dass die 512 Kachel erreicht werden konnte und damit ein erkennbarer Lerneffekt vorhanden ist. Dieser Lerneffekt war an der steigenden Punktzahl während des Trainierens sichtbar. Auch wenn das erwünschte Leistungsniveau nicht erreicht wurde, konnte der Agent so trainiert werden, dass er für die kleine Anzahl an trainierten Spielen gute Ergebnisse erzielen konnte. Dies ist eine interessante Erkenntnis. After having chosen the Double Deep Q-Learning algorithm as a method in the first thesis and having designed a model for the game, this thesis deals with the implementation of the DDQN agent. It discusses the components needed to integrate the agent into the 2048 game. Afterwards the results of the training are analyzed and visualized. The agent has been trained in several experiments with different hyperparameters for 8000 games. The results of the training are then compared to an agent that randomly selects actions to verify that a learning effect is actually occurring. The aim of this thesis was to explore the possibilities of developing a DDQN agent that can learn to play the 2048 board game and reach the 2048 tile at least once. This was not possible due to hardware limitations. In order to reach a 2048 tile, the agent the agent needs to be trained about 20 times more than it was possible for this thesis, since the 2048 game is a simple game but a complex use case for a reinforcement learning agent. Nevertheless, the agent was able to learn the game so well that the 512 tile could be reached and therefore a considerable learning effect is present. This learning effect is visible in the increasing score during the training. Even if the desired performance level was not achieved, the agent could be trained to achieve decent results for the small number of games that were trained, which is an interesting finding.