Search

Im Workshop "Datenaufbereitung mit OpenRefine" lernen Sie die Grundlagen der Aufbereitung und Transformation tabellarischer Daten mit der Open-Source-Software OpenRefine (https://openrefine.org/) kennen. OpenRefine stellt unter einer grafischen Benutzeroberfläche, die äußerlich einer Tabellenkalkulationssoftware ähnelt, Funktionen bereit, mit denen Inkonsistenzen in großen Datenmengen identifiziert und korrigiert werden können. Eine solche Datenaufbereitung erleichtert eine spätere Analyse der Daten oft erheblich. Im Rahmen des Workshops wurden wichtige Funktionen der Software vorgestellt, unter anderem: das Anlegen eines Projekts und der Datenimport, die Nutzung von Facetten-, Filter- und Clusterfunktionen, die Transformation von Daten (z. B. das Aufspalten von Zelleninhalten) sowie der Datenexport Die Inhalte der vorliegenden Präsentation und des angebotenen Workshops wurden vollständig der Data Carpentry "OpenRefine for Social Science Data" entnommen (lizenziert unter CC-BY 4.0 2018–2022 durch The Carpentries und CC-BY 4.0 2016–2018 durch Data Carpentry). Die aus dem Originalworkshop übernommenen Themen und Übungen wurden teilweise neu angeordnet und in eine neue Reihenfolge gebracht. Der vorliegende Workshop nutzt die Inhalte der Vorlage im Rahmen der CC-BY-4.0-Lizenz, wurde aber ohne Beteiligung der Urheber der Vorlage erstellt und auch nicht von diesen geprüft oder aktiv unterstützt. Die CC-BY-4.0-Lizenz der vorliegenden Präsentation gilt nicht für das OpenRefine-Logo auf der Titelfolie (Quelle: https://openrefine.org)., Die HeFDI-Forschungsdatentage ermöglichen es Forschenden, Lehrenden und allen weiteren Interessierten, Themen und Angebote des Forschungsdatenmanagements (FDM) kennenzulernen und zu erproben. Zudem stellen verschiedene hessische Infrastruktur-Einrichtungen und Zentren ihre Dienste und Angebote vor. Die Forschungsdatentage sind ein Angebot der Landesinitiative HeFDI - Hessische Forschungsdateninfrastrukturen, welche vom Hessischen Ministerium für Wissenschaft und Kunst (HMWK) finanziert wird.

Diese Arbeit beschäftigt sich mit der Vorverarbeitung der Rohdaten, die von verschiedenen Sensoren zur Erkennung menschlicher Aktivitäten (Human Activity Recognition, HAR) gesammelt werden, um sie für weitere Anwendungen bereitzustellen. Mithilfe dieser Arbeit soll ein kompakter Überblick darüber gegeben werden, wie man die relevanten „versteckten“ Informationen aus seinen Rohdaten gewinnt. Konkret werden video- und sensorbasierte Aktivitätserkennungssysteme miteinander verglichen und erläutert, weshalb sensorbasierte Systeme besser zur Aktivitätserkennung menschlicher Bewegungen geeignet sind als videobasierte Systeme. Im Kern dieser Arbeit wird in Kapitel drei und vier die Datenvorverarbeitung in sensorbasierten HAR-Systemen anhand aktueller Literatur erklärt und es werden einige Einblicke in der praktischen Handhabung von Datenvorverarbeitung anhand eines Beispielprojekts gegeben. Dafür werden die einzelnen Schritte der Datenvorbereitung erklärt, nämlich Data Cleansing, Noise Identification, Data Normalization, Data Imputation und Data Segmentation. Dabei wird darauf hingewiesen, dass ein HAR-System keine beziehungsweise keine richtigen Ergebnisse liefern kann, wenn die Daten nicht ordentlich vorbereitet werden. Das Projektbeispiel demonstriert, wie bereits bei der Aufzeichnung der Daten einige der genannten Datenvorbereitungsmethoden angewendet werden können, um weitere Probleme im Laufe des Projekts zu vermeiden. Darauf folgen die Techniken zur Datenreduzierung, beginnend mit der Auswahl der Datenmerkmale, danach die Instanzauswahl und die Diskretisierung. In diesem Abschnitt wird erklärt, dass Datenreduzierung besonders bei Projekten mit großen Datenmengen unumgänglich ist und die Qualität der Endanwendung steigert. In Kapitel fünf wird anhand der Datensegmentierung aufgezeigt, dass mit der Anpassung der Fensterüberlappung auf 65 Prozent, die Genauigkeit des Datenmodells von 67 auf 80 Prozent gesteigert werden kann. Abschließend werden die Erkenntnisse in der Conclusio präsentiert, dass die Datenvorverarbeitung ein komplexes Aufgabengebiet ist, eine große Wichtigkeit für ein gut funktionierendes HAR-System hat und, dass viele Arbeitsschritte trotzdem noch händisch durchgeführt werden müssen und nicht automatisiert werden können. This work is about the pre-processing of raw data collected by various Human Activity Recognition (HAR) sensors in order to make them available for further applications. With the help of this work, a compact overview of how to extract the relevant "hidden" information from its raw data is presented. Specifically, video- and sensor-based activity recognition systems are compared and it is explained why sensor-based systems are better suited for activity recognition of human movements than video-based systems. In the core of this thesis, chapters three and four explain the data preprocessing in sensor-based HAR systems based on current literature, and some insights into the practical handling of data preprocessing are given with an example project. For this purpose, the steps of data preparation are explained, namely Data Cleansing, Noise Identification, Data Normalization, Data Imputation and Data Segmentation. It is pointed out that HAR systems cannot provide proper results if the data is not prepared properly. The project example demonstrates how some of the mentioned data preparation methods can be applied already when recording the data to avoid further problems during the project. This is followed by the techniques for data reduction, starting with the selection of data features, then the selection of instances and discretization. In this section, it is explained that data reduction is inevitable, especially in projects with large amounts of data, and it increases the quality of the final application. Chapter five uses data segmentation to show that by adjusting the window overlap to 65 percent, the accuracy of the data model can be increased from 67 to 80 percent. Finally, the findings that data preprocessing is a complex task, has great importance for a well-functioning HAR system and, that many steps still have to be done manually and cannot be automated, are presented in the conclusion.