Search

Große Datenmengen in Wirtschaft und Wissenschaft werden klassischerweise in Daten-banksystemen verwaltet. Um die Daten für maschinelles Lernen sowie für die Datenanalyse zu nutzen, ist ein zeitintensiver zyklischer Transformations-und Verschiebeprozess nötig, da die Daten hierfür in anderen Formaten oder schlicht in anderen Plattformen vorliegen müssen. Forschungsarbeiten der letzten Jahre widmen sich der Aufgabe, Datenverwaltung und Datenanalyse in einem System zu integrieren, um teure Datentransfers zu vermeiden. Diese Arbeit untersucht die Leistungsfähigkeit gespeicherter Prozeduren (stored procedures) zur Implementierung von Data-Mining-Algorithmen in Datenbanksystemen. Grundlage hierfür bildet HyPerScript, die PL/SQL-ähnliche Skriptsprache des Hauptspeicherdatenbanksystems HyPer. Ins-besondere evaluieren wir die prototypische Implementierung von fünf Algorithmen, die ganz ohne separates Datenanalysesystem auskommt.

http://journal.ub.tu-berlin.de/eceasst/article/view/209 Eingebettete Netze, bestehend aus einer Vielzahl von vernetzten Knoten mit unterschiedlichen Mess-, Steuer- und Rechenfähigkeiten, werden zunehmend in Bereichen wie der Heim- und Industrieautomatisierung, modernen Kraftfahrzeugen oder großflächigen Infrastrukturen z.B. in Energienetzen oder Verkehrsleitsystemen eingesetzt. Die Komplexität der Netze, die Heterogenität der enthaltenen Knoten und Infrastrukturänderungen durch mobile Knoten oder Knotenausfälle stellen besondere Herausforderungen während der Anwendungsentwicklung dar. Viele dieser Anforderungen können durch die aus dem Software-Bereich wohlbekannten Service orientierten Architekturen (SOAs) erfüllt werden. Um die besonderen Rahmenbedingungen von eingebetteten Netzen (Ressourcenbeschränkungen, Echtzeitanforderungen, etc) berücksichtigen zu können, sind einige Anpassungen des traditionellen SOA Paradigmas aus dem Web Service Kontext nötig. Ziel des eSOA-Projekts ist die Definition eines embedded-SOA-(eSOA)-Konzepts, das diesen Anforderungen genügt, und die Entwicklung einer Middleware für eingebettete Netze und den dazugehörigen Entwicklungswerkzeugen, welche eine effiziente Anwendungsentwicklung ermöglichen.

Informationsintegration spielt in der Medizin, insbesondere im Umfeld translationaler Forschung eine bedeutende Rolle. Etablierte Integrationsansätze werden den Anforderungen jedoch nicht immer gerecht. Der Dataspaces Ansatz ist ein neuer Schritt in der Evolution von Lösungsansätzen zur Informationsintegration. Im Rahmen dieser Arbeit wurde die Eignung des Ansatzes für die Informationsintegration in der Medizin evaluiert, erforderliche Änderungen wurden vorgenommen, Erweiterungen wurden entwickelt, und eine darauf basierenden Integrationslösung wurde umgesetzt. Die Anwendbarkeit des Konzepts wurde in Projekten am Klinikum rechts der Isar und für einrichtungsübergreifenden Fragestellungen gezeigt. Information integration has become an important issue in medicine, especially in the context of translational research. Established integration approaches can't cope with the requirements in every case. The Dataspaces approach is a new step in the evolution of information integration approaches. Within this work, the suitability of the approach was evaluated for information integration in medicine, necessary adaptations were made, extensions were developed, and an integration solution based on the developed concepts was implemented. The applicability of the concepts was shown in projects at the Academic Medical Center rechts der Isar and in inter-institutional projects.

Das entwickelte System HEAVEN realisiert eine flexible und performante hierarchische Speicher- und Archivierungsumgebung für multidimensionale Array Datenbank Management Systeme. Viele Phänomene der Natur werden als Array-Daten mit entsprechender Dimensionalität modelliert. Als eine gemeinsame Charakteristik gilt das immense Datenvolumen (mehrere Petabyte). Gegenwärtig und in Zukunft sind Tertiärspeichersysteme der einzige praktikable Weg, diese Datenmengen zu speichern. Ein inhärentes Problem ist nicht das Speichern dieser großen Datenvolumina, sondern der effiziente und selektive Zugriff auf die gespeicherten Daten, sowie deren Analyse. Mit HEAVEN wird der Übergang von einer herkömmlichen, dateisystembasierten Datenhaltung auf eine datenbankbasierte Datenhaltung mit automatisierter und optimierter Tertiärspeicheranbindung vollzogen. Heute sind Gigabyte-Datenbanken üblich, Terabyte-Datenbanken die aktuelle Herausforderung und Petabyte-Datenbanken ein wichtiges Forschungsgebiet. HEAVEN realisiert ein hochgradig erweiterbares und skalierbares Datenmanagement, das durch eine optimierte Automatisierung der Datenauslagerung, Datenspeicherung und des Datenretrievals erreicht wird. So wurde mit HEAVEN eine hierarchische Speicher- und Archivierungsumgebung für multidimensionale Array Datenbank Management Systeme mit nahezu unlimitiertem Speichervolumen geschaffen. Nutzern und Applikationen wird eine transparente Sicht auf die gespeicherten Daten gegeben, unabhängig vom tatsächlichen, physikalischen Speicherort. Zur Steigerung der Performance des Retrievals und der Analyse multidimensionaler Array-Daten wurden spezielle Techniken entwickelt. Hierzu zählt das Super-Tile-Konzept, das Intra- und Inter-Super-Tile-Clustering, das Query-Scheduling und eine Caching-Hierarchie. Auch die Verwendung vorberechneter Operationsergebnisse und die erweiterte Analysemglichkeit durch das entwickelte Object-Framing tragen hierzu bei. Bei der Realisierung von HEAVEN wurde der Balanceakt zwischen performantem Zugriffsverhalten und günstigem Speicherplatz erfolgreich umgesetzt. HEAVEN (Hierarchical Storage and Archive Environment for Multidimensional Array Database Management Systems) provides a solution for an intelligent management of large-scale datasets held on tertiary storage systems. Scientific large-scale experiments and corresponding simulation programs often generate large amounts of multidimensional array data. Data volume may reach hundreds of terabytes (up to petabytes). Presently and in the near future the only practicable way for storing such large volumes of multidimensional data are tertiary storage systems. An identified major bottleneck today is the fast and efficient access to and evaluation of high performance computing results. We address the necessity of developing techniques for efficient retrieval of requested subsets of large datasets from mass storage devices. Furthermore, we show the benefit of managing large spatio-temporal data sets with database management systems. But commercial (multidimensional) database systems are optimized for performance with primary and secondary memory access. So tertiary storage memory is only supported in an insufficient way for storage or retrieval of multidimensional array data. This means database systems need a smart connection to tertiary storage systems with optimized access strategies. HEAVEN combines the advantages of both techniques, storing large amounts of data on tertiary storage media and optimizing data access for retrieval with multidimensional database management systems. We present techniques like the Super-Tile-Concept, Intra- and Inter-Super-Tile-Clustering, Query-Scheduling and Caching, keeping our main focus on reducing tertiary storage access time for multidimensional array data. Additionally we extended the multidimensional query language of the database system using a new developed concept called Object Framing. With this extension, users will no longer be restricted to performing range queries in the shape of multidimensional hyper cubes. Now they will be able to formulate range queries by indicating complex frames. Furthermore we dramatically reduce query execution time by using pre-calculated results of computational multidimensional operations. In summary, HEAVEN is optimized towards high performance computing and shows, as we have expected, a very good performance.

Der Einsatz der mehrdimensionalen Zugriffsstruktur UB-Baum in komplexen Geschäfts-Anwendungen (z.B. SAP R/3), statistischen Datenbanken, Data-Warehouse und Data-Mining haben gezeigt, dass Leistungssteigerungen bis zum Faktor 10 für die Verarbeitung von Bereichsanfragen möglich sind. Weitere Verbesserungen wurden durch die Integration in den Datenbankkern Transbase von TransAction erzielt. Diese Arbeit untersucht die Möglichkeit der Ausnutzung der Z-Partitionierung des UB-Baums für die Verwendung in der Anfrageverarbeitung und beim Massenladen. Hierzu entwickelte der Autor mehrere neue Algorithmen, die entweder aus der Z-Ordnung effizient eine Zielordnung oder aus einer 1-dimensionalen Quellordnung die Z-Ordnung erzeugen. Dies führt zu einem effizienten Massenlade-Algorithmus (TempTris-Alogrithmus) sowie zu einem Verbunds- und Gruppierungs-Operator (Tetris-Algorithmus, UBG-Algorithmus). Die Algorithmen reduzieren die E/A-Kosten in der Sortierphase um mindestens 50% gegenüber dem externen Sortieren. Für die einzelnen Algorithmen wurden Kostenmodelle entwickelt, die durch Leistungsmessungen auf künstlichen Datenverteilungen und durch Teile des TPC-H Benchmark belegt werden. Um die Anwendungstauglichkeit im realen Datenbankumfeld zu zeigen, wurden Messungen auf dem Data-Warehouse der Gesellschaft für Konsumforschung (GfK) gemacht. Die Arbeit schließt mit einer neuen Verarbeitungstechnik des CUBE-Operators und dem Einfluss der neuen Techniken auf die relationale Algebra. Der Autor erstellte die Ergebnisse dieser Arbeit als Mitglied der Mistralgruppe bei FORWISS. Complex business applications like SAP R/3, statistical databases, data warehousing and data mining have created a strong demand for efficiently processing complex queries on huge relational databases. By using the multidimensional index UB-tree as access structure to execute range queries a performance enhancement of factor 10 could be achieved. Additional improvements were carried out by integration in the database system Transbase of TransAction. This thesis analyses the usability of the Z-partitioning of the UB-Tree for query processing and bulk loading. The author of this thesis develops several algorithms that process efficiently a Z-order to a one dimensional order or reverse. The result is an efficient bulk load algorithm (TempTris-Algorithm) as well as a join and group algorithm (Tetris-Algorithm, UBG-Algorithm). These algorithms reduce the I/O-cost for the sort phase at least of 50% according to the external sorting. For each algorithm a cost model is presented. The author presents performance measurements that proved our predicted speed up factor. The performance measurements are conducted on artificial data as well as on the TPC-H benchmark. To show the potential impact on real database scenarios, measurements were performed on a real data warehouse from the Gesellschaft für Konsumforschung (GfK). This thesis concludes with a new processing technique of the CUBE-operator and the impact on the relational algebra. The author develops the results of this thesis as a member of the research group MISTRAL at FORWISS.