Search

Recently, data analysis and machine learning are increasing rapidly, as they are widely used in industry. Machine learning pipelines is a new trend in artificial intelligence whose purpose is to train automatically the model based on a certain input, via a succession of machine learning and data transformation steps.In this context, Apache Spark with its MLib library, is a powerful tool for data analysis, used to train models via machine learning pipelines. The main idea of machine learning pipelines is to compose a sequence of steps, called stages into a linear workflow that ultimately either trains or fits a model to the incoming data, and can be later deployed to work with more incoming data. These pipelines are constructed programmatically, in a host language (in our case: Java) and allow the automated execution of the entire pipeline via a single program invocation. The current thesis deals with machine learning pipelines from the viewpoint of software engineering, and provides two contributions. First, we take the source code of the pipelines and provide an abstraction of it, as main-memory structures. This is achieved by exploiting the Abstract Syntax Tree of the source code and extracting the necessary statements that define stages and pipelines, out of the entire set of statements that constitute the source code. This is facilitated by exploiting the Eclipse JDT API, which is tailored exactly for analyzing source code via its Abstract Syntax Tree. The outcome of this process is a main-memory representation of the pipeline as a graph, with stages as its nodes and input-output dependencies between subsequent stages as its edges. This also allows the automation of the graphical representation of all machine learning pipelines found in the source code of a certain project. Second, by exploiting this graph representation, we can assess the impact of schema evolution in a set of pipelines that all stem from the same data provider (e.g., a data file with structured records). Assuming that the structure of the records of a file is changed, with certain attributes being inserted and other attributes being deleted with respect to its previous version, we exploit the dependencies that exist between stages of pipeline and the source data, and propagate the impact of the change over the graph. Moreover, we also visualize the impact of the change in the graphical representation of the pipeline. Στο προγραμματιστικό περιβάλλον Apache Spark, μια διοχέτευση μηχανικής μάθησης (machine learning pipeline) είναι μια ροή εργασίας που χρησιμοποιείται για να παράγει ένα μοντέλο μηχανικής μάθησης μέσω σειράς επί μέρους βημάτων τα οποία συντίθεται για την παραγωγή του τελικού αποτελέσματος. Η σύνθεση αυτή γίνεται προγραμματιστικά, μέσω των σχετικών τύπων δεδομένων που προσφέρει το περιβάλλον Spark. Λόγω της δημοφιλίας του περιβάλλοντος Spark, οι διοχετεύσεις αυτές θα γίνονται όλο και πιο ευρέως χρησιμοποιούμενες στο μέλλον. Ο στόχος της παρούσας εργασίας δεν αφορά την ουσία της μηχανικής μάθησης, αλλά την αντιμετώπιση της ενσωμάτωσης της ροής εργασίας προγραμματικά εντός του πηγαίου κώδικα (καθώς ένα σύνολο από διοχετεύσεις μηχανικής μάθησης ορίζεται και συντίθεται με προγραμματιστικό τρόπο ο οποίος δεν ακολουθεί υποχρεωτικά κάποια συγκεκριμένη δομή). Συγκεκριμένα, ο στόχος της εργασίας είναι η επεξεργασία πηγαίων αρχείων κώδικα, με στόχο μια αφαιρετική τους ανα- παράσταση. Ο μηχανισμός που εισάγουμε είναι ένας μηχανισμός επεξεργασίας των αρχείων που οδηγεί σε μια αναπαράσταση Abstract Syntax Trees, γνωστά από το χώρο των μεταφραστών λογισμικού. Η αναπαράσταση του κώδικα σε ένα υψηλότερο επίπεδο αφαίρεσης, επιτρέπει τη διαχείρισή του ως ένα γράφημα, με κόμβους τα επί μέρους βήματα της ροής εργασίας και ακμές τις διοχετεύσεις δεδομένων. 53 σ.

Studying the evolution of databases’ structure, known as schema evolution, is of great importance, since it can reveal patterns that will help administrators devote less time for increasing databases’ information capacity with the least possible effects on the surrounding applications and take all the necessary maintenance actions for preserving and enhancing databases’ performance. The main research question that we attempt to answer in this Thesis can be expressed in this way: is there a relationship between tables’ involvement with foreign keys and their evolution? For answering this question, we adopt a model that considers each version of a schema as a graph which includes schema’s tables and foreign key constraints as nodes and edges, respectively. The union of the graphs forms the Diachronic Graph, which comprises all the tables and all the foreign keys that ever exist in schema’s history. We also define four categories, namely isolated, source, lookup and internal, for the tables with respect to the combination of their in- and out- degrees in the Diachronic Graph. We refer to these categories with the term topological since they describe the arrangement of the tables in the Diachronic Graph with respect to their inciting foreign keys. We then classify tables into the topological categories and we study how tables’ topology is associated with several evolution-related properties, such as tables’ duration, their update activity, their size change, etc. The schema histories that we utilize in the context of our work derive from 5 relational databases supporting open-source projects. The most significant results of our research work, which are also verified by the statistical evidence, are: (a) a relationship between tables’ topological categories and their probability to be born in the originating version of their databases and (b) a correlation between tables’ topology and their update activity. Specifically, we have identified that the more topologically complex a table is the more intense is its life in terms of its update activity and the higher is the probability to be introduced in the very first version of its schema history. To facilitate the research part of the Thesis, we perform an extensive refactoring in the architecture of the Parmenidian Truth tool that visualizes the schema evolution of relational databases. After identifying and prioritizing design defects, we have applied a series of modifications in the source code of the tool, aiming at increasing tool’s extendibility potential. To verify that the changes we introduced have not altered tool’s expected behavior, we have created unit tests for all the modules we either modified or added. Finally, we have evaluated the enhancements of the refactoring process by comparing the design quality of the tool before and after the refactoring. Complementing the refactoring of the tool, we have also constructed a web application that visualizes the schema evolution of relational databases and summarizes the main corresponding statistics. Η μελέτη της εξέλιξης της δομής των βάσεων δεδομένων, η οποία είναι γνωστή με τον όρο εξέλιξη σχήματος, είναι ιδιαίτερα σημαντική καθώς μπορεί να αποκαλύψει μοτίβα που θα βοηθήσουν τους διαχειριστές των βάσεων να αφιερώνουν λιγότερο χρόνο στην αύξηση της χωρητικότητας των παρεχόμενων πληροφοριών με τις λιγότερες πιθανές συνέπειες για τις εξαρτημένες εφαρμογές και να υλοποιούν όλες τις απαραίτητες εργασίες συντήρησης για να διατηρείται και να βελτιώνεται η απόδοση της βάσης. Το βασικό, ερευνητικής φύσεως, ερώτημα που επιδιώκουμε να απαντήσουμε στην παρούσα εργασία μπορεί να διατυπωθεί ως εξής: Υπάρχει κάποια σχέση μεταξύ της συσχέτισης των πινάκων με τα ξένα κλειδιά μιας βάσης δεδομένων και της εξέλιξης τους; Για να απαντήσουμε στο συγκεκριμένο ερώτημα, χρησιμοποιούμε ένα μοντέλο που αναπαριστά κάθε έκδοση του σχήματος σαν έναν γράφο του οποίου οι κόμβοι και οι ακμές αντιστοιχούν στους πίνακες και τα ξένα κλειδιά του σχήματος, αντίστοιχα. Η ένωση αυτών των γράφων αντιστοιχεί στον Διαχρονικό Γράφο, ο οποίος αποτελείται από όλους τους πίνακες και όλα τα ξένα κλειδιά που εμφανίστηκαν σε τουλάχιστον μία έκδοση της ιστορίας του σχήματος. Επίσης, ορίζουμε 4 κατηγορίες για τους πίνακες, συγκεκριμένα τις isolated, source, lookup και internal με βάση τον συνδυασμό των έσω- και έξω- βαθμών τους στον Διαχρονικό Γράφο. Χαρακτηρίζουμε τις κατηγορίες αυτές με τον όρο τοπολογικές, καθώς περιγράφουν τη θέση των πινάκων στον Διαχρονικό Γράφο σε σχέση με τα ξένα κλειδιά τους. Στη συνέχεια, ταξινομούμε τους πίνακες στις τοπολογικές κατηγορίες και μελετάμε πώς η τοπολογία των πινάκων σχετίζεται με διάφορα χαρακτηριστικά της εξέλιξης τους, όπως η διάρκεια ζωής τους, η δραστηριότητα τους, η αλλαγή του μεγέθους τους, κ.α. Τα σχήματα που χρησιμοποιούμε στα πλαίσια της έρευνας μας προέρχονται από 5 σχεσιακές βάσεις δεδομένων που υποστηρίζουν συστήματα λογισμικού ανοιχτού κώδικα. Τα σημαντικότερα αποτελέσματα της έρευνας μας, τα οποία επιβεβαιώνονται και από τα στατιστικά στοιχεία, είναι: (α) η σχέση μεταξύ των τοπολογικών κατηγοριών των πινάκων και της πιθανότητας εμφάνισης τους στην πρώτη έκδοση του σχήματος της βάσης τους και (β) η συσχέτιση της τοπολογίας των πινάκων με τη δραστηριότητα τους. Συγκεκριμένα, διαπιστώσαμε ότι όσο πιο σύνθετος τοπολογικά είναι ένας πίνακας τόσο πιο έντονη δραστηριότητα έχει και τόσο μεγαλύτερη είναι η πιθανότητα εμφάνισης του στην πρώτη έκδοση του σχήματος του. Για να διευκολύνουμε την έρευνα μας, υλοποιήσαμε μία εκτεταμένη αναμόρφωση της αρχιτεκτονικής του λογισμικού Παρμενίδεια Αλήθεια, το οποίο οπτικοποιεί την εξέλιξη του σχήματος σχεσιακών βάσεων δεδομένων. Έχοντας εντοπίσει και προτεραιοποιήσει τα σχεδιαστικά ελαττώματα, εφαρμόσαμε μια σειρά από τροποποιήσεις στον πηγαίο κώδικα του εργαλείου με στόχο να αυξήσουμε τις δυνατότητες επέκτασης των λειτουργιών που προσφέρει το λογισμικό αυτό. Για να επιβεβαιώσουμε ότι οι αλλαγές που υλοποιήσαμε δεν έχουν επηρεάσει την αναμενόμενη συμπεριφορά του λογισμικού, δημιουργήσαμε ελέγχους μοναδιαίων ενοτήτων για κάθε ενότητα που είτε τροποποιήσαμε είτε προσθέσαμε. Τέλος, αξιολογούμε τις βελτιώσεις που επέφερε η διαδικασία αναμόρφωσης, συγκρίνοντας την ποιότητα της σχεδίασης του εργαλείου πριν και μετά την αναμόρφωση. Συμπληρωματικά της αναμόρφωσης του λογισμικού, δημιουργήσαμε μία διαδικτυακή εφαρμογή που οπτικοποιεί την εξέλιξη του σχήματος σχεσιακών βάσεων δεδομένων και συνοψίζει τις βασικότερες πληροφορίες για την εξέλιξη των βάσεων. 140 σ.