Search

Due to copyright restrictions, the access to the full text of this article is only available via subscription. In this paper, we investigate several design choices for HPC services at different layers of the cloud computing architecture to simplify and broaden its use cases. We start with the platform-as-a-service (PaaS) layer and compare direct and iterative parallel linear equation solvers. We observe that several matrix properties that can be identified before starting long-running solvers can help HPC services automatically select the amount of computing resources per job, such that the job latency is minimized and the overall job throughput is maximized. As a proof of concept, we use classical problems in structural mechanics and mesh these problems with increasing granularities leading to various matrix sizes, ie, largest having 1 billion non-zero elements. In addition to matrix size, we take into account matrix condition numbers, preconditioning effects, and solver types and execute these finite element analysis (FEA) over an IBM HPC cluster. Next, we focus on the infrastructure-as-a-service (IaaS) layer and explore HPC application performance, load isolation, and deployment issues using application containers (Docker) while also comparing them to physical and virtual machines (VM) over a public cloud. IBM Faculty Award ; IBM PhD Fellowship programs ; EU Marie Curie FP7 BI4MASSES project

Due to copyright restrictions, the access to the full text of this article is only available via subscription. Günümüzde bilişim dünyası faydalı bilgiye ulaşma yolunda “büyük veri” problemleri (verinin kütlesi, hızı, çeşitliliği, tutarsızlığı) ile baş etmeye çalışmaktadır. Bu makalede, büyük veri akışları üzerinde İlişkisel Kural Madenciliği’nin (İKM) daha önce literatürde yapılmamış bir şekilde “çevrimiçi” olarak gerçeklenme detayları ile başarım bulguları paylaşılacaktır. Akış madenciliği için Apriori ile FP-Growth algoritmaları Esper isimli olay akış motoruna eklenmiştir. Elde edilen sistem üzerinde bu iki algoritma kayan penceler ve LastFM sosyal müzik sitesi verileri kullanılarak karşılaştırılmıştır. Başarımı yüksek olan FPGrowth seçilerek gerçek-zamanlı ve kural-tabanlı bir tavsiye motoru oluşturulması sağlanmıştır. En önemli bulgularımız çevrimiçi kural çıkarımı sayesinde: (1) çevrimdışı kural çıkarımından çok daha fazla kuralın (2) çok daha hızlı ve etkin olarak ve (3) çok daha önceden hesaplanabileceği gösterilmiştir. Ayrıca müzik zevklerine uygun “George Harrison⇒The Beatles” gibi pekçok ilginç ve gerçekçi kural bulunmuştur. Sonuçlarımızın ileride diğer büyük veri analitik sistemlerinin tasarım ve gerçeklemesine ışık tutacağını ummaktayız. TÜBİTAK ; European Commission

Large-scale oil refineries are equipped with mission-critical heavy machinery (boilers, engines, turbines, and so on) and are continuously monitored by thousands of sensors for process efficiency, environmental safety, and predictive maintenance purposes. However, sensors themselves are also prone to errors and failure. The quality of data received from these sensors should be verified before being used in system modeling. There is a need for reliable methods and systems that can provide data validation and reconciliation in real-time with high accuracy. In this paper, we develop a novel method for real-time data validation, gross error detection and classification over multivariate sensor data streams. The validated and high-quality data obtained from these processes is used for pattern analysis and modeling of industrial plants. We obtain sensor data from the power and petrochemical plants of an oil refinery and analyze them using various time-series modeling and data mining techniques that we integrate into a complex event processing engine. Next, we study the computational performance implications of the proposed methods and uncover regimes where they are sustainable over fast streams of sensor data. Finally, we detect shifts among steady-states of data, which represent systems' multiple operating modes and identify the time when a model reconstruction is required using DBSCAN clustering algorithm. Turkish Petroleum Refineries Inc. (TUPRAS) RD Center Publisher version

Bu tezde ile büyük-ölçekli ve görev-kritik işlerin yürütüldüğü endüstriyel tesislerin büyük veri problemleri ele alınmaktadır. Bu tesislerde çalışan ağır sanayi makinaları (kazanlar, motorlar, türbinler, vb.) binlerce sayıda ve çeşitli tipte duyargarlar ile sürekli olarak ölçümlenmekte ve üretimde verimlilik artışı, iş-çevre güvenliği ve sezgisel bakım planlaması gibi konularda kararlar alınmaktadır. Ancak duyargalar da bozulabilmekte veya hatalı ölçümler yapabilmektedirler. Bunlar tarafından ölçülen verinin kalitesi, sistem modellemesi veya tahminlemede kullanılmadan önce doğrulanmalıdır. Bu sebeple, gerçek-zamanlı ve yüksek doğrulukla veri düzeltmesi yapabilecek güvenilir metodlara ihtiyaç duyulmaktadır. Geliştirilen metodların çok-hızlı endüstriyel veri akışlarını takip edebilmeleri için, doğrulukları kadar, basit ve etkin olmaları da gerekmektedir. Bu tezde DREDGE isimli, öncelikle gerçek-zamanlı veri doğrulama, kaba hata tespiti ve kata hata sınıflandırması yapabilen yenilikçi metotun tasarım ve gerçekleme bilgileri sunulmaktadır. Bu süreçler sonrasında elden edilen doğrulanmış ve yüksek kaliteli veri, desen analizi ve endüstri tesislerinin bütünsel modellemesi için kullanılmaktadır. Çalışmada bir petrol rafinerisinin güç üretim ve petrokimya tesislerinden elde edilmiş gerçek duyarga verileri zaman-serisi ve veri madenciliği modellerinin eğitiminde kullanılmış ve elde edilen modeller Karmaşık Olay İşleme motoruna entegre edilmişlerdir. Daha sonra, bu modellerin motor içerisindeki performansları çalışılarak, hızlı veri akışları üzerindeki sürdürülebilir rejimlerin tespiti sağlanmıştır. Sonrasında, büyük-ölçekli endüstriyel sistemlerin operasyonel durum tespiti için akış analitiğine dayalı metodlar geliştirilmekte ve özellikle zamana-bağlı değişen sistemlerde, toplu işleme yapan modellere göre daha etkin çalıştıkları gösterilmektedir. Dağıtık kontrol sistemleri sürekli olarak yüzlerce duyargayı takip etmekte ise de, değişkenler arası ilişkiler zaman içerisinde değişebilmektedir. Petrol rafinesindeki cihazların modlar arası geçişlerini farkedebilmek için veri akışları üzerinde gerçek-zamanlı ve zaman-penceresi temelli regresyon analizi, K-means ve DBSCAN kümeleme sezgisel modelleme teknikleri kullanılmıştır. Ayrıca, durağan-durumlar arası kayışlar tespit edilerek, operasyonel mod geçişleri tespit edilmiştir. Gerçek-zamanlı DBSCAN kullanılarak model değişikliği veya düzenlemesinin gerektiği anlar tespit edilmiştir. Bu bölümde son olarak, zaman-pencere boyutlarının TCP algoritmaları ile adaptif olarak değiştirilmeleri önerilmiş ve model güncelleme maliyeti ile tahminsel hatalarına olumlu etkileri gözlemlenmiştir. Son olarak, rafineri endüstrisi için dağıtık kontrol sistemleri (DCS) verilerine yönelik, birleşik (çevrimiçi - çevrimdışı) analitik işleme içeren yeni bir Lambda mimarisi önerilmektedir. Önerilen mimarinin buluta entegrasyonu ile içerisindeki sensör hata tespiti ve sınıflandırmasına yönelik modül geliştirilmesine yönelik tecrübe paylaşımı yapılmaktadır. This thesis addresses big data challenges seen in large-scale, mission-critical industrial plants such as oil refineries. These plants are equipped with heavy machinery (boilers, engines, turbines, etc.) that are continuously monitored by thousands and various types of sensors for process efficiency, environmental safety, and predictive maintenance purposes. However, sensors themselves are also prone to errors and failure. The quality of data received from them should be verified before being used in system modeling or prediction. There is a need for reliable methods and systems that can provide data validation and reconciliation in real-time with high accuracy. Furthermore, it is necessary to develop accurate, yet simple and efficient analytical models that can be used with high-speed industrial data streams.In this thesis, design and implementation of a novel method called DREDGE, is proposed and presented first by developing methods for real-time data validation, gross error detection (GED), and gross error classification (GEC) over multivariate sensor data streams. The validated and high quality data obtained from these processes is later used for pattern analysis and modeling of industrial plants. We obtained sensor data from the power and petrochemical plants of an oil refinery and analyzed them using various time-series modeling and data mining techniques that are integrated into a complex event processing (CEP) engine. Next, the computational performance implications of the proposed methods are studied and regimes that are sustainable over fast streams of sensor data are uncovered. Distributed Control Systems (DCS) continuously monitor hundreds of sensors in industrial systems, and relationships between variables of the system can change over time. Operational mode (or state) identification methods are developed and presented for these large-scale industrial systems using stream analytics, which are shown to be more effective than batch processing models, especially for time-varying systems. To detect drifts among modes, predictive modeling techniques such as regression analysis, K-means and DBSCAN clustering are used over sensor data streams from an oil refinery and models are updated in real-time using window-based analysis. In addition, the shifts among steady states of data are detected, which represent systems' multiple operating modes. Also, the time when a model reconstruction is required is identified using DBSCAN algorithm. An adaptive window size tuning approach based on the TCP congestion control algorithm is proposed, which reduces model update costs as well as prediction errors. Finally, we proposed a new Lambda architecture for Oil & Gas industry for unified data and analytical processing over DCS. We discussed cloud integration issues and share our experiences with the implementation of sensor fault detection and classification modules inside the proposed architecture. 128

Bu tezde, bulut bilişim ortamında çalışan büyük ölçekli bir yüksek başarımlı hesaplama düzeneği kurulumu sırasında karşılaşılan güçlükler ve öğrenimler aktarılacaktır. Özel olarak çevrimiçi bir mekanik yapısal analiz sistemine, genel olarak ise bir çok bilim ve mühendislik alanına uygulanabilecek bu öğrenimler, sonlu elemanlar yöntemine özel bir vurgu yapılarak incelenecektir. Yüksek başarımlı hesaplama ortamlarında aynı anda birden çok farklı türde ve özellikte iş aynı anda bulunurlar. Hizmet sağlayıcının iş gönderen kullanıcıların beklentilerini karşılamak ve aynı anda da yüksek başarım ortamının en verimli şekilde kullanılması gibi birbiriyle çelişen iki kaygıyı dengelemesi gerekmektedir. Böyle bir düzeneğin verimli çalışması için ise küme üzerindeki işlere ve kümenin verili andaki durumuna göre davranabilen akıllı bir zamanlama yönteminin geliştirilmesi kritik önem taşımaktadır. Bu zamanlama yönteminin geliştirilmesi için gerekli ön çalışmalar, kümenin çözümlemeye çalıştığı iş türlerinin anlaşılıp sınıflandırılması, bu yüklerin zaman ve alan ihtiyaçlarının anlaşılması ve nicel olarak tanımlanmasını içermektedir. İkinci aşamada ise, bu iş yüklerinin çok çekirdekli ve çok düğümlü ortamlarda kaynakların verimli kullanılmasının sağlacak şekilde nasıl zamanlanabileceği sorusunun cevabının araştırılması gerekmektedir. Araştırmalar sırasında iş türlerinden ve hesaplama kümesinin gerçek zamanlı durumundan haberdar olan akıllı bir zamanlama yöntemi kullanılarak, kullanıcılar açısından gecikmeleri azaltmanın, hizmet sağlayıcılar açısından ise verimliliği arttırmanın mümkün olduğunu, bu tür durumlarda yaygın olarak kullanılan en kısa olanın önce çözümlenmesi veya agresif olarak bütün kaynakların kullanılması yöntemlerinden daha iyi sonuçlar alınabildiğini gözlemlenmiştir.Bu tezin ilk bölümleri sonlu elemanlar yöntemini bir bulut bilişim hizmeti olarak sunmak için gereken tasarımların ve uygulamarın teknik bir tartışmasını içermektedir. Bu teknik tartışma özünde, kurgulanan yüksek başarımlı hesaplama hizmetinin değişik katmanlarda incelenmesi ve mimarilerin oluşturulmasını kapsamaktadır. İlk olarak yazılım hizmeti katmanına odaklanarak doğrusal denklem takımlarının çözümlerini incelenecektir. Ardından bu incelemeler sırasında hesaplamalara temel oluşturan matrislerin karakteristiklerinin işler kümeye gönderilmeden belirlenmesi ve iş hesaplama değişkenlerinin bunlara göre güncellenmesinin verimliliğinin arttırılmasına ve aynı zamanda gecikmelerin azaltılmasına çok büyük katkıları olduğunu gözlemlediği bulgular paylaşılacaktır. Bu giriş kısmını takip eden diğer bölümlerde ise tasarlanan akıllı zamanlayıcı ve başarıma olan 7.53x hızlandırıcı etkisi deney sonuçları ile beraber gösterilecektir. Başarım üzerine verilecek örneklerin ardından ise veri güvenliği, fiyatlandırma ve taşınabilirlik gibi konular da incelenecektir.İlerleyen bölümlerde ise mühendislik hesaplamalarında yeni yeşermekte olan bir yaklaşım olan yüksek başarımlı bulut bilişim hizmetlerinin kullanılmasının daha etkin hale getirilmesine katkı vermek amacıyla, direkt ve iteratif doğrusal denklem takımı çözücülerinin incelenmesini çeşitlendirilecektir. Ayrıca akıllı zamanlayıcının sadece donanım anlamında hesaplama parametrelerini değil bunun yanı sıra da çözümlenecek işin yapısına göre yazılım parametrelerine de müdahale etmesini sağlamak amacıyla gerçekleştirilen araştırmaların sonuçlarına yer verilecektir. Bu araştırmalar sırasında kullanılan gerçek hayattan alınma doğrusal elastisite problemleri hakkında da kısa bilgilere yer verilecektir. Çeşitli çözünürlüklerde ayrıklaştırılarak örgüleri oluşturulmuş bu modellerin kullanıldığı, geliştirilen akıllı zamanlayıcının değişkenlerini belirlendiği, Cholesky, LU gibi direkt çözücülerin yanı sıra çeşitli Krylov Altuzay Yöntemleri ile de sınandığı deneylerin sonuçlarını paylaşılacaktır. Bu bellek kullanımı, çoklu çekirdek, çoklu düğüm koşum davranışlarını daha sonra lineer elastisite problemlerinin çözümü için gerekli donanım ve yazılım değişkenlerini verimli şekilde ayarlamak için temel olarak kullanabilecektir.Bahsedilen çalışmalara ek olarak ise altyapı servisi katmanına da odaklanıp, yüksek başarımlı hesaplama için uygulama kapları kullanıldığında başarım, yalıtım ve kurulum hızı gibi parametrelerin davranışlarını gözlemlendiği çalışmalara da yer verilecektir. Uygulama kaplarının, fiziksel ve sanal makinalarla davranış farklarının da yorumlanacağı bu kısım tezin son bölümünü oluşturacaktır. In this thesis, the challenges faced and lessons learned while establishing a large-scale high performance cloud computing service that enables online mechanical structural analysis and many other scientific applications using the finite element analysis (FEA) technique, will be described. Within an High Performance Computing (HPC) environment, several jobs with different demands can co-exist thus it becomes a challenge for the service provider to efficiently utilize its own resources while also satisfying the quality expectations of job submitters. Such a service is intended to process many independent and loosely-dependent tasks concurrently. In order to reach optimal job scheduling metrics each job type that can be submitted to the cluster must be carefully examined, its space and time characteristics must be well-understood and quantified. Challenges faced include accurate characterization of complex FEA jobs, handling of many-task mixed jobs, sensitivity of task execution to multi-threading parameters, effective multi-core scheduling within a single computing node, and achieving seamless scaling across multiple nodes. It is found that significant performance gains in terms of both job completion latency and throughput are possible via dynamic or `smart` batch partitioning and resource-aware scheduling compared to the naive Shortest Job First (SCF) and aggressively-parallel scheduling techniques.Chapter 3 of this thesis present an end-to-end discussion on the technical issues related to the design and implementation of a new cloud computing service for finite element analysis (FEA). Several design choices for HPC services at different layers of the cloud computing architecture are investigated to simplify and broaden its use cases. Investigations start with the software-as-a-service (SaaS) layer and compare parallel linear equation solvers. In order to minimize job latency and maximize the overall job throughput, several matrix characteristics are perceived. Developing such an understanding is also crucial for HPCaaS systems to automatically select the amount of computing resources per job. In following sections, the design of a ''smart'' scheduler that can dynamically select some of the required parameters, partition the workload and schedule it in a resource-aware manner will be demonstrated. Results showing that an up to 7.53x performance improvement over an aggressive scheduler using mixed FEA loads, will be presented. In addition to the performance studies, a complementary discussion on critical issues related to the data privacy, security, accounting, and portability of the cloud service will also be given.The new trend in engineering is to solve complex computational problems in the cloud over HPC services provided by different vendors. To further deepen the analyses of workloads representing HPC-related tasks in science and engineering, in chapter 4, performances of direct vs. iterative linear equation solvers are compared to help with the development of job schedulers that can automatically choose the best solver type and tune them (e.g. precondition the matrices) according to job characteristics and workload conditions that are frequently encountered on HPC cloud services. As a proof of concept, three classical elasticity problems will be used, namely a Cantilever beam, Lame problem and Stress Concentration Factor (SCF). These models theoretically represent many real-life mechanical situations in structural engineering, namely aerospace, automotive, construction and machinery industries. The representative linear problems are meshed with increasing granularities, which leads to various matrix sizes; largest having 1 billion non-zero elements. Detailed finite element analyses over an IBM HPC cluster are executed. First, a multi-frontal parallel is used, sparse direct solver and evaluate its performance with Cholesky and LU decompositions of the generated matrices with respect to memory usage, and multi-core, multi-node execution performances. As for the iterative solver, the PETSc library is used and carried out computations with several Krylov subspace methods (CG, BiCG, GMRES) and preconditioner combinations (BJacobi, SOR, ASM, None). Later in Chapter 4, the direct and iterative solver results are compared and contrasted in order to find the most suitable algorithm for varying cases obtained from numerical modeling of these three-dimensional linear elasticity problems.In addition to aforementioned studies, as a supplementary research, infrastructure-as-a-service (IaaS) layer for HPC is examined and characteristics like application performance, load isolation, and deployment speed issues using application containers (Docker) are observed. These characteristics are also compared to physical and virtual machines (VM) over a public cloud. For this purpose, HPC-specific deployment using application containers technology is evaluated and performance metrics are examined in order to contribute to evaluation of these technologies for job schedulers to be used on Cloud Computing infrastructures. This phase of the research focuses on the understanding the behavior of cloud computing infrastructures under circumstances where deployment and utilization of containers (Docker) with a chosen software is necessary.To summarize, this multi-disciplinary doctoral thesis covers most of the critical aspects and computational challenges of providing FEA in the cloud for structural mechanics including ease of deployment, batch-level performance, job-level isolation, financial accounting and content security. It utilizes several modern software tools and techniques, while also contributing new ones to the literature. 112

Due to copyright restrictions, the access to the full text of this article is only available via subscription. Internet of Things (IoT) devices have gained more prevalence in ambient assisted living (AAL) systems. Reliability of AAL systems is critical especially in assuring the safety and well-being of elderly people. Runtime verification (RV) is described as checking whether the observed behavior of a system conforms to its expected behavior. RV techniques generally involve heavy formal methods; thus, it is poorly utilized in the industry. Therefore, we propose a democratization of RV for IoT systems by presenting a model-based testing (MBT) approach. To enable modeling expected behaviors of an IoT system, we first describe an extension to a UML profile. Then, we capture the expected behavior of an interaction that is modeled on a Sequence Diagram (SD). Later, the expected behaviors are translated into runtime monitor statements expressed in Event-Processing Language (EPL), which are executed at the edge of the IoT network. We further demonstrate our contributions on a sample AAL system.

Bilgisayar teknolojilerindeki artan işlemci gücü ve bellek kapasitesi, bununla birlikte giderek azalan ölçekli mimari boyutları sayesinde endüstride yeni bir devir başladı, Endüstri 4.0. Bu gelişmeler gömülü sistemlerin kapasitesini artırarak, bunların kullanıldığı otonom sistemlerin her geçen gün daha fazla yaygınlaşmasını sağlamıştır. Nesnelerin _Interneti (Internet of Things - IoT) gömülü sistemlerin insan etkileşimine gereksinim duymadan birbiriyle etkileşebilmesini sağlayarak, endüstride pek çok yeniliğin başarılmasına yol açmıştır. IoT cihazlarından oluşan bir sistemlerin sistemi (SoS) geliştirmek büyük ölçekli sistem tasarımında yeni bir zorluk olarak karşımızaçıkmaktadır (örn., ortam destekli yaşama (ambient assisted living - AAL) uygulamasında onlarca cihaz kullanılırken, akıllı şehir uygulamalarında binlerce cihaz kullanılabilir). Bu yüzden, IoT cihazlarından oluşan SoS'lerin yazılımı geliştirilmesi ve doğrulama süreçlerinde karşılaşılan zorlukların üstesinden gelebilmek için yeni yaklaşımlara ihtiyaç vardır. Biz bu tezde IoT cihazlarından oluşan SoS'lerin koşum zamanı doğrulamasının yapılabilmesi problemini ele aldık. Öncelikle, IoT mesajlaşma öğelerinin temel davranış modelini tanımlayan bir olay kalkülüsü (event calculus - EC) öneriyoruz. EC, bize IoT cihazları arasındaki Constrained-Application Protocol(CoAP) mesajı gönderme ve alma şeklinde gerçekleşen haberleşme aksiyonlarını olaylar türünden tanımlayabilmemizi, dolayısıyla CoAP uç noktaları davranışlarını, daha sonra koşum zamanı gözlemcileri olarak kullanacağımız, karmaşık olay işleme (complex-event processing - CEP) şablonları tanımlamamıza imkan sağlıyor. Koşum zamanı doğrulama (runtime verification - RV) alanındaki mevcut çalışmalar genellikle ağır formal yöntemler içeren çözümler önermektedir; bu nedenle, RV endüstridepek yaygın kullanılmamaktadır. Bu problemi de dikkate alarak biz bu araştırmada, model-güdümlü mühendislik (model-driven engineering - MDE) yaklaşımlarını kullanarak IoT sistemlerinin RV faaliyetleri için formal yöntemlere kıyasla daha kullanılabilir bir çözüm sunduk. Bizim yaklaşımımızda, UML2.5 prolinde IoT alanınaözgü ddeğişiklikler yaparak, alana-özgü modelleme (domain-specic modelling - DSM) prensibine dayalı bir MDE çözümü sunulmuştur. Ayrıca, IoT için önerilen DSM kullanılarak davranış modellerinden CEP ifadeleri biçiminde koşum zamanı gözlemcilerini otomatik olarak üretebilmek için modelden-yazıya dönüşüm (model-to-text - M2T) tekniği ile yeni algoritmalar geliştirilmiştir. Tezde önerilen katkıların gösterimi için MDE ve M2T teknikleri çeşitli durum çalışmalarında kullanılmıştır. Increase in the computing power and memory accompanied with decreasing architectural footprints has enabled conquering new frontiers in proliferation of technology in the next industry revolution. More autonomous systems have been deployed thanks to the advancing capabilities provided by embedded systems with such computing power. Internet of Things (IoT) has emerged as an enabler of many achievements in the industry through presenting a seamless integration of computing units, usuallyin the form of an embedded system, by allowing interconnection of such embedded systems without requiring human interaction. Engineering a system of systems (SoS) constituted by IoT devices has been the new challenge of designing large scale systems, as the scale of such a system could range from tens of devices in an ambient assisted living (AAL) example to thousands of devices in a smart city application. Therefore, the complexity of software engineering and verification of those SoS's necessitates new approaches that would facilitate those processes. In this thesis, we tackle the problem of verifying IoT SoS's at runtime. We first propose an event calculus that capturesthe fundamental behavioral model of IoT messaging primitives. The event calculus allows us to specify interaction of IoT devices in terms of events that represent sending and receiving Constrained-Application Protocol (CoAP) messages. Representing the behavior of CoAP endpoints in EC helps us define complex-event processing (CEP) patterns that will later be used as runtime monitors. Existing research on runtime verification (RV) usually presents a solution with heavy formal methods, which hinders the usefulness of method by intimidating the practitioners. We, therefore, propose a model-driven engineering (MDE) approach for RV of IoT systems, which is expected to promote the utilization of RV in industrial scenarios. We propose an extension to the UML2.5 profile, which enables us to customize a modeling tool so that we can develop a domain-specific model (DSM) for verifying IoT systems. Later, in order to allow automatically generating runtime monitors in the form of CEP statements, we contribute a model-to-text (M2T) transformation utility in the modeling tool. The contributions of the thesis are demonstrated in several case scenarios. 135

Due to copyright restrictions, the access to the full text of this article is only available via subscription. Internet of Things (IoT) is a new computing paradigm that is proliferated by wide adoption of application level protocols such as MQTT and CoAP, each of which defines different styles of sequential interaction of events. Even though there is a considerable effort in the literature for verification of such complex and distributed systems, a practical solution for IoT systems that supports runtime system verification is still missing. In this paper, we present a runtime monitoring approach for IoT systems that exploits event relations expressed in terms of sequential interaction messaging model of Constrained Application Protocol (CoAP). We propose the use of Complex-Event Processing (CEP) to detect failures at runtime by exploiting complex event patterns defined via predetermined event algebra. We further present a simple case scenario to demonstrate the applicability of the approach on Wireless Token Ring Protocol execution. TÜBiTAK BiDEB

Bu tezde, bilgisayar küme yapıları üzerinde hibrid iş yüklerinin birlikte işlenmesiyle ilgili modeller, sorunlar ve performans kazanımları incelenmektedir. Desteklenen kümeleme teknolojileri arasında MPI, Hadoop-MapReduce ve NoSQL sistemleri bulunmaktadır. Önerilen programlayıcı modeli işletim sistemi seviyesindeki arakatman yazılımların üzerinde ve onları destekleyici niteliktedir. Tezde ilk olarak, MPI,Hadoop ve NoSQL işlerini bir arada programlayabildiğimizi göstermekteyiz.İkinci olarak, farklı özelliklere sahip (CPU vs. Girdi/Çıktı yoğunluklu) işlerin, aynı özelliklere sahip işlere göre (2 adet veya daha fazla CPU yoğunluklu) beraber daha iyi programlanabildiği bulgusu paylaşılmaktadır. Son olarak, bu bulgunun ışığında yeni bir greedy sort-merge programlayıcısı tasarımı anlatılmaktadır. İş tamamlama sürelerinde %37 zamansal kazanım gösterilmektedir, ancak %50 kazanımlar da (2x hızlanma) teorik olarak mümkündür. Bu zamansal kazanımlar kuyrukta yeterince yük olduğu takdirde kümenin kullanım kapasitesini de arttırıcı nitelikte olacaktır. Tezin sonunda, hibrid iş programlama ile sağlanabilecek potansiyel güç-enerji kazanımları da tartışılmaktadır. In this thesis, We investigate the models and issues as well as performance benefits of hybrid job scheduling over shared physical clusters. Clustering technologies that are compared include MPI, Hadoop-MapReduce and NoSQL systems. Our proposed scheduling model is above the operating system and cluster-middleware level job schedulers and operating system level schedulers and it is complementary to them. First, we demonstrate that we can schedule MPI, Hadoop and NoSQL cluster-level jobs together in a controlled-fashion over the same physical cluster. Second, we find that it is better to schedule cluster jobs with different job characteristics together (CPU vs. I/O intensive) rather than two or more CPU intensive jobs. Third, we describe the design of a greedy sort-merge scheduler that uses the learning outcome of this principle. Up to 37% savings in total job completion times are demonstrated for I/O and CPU-intensive pairs of jobs, but up to 50% savings (or 2x speedup) is theoretically possible. These savings would also be proportional to the cluster utilization improvements, if there are jobs waiting in the queue. At the end of the thesis, we also discuss potential power-energy savings from hybrid job scheduling. 40

Günümüzde sosyal paylaşım servisleri mobil cihaz kullanımını ön plana çıkartmaktadır ve kullanıcıların da konum bazlı içerik paylaşımları giderek yaygınlaşmaktadır. Bu değişim sürecinde bir sonraki adım yaşadığı deneyimleri bütün bir yol hikayesi şeklinde paylaşımına olanak sağlayan servisler olacaktır.Rota tabanlı sosyal paylaşım hizmeti, kullanıcıların mobil cihazlarını kullanarak gerçek zamanlı olarak deneyimlerini gerek belli başlı noktalar, gerekse bütün olarak ifade edebilmelerini ve ortak gezi zevklerine, ulaşım güzergahlarına sahip diğer insanlarla tanıştırılmasını ve eşleştirilmesini sağlayacak bir hizmettir.Bu çalışmada uçtan uca rota tabanlı sosyal paylaşım hizmetini bulut üzerinde gerçeklenecek ve bu hizmete uygun bir mobil uygulama geliştirilecektir. Birinci olarak, gerçek zamanlı taksi paylaşımı servisi tanımlanacaktır. Bu sistem 1) Taksi jeolokasyon verisi toplama birimi, 2) gerçek zamanlı yolcu eşleme sistemi, 3) yolcu eşleştirme ve birleştirme algoritmalarının görsel ve sonuç analizi için web tabanlı panel sisteminden oluşmaktadır. İkinci olarak, takip edilen güzergahın gerçek zamanlı olarak bulut üzerinde kaydedilmesini sağlayan mobil uygulamadan bahsedilecektir. It is now clear that social networking services are evolving towards mobile web applications and continuous location sharing is also becoming a trend. In this evolution, we believe that the next step will be complete and continuous route and experience sharing. A route-based social networking cloud platform is a service in which users share their travel routes as well as experiences and stories using their mobile devices, or search for and get matched with people with similar travel and transportation habits in real-time. This work mainly focuses on the development of an end-to-end route-based social networking cloud platform service and its client-side mobile application. First, we describe the design and implementation of our real-time taxi ride-sharing service for metropolitan areas, which is a specific application of the route-sharing service. This system is composed of 1) taxi location data collection system, 2) real-time passenger coupling service and 3) a dashboard for visualization and analysis of the results. Second, we describe our location tracking mobile application that captures rich location-based information and saves it to the cloud. 57

DÜnya, her iki gÜnde bir 2003 yılına kadar ürettiği veri miktarı kadar veri oluşturmaktadır.Gelişen veri akışları son birkaç sene içerisinde üretilen verinin büyümesindeki enönemli etkendir. Gerçek zamanlı olarak yapılan veri akışı analizi, şu an gerçekleşenlerhakkında yararlı bilgi edinilmesini sağlayan en hızlı ve en etkili yol olması, organizasyonların ortaya çıkan problemler için hızlıca aksiyon almalarına ya da yeni trendleri keşferek kendi performanslarını arttırmalarına yardımcı olmaktadır. Gerçek zamanlıveri akışı analizi, sensör ağları, ağ izlenmesindeki ölçümler, mobil trafik yönetimi,web gezintisindeki tıklama akışları, mobil arama detay kayıtları, sosyal medya iletileri/günlükleri ve benzeri daha birçok uygulamalardan üretilen verinin yönetiminiyapmak için gereklidir. Veri akışı analizi zordur ¸cünkü veri akışları geçici olarak sıralı, hızla değişen, yığın ve potansiyel olarak sonsuzdurlar. Veri akışı madenciliğindeki bu zorluklarla başa çıkabilmek için bu tezde iki çalışma yapılmıştır. Her iki çalışmada yüksek miktardaki veri akışını, son kullanıcılar için anlamlı ve aksiyon alınabilirşekilde sunmaktadır. Birinci çalışmada, toplu taşımada kullanılan otobüslerin gerçekGPS veri akışı çiftleri üzerinde ?olay ilişkilerinin? bulumasıdır. Diğeri ise ?zamangüvenilirliği? olarak adlandırılan yeni alarm ardışıl kural madenciliği parametresidir.Bu parametre kayıt edilen kurallar için pencere zamanı sağlar ve aynı zamandaüretilmiş kuralların doğru bir şekilde azaltılması üzerinde etkisi vardır. World is creating the same quantity of data every two days, as it created from upuntil 2003. Evolving data streams are key factor for the growth of data created overthe last few years. Streaming data analysis in real-time is becoming the fastest andmost effective way to get useful information from what is happening right now, thusallowing organizations to take action quickly when problems occur or to detect newtrends to improve their performance. Data stream analytics is needed to manage thedata currently produced from applications such as sensor networks, measurements innetwork monitoring, mobile traffic management, web click streams, mobile call detailrecords,social media posts/blogs and many others. Stream data analytics is hardbecause data are temporally ordered, fast changing, massive and potentially infinite.In order to cope with the challenges of data stream mining, in this thesis two maincontributions are discussed. Both of them summarize the high volume streamingdata and present meaningful, actionable information to end users. The first one isfinding ?event correlations? over the data stream pairs on real GPS data of publictransportation buses. The second one is alarm sequence rule mining, with a newparameter called ?time confidence?, that helps automatically set time-window valuesfor registered rules and also reduces the generated alarm rule count. 44

Due to copyright restrictions, the access to the full text of this article is only available via subscription. Complex Event Processing (CEP) has become increasingly important for tracking and monitoring anomalies and trends in event streams emitted from business processes such as supply chain management to online stores in e-commerce. These monitoring applications submit complex event queries to track sequences of events that match a given pattern. While the state-of-the-art CEP systems mostly focus on the execution of flat sequence queries, we instead support the execution of nested CEP queries specified by the (NEsted Event Language) NEEL. However the iterative execution often results in the repeated recomputation of similar or even identical results for nested subexpressions as the window slides over the event stream. In this work we thus propose to optimize NEEL execution performance by caching intermediate results. In particular we design two methods of applying selective caching of intermediate results. The first is the Continuous Sliding Caching technique. The second is a further optimization of the previous technique which we call the Interval-Driven Semantic Caching. Techniques for incrementally loading, purging and exploiting the cache content are described. Our experimental study using real-world stock trades evaluates the performance of our proposed caching strategies for different query types.

Son yıllarda dünyada veri akışı uygulamalarında hızlı bir artış görülmüştür. Bu uygulamalara örnek olarak bilgisayar ağ gözleme sistemleri, radyo frekanslı kimlik tanıma (RFİD) temelli tedarik zinciri ve trafik yönetim sistemleri, e-ticaretler, çevrimiçi finansal işlemler, web (örün) tıklama-akışları, bazı mobil komünikasyon uygulamaları ve sensör ağları kullanan sivil-askeri uygulamalar verilebilir. Bütün bu uygulamalar etkileri açısından ilgili kurumlarca ?kritik görev? addedilmekte ve gerçek-zamanlı işleme tabi tutularak içlerindeki basit ve karmaşık olayların hızla bulunması istenmektedir. Amaç stratejik kararların çabuk alınmasıdır. Projemize temel teşkil eden Veri Akışı Yönetim Sistemleri (VAYS) mimarisi yüksek hızlı akışların farklı sürekli sorgularla bellek içinde hızla işlenebilmesini sağlamakta ve ortaya çıkan yeni uygulama alanlarının veri analiz ihtiyaçlarına daha iyi cevap verebilmektedir.Günümüzde bilişim dünyası faydalı bilgiye ulaşma yolunda ?büyük veri? problemleri (verinin kütlesi, hızı, çeşitliliği, tutarsızlığı) ile baş etmeye çalışmaktadır. Bu makalede, büyük veri akışları üzerinde İlişkisel Kural Madenciliği'nin (İKM) daha önce literatürde yapılmamış bir şekilde ?çevrimiçi? olarak gerçeklenme detayları ile başarım bulguları paylaşılacaktır. En önemli bulgularımız çevrimiçi kural çıkarımı sayesinde: (1) çevrimdışı kural çıkarımından çok daha fazla kuralın, (2) çok daha hızlı ve etkin olarak, ve (3) çok daha önceden hesaplanabileceği gösterilmiştir. Ayrıca müzik tercihlerine uygun ?George Harrison dinleyen The Beatles dinlemiştir? gibi pek çok ilginç ve gerçekçi kural bulunmuştur. Sonuçlarımızın ileride diğer büyük veri analitik sistemlerinin tasarım ve gerçeklemesine ışık tutacağını ummaktayız. The world has seen proliferation of data stream applications over the last years. These applications include computer network monitoring, Radio Frequency Identication (RFID)-based supply chain and traffic management systems, e-trading, online financial transactions, web click-streams, some mobile communication applications, and civilian or military applications using sensor networks. All of these applications are considered ?mission-critical? by related organizations and require real-time stream processing to detect simple or complex events, so that strategic decisions can be made quickly. An emerging system architecture called Data Stream Management System (DSMS) is well-suited to address the analysis needs of emerging data stream applications. DSMS forms the basis for our project and allows processing of high-speed data streams with different continuous queries. In this thesis, we present design and implementation details of a data stream management system with advanced Complex Event Processing (CEP) capabilities. Specifically, we add ?online? Association Rule Mining (ARM) and testing capabilities on top of an open-source DSMS system and demonstrate its capabilities over fast data streams. Our most important findings show that online ARM can generate (1) more unique rules, (2) with higher throughput, (3)much sooner (lower latency) than online rule mining. In addition, we have found many interesting and realistic musical preference rules such as ?If a person listens to George Harrison, then s/he also listens to The Beatles?. We demonstrate a sustained rate of 15K rows/sec per core. We hope that our findings can shed light on the design and implementation of other fast data analytics systems in the future. 76

Due to copyright restrictions, the access to the full text of this article is only available via subscription. Complex Event Processing (CEP) over event streams has become increasingly important for real-time applications ranging from healthcare to supply chain management. In such applications, arbitrarily complex sequence patterns as well as non existence of such complex situations must be detected in real time. To assure real-time responsiveness for detection of such complex pattern over high volume high-speed streams, efficient processing techniques must be designed. Unfortunately the efficient processing of complex sequence queries with negations remains a largely open problem to date. To tackle this shortcoming, we designed optimized strategies for handling nested CEP query. In this demonstration, we propose to showcase these techniques for processing and optimizing nested pattern queries on streams. In particular our demonstration showcases a platform for specifying complex nested queries, and selecting one of the alternative optimized techniques including sub-expression sharing and intermediate result caching to process them. We demonstrate the efficiency of our optimized strategies by graphically comparing the execution time of the optimized solution against that of the default processing strategy of nested CEP queries. We also demonstrate the usage of the proposed technology in several healthcare services. HP Labs Innovation Program ; NSF

Due to copyright restrictions, the access to the full text of this article is only available via subscription. Due to prevalent use of sensors and network monitoring tools, big volumes of data or “big data” today traverse the enterprise data processing pipelines in a streaming fashion. While some companies prefer to deploy their data processing infrastructures and services as private clouds, others completely outsource these services to public clouds. In either case, attempting to store the data first for subsequent analysis creates additional resource costs and unwanted delays in obtaining actionable information. As a result, enterprises increasingly employ data or event stream processing systems and further want to extend them with complex online analytic and mining capabilities. In this paper, we present implementation details for doing both correlation analysis and association rule mining (ARM) over streams. Specifically, we implement Pearson-Product Moment Correlation for analytics and Apriori & FPGrowth algorithms for stream mining inside a popular event stream processing engine called Esper. As a unique contribution, we conduct experiments and present performance results of these new tools with different tumbling and sliding time-windows over two different stream types: one for moving bus trajectories and another for web logs from a music site. We find that while tumbling windows may be more preferable for performance in certain applications, sliding windows can provide additional benefits with rule mining. We hope that our findings can shed light on the design of other cloud analytics systems. Avea Labs ; TÜBİTAK ; European Commission ; IBM Shared University Research Program

Due to copyright restrictions, the access to the full text of this article is only available via subscription. Complex event processing (CEP) over event streams has become increasingly important for real-time applications ranging from health care, supply chain management to business intelligence. These monitoring applications submit complex queries to track sequences of events that match a given pattern. As these systems mature the need for increasingly complex nested sequence query support arises, while the state-of-art CEP systems mostly support the execution of flat sequence queries only. To assure real-time responsiveness and scalability for pattern detection even on huge volume high-speed streams, efficient processing techniques must be designed. In this paper, we first analyze the prevailing nested pattern query processing strategy and identify several serious shortcomings. Not only are substantial subsequences first constructed just to be subsequently discarded, but also opportunities for shared execution of nested subexpressions are overlooked. As foundation, we introduce NEEL, a CEP query language for expressing nested CEP pattern queries composed of sequence, negation, AND and OR operators. To overcome deficiencies, we design rewriting rules for pushing negation into inner subexpressions. Next, we devise a normalization procedure that employs these rules for flattening a nested complex event expression. To conserve CPU and memory consumption, we propose several strategies for efficient shared processing of groups of normalized NEEL subexpressions. These strategies include prefix caching, suffix clustering and customized “bit-marking” execution strategies. We design an optimizer to partition the set of all CEP subexpressions in a NEEL normal form into groups, each of which can then be mapped to one of our shared execution operators. Lastly, we evaluate our technologies by conducting a performance study to assess the CPU processing time using real-world stock trades data. Our results confirm that our NEEL execution in many cases performs 100 fold fast er than the traditional iterative nested execution strategy for real stock market query workloads. HP Labs Innovation Research Program ; NSF ; TÜBİTAK

Due to copyright restrictions, the access to the full text of this article is only available via subscription. Complex event processing (CEP) over event streams has become increasingly important for real-time applications ranging from health care, supply chain management to business intelligence. These monitoring applications submit complex event queries to track sequences of events that match a given pattern. As these systems mature the need for increasingly complex nested sequence query support arises, while the state-of-art CEP systems mostly support the execution of only flat sequence queries. In this paper, we introduce our nested CEP query language NEEL for expressing nested queries composed of sequence, negation, AND and OR operators. Thereafter, we also define its formal semantics. Subtle issues with negation and predicates within the nested sequence context are discussed. An E-Analytics system for processing nested CEP queries expressed in the NEEL language has been developed. Lastly, we demonstrate the utility of this technology by describing a case study of applying this technology to a real-world application in health care. HP Labs Innovation Research Program ; NSF ; TÜBİTAK

Due to copyright restrictions, the access to the full text of this article is only available via subscription. In this paper, we describe the challenges faced and lessons learned while establishing a large-scale high performance cloud computing service that enables online mechanical structural analysis and many other scientific applications using the finite element analysis (FEA) technique. The service is intended to process many independent and loosely-dependent (e.g. assembled system) tasks concurrently. Challenges faced include accurate job characterization, handling of many-task mixed jobs, sensitivity of task execution to multi-threading parameters, effective multi-core scheduling in a single node, and achieving seamless scale across multiple nodes. We find that significant performance gains in terms of both job completion latency and throughput are possible via dynamic or "smart" partitioning and resource-aware scheduling compared to shortest first and aggressive job scheduling techniques. We also discuss issues related to secure and private processing of sensitive models in the cloud.

Due to copyright restrictions, the access to the full text of this article is only available via subscription. Many modern applications including tag based mass transit systems, RFID-based supply chain management systems and online financial feeds require special purpose event stream processing technology to analyze vast amounts of sequential multi-dimensional data available in real-time data feeds. Traditional online analytical processing (OLAP) systems are not designed for real-time pattern-based operations, while Complex Event Processing (CEP) systems are designed for sequence detection and do not support OLAP operations. We will demonstrate a novel E-Cube model that combines CEP and OLAP techniques for multi-dimensional event pattern analysis at different abstraction levels. A London transit scenario will be given to demonstrate the utility and performance of this proposed technology. NSF

Complex event processing (CEP) has become increasingly important for tracking and monitoring applications ranging from healthcare, supply chain management to surveillance. These monitoring applications submit complex event queries to track sequences of events that match a given pattern. As these systems mature the needfor increasingly complex nested sequence queries arises, while thestate-of-the-art CEP systems mostly focus on the execution of flat sequence queries only. In this paper, we now introduce an iterative execution strategy for nested CEP queries composed of sequence, negation, AND and OR operators. Lastly the promise of applying selective caching of intermediate results to optimize the execution. Our experimental study using real-world stock trades evaluates the performance of our proposed iterative execution strategy for differentquery types. HP Labs Innovation Research Program ; National Science Foundation ; TÜBİTAK post-print