1. Linux tabanlı hafif ve açık kaynak kodlu büyük veri dağıtımı gerçeklemesi
- Author
-
İnce, Muhammed Numan, Department of Computer Engineering, Günay, Melih., Fen Bilimleri Enstitüsü, Günay, Melih, and Bilgisayar Mühendisliği Anabilim Dalı
- Subjects
Computer Engineering and Computer Science and Control ,Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol - Abstract
Bu tez çalışması, Linux işletim sistemindeki veri mimarilerinin doğru kurulum, yapılandırma ve optimizasyon işlemlerini içerir. Çekirdek olarak alacağımız ve özelleştireceğimiz işletim sistemi, şu anda BAP (Bilimsel Araştırma Projeleri) tarafından desteklenen Milis Linux projesini taban alacaktır. Bu projede kullanılacak büyük veri platformu yaygın olarak kullanılan ve iyi bilinen Apache Hadoop dosya sistemini uyarlar. Apache Hadoop platformu, temel programlama çerçevesine sahip bilgisayar ve disk kümelerine büyük miktarda veri dağıtılmasını sağlar. Apache Hadoop'un üstüne topluluk tarafından işletilen veri işleme, güvenlik, erişim yönetimi, performans izleme ve diğer yardımcı yazılımlar kurulması bu tez kapsamında gerçeklenecektir. Kararlı bir Büyük Veri işleme yazılımı üretmek ve dağıtım yapmak için, yazılım paketlerinin en yeni ve uyumlu sürümlerinin bir araya getirilmesini sağlayan bir sistem kurulmalıdır. Bu tür yazılım seçim sürecinin geliştirilmesi ve otomasyonu ve birim testleriyle doğrulanması bu araştırmanın kapsamıdır. Bu araştırma dahilinde bir araya toplanan uygulamaların hazır kurulu olduğu bir sistem imajı hazırlanarak kullanıma hazır hale getirilecektir. Bu imaj canlı ortamda test edilebilir olduğu gibi sanal/fiziksel disklere kurulumu mümkün olacaktır. The thesis covers the proper installation, configuration and optimization processes of the big data architectures for Linux operating system. The operating system that we will take as a core and customize is based on MILIS Operating System which is currently supported by Akdeniz University Scientific Research Projects Coordination Unit (BAP). Data platform and file system that is planned to be used in this project is well known and widely adapted Apache Hadoop. Apache Hadoop platform enables large volumes of data to be distributed across cluster of computer and disks with a basic programming framework. On top of Apache Hadoop, community-run data processing, security, access management, performance monitoring and other utility software is installed. In order to produce a stable Big Data processing software and distribution, a system should be put in place that includes the latest and compatible versions of the software packages to be assembled together. Development and automation of such software selection process and verification through unit tests is part of this research. In this research, a system image that contains the widely used big data modules is prepared for installation on virtual/physical disks. 107
- Published
- 2020