Search

Bu tezin amacı, iki ayaklı insansı bir robot için bir insanın eylemlerini taklit edebilecek tamamen bağımsız bir itme-kurtarma kontrol sistemi tasarlamak ve robota uygulamaktır. Bu çalışmada, dış kuvvetlerden ve itmelerden etkilenen iki ayaklı insansı robotların itme-kurtarma problemine odaklanılmıştır. İnsansı robotlar denge açısından yapısal olarak kararsız olduklarından dolayı bu problem robotlarda önemli sorun olarak ortaya çıkmaktadır. Robotlarda, itme-kurtarma kontrolörleri ayak bileği, kalça ve adım olmak üzere 3 stratejiden oluşmaktadır. Bu stratejiler, insanların denge bozukluğu durumlarında gösterdikleri biyomekanik tepkilerdir. Bu tezde, insansı robotların ayakta dururken ya da yürürken dengede kalabilmesi ve dış kuvvetlerden kaynaklanabilecek denge bozukluklarının önlenmesi için aktif bir denge kontrolü sunulmuştur. Buna ilişkin yapılan çalışmada hem simülâsyon hem de gerçek dünya testleri yapılmıştır. Çalışmanın simülâsyon testleri Webots ortamında 3 boyutlu modeller ile gerçekleştirilmiştir. Gerçek dünya testleri ise Robotis-OP2 insansı robot üzerinde yapılmıştır. Robot üzerinde bulunan sensörlerden jiroskop, ivmeölçer ve motor verileri kaydedilip, robota harici itme kuvveti uygulanmıştır. Kaydedilen bu veriler ve ayak bileği stratejisi kullanılarak robotun dengesi sağlanmıştır. Bunun için klasik kontrol yöntemi olarak PD kontrolör ve tahmine dayalı olan Model Öngörülü Kontrol (MÖK) yöntemi ile de robotun kontrolü sağlanmıştır. Bununla birlikte robotun tamamen otonom hale getirilebilmesi için Derin Pekiştirmeli Öğrenme (DPÖ) algoritmalarından Derin Q Ağı (DQA) ve Çift Derin Q Ağı (ÇDQA) yöntemleri uygulanmıştır. Bu uygulamalarda robota hem önden hem arkadan kuvvetler uygulanmıştır. Simülâsyon ortamında yapılan test çalışmalarında robotun her iki durumda da gelen itmelere karşı ayakta kaldığı gözlemlenmiştir. Uygulanan dört farklı kontrol yönteminden en iyi sonuçları, ÇDQA algoritması vermiştir. Gerçek ortam testlerinde alınan sonuçlar simülâsyon sonuçlarına paralellik göstermiştir. The aim of this thesis is to design and implement a completely independent push-and-rescue control system for a bipedal humanoid robot that can imitate the actions of a human. In this study, the thrust-recovery problem of bipedal humanoid robots affected by external forces and thrusts is focused. Since humanoid robots are structurally unstable in terms of balance, this problem emerges as an important problem in robots. In robots, push-rescue controllers consist of 3 strategies: ankle, hip and step. These strategies are biomechanical responses that people show in cases of balance disorder. In this thesis, an active balance control is presented in order to keep the humanoid robots in balance while standing or walking and to prevent balance disorders that may be caused by external forces. In this study, both simulation and real-world tests were conducted. The simulation tests of the study were carried out with 3D models in the Webots environment. Real-world tests were conducted on the Robotis-OP2 humanoid robot. The gyroscope, accelerometer and motor data from the sensors on the robot were recorded and external thrust was applied to the robot. The balance of the robot was ensured by using these recorded data and the ankle strategy. For this, the control of the robot is provided with the PD controller as the classical control method and the Model Predictive Control (MPC) method, which is based on prediction. In addition, Deep Q Network (DQN) and Double Deep Q Network (DDQN) methods from Deep Reinforcement Learning (DRL) algorithms have been applied in order to make the robot fully autonomous. In these applications, both front and rear forces were applied to the robot. In the test studies carried out in the simulation environment, it has been observed that the robot survives the pushes in both cases. The DDQN algorithm gave the best results from the four different control methods applied. The results obtained in the real environment tests showed parallelism with the simulation results.

Conference Name: 2022 30th Signal Processing and Communications Applications Conference (SIU) Date of Conference: 15-18 May 2022 Exploration is maintained in continuous control using undirected methods, in which random noise perturbs the network parameters or selected actions. Exploration that is intrinsically driven is a good alternative to undirected techniques. However, it is only studied for discrete action domains. The intrinsic incentives in the existing reinforcement learning literature are unified together in this study by a deterministic artificial goal generation rule for off-policy learning. The agent gains additional reward through this practice if it chooses actions that lead it to useful state spaces. An extensive set of experiments indicates that the introduced artificial reward rule significantly improves the performance of the off-policy baseline algorithms. Keşif, rastgele gürültünün ağ parametrelerini veya seçilen eylemleri bozduğu, yönlendirilmemiş yöntemler kullanılarak sürekli kontrolde sürdürülmektedir. İçsel olarak yönlendirilen keşif, yönlendirilmemiş tekniklere iyi bir alternatiftir ancak yalnızca ayrık eylem alanları için incelenmiştir. Mevcut pekiştirmeli öğrenme literatüründeki içsel teşvikler, bu çalışmada politika-dışı öğrenme için deterministik bir yapay hedef oluşturma kuralıyla birleştirilmiştir. Ajan, kendisini yararlı durum uzaylarına götüren eylemleri seçerse, bu uygulama aracılığıyla ek bir ödül kazanmaktadır. Kapsamlı bir deney seti, tanıtılan yapay ödül kuralının, politika-dışı temel algoritmaların performansını önemli ölçüde geliştirdiğini göstermektedir.

Conference Name: 2022 30th Signal Processing and Communications Applications Conference (SIU) Date of Conference: 15-18 May 2022 The Batch-Constrained Q-learning algorithm is shown to overcome the extrapolation error and enable deep reinforcement learning agents to learn from a previously collected fixed batch of transitions. However, due to conditional Variational Autoencoders (VAE) used in the data generation module, the BCQ algorithm optimizes a lower variational bound and hence, it is not generalizable to environments with large state and action spaces. In this paper, we show that the performance of the BCQ algorithm can be further improved with the employment of one of the recent advances in deep learning, Generative Adversarial Networks. Our extensive set of experiments shows that the introduced approach significantly improves BCQ in all of the control tasks tested. Moreover, the introduced approach demonstrates robust generalizability to environments with large state and action spaces in the OpenAI Gym control suite. Toplu-Kısıtlı Q-öğrenme (TKQ) algoritmasının, ekstrapolasyon hatasının üstesinden geldiği ve derin pekiştirmeli öğrenme ajanlarının önceden toplanmış sabit bir deneyim kümesinden öğrenebildiği gösterilmiştir. Ancak, veri oluşturma modülünde kullanılan Koşullu Değişken Özkodlayıcılar (KDÖ) sebebiyle TKQ algoritması daha düşük bir değişken sınırını optimize etmektedir ve bu nedenle, büyük durum ve eylem uzaylarına sahip ortamlara genelleştirilememektedir. Bu bildiride, derin öğrenmedeki son gelişmelerden biri olan Üretken Çekişmeli Ağlar’ın (ÜÇA) kullanılmasıyla TKQ algoritmasının performansının daha da geliştirilebileceği gösterilmektedir. Kapsamlı deneyler, tanıtılan yaklaşımın test edilen her bir kontrol görevinde TKQ’yu önemli ölçüde geliştirdiğini göstermektedir. Ayrıca tanıtılan yaklaşım, OpenAI Gym kontrol setindeki geniş durum ve eylem boşluklarına sahip ortamlara hızlı bir genelleştirilebilirlik sergilemektedir.

Prematüre retinopatisi (ROP), dünya çapında çocukluk çağı körlüğünün önde gelen nedenlerindendir. Hastalık teşhisinin tedavi kararı öncelikle retina damarlarının genişlemesi ve kıvrımlanması olarak tanımlanan ROP hastalığının en önemli komponenti olan Plus hastalığın varlığına bağlıdır. Bununla birlikte, Plus hastalığın klinik tanısı oldukça öznel ve değişkendir. Bu çalışmada prematüre bebeklerden alınan göz dibi görüntüleri ile tedavi gerektiren ROP teşhisini ve Plus Hastalık teşhisini, DRL (Takviyeli Derin Öğrenme) algoritması kullanılarak saptamak amaçlanmıştır.Ankara Gazi Üniversitesi Göz Hastalıkları Anabilim Dalı ( “E-90005124-010.99-518397” numaralı etik kurulu kararı) ve Aydın Adnan Menderes Üniversitesi Göz Hastalıkları Anabilim Dalı (“Karar:15 Protokol No:2020/48” numaralı etik kurulu kararı) tarafından sağlanan veri seti kullanılmıştır. Sınıflandırma modeli tasarlanırken eğitim için 0.80 ve test için 0.20 veri seti ayrımı yapılmıştır. Veri setinin az olması sebebi ile görüntü büyültme, küçültme, çevirme gibi veri artırımı metotları kullanılarak da işlemler tekrarlanmıştır. Çalışmamızda veri setimizin multiclass eğitim için yeterli sayıda olmaması sebebi ile sınıflandırma binary class olarak ROP ve NOROP şeklinde yapılmıştır. Çalışma kapsamında 98 bebeğe ait 1917 adet göz dibi görüntüleri JPEG formatında DQN (Deep Q Network) algoritması ile 0.05 dengesizlik ölçütü ile değerlendirildi ve 0.919 F1 skoru, 0.913 Doğruluk, 0.868 keskinlik, 0.971 hassaslık sonuçları elde edilmiştir. Çalışmamız bir dış uç(endpoint) ile web ve mobil uygulamayla entegre edilerek bir karar destek sistemi geliştirilmiştir(Kartal, 2022).Yapay zekâ algoritmalarından DRL kullanarak sadece iki ayrı ROP tarama ve tedavi merkezinden elde edilen kısıtlı miktardaki göz dibi veri seti ile tedavi gerektiren ROP ve Plus Hastalık teşhisini 0.913 doğruluk oranı ile saptanmış olması umut vericidir. Daha geniş veri setleri ve farklı algoritmalarla yapılacak çalışmaların gelecekte ROP tarama imkanına ulaşamayan bebeklerin fotoğraflarından teşhis ve tedaviye ulaşmalarını kolaylaştıracağını düşünmekteyiz. Retinopathy of prematurity (ROP) is one of the leading causes of childhood blindness worldwide. The treatment decision of the diagnosis of the disease primarily depends on the presence of Plus disease, which is the most important component of ROP disease, which is defined as the enlargement and folding of the retinal vessels. However, the clinical diagnosis of Plus disease is highly subjective and variable. In this study, it was aimed to determine the diagnosis of ROP and Plus Disease, which requires treatment with the fundus images taken from premature babies, by using the DRL (Reinforcement Deep Learning) algorithm.Provided by Ankara Gazi University Department of Ophthalmology (ethics committee decision numbered \"E-90005124-010.99-518397\") and Aydın Adnan Menderes University Department of Ophthalmology (ethics committee decision numbered: 15 Protocol No: 2020/48) data set is used. While designing the classification model, a data set separation of 0.80 for training and 0.20 for testing was made. Due to the small size of the data set, the operations were repeated using data augmentation methods such as image enlargement, reduction, and rotation. In our study, the classification was made as ROP and NOROP as binary class, since our data set was not sufficient for training. Within the scope of the study, 1917 fundus images of 98 babies were evaluated in JPEG format with DQN (Deep Q Network) algorithm with 0.05 imbalance criteria and 0.919 F1 score, 0.913 Accuracy, 0.868 sharpness, 0.971 sensitivity results were obtained. A decision support system has been developed by integrating our work with an external endpoint and web and mobile application(Kartal, 2022).It is promising that the diagnosis of ROP and Plus Disease, which requires treatment, was detected with an accuracy rate of 0.913, with a limited amount of fundus data set obtained from only two separate ROP screening and treatment centers using DRL, one of the artificial intelligence algorithms. We think that studies with larger datasets and different algorithms will facilitate the diagnosis and treatment of babies who cannot be screened for ROP in the future.

Derin öğrenmedeki kayda değer ilerleme pekiştirmeli öğrenmeyi de önemli ölçüde etkilemiştir ve her iki yöntemin birleşimi olan Derin Pekiştirmeli Öğrenme (DPÖ) yöntemini ortaya çıkarmıştır. DPÖ'nün bir veri setine ihtiyaç duymaması ve insan uzmanların performansını aşabilecek potansiyele sahip olması yapay zeka alanında önemli gelişmeler olmasına yol açmaktadır. Ancak bir DPÖ ajanı eğitilirken ortam ile çok sayıda etkileşime girmesi gerektiğinden, doğrudan gerçek ortamda eğitilmesi, uzun eğitim süresi, yüksek maliyet ve oluşabilecek maddi hasarlardan dolayı zordur. Bu sebepten dolayı gerçek dünya uygulamaları için DPÖ ajanlarının eğitiminin büyük bir kısmı ya da tamamı sanal ortamlarda gerçekleştirilmektedir. Yapılan bu çalışmada, seyrek ödüllerin bulunduğu ayrık yapıdaki bir sanal ortamda eğitilen DPÖ ajanının ağ parametreleri kullanılarak bir mobil robotun, gerçek dünya ortamında hedefine ulaşma problemine odaklanılmıştır. DPÖ ajanının eğitimi için Minimalistic Gridworld sanal ortamı kullanılmıştır ve bilindiği kadarıyla bu çalışma Minimalistic Gridworld sanal ortamı için ilk gerçek dünya uygulamasıdır. Ortam genişlediğinde, klasik DQA algoritmasına göre daha yüksek performansa sahip bir DPÖ algoritması oluşturulmuştur. Gerçek dünya uygulamasında kullanılmak üzere düşük maliyetli bir mobil robot tasarlanmıştır. Önerilen tasarımda mobil robot, merkezi bir bilgisayardan uzun menzilli olarak kontrol edilebilir yapıdadır. Sanal ortam ile gerçek ortamı eşleştirebilmek için mobil robot ve hedefin pozisyonunu ile mobil robotun rotasyonunu tespit edebilen algoritmalar oluşturulmuştur. Sanal ortamda eğitilen modelin, gerçek ortamda daha verimli şekilde kullanılması sağlanmıştır. Sonuç olarak, sadece ortamın üstten görüntüsünü kullanan, başlangıç pozisyonu ve rotasyonundan bağımsız olarak hedefine ulaşabilen DPÖ tabanlı bir mobil robot geliştirilmiştir. Bu çalışmanın gerçek ortam deneylerinde DPÖ tabanlı mobil robot, farklı başlangıç koşullarıyla ile başlatılmış ve mobil robot tüm deneylerde hedefe başarılı bir şekilde ulaşabildiği gözlenmiştir. The remarkable progress of deep learning has also significantly affected the reinforcement learning and resulted in deep reinforcement learning (DRL) method, which is a combination of both methods. DRL does not need a data set and has the potential beyond the performance of human experts, resulting in significant developments in the field of artificial intelligence. However, because a DRL agent has to interact with the environment a lot while it is trained, it is difficult to be trained directly in the real environment due to the long training time, high cost, and possible material damage. Therefore, most or all of the training of DRL agents for real-world applications is conducted in virtual environments. In this study, a DRL agent was trained in a discrete virtual environment with sparse rewards and focused on the real-world targeting problem of a mobile robot using these DRL network parameters. The Minimalistic Gridworld virtual environment was used for the training of the DRL agent, and as far as is known, this study is the first real-world application for the Minimalistic Gridworld virtual environment. A DRL algorithm with higher performance than the classical Deep Q-network algorithm was created with the expanded environment. A low-cost mobile robot was designed for use in a real-world application. In the proposed design, the mobile robot can be controlled from a central computer in a long range. To match the virtual environment with the real environment, algorithms that can detect the position of the mobile robot and the target, as well as the rotation of the mobile robot was created. The model trained in the virtual environment was enabled to be used more efficiently in the real environment. As a result, a DRL-based mobile robot was developed which used only the top view of the environment and could reach its target regardless of its initial position and rotation. In the real environment experiments of this study, the DRL-based mobile robot was started with different initial conditions and it was observed that the mobile robot could successfully reach the target in all experiments.

Conference Name: 2021 29th Signal Processing and Communications Applications Conference (SIU) Date of Conference: 9-11 June 2021 Bu bildiride, i) yapay zeka ile öğrenme amaçlı geliştirilen DeepRTS oyunu için makro aksiyonların kullanıldığı bir çevre oluşturulmuş ve ii) belirli pekiştirmeli öğrenme algoritmaları, üzerlerinde gerekli değişiklikler yapılarak bu çevre üzerinde eğitimleri sağlanmış ve ilgili performans analizleri yapılmı ştır. Gerçek hayat planlamalarıyla paralellik çizme ve görece düşük donanımlarla bir gerçek zamanlı strateji oyununu oynama amacıyla DeepRTS oyunu üzerinde değişikliklere gidilmiştir. ˙Ilk olarak, bir makro aksiyon seti hazırlanmış ve ajanların yalnızca bu set içerisinden aksiyon alabilmesi sağlanmıştır. ˙Ikinci olarak, gerçek hayat planlamalarına paralel olarak sistem herhangi bir anda komut alabilecek bütün birimler için aksiyon alınabilecek duruma getirilmiştir. Bu durum makro aksiyonların farklı zaman adımları sürmesi ile birlikte ele alındığında, herhangi bir anda birden fazla aksiyonun başlayıp, birden fazla aksiyonun tamamlanmasına olanak sağladığı için klasik pekiştirmeli öğrenme probleminden bir miktar ayrılmıştır. Ayrıca, literatürde bilinen kredi atama problemine farklı bir boyut ekleyerek daha karmaşık hale getirmektedir. Ajanların eğitiminde kullanılma amacı ile ofansif, defansif ve rastgele kural tabanlı ajanlar oluşturulmuş ve pekiştirmeli öğrenme tabanlı ajanların eğitimleri sırasında dönüşümlü şekilde düşman ajan olarak kullanılmıştır. Eğitimi tamamlanan ajanların birbirlerine karşı oyuncu-1 ve oyuncu-2 olarak performansı raporlanmıştır. In this paper, i) we build a framework using macro actions on top of DeepRTS, which is specifically developed for learning purposes, and ii) we train a number of deep reinforcement learning based agents and then we conduct a detailed performance analysis on the performance of these agents. We make changes on the publicly available version of DeepRTS to make it parallel to real life planning problems and make it trainable with a decent hardware. Firstly, we create a set of macro actions based on human heuristics and we train our agent using only these actions. Secondly, similar to the real life planning problem, we change the problem such that we simultaneously take actions for all available unit at a time step. When we consider this situation together with duration of macro actions being different, multiple actions may start and multiple actions ends at any time step. Therefore, the problem draw apart from classical reinforcement learning problem in a certain amount. In addition, the credit assignment problem becomes more sophisticated since each action lasts a duration and at any time multiple actions are conducted. We create three rule based agents to use them as enemy players in training of our agents. We report the performance of the agents as player-1 and player-2 against each others.