Search

Kroz rad je opisana povijest razvoja računalnog vida. Objašnjena je arhitektura te princip rada konvolucijskih neuronskih mreža. Za detekciju objekata u stvarnom vremenu korišten je YOLOv3 algoritam, a rad sarži njegov opis kao i usporedbu s dru- gom sličnom konvolucijskom mrežom Fast R-CNN. Napisan je izvršni file koji u Ro- botskom Operacijskom Sustavu pokreće web kameru i YOLO što rezultira detekcijom objekata. Provjeravala se ovisnost točnosti detekcije objekta o njegovoj udaljenosti od web kamere. Najvažniji zaključak je da detekcija ovisi o kontekstu i ostalim objektima u slici. The thesis describes the history of computer vision development. The architecture and working principles of convolutional neural networks are explained. The YOLOv3 algorithm was used for object detection in real time and the paper summarizes its description as well as a comparison with another similar convolutional network - Fast R-CNN. An executable file has been written in which the Robot Operating System starts the web camera and YOLO. The dependence of object detection accuracy on its distance from the web camera was checked. The most important conclusion is that detection depends on the context and other objects in the image.

Ovaj rad rješava problem lateralnog odstupanja robota koje dolazi kod pravocrtnog gibanja robota sa zadanim smjerom. Do odstupanja dolazi zbog proklizavanja rob- ota, nepreciznosti kotača, motora ili baterije ili vanjskih fizičkih čimbenika. Ovaj rad rješava taj problem koristeći vizualne značajke dobivene od kamere. Rješenje je napisano u programskom jeziku Python, na mobilnom Husky robotu u ROS okruženju koje nudi potpunu integraciju s Husky robotom i mnogim korisnim alatima kao što su Gazebo simulator ili RViz vizualizator. Iako je eksperimentalni dio rada demonstriran u simulatoru s različitim hiperparametrima, na različitim mapama i na Husky robotu, rješenje je primjenjivo na fizičku okolinu i na sve mobilne robote koji podržavaju ROS. Rješenje implementira obradu slike u stvarnom vremenu pomoću Lucas-Kanade al- goritma optičkog toka. Taj algoritam pronalazi značajke sa slike te traži njihov po- mak u odnosu na sljedeću dobivenu sliku. Iz tih značajki se izračunava točka Fokusa ekspanzije (FOE), koja predstavlja nepomičnu točku na epipolarnoj liniji vektora op- tičkih tokova značajki. Kako robot lateralno odstupa tako se i FOE mijenja. Uzimajući to u obzir, pronalazi se smjer te veličina lateralnog odstupanja robota te se izračuna nova kutna brzina koja se šalje robotu kako bi ispravio putanju i eliminirao lateralno odstupanje. This thesis solves the problem of lateral drifting of the robot that occurs when the robot moves in a straight line with a given direction. Drifting occurs due to robot slippage, wheel, motor or battery inaccuracies, or external physical factors. This pa- per solves this problem using visual features obtained from the camera. The solution is written in Python programming language, on a mobile robot Husky in the ROS framework that offers full integration with Husky robot and many useful tools such as Gazebo simulator or RViz visualizer. Although the experimental part of he work was demonstrated in a simulator with different hyperparameters, on various maps and on a Husky robot, the solution is also applicable to the physical environment and to all mobile robots that support ROS. The solution implements real-time image processing using the Lucas-Kanade optical flow algorithm. This algorithm finds the features from the image and looks for their offset relative to the next image obtained. Using these features, the Focus of Expansion (FOE) is calculated, which is a fixed point on the epipolar line of the feature’s optical flow vector. As the drifting occurs, FOE is also changing. Taking that into account, the direction and magnitude of the lateral drift of the robot are found and the new angular velocity is calculated. The velocity is sent the robot to correct the trajectory and eliminate the lateral drift.

Autonomno upravljanje je vrlo aktivna tema u moderno doba, te predstavlja znatni skok u intustriji. Jednostavni zadatak upravljanja robota sa diferencijalnim pogonom pomoću svog okruženja sadrži brojne tehničke prepreke. U radu gledamo problem perspektive, tehnike obrade slike, te moguća rješenja za automatsku detekciju točke beskonačnosti. Algoritam detekcije točke beskonačnosti je sam od sebe koristan u brojnim primjenama, te predloženo rješenje je testirano u stvarnom okruženju te komentirane su prednosti i mane. Ukupni algoritam radi na edukacijskom robotu Turtlebot, uz Robotski operacijski sustav (ROS). Gledamo rad Ros-a, postavljanje node-a, komunikacijska struktura, te simulacijsko okruženje. Konačno simuliramo robota, te pratimo njegov simulirani rad, te komentiramo njegov rad, poteškoće rada sa simulacijom, prednosti i mane algoritma kao moguća poboljšanja. Autonomous management is a very active topic in modern times, and represents a significant leap in the industry. The simple task of controlling a differential-driven robot using its environment contains a number of technical obstacles. In this paper, we look at the problem of perspective, image processing techniques, and possible solutions for automatic infinity point detection. The vanishing point detection algorithm is in itself useful in a number of applications, and the proposed solution has been tested in a real environment and the advantages and disadvantages have been commented on. The overall algorithm runs on the Turtlebot educational robot, in addition to the Robotic Operating System (ROS). We look at Ros’s work, node setup, communication structure, and simulation environment. Finally, we simulate the robot, and monitor its simulated operation, and comment on its operation, the difficulties of working with the simulation, the advantages and disadvantages of the algorithm as possible improvements.

Senzorski sustavi koje čine kombinacija laserskih senzora i kamera dobiva na popularnosti kao izbor za percepciju okoline na mobilnim robotima. Kako bi se ostvarila uspješna i pouzdana percepcija okoline potrebno je povezati informacije iz oba senzora. Također je potrebno kalibrirati senzore, odnosno pronaći njihov odnos u prostoru. Zadatak rada je dobiti informacije o udaljenosti prepreka za oba senzora te odrediti njihov odnos u svrhu fuzije podataka. U ovom radu je prvo dan uvod u Robotski operacijski sustav (ROS). Zatim slijedi objašnjenje metode korištene za kalibraciju kamere i objašnjenje parametara dobivenih kalibracijom. Na kraju je opisana metoda kalibracije lidara i stereo kamere te su prikazani rezultati dobiveni fuzijom podataka iz oba senzora. Sensor system that consists of a combination of laser sensors and cameras has gained in popularity as a choice for environment perception for mobile robots. To ensure a successful and reliable environment perception it is necessary to fuse information from both sensors. Also it is required to perform sensor calibration, in other words find their spatial relation. The goal of this thesis is to acquire information about the distance of obstacles from both sensors and to determine their relation for the purpose of data fusion. In this thesis, firstly you are given an introduction to Robot Operating System (ROS). Then follows the explanation of the method used for camera calibration and the explanation of parameters acquired from the calibration. Finally, the method used for calibrating lidar and stereo camera, is explained and results obtained from data fusion are presented.

U ovom radu obrađena je funkcionalnost i instalacija program Unity, ROS-a, Gazebo-a i TurtleBot3 paketa. Slijedeće preuzima se URDF model TurtelBot3 Burger robota iz ROS-a u Unity te pomoću njega se izgrađuje odgovarajuća scena za kontrolu robota u Gazebo-u iz Unity-a preko ROS most poslužitelja. Nakon toga implementira se vizualizacija LIDAR-a i stanja baterije robota u Unity-u te se cijela aplikacija uspješno povezuje s pravim TurtleBot3 Burger robotom. Zatim slijedi instalacija potrebnih sustava za razvoj aplikacije na Microsoft HoloLens 1 platformu. Konfiguriraju se UI gumbi i sučelje Unity projekta prikladno sučelju HoloLens-a. Implementiraju se SLAM i navigacija TurtleBot3 robota na udaljenom Ubuntu računalu. Završno aplikacija se prebacuje na Microsoft HoloLens platformu te se testiraju sve funkcionalnosti. This paper deals with the functionality and installation of Unity, ROS, Gazebo and TurtleBot3 packages. Next, the URDF model of the TurtelBot3 Burger robot is imported from ROS to Unity, and it is used to build the appropriate scene for robot control from Unity via the ROS bridge server to Gazebo. After that, the visualization of LIDAR and the state of the robot battery is implemented in Unity. Afterwards the entire application is successfully connected to a real TurtleBot3 Burger robot. This is followed by the installation of the necessary systems for application development on the Microsoft HoloLens 1 platform. The UI buttons and the Unity project interface are configured to match the HoloLens interface. SLAM and TurtleBot3 robot navigation are implemented on remote Ubuntu PC. Finally, the application is transferred to the Microsoft HoloLens platform and all functionalities are tested.

Autonomno parkiranje vozila je jedan od problema kojime se bave mnogi inžinjeri raznih proizvođača vozila. Potencijalno rješenje predstavlja korištenje senzora za udaljenost. Leddar senzori tvrtke LeddarTech predstavljaju pomak u industriji zbog svoje preciznosti i pristupačne cijene te su jedan od potencijalnih kandidata za senzore koji će se koristiti za autonomno parkiranje vozila. Cilj rada je osmisliti čvor u ROS-u, koji će primiti poziciju slobodnog mjesta na privremenoj karti, s algoritmom koji će proračunavati kutnu i linearnu brzinu kako bi se vozilo u simulaciji kretalo određenom putanjom i uspješno parkiralo na slobodno parkirno mjesto. Prije samog parkiranja je potrebno stvoriti privremenu mapu korištenjem već gotovog gmapping paketa za ROS i algoritmom iz završnog rada na temu Izgradnja kratkoročne karte Leddar senzorima za autonomno parkiranje vozila. Autonomous vehicle parking is one of many problems worked on by a large number of engineers from different vehicle manufacturers. A potential solution appears in the use of proximity sensors. Leddar sensors, made by a company called LedarTech, represent a step forward in the industry of sensors because of their accuracy and affordable price. Those characteristics make them one of potential candidates for proximity sensors used in autonomous vehicle parking. The goal of this thesis is to create a ROS node which will subscribe to a message containing coordinates of a vacant parking spot and calculate the linear and angular velocity necessary for a particular path in order to park the vehicle. Before the act of parking the vehicle, it is necessary to create a temporary map using the gmapping ROS package and using the algorithm created as a part of another thesis called Building a short term map using Leddar sensors.

Mapiranje je jedan od ključnih zadataka kada su u pitanju mobilni roboti. U prošlosti, mapiranje prostora je izvedeno koristeći precizne, ali i skupe senzore. Razvojem elektronike je omogućilo nabavu sličnih senzora po prihvatljivijoj cijeni. U ovom radu, zadatak je izgradnja karte nepoznatog prostora koristeći mobilni robot, specifično Turtlebot3 Burger. Robot je opremljen laserskim senzorom LDS-01 pomoću kojeg stvara 2D kartu prostora koristeći već poznate SLAM metode. U radu je dan uvod u Robotski operacijski sustav (ROS), opis robota koji je korišten te je objašnjen način na koji je mapiranje prostora postignuto. Na kraju su prikazani rezultati dobiveni različitim metodama. Mapping is one of the key tasks when it comes to mobile robots. In the past, map building was performed using accurate, but expensive sensors. As the electronics development grew, so did the availability of similar sensors at a more affordable price. In this paper, the task was to build a map of an unknown area using a mobile robot, specifically Turtlebot3 Burger. The robot is equipped with a LDS-01 sensor with which it can create a 2D map of the environment using already known SLAM methods. In the paper you are given an introduction to Robot Operating System (ROS), a description of the robot used for the task and an explanation of how the map building was achieved. The results of the various SLAM methods are shown in the end.

Ovaj rad bavi se problemom izrade kratkotrajne mape solid-state LiDAR senzorima i pronalaska parkirnog mjesta temeljem iste. Implementirana je detekcija parkirnog mjesta u simuliranom okruženju i demonstrirana performansa solid-state LiDAR senzora. Također je obrađeno uhodavanje konkretnih senzora tvrtke Leddar u okviru sustava ROS i time omogućena migracija sustava na pravo vozilo. This thesis is concerned with locating a parking spot using a solid-state LiDAR generated short-term map. Detection of a parking spot is implemented in a simulated environment demonstrating performance of solid-state LiDAR sensors. In addition, migration to a real vehicle is enabled by setting-up solid-state LiDAR sensors, provided by Leddar Technologies, in the context of ROS.

Proširena stvarnost jedna je od najnovijih tehnologija koja se pojavila na tržištu. U zoru svake nove tehnologije, pa tako i proširene stvarnosti, uvijek istražujemo razne primjene, pa tako i ova aplikacija. Aplikacija se sastoji od dva dijela: vizualizacije, koja se vrti na Microsoft Hololens naočalama; i simulacije, koja se vrti u Gazebo aplikaciji na povezanom serveru. Unutar aplikacije moguće je odabirati i pomicati robote, i tako na jednostavan način vizualizirati ponašanje robota. Jedna od primjena ove aplikacije moguća je u dizajnu robota, gdje je na jednostavan ´ način moguće isprobavati dizajn prije proizvodnje, te ga po potrebi modificirati. Augmented reality (AR) is one of the newest technologies to hit the market. In the dawn of every new technology, and so AR too, we always explore different applications, and so this app too. App consists of two parts: visualization, that runs on Microsoft Hololens glasses; and simulation, that runs on Gazebo app on a connected server. Inside the app, it’s possible to select and move robots, and so in a simple way visualize the behaviour of robots. One of the applications of this app is possible in robot design, where in a simple way it’s possible to try out the design before manufacturing, and to modify it if needed.