Search

Računalni vid ima široku primjenu u stvarnom svijetu. Semantička segmentacija jedan je od njegovih temeljnih, ali i najzanimljivijih, zadataka. Ovaj rad predstavlja CLIP multimodalni sustav za ugrađivanje slika i teksta u isti vektorski prostor te ga iskorištava za generiranje jezičnih ugrađivanja koja se dalje koriste za semantičku segmentaciju. U tu svrhu prenamjenjuje se, modificira i nadograđuje naduzorkovateljem predtrenirani ConvNext-Base vizualni koder CLIP modela koji zatim individualne piksele kodira u isti vektorski prostor kao i CLIP model te, na temelju sličnosti tih kodiranja, ih klasificira. Korišten je CamVid skup podataka. Postupak izgradnje, rezultati i evaluacija pažljivo su i precizno opisani u radu. Dodatno su opisanu dijelovi i postupci treniranja dubokih modela, semantička segmentacija te korištene tehnologije i metrike. Computer vision has found many applications in the real world. Semantic segmentation is one of its most basic components, but arguably one of the most interesting too. This paper presents the multimodal CLIP model for embedding images and text into the same vector space and uses it to generate language embeddings to further use in semantic segmentation. To that purpose, its ConvNext-Base visual tower is repurposed, modified and upgraded with an upsampling module so that it may embed individual pixels into the aforementioned space and exploit that for classification. All of this is done on the CamVid data set. The process of building such a model, evaluating it and the results are described with precision and detail. Additionally described are: deep neural network training, semantic segmentation and the used technologies and metrics.

Današnji modeli za semantičku segmentaciju postižu vrlo dobre rezultate na određenim podatcima, no pomak domene je i dalje neriješen problem u računalnom vidu. U ovome radu proučavamo posljedice pomaka domene u kontekstu sintetičkih podatka te koje su koristi i mane u korištenju sintetičkih podataka. U radu su opisani glavni pojmovi u području dubokog učenja relevantnih za ovu tematiku poput neuronskih mreža, konvolucijskih i semantičkih modela. Također je opisano poopćenje domene, prilagođavanje domene i pojam prijenosnog učenja kao bitne pojmove u kontekstu pomaka domene. Korišteni podatci su GTA i Cityscapes, a arhitektura je SwiftNet s ResNet-18 okosnicom. Kod je napisan u programskom jeziku Python 3 koristeći biblioteke NumPy i PyTorch. Cijeli kod je pokrenut preko platforme Kaggle koja omogućava pokretanje koda na GPU jedinicama. State of the art semantic segmentation models perform very well on specific datasets, but domain shift is still an unresolved problem in computer vision. In this paper we observe the effects of domain shift in a specific case of synthetic data and we discuss both the pros and cons of using said data for training semantic segmentation models. The paper goes over the basics of deep learning relevant to the context, such as neural networks, convolutional and semantic segmentation models. Furthermore, the paper also goes over domain generalization, domain adaptation and transfer learning as important concepts in relation to domain shift. Datasets used in this paper are GTA and Cityscapes, while the used architecture is SwiftNet with a ResNet-18 backbone. The code was written in Python 3 using NumPy and PyTorch libraries. The whole project was run on the Kaggle platform, which allows users to run their Python code on powerful GPUs.

U ovom radu primijenjene su metode dubokog učenja za segmentaciju anomalija. Specifično je korišten model arhitekture Swiftnet sa s ljestvičastim naduzorkovanjem. Nadodane su na njega tri metode detekcije anomalija: maksimalni softmax, maksimalni logit i entropija Takav je model onda korišten za detekciju anomalija na cesti. In this work, deep learning methods were applied for anomaly segmentation. The Swiftnet architecture model with ladder oversampling was specifically used. Three anomaly detection methods were added to it: max-softmax, max-logit and entropy. Such a model was then used to detect anomalies on the road.

U diplomskom radu implementiran je sustav računalnog vida kojim se pokušalo riješiti problem semantičke segmentacije iz perspektive pješaka u namjeri da se koristi i izvršava u stvarnom vremenu. Naglasak je stavljen na omjer između učinkovitosti i uspješnosti, odnosno tražio sam model koji ima dobru točnost, ali je malog broja parametara zbog brzog izvršavanja. Takav model je DDRNet-23-slim, koji postiže rezultate koji su jedni od najboljih po omjeru brzine i točnosti. Preuzet je model koji je prethodno treniran na ImageNet i Cityscapes skupovima podataka, a do-treniran je koristeći Sidewalk Imagery skupu podataka. Najviša točnost koju je model dosegao prilikom treniranje je 51% mIoU. Različite kombinacija super-parametara i transformacija nad slikama skupa za treniranje nisu pomogle zbog male veličine skupa za treniranje. Model je zatim optimiziran za pokretanje pomoću PyTorch Android biblioteke na Android operativnom sustavu. Pokretanjem modela na Android uređaju moglo se zaključiti da točnost modela nije dovoljno dobra kako bi se uspješno mogao koristiti, iako je imao zadovoljavajuću brzinu izvođenja. Rezultati su uvelike odstupali od onih na računalu. Problem najvjerojatnije proizlazi iz optimizacije modela gdje se naruše njegovi parametri, zbog kojih više ne daje iste rezultate. The thesis implements a computer vision system aimed at solving the problem of semantic segmentation from the pedestrian's perspective, with the intention of using and executing it in real-time. The emphasis was placed on the balance between efficiency and effectiveness, that is, a model with good accuracy but a small number of parameters for fast execution was sought. The choice was DDRNet-23-slim, which achieves results that are among the best in terms of speed and accuracy. A pre-trained model on the ImageNet and Cityscapes datasets was used and the Sidewalk Imagery dataset was used to fine-tune the model. The highest accuracy the model achieved during training was 51% mIoU. Different combinations of hyperparameters and transformations on the training set images did not help due to the small size of the training set. The model was then optimized to run using the PyTorch Android library on the Android operating system. Running the model on an Android device showed that the accuracy of the model was not good enough to be successfully used, although it had satisfactory execution speed. The results differed greatly from those on the computer. The problem most likely stems from the optimization of the model, where its parameters are disrupted, causing it to no longer produce the same results.

Autonomna vozila su vozila svjesna vlastite okoline i sposobna samostalnog kretanja u njoj. To im omogućuju razni senzori i algoritmi koji obrađuju njihove podatke. Semantička segmentacija je ključan algoritam učenja autonomnih vozila temeljen na konvolucijskim neuronskim mrežama. Konvolucijske neuronske mreže su posebna vrsta dubokih neuroskih mreža temeljene na prepoznavanju slika. Kako bi se algoritam prilagodio stvarnom svijetu koriste se okruženja koja simuliraju stvarne uvjete okoline. Kada algoritam prođe sve uvjete dane u virtualnom okruženju, tek onda se razmatra testiranje u stvarnoj okolini. CARLA je okruženje koje se koristilo u ovom radu. Rad detaljno opisuje konvolucijske neuronske mreže i njihove prednosti nad navigacijom autonomnih vozila. Autonomous vehicles are vehicles aware of their own environment and capable of independent movement in it. This is made possible by various sensors and algorithms that process their data. Semantic segmentation is a key learning algorithm for autonomous vehicles based on convolutional neural networks. Convolutional neural networks are a special type of deep neural networks based on image recognition. In order to adapt, the algorithm uses simulation of real-world conditions. When the algorithm passes all the conditions given in the virtual environment, only then is testing in the real environment considered. CARLA is the environment used in this paper. The paper describes in detail convolutional neural networks and their advantages over autonomous vehicle navigation.

Tehnološki napredak omogućuje treniranje dubokih modela u razumnom vremenu. Modeli imaju raznolike upotrebe u raznim područjima poput medicine i prometa. Ovaj rad bavi se analizom prometnih scena te određivanjem objekata na slici, a to spada u područje semantičke segmentacije. Za rješavanje tog problema koristi se FC-HarDNet 70 arhitektura koja je pažljivo osmišljena tako da se smanji memorijsko opterećenje modela. FC-Hardnet 70 se pokazao puno efikasnijim od drugih sličnih modela poput DenseNet-a. Za treniranje i evaluaciju korišten je skup podataka CamVid. Opisani su osnovni pojmovi vezani za duboko učenje, korištene tehnologije i komentirani dobiveni rezultati. Technological advance allows us to train deep models in real-time. These models have a variety of uses in many different fields like medicine or traffic. This paper is focused on interpreting and understanding scenes from traffic. That problem is known as semantic segmentation and the main goal is to classify every pixel in the picture to its label. To solve this problem, we used architecture FC-HarDNet 70 which was designed carefully to reduce dynamic random memory access(DRAM). FC-HarDNet 70 has proven to be more efficient than previous models like DenseNets. For training and evaluation purposes we used the CamVid dataset. In this paper, we explained fundamental concepts in deep learning as well as used technologies. In the end, we published and interpreted the given results of the experiment.

Diplomskim radom opisan je problem semantičke segmentacije prirodnih scena riješen dubokim konvolucijskim mrežama koje su detaljno opisane. Objašnjeno je kako neuronska mreža uči te kako konvolucija utječe na rješavanje problema iz domene računalnog vida. Evaluirane su popularne arhitekture semantičke segmentacije U-Net i DeepLab te je naučen model na CamVid skupu podataka koristeći DeepLab arhitekturu. Demonstrira se prevođenje modela u strukturu podataka pogodnu za mobilnu aplikaciju te se implementira mobilna iOS aplikacija s mogućnošću segmentacije scene u realnom vremenu čija funkcionalnost je analizirana na više mobilnih uređaja različitih generacija. The diploma thesis describes the problem of semantic segmentation of natural scenes solved by deep convolutional networks which are described in detail. It is explained how the neural network learns and how convolution helps solve problems from the domain of computer vision. Popular U-Net and DeepLab semantic segmentation architectures were evaluated and a model was learned on a CamVid dataset using the DeepLab architecture. The translation of the model into a data structure suitable for a mobile application is demonstrated, and a mobile iOS application with the possibility of real-time scene segmentation is implemented, the functionality of which has been analyzed on several mobile devices of different generations.

Tema diplomskog rada je detekcija klizišta na LiDAR snimkama temeljem dubokog učenja. Za rješavanje problema korišteni su algoritmi temeljeni na semantičkoj segmentaciji i dubokim konvolucijskim mrežama. Za kvalitetno rješavanje problema potrebno je bilo provesti predprocesiranje izvornih LiDAR snimki kako bi se mogao izvući maksimalan broj informacija i kreirati adekvatan skupa podatka za treniranje i evuliranje modela te isto tako provesti agumentaciju tokom treniranja modela u svrhu povećanja količine podataka. Istraživanjem dostupnih algoritama semantičke segementacije odlučeno je da su mreže arhitekture enkoder-dekoder pogodne za problem kojim se bavimo. U svrhu dobivanja kvalitetnih rezultata proveden je niz eksperimenata gdje su se ispitivale različite konfiguracije enkoder-dekoder arhitekture u jednakim uvjetima. The topic of the thesis is the detection of landslides on LiDAR images based on deep learning. Algorithms based on semantic segmentation and deep convolutional networks were used to solve the problem. To solve the problem well, it was necessary to pre-process the original LiDAR images in order to extract the maximum amount of information and to create an adequate dataset for training and evaluating models, as well as to apply data augmentation during model training to increase dataset size. By researching the available semantic segmentation algorithms, it was decided that the encoder-decoder architecture networks are suitable for the problem of landslide detection. In order to obtain quality of results, a series of experiments were conducted where different configurations of the encoder-decoder architecture were tested under the same conditions.

U ovom radu predstavljeni su rezultati te proces izrade modela dubokog učenja za semantičku segmentaciju pokrova tla u 6 klasa kojemu su ulazni podaci dronske snimke ljudskih naselja. Obrada i priprema ulaznih podataka vršena je u alatu ArcGis Pro, a krajnji model je pogodan za korištenje i primjenu u istom alatu. Ulaz u model je slika rezolucije 256x256 gdje jedan slikovni element odgovara stvarnoj površini 30x30 centimetara. Korištene klase pokrova su: Zgrada, Visoka Vegetacija, Niska Vegetacija, Otvoreno, Popločeno i Voda. Korištena arhitektura temeljena je na mreži U-Net s ResNet50 enkoderskim dijelom. Istrenirani model pokazao je vrlo dobre rezultate uz preciznost na validacijskom skupu od 95.38% te težinski prosjek IoU metrike od 0.9112. This paper presents the results and the process of developing a deep learning model for semantic segmentation of land cover in 6 classes where human settlement drone shots are the input data. Data preprocessing and preparation was performed in ArcGis Pro software, and the final model can be deployed and used within it. The model input is a 256x256 pixel resolution image where one picture element corresponds to a real-world area of 30x30 centimeters. Land cover classes used were Building, High Vegetation, Low Vegetation, Open Terrain, Paved Area and Water Surface. The model is based on U-Net network architecture with a ResNet50 encoder. The final trained model showed promising results with validation set accuracy of 95.38% and a weighted average IoU score of 0.9112.

Predviđanje budućnosti bitan je aspekt umjetne inteligencije. Razmatramo semantičko prognoziranje značajki (F2F), bazirano na modelu za semantičku segmentaciju bez lateralnih veza u naduzorkovanju, što omogućuje F2F modelu da radi samo na značajkama najmanje rezolucije. Nadalje, uspoređujemo nekoliko konvolucijskih arhitektura za F2F prognoziranje. Eksperimenti pokazuju da deformabilne konvolucije postižu bolje rezultate od običnih i dilatiranih konvolucija. Predicting the future is an important aspect of artificial intelligence. We explore feature-to-feature (F2F) semantic forecasting, based on a semantic segmentation model without lateral connections in the upsampling path, which allows the F2F model to work with features of lowest resolution. Furthermore, we compare several convolutional architecture for F2F forecasting. Experiments show that deformable convolutions achieve better results than regular and dilated convolutions.

Ovaj rad bavi se problemom semantičke segmentacije zgrada u satelitskim snimkama. Rezidualne mreže općenito su se pokazale kao dobro rješenje semantičke segmentacije. Zbog toga je za ovaj rad korištena arhitektura SwiftNet s piramidalnom fuzijom, inače stvorena za semantičku segmentaciju u stvarnom vremenu. Ta arhitektura pokazala je vrlo dobre rezultate za segmentaciju snimki u prometu, a jedna od prednosti joj je brzo učenje. Slike satelitskih snimki dolaze iz skupa podataka Inria, od čega je dio iskorišten za treniranje, a dio za validaciju modela. Sve slike smanjene su na pola rezolucije kako bih zadovoljio resursna ograničenja. U radu su objašnjeni osnovni pojmovi potrebni za shvaćanje korištenih metoda nakon čega su izneseni dobiveni rezultati. This paper deals with the problem of semantic segmentation of buildings in satellite imagery. Residual networks have generally proven to be a good solution for semantic segmentation. Therefore, the SwiftNet architecture with pyramidal fusion, otherwise created for real-time semantic segmentation, was used for this paper. This architecture has shown very good results for segmentation of traffic images, and one of its advantages is fast learning. Satellite images come from the Inria data set, part of which was used for training, and part for validating the model. All images are reduced to half resolution in order to meet computing resource constraints. The paper explains the basic terms needed to understand the methods used after which the obtained results are presented.

U sklopu ovog rada opisan je rad umjetnih neuronskih mreža s naglaskom na konvolucijske neuronske mreže. Također su obrađeni pojmovi iz teme semantičke segmentacije. U konačnici su implementirani i testirani modeli semantičke segmentacije biomedicinskih videozapisa i prikazani su rezultati. This paper describes artificial neural networks with an emphasis on convolutional neural networks. The main points of semantic segmentation are also described. In the end, 4 semantic segmentation models were implemented and evaluated and the results were shown.

Zadatak semantičke segmentacije podjela je objekta na prepoznatljive dijelove (segmente) kako bi se mogli lakše analizirati. U radu je objašnjen temelj razvoja takvih modela te naveden predstavnik koji je osnovni gradivni blok mnogih, a to je konvolucijska neuronska mreža. Nakon toga ulazi se u područje segmentacije, gdje su opisani neki postojeći modeli i njihova poboljšanja. Proveden je eksperiment koji koristi unaprijed trenirani Mask R-CNN model iz Detectron2 platforme. Skup podataka za učenje modela odabran je iz osobne kolekcije autorice, a proces pripreme i označavanja detaljno je opisan. Prikazan je i proces evaluacije, odnosno implementacija prilagođenog IoU evaluatora te dobivena rješenja i analiza rezultata. The task of Semantic Segmentation is to divide an object into recognisable parts (segments) so that they can be analysed more easily. This thesis explains the basis for developing such models and lists the representative as the basic building block of many: the Convolutional Neural Network. Afterwards, one enters the segmentation area, where some existing models and their improvements are described. An experiment using a pre-trained Mask R-CNN model from the Detectron2 platform was conducted. The data set for learning the model was selected from the author's collection, and the process of preparation and labelling is described in detail. The evaluation process is also presented, i.e. the implementation of a customised IoU evaluator, and the obtained solutions and analysis of the results are described.

Problem s kojom se ovaj rad bavi je izrada sustava za semantičku segmentaciju zgrada iz satelitskih snimki koji ima sposobnost izvandistribucijske generalizacije. Skup po- dataka na kojem radimo su satelitske slike visoke rezolucije proizašle iz natjecanja za segmentaciju slika-"Inria Aerial Image Labeling Dataset". Model semantičke segmen- tacije koji koristimo temelji se na metodi rezolucijskih piramida. Dok za poboljšanje generalizacije na izvandistribucijske podatke koristimo metodu adaptacije i prevod̄e- nja domene. Model za adaptaciju podataka temelji se na dorad̄enoj CycleGAN arhi- tekturi koja je bliska CyCADA arhitekturi. U početku razvijamo programsku potporu za učenje dubokih modela temeljenu na MLOps načelima kako bi imali što kvalitet- niju kontrolu nad procesom učenja i pomoću nje radimo eksperimente. Istraživački dio ovog rada odnosi se na razvoj i usporedbu metoda za izvandistribucijsku generaliza- ciju. Izvandistribucijski podaci su zapravo slike gradova čiji se krajobraz i arhitektura razlikuju od gradova na kojima smo učili. U eksperimentima na početku mjerimo ko- varijatni pomak izmed̄u različitih domena. Potom pokušavamo smanjiti kovarijatni pomak upotrebom različitih augmentacija kojima je cilj razbiti lažne asocijacije u po- dacima. Nakon toga, koristimo metodu za prevod̄enje podataka izmed̄u dviju domena i adaptaciju domene kako bismo povećali performanse modela na izvandistribucijskim podacima. Glavni doprinos ovog rada je izrada ML sustava za kontrolu nad procesom učenja i prikaz eksperimenta s razvijenim modelom za adaptaciju domene. The problem that this thesis deals with is the development of a system for semantic seg- mentation of buildings from satellite images that has the ability of out-of-distribution generalization. The dataset we are working on is high-resolution satellite images that came from the Inria Aerial Image Labeling Dataset competition. The semantic seg- mentation model which we use is based on the resolution pyramid method. For the improvement of out-of-distribution generalization, we use the domain translation and domain adaptation method. The domain adaptation model is based on a refined Cy- cleGAN architecture that is similar to the CyCADA architecture. Initially, we develop software support for learning deep models based on MLOps principles to have the best possible control over the learning process, and then we use it to conduct further expe- riments. The research part of this paper deals with the development and comparison of methods for out-of-distribution generalization. Out-of-distribution data are images of cities whose landscape and architecture differ from the cities where the model was initially trained. In the experiments, we initially measure the covariate shift between different domains. We then try to reduce the covariate shift by using various augmenta- tions aimed at breaking spurious correlations in the data. After that, we use the domain translation method and domain adaptation method to increase the performance of the model on out-of-distribution datasets. The main contribution of this work is the cre- ation of the end-to-end ML pipeline for automatically learning deep models and for process control. Also, we show the results of the experiments with the proposed model for domain adaptation on out-of-distribution domains.

Cilj ovog rada bio je detaljnije objasniti što je semantička segmentacija i detekcija objekata, te objasniti to na primjeru. Također je čitatelju približen koncept dubokog učenja sa nekim njegovim podvrstama i principima na kojima se zasniva njihov rad. U teorijskom dijelu može se vidjeti kako duboko učenje, semantička segmentacija i detekcija objekata pronalaze jako široko područje primjene u današnjem svijetu. Jako puno sustava koji koriste umjetnu inteligenciju zasnivaju svoj rad na nekoj vrsti dubokog učenja. U praktičnom dijelu pokazana su dva primjera semantičke segmentacije, te jedan primjer detekcije objekta. U prvom primjeru semantičke segmentacije korišten je CamVidDataset koji sadržava slike iz prometa. Drugi primjer koristi ADE20K dataset, odnosno jednu mapu iz tog dataseta koja je korištena za semantičku segmentaciju prirodne okoline. Cilj je bio kreirati neuronsku mrežu koja će razlikovati kopno, more i nebo. Praktični dio za detekciju objekata pokazuje primjer detekcije prometnog znaka STOP. The main goal of this thesis was to thoroughly explain concept of semantic segmentation and object detection and show that on example. The concept of deep learning and some of his subgroups are explained as well. Theoretical part of thesis shows that semantic segmentation, object detection and deep learning are widely used nowadays. Big number of AI (Artificial Intelligence) systems are based on some sort of deep learning. Practical part of thesis shows two examples of semantic segmentation and one example of object detection. CamVidDataset was used in the first example of semantic segmentation. CamVidDataset contains images of traffic scenes. Other example uses the ADE20K dataset, that is, one folder from that dataset that was used for semantic segmentation of the natural scenes. The goal was to create a neural network that would distinguish land, sea, and sky. The practical part for object detection shows an example of detection of the sign STOP.

Semantička segmentacija prirodnih scena važan je zadatak računalnog vida s mnogim zanimljivim primjenama. Jako dobre rezultate na tom zadatku postižu konvolucijski modeli s lakom klasifikacijskom osnovom i ljestvičastim naduzorkovanjem. Ovaj rad bavi se polunadziranim učenjem takvih modela, što znači da model uči na grupama koje se sastoje od označenih i neoznačenih slika. Koristi se polunadzirana metoda pseudooznačavanja neoznačenih slika, najprije na manjem i jednostavnijem skupu podataka, a zatim na nešto kompleksnijem. Provedeno je mnogo iscrpnih eksperimenata koji su pokazali da metoda doista daje bolje rezultate nego uobičajeni postupak nadziranog učenja. The segmentation of natural scenes is an important task of computer vision with many interesting applications. Very good results on this task are achieved by convolutional models with a light-weight general purpose architecture as the main recognition engine, and upsampling with lateral connections. This paper deals with the semi-supervised learning of such models, which means that the model learns in groups consisting of both labeled and unlabeled images. A semi-supervised method of pseudo-labeling is used, first on a smaller and simpler data set, and then on a somewhat more complex one. Many exhaustive experiments have been conducted which have shown that the method really gives better results than the usual supervised learning procedure.

Cilj rada je navesti, provesti i analizirati metode generacije sintetičkih skupova podataka. Rad se prvotno bavi analizom i prikazivanjem sučelja za generaciju i upravljanje skupovima podataka pod nazivom NDDS (Nvidia Deep learning Dataset Synthesizer) korištenim u svrhu stvaranju podataka za učenje dubokih konvolucijskih neuronskih mreža. Mreže su trenirane na dva načina: samo na sintetičkim podacima i uz korištenje realnih podataka za validaciju. Uspoređivanje uspješnosti se baziralo na točnosti tj. postotku preklapanja između ciljne maske i dobivene predikcije. Postupak je pokazao prihvatljivu točnost na dijelu podataka te ukazao na važnost provjere razičitih metoda treniranja. The aim of this thesis is to list, implement and analyze the methods for synthetic dataset generation. Interface for the generation and management of datasets called NDDS (Nvidia Deep learning Dataset Synthesizer) is analyzed and used for the purpose of creating data for learning deep convolutional neural networks. Networks are trained in two ways: on synthetic data only and on synthetic data with the addition of the real images used for the validation purpose. The comparison of performance was based on IoU score. Namely, the percentage of overlap between the target mask and the obtained prediction mask was calculated for each model. The procedure showed acceptable accuracy on some parts of the data and pointed out the importance of testing different training methods

Jedan od mnogih zanimljivih zadataka računalnog vida je semantička segmentacija. Modeli s gusto povezanim konvolucijskim slojevima postižu vrlo dobre rezultate, a u posljednje vrijeme pojavila su se poboljšanja koja pažljivim povezivanjem konvolucijskih slojeva nastoje smanjiti broj memorijskih zahtjevnih operacija tijekom učenja i testiranja bez smanjenja točnosti modela. U ovom radu predstavljene su harmoničke gusto povezane konvolucijske mreže te je provedeno učenje i evaluacija modela FCHarDNet70, jedne konkretne implementacije harmoničkog gusto povezanog modela. Rezultati su prikazani i objašnjeni na kraju rada. Dodatno, ukratko su opisane osnove dubokog učenja i konvolucijskih mreža. Opisan je i postupak učenja, korišteni skupovi podataka, detalji programske implementacije i korištene biblioteke. One of the many interesting tasks of computer vision is semantic segmentation. Models with densely connected convolutional layers achieve very good results, and recently there have been improvements that, by carefully connecting convolutional layers, seek to reduce the number of memory-demanding operations during learning and testing without reducing model accuracy. In this paper, harmonic densely connected convolutional networks are presented and the learning and evaluation of the FCHarDNet70 model, a specific implementation of a harmonic densely connected model, is performed. The results are presented and explained at the end of the paper. Additionally, the basics of deep learning and convolutional networks are briefly described. The learning process, used data sets, details of program implementation and used libraries are also described.

Rad opisuje elementarne postupke korištene u dubokom učenju s naglaskom na konvoluciju. Ističe se rast popularnosti računalnog vida kao područja umjetne inteligencije koje se uspješno koristi dubokim neuronskim mrežama. Kao jedna on težih zadaća računalnog vida navodi se segmentacija, a rad se bavi granom ovog polja zvanom semantička segmentacija. Opisuje se model s dvosmjernom piramidom značajki koji uvodi mnoge preinake u već poznati piramidalni model koji uspješno rješava zadaću segmentacije. Opisani model - BPNet - ne koristi predtrenirni model na drugim skupovima podataka. Također, model se koristi dvosmjernim tokovima informacija između poduzorkovanih značajki i značajki visoke rezolucije te za kombiniranje značajki koristi vrlo uspješan, ali i efikasan pristup. Ispituje se uspješnost i brzina modela na skupu slika Cityscapes koji se sastoji od slika uličnih scena što nam je zanimljivo zbog mogućnosti korištenja ovakvih modela u sustavima za autonomnu vožnju. Konačno, BPNet se uspoređuje s još jednom piramidalnom arhitekturom - SwiftNetom. This paper describes elementary procedures used in deep learning with an emphasis on convolution. It highlights the rise in popularity of computer vision as an area of artificial intelligence that successfully uses deep neural networks. Segmentation is cited as one of the more difficult tasks of computer vision, and the paper describes a type of this field called semantic segmentation. A bidirectional feature pyramid model is described, which introduces many modifications to the already known pyramid model that successfully solves the task of segmentation. The described model - BPNet - does not use a feature extractor pretrained on other datasets. Also, this model uses bidirectional flow of information between low and high resolution features and a very successful, but also efficient, approach to feature fusion. Speed and accuracy are tested on Cityscapes image set consisting of images recoreded in street scenes. This use case interests us because of the possibility of using such models in autonomous driving. Finally, BPNet is compared with another pyramidal architecture - SwiftNet.

U ovom radu primijenjene su metode dubokog učenja u svrhu semantičke segmentacije glioma iz snimki magnetske rezonancije mozga. Napravljen je kratki pregled osnovnih koncepata dubokog učenja i predstavljene su tri arhitekture modela koje sam koristio za segmentaciju: U-Net, SwiftNet i DenseNet121 s ljestvičastim naduzorkovanjem. Modeli su korišteni za segmentaciju tumora u kriškama snimki mozga. Uz to, korištena je i 3D adaptacija modela ResNet18 za segmentaciju u volumenima mozga. Napravljena je usporedba dobivenih rezultata i rezultata iz literature. This paper applies deep learning to the problem of semantic segmentation of glioma in MR brain scans. This paper offers a short overview of basic concepts of deep learning and presents three model architectures that were used: U-Net, SwiftNet and DenseNet121 with ladder-style upsampling. The models were used for semantic segmentation of glioma in individual slices of the brain scan volumes. A 3D adaptation of ResNet18 was used for segmentation in entire brain scan volumes. The paper also compares results obtained using the aforementioned models with results from other papers on the same dataset.

Cilj ovog rada bio je pronaći i testirati odgovarajuću arhitekturu za problem semantičke segmentacije kada je prisutan manji broj neoznačenih i veći broj označenih primjera. Predstavljena je cycleGAN arhitektura, te je testirana na konkretnom problemu semantičke segmentacije ortopanograma. Arhitektura je izabrana iz razloga što može iskorisiti i neoznačene slike kao pomoć pri treniranju. Dobiveni rezultati su pokazali da cycleGAN arhitektura uspješno rješava navedeni problem, no da ipak zaostaje u usporedbi s najnaprednijim diskriminativnim modelima. The goal of this work was to find and test an adequate deep learning architecture applicable to the problem of semantic segmentation, in the case when we at our disposal have a limited number of labeled images, but a relatively high amount of unlabeled images. cycleGAN, a type of generative model was proposed as solution to the starting problem. It was chosen due to the fact that it can use unlabeled images as well as labeled to improve training performance. It was tested on the dataset of stomatologic X-ray images (orthopantomograms), and it was shown that while it successfully solves the given problem, it still falls behind most advanced discriminative models.

Primjena tehnologije u medicini sve je češća i ovaj rad bavi se segmentacijom tkiva prostate od okolnog tkiva u slikama magnetske rezonancije. Semantička segmentacija jedan je od zadataka računalnog vida. Ovaj rad primjenjuje tehnike dubokog učenja koje su se pokazale uspješnima u rješavanju problema semantičke segmentacije. Primarno su to rezidualni konvolucijski modela i konvolucijski modeli s ljestvičastim naduzorkovanjem. U ovom radu korišteni su ovi modeli u području semantičke segmentacije slika magnetske rezonancije na skupu podataka PROMISE12. Skup podataka CamVid korišten je kao skup podataka za validaciju arhitekture modela prije no što su isti modeli bili korišteni na skupu podataka PROMISE12. Application of technology in medicine is becoming more common and this paper is exploring segmentation of prostate tissue from the surrounding tissue in magnetic resonance images. Semantic segmentation is one of the problems of computer vision. This paper applies techniques of deep learning that have proved to be successful in semantic segmentation problems. Primarily those are residual models and models with ladder-style upsampling. In this paper, those models were used in semantic segmentation of magnetic resonance images on the PROMISE12 data set. CamVid dataset was used as a dataset for model architecture validation before using those models on the PROMISE12 dataset.

U ovom diplomskom radu detaljno su opisani postupci potrebni za dobivanje modela za detekciju ronioca u sonarskim slikama. U prvom dijelu rada opisane su vrste anotacija i alati za njihovo generiranje te najbolje prakse kod njihove kreacije. Drugi dio rada započinje opisom izvora korištenih podataka te njihovom pripremom za korištenje s konvolucijskim neuronskim mrežama. Dalje slijedi opis korištenih alata i biblioteka te postupak generiranja i postavke potrebnih konfiguracijskih datoteka za treniranje modela. Na samom kraju opisani su kriteriji evaluacije modela te su isti primijenjeni na dobivenim modelima. In this thesis we gave a detailed description of the procedures required to obtain a model for detecting divers in sonar images. The first part of the paper describes types of annotations and tools for their generation, as well as best practices used in their creation. The second part of the paper begins with a description of the data used and its sources, as well as the process of preparing said data for use with convolutional neural networks. Following is a description of the used tools, libraries and frameworks used in the process of generating and setting up the necessary configuration files for model training. At the very end, the evaluation criteria of the models are described, which have been applied on the obtained models.

Segmentacija instanci problem je suvremenog računalnog vida i specifično domene dubokog učenja. Sama problematika kombinacije je klasifikacije, semantičke segmentacije, detekcije i lokalizacije objekata, dajući tako kompletnu informaciju o klasama objekata i pojedinim instancama tih klasa, u obliku okvira, koordinata, segmentnih maski i labela klasa i njihovih instanci. Facebook AI research team (FAIR) u članku iz 2017. godine predlaže model za segmentaciju instanci pod imenom Mask R-CNN. Model je baziran na prijašnjim modelima za zadaću detekcije objekata poput R-CNN, Fast R-CNN, Faster R-CNN itd. U ovome radu proučavana je implementacija i performanse modela na skupu uličnih urbanih prizora pod imenom Cityscapes, u kojem model daje daleko bolje rezultate nego ostali pristupi u problemu segmentacije instanci na tom skupu, ali i otvara mjesta za daljnja poboljšanja i nove te učinkovitije pristupe. Instance segmentation is a problem of modern computer vision and specifically the domain of deep learning. The problem is a combination of classification, semantic segmentation, detection, and localization of objects, thus giving complete information about object classes and individual instances of those classes, in the form of frames, coordinates, segment masks, and labels of classes and their instances. Facebook AI research team (FAIR) in a 2017 article proposes a model for instance segmentation called Mask R-CNN. The model is based on previous models for object detection tasks such as R-CNN, Fast R-CNN, Faster R-CNN, etc. This paper studies the implementation and performance of the model on a set of street urban scenes called Cityscapes, in which the model gives far better results than other approaches to the problem of instance segmentation in that set, but also opens room for further improvements and new and more efficient approaches.

Očuvanje okoliša je jedna od najvažnijih zadaća koje moderno društvo mora ispuniti. Jedan od bitnih aspekata zaštite okoliša je očuvanje šumskih područja. Šumski ekosustavi su kritična komponenta svjetske biološke raznolikosti jer mnoge šume imaju veću bioraznolikost od ostalih ekosustava. Udaljena mjerenja i automatska analiza zračnih fotografija su nezamjenjivi alati za praćenje ispunjenja te zadaće. Ovaj rad daje pregled trenutnih rješenja koja se mogu pronaći u literaturu te zatim predlaže rješenje temeljeno na dubokom učenju i računalnom vidu kako bi što točnije procijenio pošumljenost područja. Pripremljena je baza od 110 zračnih fotografija koje su ručno segmentirane. U radu je je opisana neuronska mreža za segmentaciju zračnih fotografija koja koristi U-net arhitekturu. Uz podjelu 70-30 na skupove za učenje i evaluaciju, dobivena je točnost od 85.79% na evaluacijskim primjerima. Preserving the environment is one of the most important tasks that modern society must fulfill. One of the essential aspects of environmental protection is the preservation of forest areas. Forest ecosystems are a critical component of global biodiversity because many forests have greater biodiversity than other ecosystems. Remote measurements and automatic analysis of aerial photographs are indispensable tools for monitoring the fulfillment of this task. This thesis gives an overview of current solutions described in the literature and then it proposes a solution based on deep learning and computer vision to estimate the forestation of the area as accurately as possible. A database of 110 manually segmented aerial photographs was prepared. A neural network for segmentation of aerial photographs using U-net architecture was used for segmentation. With a split of 70-30 into learning and evaluation sets, the accuracy of 85.79% was obtained on the evaluation set.

Ovaj rad implementira metodu semantičke segmentacije za detekciju grožđa u vinogradu predstavljenu u (Perez, Rodrigo, 2017). Za razliku od današnjih standarda umjetnih neuronskih mreža i dubokog učenja, ova metoda problemu pristupa konvencionalnijim metodama računalnog vida. Koristi se FRST algoritam za detekciju radijalno simetričnih točaka iz kojih se računaju vektori značajki HOG i LBP deskriptorima. Zatim se SVM klasifikatorom određuje koje točke pripadaju skupu grožđa te se grupiraju DBSCAN algoritmom. Rezultat metode je binarna maska koja označava područja fotografije u kojima je prisutno grožđe. Cilj je korištenje detekcije grožđa u svrhu smanjivanja izgubljenog materijala tijekom prskanja plodova u vinogradu, no ovaj rad samo demonstrira funkcionalnost. This work implements a method of semantic segmentation for grape detection in the vineyard shown in (Perez, Rodrigo, 2017). Unlike today's standards of computer vision using artificial neural networks and deep learning, this method uses more conventional computer vision methods. The FRST algorithm for detecting points of radial symmetry is used from which feature vectors of HOG and LBP descriptors are computed. Then, the SVM classifier determines which points belong to a cluster of grapes and are grouped by the DBSCAN algorithm. The result of the method is a binary mask that indicates areas of images in which grapes are present. The aim is to use grape detection for the purposes of reducing waste while spraying in viticulture, but this work only demonstrates functionality of the method.

Diplomski rad uspoređuje različite postupke pronalaženja loptica na slikama. Zadatak traženja loptica riješen je korištenjem postupaka dubokog učenja i algoritmima računalnog vida koji se ne temelje na učenju nad podacima. Kao primjer dubokog učenja koristile su se predtrenirane neuronske mreže primijenjene za rješavanje zadataka semantičke segmentacije i detekcije objekata. Kao primjer mreže za semantičku segmentaciju, koristila se U-Net arhitektura s različitim skupinama enkodera. Kod problema detekcije objekata koristila se Faster R-CNN arhitektura gdje su isprobani različiti CNN backbone modeli. Kao primjer algoritma traženja loptica ne temeljenog na iskustvenom znanju, korištena je Houghova transformacija. Postupak učenja modela dubokog učenja, testiranje točnosti predikcija mreža i algoritama, proveden je na ručno izrađenom skupu podataka. Preciznost svih modela na dva testna skupa podataka prikazan je u nizu tablica. Pokazano je da modeli dubokog učenja puno bolje rješavaju zadani problem od algoritma Houghove transformacije. The Master thesis compares different approaches to finding balls in the images. Two methods have been used to determine the exact position of the balls: deep learning algorithms and the 'traditional' computer vision algorithms that do not rely on the learning process. Pre-trained neural networks are deep learning algorithms tuned to solve semantic segmentation and object detection problems. U-Net architecture with different encoder models is used for semantic segmentation, while Faster R-CNN architecture is used for object detection. Hough transformation is an example of a traditional computer vision algorithm used to find circles in images. The learning process and algorithms testing were carried out on a handmade dataset. The obtained quality metrics show that deep learning approaches outperform the Hough transformation algorithm on two test datasets. Results and predictions are represented in table and image formats.

Ovaj diplomski rad započinje uvodom o dubokom učenju i objašnjava zadatak seman- tičke segmentacije na kojoj je rad baziran. U daljnjem poglavlju se opisuju osnovne potrebne komponente dubokih konvolucijskih modela kako bi čitatelj imao potpuno razumijevanje u nastavku teksta. Nadalje, daje se detaljan opis modela s gusto pove- zanim putem za raspoznavanje i ljestvičastim naduzorkovanjem (ljestvičasto povezan gusti model) koji se koristi za kao glavna arhitektura u radu. U idućem poglavlju da- jemo pregled skupova koji se koriste za predtreniranje kodera i treniranje na zadatku semantičke segmentacije. Nakon njega, dolazi najzanimljivije poglavlje gdje opisu- jemo eksperimente i dajemo rezultate. Na kraju, dan je odgovarajući zaključak. Master thesis starts with explaining deep learning and it also explains the purpose of semantic segmentation on which this thesis is based. In the next chapter, main component of deep convolutional model are explained so that reader can fully understand the rest of the thesis. After that, detailed description of Ladder-style DenseNet is given. Ladder-style DenseNet is the model which is used in this thesis. In the next chapter we have given description of the datasets which are used for experiments. After that, the most interesting part of this thesis is written and that is the report of the experiments and results. At the end, convenient conclusion is given.

Konvolucijske neuronske mreže postižu izvrsne rezultate u zadacima klasifikacije i semantičke segmentacije slika, ali za to im je potreban veliki skup anotiranih slika za učenje. U ovom radu razmotreni su različiti pristupi učenja konvolucijskih mreža s malim brojem anotiranih primjera. Implementirana je PANet arhitektura za semantičku segmentaciju. PANet model iz malog broja slika za učenje izvlači prototipove klasa koje uspoređuje s pikselima slike upita pomoću neparametarskog računanja udaljenosti. Model postiže usporedive rezultate s prijašnjim radovima kada ima samo jednu sliku za treniranje, a nadmašuje iste kad se poveća skup za treniranje. PAR regularizacija opisana u radu ubrzava konvergenciju i poboljšava točnost modela bez znatnog povećanja vremena treniranja. Convolutional neural networks achieve state-of-the-art results in image classification and semantic segmentation tasks, but they require an enormous amount of training images. This thesis examines various approaches in training convolutional neural networks when only a few annotated examples are available. We implemented PANet architecture used for semantic segmentation. PANet model extracts a prototype for each class from the support set and performs segmentation using non-parametric distance calculation. Model achieves comparable results with previous works when training in one-shot regime, but outperforms those works when support set is increased. PAR regularization speeds up model's convergence and increases accuracy without a significant increase in model's training time.

Segmentacija dijelova srca iz kasno postkontrastno snimljenih slika magnetne rezonance (LGE MRI) predstavlja važan dio svakodnevne medicinske prakse kako bi se pravilno identificirala fibroza miokarda te drugih bolesti srca i kardiovaskularnog sustava. Međutim, automatska segmentacija i dalje predstavlja veliki izazov zbog heterogene raspodjele intenziteta i nejasnih granica između dijelova srca. U ovom radu predstavljena je automatska metoda segmentacije lijevog atrija iz trodimenzionalnih (3D) LGE MRI slika temeljena na dubokom učenju. Segmentacija lijevog atrija izvedena je pomoću konvolucijske neuronske mreže korištenjem U – Net modela. U-Net model treniran je pomoću izrazito malog skupa podataka od 6 3D LGE MRI slika. Unatoč tome, uspješno je ostvaren dice koeficijent od 0.67. Prema tome, u radu je pokazano da originalna U-Net arhitektura može ostvariti uspješan rezultat za segmentaciju lijevog atrija iz LGE-MRI slika upotrebom malenog broja podataka za učenje mreže. Segmentation of the heart chambers from late gadolinium enhancement magnetic resonance images (LGE MRI) is an important part of everyday medical practice. It allows proper identification of myocardial fibrosis and other various heart and cardiovascular system diseases and conditions. However, automatic segmentation remains a major challenge due to the heterogeneous distribution of intensities and blurred boundaries between parts of the heart. This paper presents an automatic left atrial segmentation method from three-dimensional (3D) LGE MRI images based on deep learning. Left atrial segmentation was performed using a convolutional neural network using the U - Net model. The U-Net model was trained using an extremely small data set of 6 3D LGE MRI images. Despite this, a dice coefficient of 0.67 was successfully achieved. Therefore, the paper shows that the original U-Net architecture can successfully segmentation the left atrium from LGE-MRI images using a small amount of data for network learning.

U radu opisana je semantička segmentacija zračnih fotografija na primjeru segmentacije podatkovnih skupova Swiftnet i Inria. Rad se bavi tehničkim detaljima implementacija neuronskih mreža za semantičku segmentaciju. Također istražuje različite javno dostupne skupove podataka koji se koriste za semantičku segmentaciju kao i različite pristupe problemu bliske trenutno optimalnim rješenjima. Na kraju rada nalazi se prijedlog fine prilagodbe hiper - parametara Swiftneta danim podatkovnim skupovima. Within this thesis semantic segmentation of aerial imagery on the example of Swiftnet - powered Synthinel and Inria datasets segmentation was described. The work looks into technical details of implementaton of neural networks for semantic segmentation. It also examines the different publicly available datasets used for semantic segmentation as well as different approaches close to the state-of-the-art performances. In the end there is a proposal for hyper - parameter fine - tuning of Swiftnet for the given datasets.

Za autonomnu vožnju potrebno je da vozilo preko kamera i senzora može prepoznati okolinu oko sebe na temelju čega će donijeti odluke. Za to se koristi semantička segmentacija kojom se svakom pikselu slike dodjeljuje određena klasa. Semantička segmentacija je jedan od najtežih problema računalnog vida za kojeg se koristi duboko učenje, odnosno konvolucijske neuronske mreže. U radu su opisana dva trenutno najbolja modela za taj problem i njihovi rezultati dobiveni nad skupom podataka Cityscapes proširenim sa ručno označenim slikama snimljenih po gradu Zagrebu. For autonomous driving, it is necessary that the vehicle can recognize the environment around it through cameras and sensors, on the basis of which it will make decisions. For that it's used semantic segmentation which assigns a certain class to each pixel of the image. Semantic segmentation is one of the most difficult problems of computer vision, for which is used deep learning, ie convolutional neural networks. This paper describes the two currently best models for this problem and their results obtained over the dataset Cityscapes extended with manually annotated images taken around the city of Zagreb.

Tema rada je bila ostvariti autonomno upravljanje bespilotnom letjelicom koristeći metode dubokog učenja. U radu je istraženo nekoliko mogućnosti efikasnih arhitektura konvolucijskih neuronskih mrežu u svrhe semantičke segmentacije. Koristeći informacije o lokaciji ceste sa segmentirane slike ostvarena je navigacija letjelicom za praćenje iste. Implementirani algoritam upravljanja je kao referentne veličine zadavao brzinu gibanja i potreban zakret letjelice u svrhu uspješnog praćenja prometnice. Eksperimentalnom analizom je potvrđena valjanost predloženih metoda i ostvareni su zadovoljavajući rezultati kvalitete detekcije i navigacije u simulacijskom okruženju. The goal of this thesis was to accomplish autonomous control of unmanned aerial vehicle by using methods of deep learning. Several architectures of deep convolutional neural networks were explored for the purpose of semantic segmentation. Based on the information provided by the segmented image, autonomous navigation algorithm was developed for the goal of road following. Implemented control algorithm generated flying velocity and needed yaw angle in order for UAV to successfully follow the road. Validity of methods were experimentally analyzed. Results from the simulation environments showed satisfactory results of detection and navigation.

Duboki konvolucijski modeli su glavni sastojak mnogih praktičnih primjena računalnog vida. Međutim, takvi modeli su ponekad nepraktični jer zahtijevaju velike skupove označenih podataka za učenje. Zbog toga postupci za rastresanje podataka predstavljaju zanimljivo područje istraživanja. U okviru ovog rada proučene su i implementirane metode za rastresanje podataka. Provedeni su eksperimenti i svaka od metoda je vrednovana i uspoređena s rezultatima iz literature. Deep convolutional models are the main instrument for many practical applications in the field of computer vision. However, these models are sometimes unpractical because they require great amounts of training data. Therefore, jittering and augmentation techniques impose themselves as interesting filed for reasearch. In this thesis, some of the recent techniques were researched and implemented. Experiments were conducted and each technique was evaluated and compared to results from the literature.

Segmentacija anatomskih struktura očne pozadine olakšava dijagnostiku i liječenje očnih bolesti. U diplomskog radu opisana je potpuno konvolucijska neuronska mreža za semantičku segmentaciju slojeva retine koja je temeljena na U-Net i EfficientNet arhitekturi. Eksperimenti provedeni u radu pokazali su kako odabrana arhitektura uspijeva postići bolje rezultate u usporedbi s najsuvremenijim metodama iz područja. Također, arhitektura je pokazala robusnost prilikom treniranja na slikama iz dva različita OCT uređaja. Dobri rezultati robusnih modela sugeriraju kako mreža uspijeva naučiti značajke koje razlikuju slojeve retine, te se ne oslanja na razlike u tehnikama snimanja između različitih OCT uređaja. Segmentation of the anatomical structures of the ocular background facilitates the diagnosis and treatment of ocular diseases. This master's thesis has described a fully convolutional neural network for semantic segmentation of retinal layers based on U-Net and EfficientNet architecture. Experiments conducted in this thesis have shown that the selected architecture achieves better results compared with the state-of-the-art methods in the field. Also, the architecture has shown robustness when training on images from two different OCT devices. Good results from robust models suggest that the network manages to learn features that distinguish retinal layers and does not rely on differences in imaging techniques between different OCT devices.

U ovom radu objašnjen je princip funkcioniranja umjetnih neuronskih mreža s naglaskom na konvolucijske neuronske mreže. U radu su opisane rezidualne neuronske mreže kao i njihova implementacija na primjeru mreže ResNet-18. Programski je ostvareno rješenje problema raspoznavanja prometnih sudionika te elemenata okoliša iz perspektive vozača. Uz osnovni model mreže ResNet-18, programski je ostvarena i nadogradnja modela ljestvičastim naduzorkovanjem. Napravljena je usporedba rezultata koje daju oba modela te su oni navedeni na kraju rada. This paper explains the principle of functioning of artificial neural networks with emphasis on convolutional neural networks. The paper describes residual neural networks as well as their implementation on the example of ResNet-18 network. The problem of recognizing traffic participants and elements of the environment from the perspective of the driver was solved programatically. In addition to the basic model of the ResNet-18 network, the model was also upgraded with ladder upsampling. A comparison of the results given by both models is made and they are listed at the end of the paper.

Semantička segmentacija je jedan od problema kojim se bavi računalni vid. Semantička segmentacija ima širok spektar primjene, od medicine, poljoprivrede do u posljednje vrijeme sve popularnijeg područja autonomne vožnje. Autonomna vožnja nameće poseban izazov semantičkoj segmentaciji, posebice ukoliko se radi o segmentaciji kolničkih trakova budući da su sami trakovi izrazito uski i teško primjetni na slikama. Međutim, dobre rezultate u rješavanju tog problema postižu duboki konvolucijski modeli s ljestvičastim naduzorkovanjem. U ovom radu implementiran je jedan takav model te su provodeni i prikazani eksperimentalni rezultati na skupu podataka LLAMAS. Semantic segmentation is one of the problems that computer vision deals with. Semantic segmentation has a wide range of applications, from medicine, agriculture to the recently increasingly popular field of autonomous driving. Autonomous driving imposes a special challenge on semantic segmentation, especially when it comes to lane segmentation since the lanes themselves are extremely narrow and difficult to notice in images. However, deep convolutional models with ladder upsampling achieve good results in solving this problem. In this paper, one such model was implemented and experimental results were performed and presented on the LLAMAS data set.

Segmentacija slika, zadnjih nekoliko godina, postala je popularna tema s kojom se ljudi u velikom broju susreću tijekom svog obrazovanja. Zbog velikog opsega zadataka koje rješava, upravo primjena konvolucijskih neuronskih mreža pokazala se jednom od najboljih metoda u prepoznavanju objekata na slikama. U radu je opisana i predstavljena metoda prepoznavanja višestrukih objekata sa slike upotrebom konvolucijskih neuronskih mreža kao jedan od načina segmentacije. Skup podataka, nad kojim je mreža trenirana, sastoji se od slika iz ljudskih svakodnevnih aktivnosti. U radu je detaljno opisan proces koji je mreža prolazila, te rezultate koje je postigla učenjem na navedenom skupu podataka. Image segmentation, over the last few years, has become a popular topic that people encounter in large numbers during their education. Due to the wide range of tasks it solves, the application of convolutional neural networks has proven to be one of the best methods in recognizing objects in images. The paper describes and presents a method of recognizing multiple objects from an image using convolutional neural networks as one of the methods of segmentation. The dataset, over which the network is trained, consists of images from human daily activities. The paper describes in detail the process that the network went through and the results it achieved by learning from the specified dataset.

Semantička segmentacija slika važan je zadatak računalnog vida. Najbolji rezultati u tom području postižu se dubokim diskriminativnim konvolucijskim modelima koji su skloni neopravdanom optimizmu. U ovom radu adresiramo navedeni problem korištenjem primjera s ruba distribucije podataka nastalih uzorkovanjem generativnog modela temeljenog na invertibilnom normalizirajućem toku. Primjeri s ruba distribucije podataka u kombinaciji s primjerima iz negativnog skupa podataka drastično povećavaju performanse diskriminativnog modela u detekciji dijelova slike koji sadrže anomaliju. Navedene tvrdnje su vrednovane iscrpnim eksperimentima. Semantic segmentation is an important task in the field of computer vision. Current state of the art results are obtained by deep discriminative convolutional models which are known for its unjustified optimism. We address this issue by using samples at the distribution border obtained by sampling the flow-based generative model. Samples at the data distribution border in combination with samples from another negative dataset drastically improve discriminative model's performance in anomaly detection. All claims are evaluated on exhaustive experiments.

Kako bi se lakše razumio problem pa tako i njegovo rješavanje navedene su osnovne razlike između raznih problema računalnog vida kako bismo naglasili složenost i položaj problema klasifikacije i lokalizacije segmentacije. Prikazujemo problem semantičke segmentacije kako bi čitatelj razumio što pokušavamo postići i dobiti iz danih informacija, kako iz običnih slika dobiti vjerojatnosti pripadnosti svakog piksela po jednoj klasi te kako prilagoditi naše podatke kategorizacijom za takve mreže. Analizom konvolucijskih mreža i njihovih operacija dolazimo do konačnog modela kojeg treniramo korištenjem objašnjene funkcije pogreške i evaluiramo korištenjem raznih metrika kao što su IoU i kategorička točnost te demonstriramo još jasniji prikaz rezultata pomoću konfuzijske matrice. Kroz svaki korak je pokazano korištenje biblioteke Keras i javnih python biblioteka za lako praćenje izvedbe. Pokazani su uspješni rezultati i ostavljeno je mjesta za napredak i dublje ulaženje u ovu temu koja u ovom radu čini dobar početak za ulazak u polje računalnog vida računalne znanosti. In order to understand the issue at hand and therefor make it easier to solve we first discus differences and similarities within different computer vision problems so we can make it easier to place the complexity of our semantic segmentation problem that covers classification and localization within this field. We proceed to properly show and visualize our problem so we can understand what exactly are we trying to achieve with given information, how do we get the model to output probabilities for each class for every pixel on our image, and how do we make our data compatible for those nets with categorical shape. By analyzing different convolutional nets, we choose a single architecture that fits our needs and proceed to train it with explained loss function and then evaluate it with different metrics like IoU and categorical accuracy. A simple demonstration of Confusion matrix is also shown so the results are perfectly clear. On every step of the way a Keras and python methods usage is shown so it is easier to follow along. Results are shown with room left to improve and explore. This paper makes a good start for all those interested in the field of computer vision.

Semantička segmentacija prirodnih scena je važan zadatak računalnog vida. Skup postupak pribavljanja oznaka na razini piksela potrebnih za nadzirani pristup semantičkoj segmentaciji je potaknuo razvoj slabo nadziranih pristupa. U ovom radu su opisani neki od slabo nadziranih pristupa za semantičku segmentaciju koji se baziraju na dubokom učenju kao i primjene suparničkog učenja za semantičku segmentaciju. U sklopu rada je implementiran model suparničkog učenja za slabo naziranu semantičku segmentaciju primjeraka zasnovan na pravokutnim okvirima. Generator koristi značajke naučenog Faster R-CNN detektora uz pomoć kojih gradi segmentacijske maske, a diskriminator pruža signale za učenje. Za učenje i validaciju modela su korišteni automobili iz Cityscapes skupa podataka te su prikazani dobiveni rezultati. Semantic segmentation of natural scenes is an important task of computer vision. Due to expensive pixel-wise annotations required for fully supervised semantic segmentation various weakly supervised approaches have been proposed. In this thesis, several weakly supervised semantic segmentation approaches based on deep learning have been described as well as applications of adversarial learning to semantic segmentation. Adversarial learning model for object instance segmentation based on bounding boxes is implemented. Generator uses learned Faster R-CNN features and constructs a segmentation mask while discriminator provides learning signals. Model was trained and evaluated on cars form Cityscapes dataset and the results are shown.

U sklopu ovog rada objašnjene su umjetne neuronske mreže s naglaskom na konvolucijske duboke neuronske mreže. Objašnjen je proces učenja neuronske mreže kao i korištene funkcije gubitka, regularizacije i problemi pri učenju. Predstavljeni su hiperparametri i optimalan odabir istih. Odabrana je prigodna arhitektura koja se temelji na konvolucijskim mrežama za problem semantičke segmentacije te je izvedena i modificirana implementacije iste. Na kraju rada prikazani su rezultati i moguće daljnje preinake za kvalitetniju segmentaciju. In this paper we introduced artificial neural networks with focus on deep convolutional neural networks. We described the learning process of a neural network as well as loss functions, regularizations and problems faced in the process of learning. We introduced hyperparameters and choosing their optimal values. We chose suitable architecture based on convolutional neural networks for problem of semantic segmentation and we implemented given architecture. In the end we presented the results and possible modifications for better segmentation.

U ovom su radu opisane umjetne neuronske mreže. Sve od toga kako su građene, kako svaki njihov neuron obrađuje informacije te kako to rade kao cjelina i uče po primjerima. Cilj je dubokog učenja da model mreže počinje učiti kao i čovjek, po vlastitom iskustvu. Semantička segmentacija samo je dio spektra u kojemu se primjenjuje duboko učenje. Semantička segmentacija je ujedno i veoma popularno područje računalnog vida jer pridonosi na putu prema savršenom razumijevanju slike što je danas veoma korišten dio umjetne inteligencije. This paper describes artificial neural networks. Everything from how they are built, how each and every neuron in the network processes information and how all of the neurons do it as a whole to learn from examples. The goal of deep learning is to make a model that can learn as efficiently as a human, from its experience. Semantic Segmentation is only a part of spectrum in which deep learning is applied. Semantic Segmentation is also very popular area of computer vision because it contributes to the perfect understanding of a picture which is now widely used in artificial intelligence.

Sažetak . Abstract .

Procjena nesigurnosti predikcija važna je osobina sustava dubokog učenja. U ovome radu dan je pregled postojećih postupaka za procjenu nesigurnosti i predložen je takav postupak zasnovan na suparničkom učenju. Implementiran je model suparničkog učenja kod kojeg je generator model semantičke segmentacije zasnovan na arhitekturi ResNet-50, a diskriminator na svome izlazu daje gustu mapu procjene nesigurnosti predikcija generatora. Pokazan je utjecaj suparničkog gubitka na performanse modela u zadatku semantičke segmentacije. Uspoređene su i evaluirane procjene nesigurnosti funkcijom softmax i kao izlaz diskriminatora u suparničkom učenju. Estimating prediction uncertainty is important component of deep learning systems. In this thesis, an overview of existing methods for uncertainty estimation is given and one based on adversarial learning is proposed. Adversarial learning model is implemented in which generator is semantic segmentation model based on ResNet-50 architecture and discriminators output is uncertainty estimation map at pixel level of generators predictions. An impact of adversarial loss on performances of semantic segmentation model was shown. Uncertainty estimation using softmax function and discriminators output in adversarial learning were compared and evaluated.

Ovaj rad bavi se problemom detekcije igrača u snimkama nogometnih utakmica koristeći duboko učenje. Dan je kratak uvod u područje računalnog vida te probleme koje to područje rješava. Opisane se konvolucijske neuronske mreže te metode slaganja dubokih modela i načini njihova učenja. Zatim su opisane neke metode dubokog učenja za detekciju i semantičku segmentaciju. Također je opisan model za semantičku segmentaciju terena i igrača implementiran u ovom radu. Na kraju su prikazani i komentirani rezultati implementiranog sustava za semantičku segmentaciju. This paper deals with the problem of detecting players in footage of football matches using deep learning. A brief introduction to the field of computer vision and its tasks is provided. Convolutional neural networks and methods for building and learning deep networks are described. Some methods for object detection and semantic segmentation using deep learning are presented. Semantic segmentation model and its implementation are described. At the end the results of the implemented system are shown and explained.

Razmatra se problem semantičke segmentacije panoramskih rendgenskih snimaka ljudske čeljusti. U tu su svrhu obrađene duboke konvolucijske neuronske mreže te su detaljno opisane metode i postupci za njihovo učenje. Definirani su problemi detekcije objekata i semantička segmentacija na razini primjerka. Za semantičku segmentaciju korištena je konvolucijska neuronska mreža koja paralelno detektira objekte i konstruira segmentacijske maske. Mreža je implementirana u radnoj okolini TensorFlow. Za njezino su učenje, validaciju i testiranje korišteni umjetno generirani snimci ljudske čeljusti. Na kraju su prikazani i rezultati segmentacije na stvarnim snimcima. In this paper we are considering the problem of semantic segmentation of panoramic X-ray images of human jaw. In that purpose deep neural convolutional networks are shown and the methods and algorithms for their learning are explained in detail. The problems of object detection and instance segmentation are defined. Convolutional neural network, which detects objects and constructs segmentation masks in parallel, is used for semantic segmentation. Network is implemented using TensorFlow framework. It is learned, validated and tested on artificially generated images of human jaw. Following that, segmentation results on real images are presented.

U ovom radu su opisane neuronske mreže s posebnim naglaskom na konvolucijske mreže. Opisani su razni dijelovi i tehnike korištene u izgradnji i učenju neuronskih mreža. Rad također opisuje rezidualne neuronske mreže kao i njihovu konkretnu implementaciju, ResNet50. Programski je implementiran i evaluiran model za semantičku segmentaciju dobiven arhitekturom ResNet50. Rezultati su prikazani i komentirani na kraju rada. This paper describes neural networks with focus on deep convolutional neural networks. Different parts and techniques used in neural networks are described. Also, paper describes residual neural network as well as its concrete implementation, ResNet50. Paper contains details about the implementaion of the system for semantic segmentation using ResNet50. Lastly, the results are presented.

Ovaj rad prikazuje semantičku segmentaciju prirodnih scena učenu na modelu VGG-16. Upotrebljen je strogo nadzirani pristupi gdje u svakoj piknji skupa za učenje na raspolaganju imamo informaciju o pripadnom semantičkom razredu. Za potrebe ovog rada koristio se predtrenirani model na većoj rezoluciji slike. Korišten je programski okvir Tensorflow te biblioteke programskog jezika Python za rukovanje matricama i slikama. Prikazana je potencijalna evaluacija slika pribavljenih iz kamere u realnom vremenu. Izvedba je prilagođena radu na ugradbenom računalnom sustavu TX1. This paper shows the semantic segmentation of natural scenes learned from the VGG-16 model. Strictly supervised approaches are used where we have information on the corresponding semantic class for each of the pixel of the learning set. For the purposes of this paper, a predetermined model was used at a higher resolution of the image. The Tensorflow program library and the Python libraries were used. A potential evaluation of images obtained from the camera in real-time is shown. The design is tailored to work on the TX1 embedded computer system on module.

U okviru magistarskog rada proučavaju se duboke konvolucijske neuronske mreže za zadatke detekcije objekata i segmentacije slika. Metoda detekcije objekata SSD detaljno je opisana i isprobana na ispitnim skupovima PASCAL VOC2007, Cityscapes i KITTI. Za semantičku segmentaciju slika ispitnog skupa Cityscapes korištena je potpuno konvolucijska mreža s dilatiranim konvolucijama. Segmentacija instanci objekata ostvarena je kombiniranjem semantičke segmentacije i regresije vektora centroida objekta. This master thesis studies approach to object detection and image segmentation using deep convolutional neural networks. The SSD object detection approach is thoroughly described and tested on PASCAL VOC2007, Cityscapes and KITTI datasets. For semantic segmentation on Cityscapes dataset, fully convolutional network with \textit{atrous} convolutions is used. Instance segmentation is achieved combining semantic segmentation and object centroid vector regression.