Search

Neuralne mreže univerzalni su aproksimatori funkcija te stoga primjenjivi na rješavanja gotovo svakog oblika problema. U ovom završnom radu obraditi će se način na koji neuralne mreže uče, uvesti konvoluciju u pristup učenju i pokazati rezultate implementiranih algoritama na nekoliko različitih skupova podataka. Neural networks are universal approximators and as such applicable on almost any problem. This bachelor thesis will process how neural networks learn, introduce convolution in its learning process and show results achieved by implemented algorithms on a few different datasets.

Kroz ovaj rad je prikazan razvoj konvolucijske neuronske mreže primjenjujući VGG arhitekturu u problemu rješavanja klasifikacije slika. Slike pasa i mačaka su zadane iz poznate baze podataka zadane u svrhu Kaggle-ovog natjecanja iz strojnog učenja iz 2013. godine. U uvodu rada se upoznajemo s osnovnom gradivnom jedinicom neuronske mreže perceptorom i osnovnom principima njezinog rada. U nastavku će se predstaviti opća arhitektura konvolucijskih neuronskih mreža. Naglasak ovog rada je na savladavanju principa razvoja osnovnog modela VGG arhitekture neuronske mreže s kojom se želi prikazati rast preciznosti klasifikacije mreže dodavanjem novih blokova. Prikazat će se razvoj osnovnog modela kroz korištenje cloud servisa i online sučelja Google Colab koristeći se otvorenim softverskim bibliotekama za strojno učenje (Tenserflow). Potom se na istoj bazi podataka testira već unaprijed istrenirana arhitektura neuronske mreže VGG-16 te se uspoređuju rezultati s osnovnim modelom. This paper presents the development of a convolutional neural network applying the VGG architecture to the problem of image classification. The images of dogs and cats were taken from a well-known database provided for Kaggle's 2013 machine learning competition. In first part of the paper, we are introduced to the basic building block of the neural network, the preceptor, and the basic principles of its operation. Furthermore, the general architecture of convolutional neural networks will be presented. The emphasis of this paper is on mastering the principles of developing the basic model of the VGG architecture of the neural network, with which we want to show the growth of the accuracy of the network classification by stacking new blocks. The development of the basic model will be presented through the use of cloud services and the Google Colab online interface using open software libraries for machine learning (TensorFlow). Then, the pre-trained VGG-16 neural network architecture is tested on the same database and the results are compared with the basic model.

U ovom diplomskom radu opisan je problem procjene kuta zakreta upravljača vozila, što uključuje pregled postojećih rješenja za procjenu kuta zakreta upravljača vozila zasnovanih na računalnom vidu, dubokom učenju i podržanom učenju. Dan je osvrt na postojeće simulatore koji omogućuju razvoj algoritama autonomne vožnje. Uspoređeni su CARLA i AirSim simulatori koji su odabrani kao testno okruženje algoritma za autonomnu vožnju. Opisana je implementacija odabranog PilotNet algoritma u simulatore, s ciljem usporedbe mogućnosti koje pružaju navedeni simulatori. Odabrani algoritam procjenjuje kut zakreta upravljača vozila na temelju slike s vozila koju pružaju simulatori, a zatim se šalje procijenjeni kut zakreta upravljača vozila u obliku upravljačke naredbe vozila. Koristeći prednosti koje pružaju simulatori, algoritam je testiran u stvarnom vremenu na simuliranim cestama. Algoritam je testiran na ukupno 198 km vožnje u dvama različitim simulatorima, a pri tome je model 91.65 % vremena uspješno upravljao vozilom u CARLA simulatoru, dok je 78.87 % vremena ispravno upravljao vozilom u AirSim simulatoru. Ispitane su različite pogodnosti koje navedeni simulatori pružaju za razvoj i testiranje algoritama autonomne vožnje. CARLA simulator se pokazao pogodniji za testiranje i razvoj algoritama autonomne vožnje koji se zasnivaju na obradi slike. Sadrži realnije postavke vizualne scene i sadrži veći broj različitih vremenskih uvjeta This graduate thesis describes the problem of vehicle steering angle prediction, which includes a review of existing solutions for vehicle steering angle prediction based on computer vision, deep learning and Reinforcement learning. An overview of existing simulators that enable the development of autonomous driving algorithms is given. CARLA and AirSim simulators, which were selected as the test environment of the autonomous driving algorithm, were compared. The implementation of the selected PilotNet algorithm in simulators is described, with the aim of comparing the possibilities provided by the mentioned simulators. The selected algorithm predicts the steering angle of the vehicle based on the image from the vehicle, provided by the simulators, and then the predicted steering angle of the vehicle is sent in the form of a vehicle control command. Taking advantage of simulators, the algorithm was tested in real time on simulated roads. The algorithm was tested on a total of 198 km of driving in two different simulators, and the model successfully controlled the vehicle 91.65% of the time in the CARLA simulator, while it controlled the vehicle correctly in the AirSim simulator 78.87% of the time. The various benefits that the mentioned simulators provide for the development and testing of autonomous driving algorithms have been examined. The CARLA simulator proved to be more suitable for testing and developing autonomous driving algorithms based on image processing. It contains more realistic visual scene settings and contains a greater number of different weather conditions.

Procjena osvjetljenja bitan je faktor u mnogim primjenama računalnog vida. Cilj je pronaći vektor osvjetljenja kako bi se odradila transformacija slike čiji bi rezultat bila slika s najviše čovjeku vidljivih informacija. U ovom radu provjerava se metoda zasnovana na ideji klasifikacije slika ovisno o tipu svjetlosti koji je dominantan u slici, kao koraku koji prethodi samoj procjeni osvjetljenja. Iznesena je teoretska podloga potrebna za izgradnju takvog modela i opisani napravljeni koraci. Konačni rezultat je izlučen korištenjem Cube+ skupa podataka te VGG i EfficientNet arhitektura kao temelja za dobivanje modela sa zadovoljavajućim rezultatima. Color constancy is an important factor in many computer vision applications. Its primary task is to find an illumination vector such that when an image is transformed with it, it appears as tough it was illuminated with a white light source, thus increasing the amount of information the image transfers to humans. This work uses a method based on prior image classification depending on type of scene illumination source, as a step of preprocessing when estimating illumination of images. Theory behind the process of building such a model was explained and steps described. The final result is extracted using Cube+ dataset coupled with VGG and EfficientNet architectures as a basis for reaching a model with satisfying evalutation results.

Autonomna vozila su vozila svjesna vlastite okoline i sposobna samostalnog kretanja u njoj. To im omogućuju razni senzori i algoritmi koji obrađuju njihove podatke. Semantička segmentacija je ključan algoritam učenja autonomnih vozila temeljen na konvolucijskim neuronskim mrežama. Konvolucijske neuronske mreže su posebna vrsta dubokih neuroskih mreža temeljene na prepoznavanju slika. Kako bi se algoritam prilagodio stvarnom svijetu koriste se okruženja koja simuliraju stvarne uvjete okoline. Kada algoritam prođe sve uvjete dane u virtualnom okruženju, tek onda se razmatra testiranje u stvarnoj okolini. CARLA je okruženje koje se koristilo u ovom radu. Rad detaljno opisuje konvolucijske neuronske mreže i njihove prednosti nad navigacijom autonomnih vozila. Autonomous vehicles are vehicles aware of their own environment and capable of independent movement in it. This is made possible by various sensors and algorithms that process their data. Semantic segmentation is a key learning algorithm for autonomous vehicles based on convolutional neural networks. Convolutional neural networks are a special type of deep neural networks based on image recognition. In order to adapt, the algorithm uses simulation of real-world conditions. When the algorithm passes all the conditions given in the virtual environment, only then is testing in the real environment considered. CARLA is the environment used in this paper. The paper describes in detail convolutional neural networks and their advantages over autonomous vehicle navigation.

U ovom radu dan je pregled postoje´cih algoritama za autonomnu voˇznju zasnovanih na procjeni kuta zakreta upravljaˇca vozila. Izradeni su novi vlastiti algoritmi za autonomnu voˇznju zasnovani na Swin transformerskoj neuronskoj mreˇzi. Implementirane su 4 neuronske mreˇze (Swin1, Swin2, Swin3 i Swin4) koje se razlikuju po broju potpuno povezanih slojeva i broju neurona u pojedinom sloju. Implementirane neuronske mreˇze trenirane su i testirane na skupovima podataka prikupljenim u CARLA i MetaDrive simulatorima, a dobiveni rezultati pribliˇzno su jednaki rezultatima PilotNet neuronske mreˇze i vlastite LSTM neuronske mreˇze. Takoder, promatrano je i vrijeme inferencije tj. brzina obrade podataka razliˇcitih neuronskih mreˇza. Najve´cu brzinu obrade postigla je Swin1 neuronska mreˇza s 16.04 FPS. Uz testiranje na prikupljenim podacima, modeli neuronskih mreˇza testirani su u virtualnim okruˇzenjima obaju simulatora te su postigli visoke performanse. U CARLA simulatoru, Swin2 model ostvario je bolje rezultate nego algoritmi iz literature na ve´cini testova. U MetaDrive simulatoru, Swin2 model ostvario je pribliˇzno jednake rezultate kao i PilotNet neuronska mreˇza. Modeli neuronskih mreˇza koji su postigli najbolje rezultate dotrenirani su na trening skupu podataka iz drugog simulatora metodom prijenosnog uˇcenja, no dobiveni rezultati nisu bili znaˇcajno bolji u odnosu na rezultate dobivene treniranjem modela na svakom skupu zasebno. Zakljuˇceno je da neuronske mreˇze zasnovane na Swin transformerskoj neuronskoj mreˇzi mogu biti osnova algoritma autonomne voˇznje zasnovanog na procjeni kuta zakreta upravljaˇca vozila uz dovoljno velik i raznovrstan skup podataka za treniranje. This paper provides an overview of the existing autonomous driving algorithms based on steering angle prediction. Proprietary autonomous driving algorithms based on the Swin transformer neural network were developed. Four neural network models were implemented (Swin1, Swin2, Swin3 and Swin4) differing in the number of fully connected layers and the number of neurons in each layer. The implemented neural networks were trained and tested on datasets collected in CARLA and MetaDrive simulators, and the obtained results are comparable to the results of the PilotNet neural network and the proprietary LSTM neural network. Also, the inference time i.e. the speed of data processing of different neural networks was observed. The highest processing speed was achieved by the Swin1 neural network with 16.04 FPS. In addition to testing on collected datasets, neural network models were tested in the virtual environments of both simulators and achieved high performance. In CARLA simulator, the Swin2 model achieved better results than contemporary algorithms on most tests. In MetaDrive simulator, the Swin2 model achieved results comparable to those of the PilotNet neural network. The models that achieved the best results were trained on the training dataset from another simulator using the transfer learning method but the results obtained were not significantly better than the results obtained by training neural network models on each dataset separately. It was concluded that neural networks based on the Swin transformer neural network can provide a platform for an autonomous driving algorithm based on steering angle prediction given a sufficiently large and diverse training dataset.

Diplomskim radom opisan je problem semantičke segmentacije prirodnih scena riješen dubokim konvolucijskim mrežama koje su detaljno opisane. Objašnjeno je kako neuronska mreža uči te kako konvolucija utječe na rješavanje problema iz domene računalnog vida. Evaluirane su popularne arhitekture semantičke segmentacije U-Net i DeepLab te je naučen model na CamVid skupu podataka koristeći DeepLab arhitekturu. Demonstrira se prevođenje modela u strukturu podataka pogodnu za mobilnu aplikaciju te se implementira mobilna iOS aplikacija s mogućnošću segmentacije scene u realnom vremenu čija funkcionalnost je analizirana na više mobilnih uređaja različitih generacija. The diploma thesis describes the problem of semantic segmentation of natural scenes solved by deep convolutional networks which are described in detail. It is explained how the neural network learns and how convolution helps solve problems from the domain of computer vision. Popular U-Net and DeepLab semantic segmentation architectures were evaluated and a model was learned on a CamVid dataset using the DeepLab architecture. The translation of the model into a data structure suitable for a mobile application is demonstrated, and a mobile iOS application with the possibility of real-time scene segmentation is implemented, the functionality of which has been analyzed on several mobile devices of different generations.

U ovom radu opisan je proces prepoznavanja i rješavanja rukom napisanih matematičkih izraza. Najprije su opisani svi koraci obrade ulazne slike izraza u željeni oblik. Nakon toga, opisan je algoritam detekcije pojedinog znaka unutar izraza koristeći iterativni DFS algoritam. Detektirani znakovi su zatim proslijeđeni klasifikacijskoj konvolucijskoj neuronskoj mreži čije su pojedinosti poput arhitekture, slojeva, funkcije gubitka i postupka učenja detaljno opisani. Kod klasifikacije je objašnjen i postupak kreiranja vlastitog seta rukom napisanih znakova. Klasificirani znakovi se konačno prosljeđuju modulu za stvaranje rekurzivnih izraza koristeći heuristike inspirirane matematičkim i gramatičkim pravilima. Na posljetku, opisana su grafička sučelja za unos i izračun rukom napisanih matematičkih izraza. This thesis gives step by step explanation of the recognition and solving algorithms for handwritten math expressions. Firstly, image processing steps are explained in detail on the image containing the written expression. This is followed by details about the detection algorithm that finds symbols in expression image using an iterative DFS algorithm. Detected symbols are then passed to classifying convolutional network whose details like architecture, layers, loss function, and learning algorithm are described in detail. In the classification paragraph, there is also an explanation for the creation of a custom handwritten symbols dataset. Classified symbols are finally passed to a module designed for the creation of recursive math expressions using heuristics inspired by math and grammar rules. At the end of the thesis, there is a description of graphical user interfaces for writing and solving handwritten math expressions.

Ovaj rad se fokusira na pronalazak načina ubrzanja postupka segmentacije fotografije kako bi se taj postupak mogao upotrijebiti za segmentaciju videozapisa. Prvo je istražen sustav R-CNN (i njegove kasnije iteracije) za detekciju objekata, te Mask R-CNN za segmentaciju instanci. Proučivši te sustave i procijenivši njihove pozitivne aspekte i nedostatke okrenuli smo se prema načinu ubrzanja mreže. Gledajući MobileNet modele zaključeno je da bi se koncepti poput depthwise seperable konvolucije, inverzne rezidualne strukture, ekspanzijskih slojeva i „squeze and excitation“ mogli iskoristiti za ubrzanje prethodno opisanog Mask R-CNN modela. Također su proučeni benefiti jednostadijskih detektora implementiranih unutar RetinaNet-a i RetinaMaska te njihov utjecaj na performanse sustava. Na kraju je implementiran jednostavan sustav za segmentaciju objekata od pozadine, te su predložena dva sustava Efficient MaskRCNN i Efficient RetinaMask, koji bi potencijalno poboljšali performanse sustava i možda omogućili izvođenje na uređajima nižih performansi. This paper focuses on finding ways to speed up the image segmentation process so that it can be used for video segmentation. First The R-CNN system (and its later iterations) for object detection and the Mask R-CNN for instance segmentation were investigated and by studying these systems and assessing their positive aspects and shortcomings, we turned to how to accelerate the network. Looking at MobileNet models, it was concluded that concepts such as depthwise seperable convolution, inverse residual structure, expansion layers and "squeze and excitation" could be used to accelerate the previously described Mask R-CNN model. The benefits of single-stage detectors implemented within RetinaNet and RetinaMask and their impact on system performance were also studied. Finally, a simple system for segmenting foreground form background objects was implemented and two systems, Efficient MaskRCNN and Efficient RetinaMask, were proposed which could potentially improve system performance and make the system viable on more low power devices.

Duboke neuronske mreže su vrlo moćni alati za vizualnu analitiku, odnosno interpretaciju i analizu slika, te su pokazale vrhunske performanse u raznim zadacima, pa tako i u onome obrađenom ovdje, a to je detekcija voznih traka. U usporedbi s tradicionalnim modelima plitke računske strukture, jedna vrlo važna prednost neuronskih mreža je ta što su reprezentacije podataka izgrađene u proces učenja automatski. Shodno tomu, neuronske mreže se smatraju sposobne za naučiti razlikovati sve značajke od interesa, naglašavajući da je ručna konstrukcija obilježja zamijenjena automatskim učenjem. Najčešće korištene mreže za detekciju cestovnih traka su konvolucijske neuronske mreže (CNN). U metodi za detekciju traka predstavljenoj ovdje se, koristeći duboko učenje, istrenirao model konvolucijske neuronske mreže tako da pronalazak lijeve i desne linije na cestovnih trakama bude robusniji i brži od modela koji se temelji na tradicionalnim algoritmima, odnosno na računalnom vidu. Dobiveni rezultati ukazuju na moć modela konvolucijskih neuronskih mreža koji je sposoban s velikom točnošću i malom funkcijom gubitka vrlo dobro odrediti trake i riješiti zadani problem. Deep neural networks are a really powerful tool for visual analytics, for image interpretation and analysis, and have shown some really good performances in various tasks, including the one discussed here, which is lane detection. In comparison to traditional models with shallow computational structure, a very important adventage of neural networks is that the representations of the datasets are built in the process of learning automatically. Accordingly, neural networks are considered to be capable of learning to make a difference between all of the features of interest, emphasizing that the manual construction of these features is replaced by the autonomous learning. Most commonly used neural networks for lane detection are convolutional neural networks (CNN). In lane detection method proposed here, the CNN model was trained using deep learning, so that detecting of left and right line of the road lane is more robust and faster than from the model based on traditional algorithms. The results point out the power of CNN models that are capable of detecting lanes and solving problems with a big accuracy value and small loss function value.

Predviđanje budućnosti bitan je aspekt umjetne inteligencije. Razmatramo semantičko prognoziranje značajki (F2F), bazirano na modelu za semantičku segmentaciju bez lateralnih veza u naduzorkovanju, što omogućuje F2F modelu da radi samo na značajkama najmanje rezolucije. Nadalje, uspoređujemo nekoliko konvolucijskih arhitektura za F2F prognoziranje. Eksperimenti pokazuju da deformabilne konvolucije postižu bolje rezultate od običnih i dilatiranih konvolucija. Predicting the future is an important aspect of artificial intelligence. We explore feature-to-feature (F2F) semantic forecasting, based on a semantic segmentation model without lateral connections in the upsampling path, which allows the F2F model to work with features of lowest resolution. Furthermore, we compare several convolutional architecture for F2F forecasting. Experiments show that deformable convolutions achieve better results than regular and dilated convolutions.

Cilj ovog rada je prikazati kako umjetne neuronske mreže mogu pomoći zdravstvenim djelatnicima pri dijagnozi bolesti te tako olakšati i ubrzati proces liječenja pacijenta. Za taj zadatak korištena je darknet implementacija YOLO (You Only Look Once) arhitekture čija je glavna prednost nad ostalim mrežama za detekciju objekata njegova brzina. Osim YOLO arhitekture opisane su i R-CNN (Regions with CNN features) arhitekture. Model istreniran u ovom radu ima mAP (mean average precision) 59.14%, a testiranje na 100 slika pokazuje da model dosta dobro detektira česta oštećenja, a lošije oštećenja koja se rijetko pojavljuju ili koja se mogu zamijeniti s normalnim nalazom. The aim of this paper is to show how artificial neural networks can help health professionals in diagnosing the disease and thus facilitate and speed up the process of treating the patient. For this task, the darknet implementation of the YOLO (You Only Look Once) architecture is used, whose main advantage over other networks for object detection is its speed. In addition to the YOLO architecture, R-CNN (Regions with CNN features) architectures are also described. The model trained in this paper has a mAP (mean average precision) of 59.14% and testing on 100 images shows that the model detects frequent damages quite well, however damages that rarely occur or that can be mistaken for a normal finding are not detected as well.

V delu diplomskega seminarja sem se ukvarjal s Fourierovo in diskretno Fourierovo transformacijo. Najprej sem predstavil Fourierovo transformacijo in nekaj njenih lastnosti, nato pa še motiv za diskretizacijo in vpeljavo diskretne Fourierove transformacije ter nekaj njenih lastnosti. Predstavil sem tudi postopek oziroma algoritem za hitrejši izračun diskretne Fourierove transformacije, imenovan hitra Fourierova transformacija. Glavni cilj dela diplomskega seminarja je dokaz načela nedoločnosti za Fourierovo in diskretno Fourierovo transformacijo. Formulaciji se med sabo sicer razlikujeta vendar podajata enak rezultat - nikoli ne moremo hkrati poljubno natančno vedeti kje v prostorskem in kje v frekvenčnem prostoru se nahajamo. In the diploma seminar, I studied the Fourier and discrete Fourier transforms. I first presented the Fourier transform and some of its properties, and then the motivation for the discretization and the introduction of the discrete Fourier transform and some of its properties. I also presented a algorithm for faster calculation of the discrete Fourier transform, called fast Fourier transform. The main goal of the diploma seminar is to prove the uncertainty principle for Fourier and discrete Fourier transforms. The formulations in the countinous and the discrete cases differ, but they give essentially equaivalent results. The essence of the Heisenberg principle can be stated as follows: we can never simultaneously know exactly where we are in time space and where we are in frequency space.

Ovaj rad bavi se računalnim stvaranjem slika oblaka dizelskog goriva iz raspršivača u motoru s unutarnjim izgaranjem, sa svrhom unaprijeđenja i istraživanja biodizelskog goriva. Time se nastoji riješiti problem ograničene količine dostupnih slika dobivenih snimanjem, kako je iz relativno malenog broja izvornih slika moguće digitalnim stvaranjem dobiti skup slika dostatne veličine za daljnje istraživanje. Uvode se i opisuju općeniti koncepti i metode dubokog učenja poput neuronskih mreža, te posebice GAN (Generative Adversarial Networks), skupina neuronskih mreža korištenih za stvaranje novih slika na temelju postojećih, pomoću koje je implementirana metoda stvaranja slika oblaka goriva. This paper explores the process of digitally generating images of fuel clouds dispersed in an internal combustion engine, with the purpose of advancing the research of biodiesel fuels. It thereby attempts to tackle the problem of the limited amount of actual recorded images, as image generation using real references can greatly enhance the number of images suitable for research. The general methods of deep learning are described, as well as neural networks including GANs (Generative Adversarial Networks), a family of neural networks used to generate high-quality images using reference, which were used to implement the method of image generation.

Problem određivanja dobi na temelju slika lica riješen je uporabom duboke konvolucijske mreže s 5 konvolucijskih slojeva, 5 slojeva sažimanja, 5 normalizacijskih slojeva i 3 potpuno povezana sloja. Problemu se pristupilo višeklasnom klasifikacijom gdje je model trebao prediktirati dob osobe na slici u 8 dobnih skupina. IMDB-WIKI je korišteni skup podataka, a on se podijelio na skup uzoraka za učenje, validacijski i testni skup. Postupak učenja koristi mini grupe veličine 128 slika koje se propagiraju kroz mrežu unaprijed sve do izlaznog sloja mreže. Na izlazu iz mreže računa se funkcija gubitka, a korištena je unakrsna entropija kojom se provjerava koliko model griješi. Optimizacijski algoritam nastojao je minimizirati funkciju gubitka, a prilikom učenja je koristio gradijent kao informaciju kojom je provodio ažuriranje težina u modelu. Gradijenti su se računali unatražnim prolazom od izlaznog do ulaznog sloja modela. Korišteni algoritam je proširenje stohastičkog gradijentnog spusta, a zove se Adam. Slike nad kojima se model učio bile su veličine 128 x 128 na ulazu, a na izlazu, zbog raznih linearnih transformacija poput konvolucije, su smanjene na 4 x 4. Da ne bi došlo do prenaučenosti modela u njega su eksplicitno ugrađene dvije regularizacijske tehnike: regularizacija L2 normom vektora parametara modela i rano zaustavljanje koje je na temelju generalizacijske pogreške odlučivalo o nastavku ili prekidu treninga. Također, model osjeti implicitne efekte regularizacije koje su vezane uz korištenje normalizacije nad grupom slika nakon svakog konvolucijskog sloja. Ovakvim pristupom problemu postignuta je točnost modela od 35%, a uspoređujući s točnosti ispitanih ljudi može se reći da model dobro klasificira osobe u dobne skupine kojima pripadaju. Age Estimaton of Persons in Facial Images problem is solved with deep convolutional neural network which has 5 convolution layers, 5 max pooling layers, 5 normalization layers and 3 fully connected layers. Approach to the problem was multiclass classification, where model should estimate age of a person on the image in 8 different age groups. IMDB-WIKI dataset is used as a main dataset which is divided in the three parts: training set, validation set and test set. Learning process uses mini batches of size 128 images that propagate through the network from the input to the output layer. Output of the network gave calculation of the loss function which tells us how wrong the model is. Cross entropy was used as a loss function. Purpose of the optimization algorithm is to minimize loss function and as the information for update weights in the model, algorithm used gradient. Backpropagation gave calculations for all gradients in the model. Used algorithm is extension of the stohastic gradient descent called Adam. Images that was used as the inputs by the model was dimensions 128 x 128. Because of different linear transformations between hidden layers in the network, like convolution, images was reduced on 4 x 4. To avoid overfitting, two regularization techniques is explicitly built-in in the model: early stopping and regularization with L2 norm vector parameters. Early stopping is technique that tells us when to stop training based on generalization error. Also, model has some implicit efects of the regularization as batch normalization of the images after every convolution layer. Whole approach to the problem led to the accuracy of the model of 35%. Considering conducted human estimation we can say that model is pretty good classifier for this problem.

Ovaj rad bavi se obradom slike konvolucijskim metodama koristeći Kartezijsko genetsko programiranje (CGP). Istražuju se mogućnosti i performanse razvoja filtera za obradu slike. Prikazuju se rezultati pri micanju šuma i detekciji rubova, pokazujući prednosti koje dolaze s korištenjem CGP-a. Nažalost, pokušaji generiranja podataka izvedbom autoenkodera CGP-om ne rezultiraju uspjehom. Do izražaja dolaze određeni nedostatci genetskog programiranja koji ukazuju na korištenje prikladnijih tehnika za određene probleme. This paper describes the process of image convolution using Cartesian genetic programming (CGP). Possibilities and performance in evolving image filters are explored. Results are shown with image denoising filters and edge detection, pointing to the benefits of using CGP. Unfortunately, synthetic data generation using CGP as an autoencoder does not result in such success. Various downsides of genetic programming make other, more appropriate deep learning techniques a better choice for some problems.

Detekcija objekata danas pronalazi razne primjene u svrhu napretka znanosti i ljudskog života. Što se više koristi, što više podataka nastaje, to će neuronske mreže biti bolje u rješavanju zadataka. U sklopu ovog rada dan je uvod u neuronske mreže i računalni vid te je istreniran model za detekciju klizišta na LiDAR snimkama. Detekcija objekata na LiDAR snimkama je doprinijela znanosti na način da znanstvenicima dopušta da rade posao koji pronalazi nove načine rješavanja problema i da prikupljaju nove podatke, a model za detekciju olakšava posao pronalaženja klizišta tako da znanstvenicima pokaže gdje bi klizište moglo biti. Na ovaj način se štedi cijenjeno vrijeme znanstvenika. Object detection today finds various applications for the purpose of advancing science and human life. The more it is used, the more data is generated, the better the neural networks will be in solving tasks. As part of this paper, an introduction to neural networks and computer vision was given, and a model for landslide detection on LiDAR images was trained. Detection of objects on LiDAR images has contributed to science by allowing scientists to do work that finds new ways to solve problems and collect new data, and the detection model facilitates the job of finding landslides by showing scientists where a landslide might be. This saves scientists’ valuable time.

Prijenos stila je obrada slike s kojom se sadržaj neke slike stilizira zadanim stilom. Takve metode danas se najčešće koriste u računalnoj grafici i kao pomoć pri animiranju. Postoji mnogo metoda s kojim se može prenijeti no neuroprijenos stila danas daje najbolje rezultate i najslobodnije rezultate. Prvi prijenos stila pomoću neuronske mreže ostvario je Leon Gatys. Sadržaj slike lako se izračunavao no problem je bio stil. Gatys je predstavio metodu računanja stila preko gramovih matrica. Njegova metoda prijenosa stila provodi se tako da za definiranu funkciju gubitka optimiziramo našu generiranu sliku. Ta funkcija gubitka definirana je sa stilom i sadržajem. Ubrzo su se razvile i druge metode koje rade brže. Style transfer is the processing of an image with which the content of an image is styled by a given style. Such methods are most commonly used today in computer graphics and as an aid to animation. There are many methods by which it can be transmitted but neurotransmission of style today gives the best results and the freest results. The first transmission of style using a neural network was achieved by Leon Gatys. The content of the image was easy to calculate but the problem was the style. Gatys introduced a method of calculating style over gram matrices. Its style transfer method is implemented by optimizing our generated image for a defined loss function. This loss function is defined with style and content. Other methods that work faster soon developed.

Motorna vozila koja za svoje kretanje koriste motore s unutarnjim izgaranjem u cilindre motora ubrizgavaju gorivo u obliku spreja. Kako bi se ubrizgivanje spreja moglo optimizirati, uslikane su slike spreja goriva koji ulazi u cilindre. Slike su segementirane metodama dubokog ucenja i analizirane. Analiza uklju ˇ cuje odre ˇ divanje duljine penetracije spreja i kut ¯ raspršenja. Kako bi se slike segmentiranle, korištena je konvolucijska neuronska mreža koja se sastoji od konvolucijskih slojeva. Mreža je po arhitekturi U-Net i sastoji se od dva dijela cija je uloga opisana u radu. Motor vehicles that use internal combustion engines inject a spray of fuel into the cylinders of their engine. In order to optimize the spray injection, images of the fuel spray entering the cylinders were taken. Images are segmented using the deep learning methods and analyzed. The analysis includes determining the spray penetration length and spray angle. In order for images to be segmented, a convolutional neural network consisting of convolutional layers is used. The network is based on the U-Net architecture and consists of two parts whose role is described in the paper.

U ovom radu uvedeni su osnovni koncepti dubokog učenja i neuronskih mreža, modeli EfficientDet i YOLOv5 te je opisana njihova primjena na detekciju klizišta. Osnovni oblik podataka su LiDAR snimke koje predstavljaju visinski model terena. Uz detekciju na osnovnim visinskim modelima, oba navedena modela učena su i na deriviranim kartama osjenčanog terena. Na kraju, predstavljene su korištene metrike i konačni rezultati nad skupom podataka za testiranje. This thesis introduces the foundations of deep learning and neural networks, EfficientDet and YOLOv5 deep learning models and their application in landslide detection. Basic data format are LiDAR images representing digital terrain models. Besides detecting landslides on the basic terrain models, both models were trained using the derived hillshaded maps as well. Finally, metrics used and final results on the test dataset are presented.

Diplomsko delo opisuje problem detekcije anomalij na reflektivnih površinah z uporabo deflektometrije. Predlagamo novo metodo za detekcijo anomalij, ki je sposobna hitre detekcije na podlagi zgolj ene slike opazovane površine. Klasične metode deflektometrije izdelajo 3D rekonstrukcijo opazovanega objekta, napake pa zaznajo z odstopanji pri primerjavi z referenčnim objektom brez defektov. Večina teh metod za delovanje potrebuje natančno kalibracijo sistema. Ker se metoda, ki jo predlagamo, uči na anotiranih primerih anomalij, pri inferenci ne potrebuje posebne kalibracije in referenčnih objektov. Detekcijo anomalij opišemo kot problem semantične segmentacije, ki za vsak piksel napove verjetnost anomalije. Za implementacijo semantične segmentacije uporabimo konvolucijske nevronske mreže. Predlagamo tudi robusten postopek za lokalizacijo detekcij iz segmentacijske maske, ki je sposoben zaznati tudi delno prekrivajoče anomalije. S preliminarno analizo in eksperimentalno evalvacijo utemeljimo izbiro arhitekture ter hiperparametrov modela. Razvito metodo učimo in evalviramo na problemu detekcije udrtin v strehi avtomobila, kjer pokazažemo bistvene izboljšave v primerjavi z osnovno metodo. Naša metoda je na testih dosegla natančnost 0.88, priklic 0.88 in F-mero 0.88, kar predstavlja skoraj 50% izboljšavo v primerjavi z osnovno metodo. In this thesis we propose a new deflectometry-based anomaly detection approach applicable to reflective surfaces. Classic deflectometry methods detect surface anomalies by performing partial 3D surface reconstruction and differencing it with a pre-recorded reference model of the observed object. Most of these methods require projection of several patterns and require accurate calibration between the pattern projector, camera and the inspected object. In contrast, our anomaly detection approach is defined as a semantic segmentation problem and performs pixel-wise anomaly classification. We utilize the power of deep models for this purpose. Since the proposed method can be trained on annotated anomaly examples, reference objects are not needed, the detection is fast, requires only a single pattern projection and does not require accurate calibration. Furthermore, a robust method for anomaly localization from the segmentation mask is proposed, capable of extracting partially overlapping detections. Preliminary analysis and experimental evaluation were performed to justify the architecture and hyper-parameters of our deep semantic segmentation model. The final model was trained and evaluated on the problem of dent detection in car roofs, where a significant improvement over the base method has been shown. Our model achieves a precision of 0.88, recall of 0.88 and F-score of 0.88 on test data, which represents a nearly 50% improvement over the base method.

Popularnost korištenja neuronskih mreža u modernim računalnim sustavima svakim danom sve više raste, kao i kompleksnost problema koji se rješavaju uz pomoć tih neuronskih mreža. Poznatiji problemi koji se rješavaju uz pomoć neuronskih mreža uključuju prepoznavanje uzoraka na slikama ili video signalu, prepoznavanje teksta, pretvaranje teksta u govor ili obratno, klimatsko predviđanje i mnogi drugi manje poznati problemi. Međutim, kako istraživači povećavaju strukturu neuronskih mreža kako bi klasificirali komplicirane probleme uz veliku preciznost, moderne neuronske mreže mogu zauzimati nekoliko GB memorije u parametrima i zahtijevati nekoliko milijardi operacija za klasifikaciju jednog ulaza što je nepovoljno za izvođenje na računalnim sustavima koji imaju ograničenja u područjima memorije i potrošnje energije, primjerice ugradbeni računalni sustavi ili računalni sustavi koji zahtijevaju veliki stupanj skalabilnosti. Na sreću, dokazano je da neuronske mreže s parametrima u obliku brojeva s pomičnim zarezom sadrže veliki stupanj redundancije, odnosno da se isti problemi mogu, uz prihvatljiv gubitak na preciznosti, klasificirati uz pomoć neuronskih mreža s kvantiziranim parametrima. U sklopu ovog diplomskog rada opisan je postupak treniranja kvantiziranih neuronskih mreža korištenjem programske biblioteke Brevitas, prevođenje treniranog modela kvantizirane neuronske mreže iz ONNX podatkovnog formata u oblik pogodan za Vivado HLS sintezu uz pomoć skriptnog prevodioca FINN i izrada pokaznog sustava koji se izvodi na PYNQ-Z1 razvojnoj pločici. Pokazni sustav se sastoji od dvije Jupyter bilježnice od kojih prva služi za testiranje performansi dobivenog akceleratora, a druga omogućava klasifikaciju slike dohvaćene putem USB kamere. Korisnik upravlja s pokaznim sustavom tako da se spoji na poslužitelj Jupyter bilježnica koji je pokrenut na PYNQ-Z1 razvojnoj pločici koristeći web preglednik. The popularity of using neural networks in modern computing system grows with each passing day, as does the complexity of the problems which are solved with aforementioned neural networks. Some of the more known problems that are solved by using neural networks include pattern recognition in images or video signal, text recognition, text to speech conversion or speech to text conversion, climate change prediction along with many other less known problems. However, as researchers increase the structure of neural network sin order to classify more complex problems with great precision, modern neural networks can take up a few GB in memory for parameters and require a few billion floating point operations just to classify a single input which is not suitable for deployment on computing system with limitations regarding memory or energy consumption, such as embedded computing systems or computing systems with high scalability requirements. Luckily, it was proven that full precision floating point neural networks contain a lot of redundancy, or in other words it was shown that quantized parameter neural networks can be used to solve the same problems, albeit with acceptable accuracy loss. This masters thesis describes the training of quantized neural networks using Brevitas, exporting the neural networks from ONNX model format to a form which is suitable for Vivado HLS synthesis with the help of the FINN script compiler and construction of a demonstration system which is executed on a PYNQ-Z1 development board. The demonstration system consists of two Jupyter notebooks of which the first is used for testing the performance of the accelerator and the second is used to classify the image taken by the USB camera. Interfacing with the demonstration system is done by connecting to the running Jupyter notebook server on the PYNQ-Z1 development board with a web browser.

Za početak ovog rada, u prvim poglavljima, teorijski će te biti upoznati s pojmovima dubokog učenja i neuronskih mreža. Na detaljan način se objašnjava struktura i rad pojedinog neurona u umjetnim neuronskim mrežama, a nakon toga se bavimo strukturom i radom cijelih neuronskih mreža. Kasnije se upoznaje i objašnjava rad konvolucijskih neuronskih mreža, koje su nam bitne za ovaj rad jer se one koriste za raspoznavanje značajki na slikama. Zatim nakon toga se prikazuje neuronska mreža koja se koristi u ovoj programskoj aplikaciji za prepoznavanje ljudskih aktivnosti u videima. Objašnjava se njena struktura i njen princip rada. Na kraju rada u poglavljima 7 i 8 detaljno se prolazi kroz program koji koristi našu neuronsku mrežu i prikazuju se rezultati rada naše neuronske mreže pri prepoznavanju ljudskih aktivnosti u ved snimljenim videima.

Kranski sustavi su važan dio današnjeg gospodarstva. Omogućuju prijenos teških tereta s jedne pozicije na drugu. Najveći izazov prisutan prilikom premještanja tereta pomoću krana su zaostale vibracije tereta. Njih je moguće pokušati dovesti na vrijednost nule ili na neku vrijednost koja se može tolerirati. Cilj je ostvariti što brži pomak tereta uz što manje zaostale vibracije. Taj problem se može riješiti korištenjem filtara s konačnim impulsnim odzivom (engl. Finite Impulse Response Filters) ili skraćeno FIR filtri dok se metoda suzbijanja zaostalih vibracija korištenjem oblikovanja reference naziva engl. Input Shaping. U radu je korišten engl. Zero Vibration Input Shaper (ZV filter). Kako bi se osiguralo točno pozicioniranje tereta korišten je proporcionalno-derivativni (PD) regulator. Regulator i projektirani filtar za uklanjanje zaostalih vibracija ispitan je na simulacijskom modelu kranskog sustava te eksperimentalno na stvarnom kranskom sustavu. Crane systems are an important part of today's economy. They allow the transfer of heavy loads from one position to another. The major challenge in moving a load with a crane is the residual vibrations of the load. An attempt can be made to bring these to zero or a tolerable value. The goal is to achieve the fastest possible load movement with the least amount of residual vibration. This problem can be solved by using Finite Impulse Response (FIR) filters, while the method of suppressing residual oscillations by FIR filters is called input shaping. In this thesis Zero Vibration (ZV) input shaper is used. To ensure accurate positioning of the load, a proportional-derivative (PD) controller was used. The controller and the designed filter to eliminate residual vibrations were tested on a simulation model of the crane system and experimentally on an actual crane system.

V diplomski nalogi obravnamo problem detekcije mej med odbojnimi površinami med postopkom skeniranja z deflektometrijo. V tem postopku se na površino projicira črtast vzorec, kar močno otežuje lokalizacijo meje s standardnimi metodami. Zato predlagamo novo metodo za lokalizacijo mej, ki uporablja konvolucijsko nevronsko mrežo in aktivne konture. Uspešnost naše metode demonstriramo na slikah, kjer je prikazan stranski pogled avtomobila, detektiramo pa meje med vrati. Predlagana mreža je oblike enkoder dekoder in za boljše prepoznavanje vzorca uporablja razširjene konvolucijske sloje. Za najboljši postopek prileganja se izkaže robustno prileganje na segmentirani maski z uporabo aktivnih kontur, ki izboljša povprečno napako iz 5.00 na 2.67 pikslov. Predlagana metoda na testni množici doseže natančnost 0.91, priklic 0.68 in F-mero 0.76, procesiramo pa lahko približno 4.29 slik na sekundo. In this thesis, we address the problem of border detection between reflective surfaces during the process of deflectometry. In this process a striped pattern is projected on the surface, which makes it difficult to localize border with standard methods. To address this problem, we propose a new method for border localization, which uses convolutional neural network and active contours. We demonstrate the performance of our method on the task of car door border detection from images taken from the side of a car. Proposed network has the encoder decoder architecture and contains dilated convolutional layers for better pattern recognition. We show that robust fitting on segmented masks using active contours is the best way of fitting, and it reduces mean error from 5.00 to 2.67 pixels. On test set the proposed method achieves precision of 0.91, recall of 0.68 and F-score of 0.76. The method allows processing at approximately 4.29 frames per second.

Rad opisuje učenje modela konvolucijske neuronske mreže za segmentaciju slojeva retine. Analizirane su koristi i nedostaci prijenosa učenja i augmentacije podataka za semantičku segmentaciju. Kombinacija augmentacije podataka i prijenosa znanja omogućila je bolje rezultate istog modela obučenog od početka. Ovo je zaista važan rezultat, jer ogromni računski resursi nisu unutar svačijih mogućnosti, pogotovo kada se radi o velikim biomedicinskim skupovima podataka. The paper describes the learning of a convolutional neural network model for retinal layer segmentation. The benefits and disadvantages of transfer learning and data augmentation for semantic segmentation are analyzed. The combination of data augmentation and transfer learning enabled better results of the same model trained from scratch. This is a really important result, because huge computing resources are not within everyone's capabilities, especially when it comes to large biomedical datasets.

Modeli dubokog učenja danas se primjenjuju na većini područja čovjekova života. Osim raznih vrsta asistencije u svakodnevnom životu, ispituje se i njihova vrijednost kao profesionalnih alata. Jedna od struka na koje primjena dubokog učenja može imati pozitivan utjecaj je dentalna forenzika. Ovaj rad bavi se analizom stomatoloških rendgenskih slika uz pomoć metoda dubokog učenja. U sklopu ovog rada, ispituje se primjena konvolucijskih i predtrenirannih neuronskih mreža na probleme klasifikacije spola i regresije dobi osobe kojoj pripada slika. Također, i¬spituje se i utjecaj metoda manipulacije podacima kao što su stratifikacija i augmentacija slika na performanse mreže. Nowadays, deep learning methods are being used in nearly every aspect of human life. Besides various sorts of everyday assistance, their use as a professional tool is the subject of many studies. One of the professions which could potentially benefit from their use is dental forensics. This thesis focuses on the analysis of dental X-ray images using deep learning methods. It studies the application of convolutional and pretrained neural networks to solve the problem of gender classification and age regression based on the dental X-ray image. Furthermore, it studies the effect several data manipulation methods such as data stratification and data augmentation have on the results.

U ovome radu uspoređivane su dvije različite arhitekture neuronskih mreža za segmentaciju biomedicinskih slika. Slike iz korištenog skupa podataka su dobivene pomoću X-PCI metode snimanja srca štakora. Arhitekture mreža koje se koriste su U-net i Tiramisu. Segmentacija slike je proces dijeljenja digitalne slike na više smislenih, logično izabranih skupova piksela ili segmenata. Obje korištene mreže su konvolucijske mreže. Prema dobivenim rezultatima zaključuje se da točnost segmentacije U-net mreže manje ovisi o dimenzijama slika od Tiramisu. Tiramisu mreža ima puno dulje trajanje treniranja, te na nju puno više utječu dimenzije slika. Implementirana rješenja tog problema su prepolavljanje dimenzija slike i dijeljenje slike na četiri slike jednakih dimenzija. Mreže su uspoređivane pomoću Dice i IoU. Najbolji dobiveni rezultati su od Tiramisu mreže trenirane na skupu podataka slika podijeljenih na četiri jednakih dimenzija (Dice = 0.9540, IoU = 0.9112). This work compares the effectiveness of two different neural network architectures for biomedical image segmentation. Images from the data set used were obtained using the X-PCI method on the heart of a rat. The architectures used in this paper are U-net and Tiramisu. Image segmentation is the process of dividing a digital image into multiple meaningful, logically chosen sets of pixels or segments. Both networks used are convolutional networks. According to the obtained results, it is concluded that the accuracy of U-net network segmentation depends less on the image dimensions than Tiramisu. The Tiramisu network has a much longer training duration, and it is much more affected by the dimensions of the images. Implemented solutions to this problem are halving the image dimensions and dividing the image into four images of equal dimensions. The best results were obtained from Tiramisu networks trained on a set of images divided into four equal dimensions (Dice = 0.9540, IoU = 0.9112).

Lažne slike lica poznate pod nazivom deepfake, dobivene su pomoću tehnike dubokog učenja. Zbog visoke uvjerljivosti njihove izvedbe i mogućih neetičkih upotreba, u interesu je akademije i medijske industrije da se nađe pouzdani način za njihovu provjeru. Konvolucijske neuralne mreže predstavljaju rješenje u njihovoj klasifikaciji, te je njima razvijeno nekoliko pouzdanih modela za njihovu klasifikaciju. Falsified face images known as deepfakes are based on deep learning. Because of their high quality and possible non ethical uses, it is in a great interest of academia and media industry to find a reliable way for their detection. Convolutional neural networks offer a solution in their classification and based on them several reliable models for classification were developed.

Rad prolazi kroz teorijsku podlogu analize slike lica i pronalaska karakterističnih točaka. Prolazi kroz metode i alate potrebne da bi se trenirala umjetna neuronska mreža. Rad također daje teorijsku podlogu za područje dubokog učenja i umjetnih neuronskih mreža korištenih za pronalazak točaka. Navodi se nekoliko različitih baza podatak slika dostupnih javno ili uz pristanak vlasnika. Nudi se rješenje jedne od mogućih neuronskih mreža za pronalazak lica i karakterističnih točaka. Nakon treniranja, rad daje pregled rezultata uz korištenje različitih izvora podataka i ispituje mogućnosti i razloge različitih dobivenih rezultata. The thesis covers the theoretical background of image analysis and facial feature point detection. It goes through the methods and tools necessarry for the training of an aritificial neural network. The thesis also covers the areas of deep learning and artificial neural networks used for feature point detection. A few different data bases are mentioned which are either available publicly or with the consent of the author. A solution for a possible structure of an artificial neural network that can find facial feature points is proposed. After the training, test images from different data bases are compared and the final results are discussed.

U ovom završnom radu opisano je kako funkcioniraju neuronske mreže i dan je uvid u njihovu arhitekturu. Konvolucijske neuronske mreže su detaljnije opisane jer su se koristile u izradi rada. Detaljno su opisani konvolucijski i potpuno povezani sloj. U radu je detaljno opisan sustav za prepoznavanje i klasifikaciju slika, YOLO (You only look once). Nakon teoretskog uvoda navedeno je kako koristiti sustav i pokazani su primjeri proizišli iz testiranja neuronske mreže. Slike prikazuju kako dobru klasifikaciju tako i greške i poteškoče na koje nailazi sustav. This paper describes how neural networks work and gives insight into their architecture. Convolution Neural Networks are described in more detail because they were used for this paper. A convolutional and fully-connected layer is described in detail. This paper describes the system for recognizing and classifying images, YOLO (you only look once). After the theoretical introduction, it was stated how to use the system and demonstrated examples derived from the testing of neural network. The pictures show how good the classification is but also the mistakes and difficulties faced by the system.

Konvolucijske nevronske mreže dosegajo izjemne rezultate na področju računalniškega vida. Osrednja operacija teh mrež je konvolucija z jedrom majhne in nespremenljive velikosti. V praksi je zato standardni prijem za povečavo dovzetnega polja združevanje sosednjih slikovnih točk, kar pa za mnoge probleme v računalniškem vidu nima zadovoljive izhodne resolucije. Problem naslavlja t. i. dilatacija, ki enote iz konvolucijskega jedra razširi na širše območje in s tem poveča dovzetno polje. Velikost razširitve je ročno nastavljena in tekom učenja ni spremenljiva, kar lahko predstavlja težavo, saj v splošnem njene optimalne vrednosti ne poznamo. Učljivo velikost dovzetnega polja ima nedavno predlagana metoda, pri kateri je konvolucijsko jedro sestavljeno iz premičnih združevalnih enot (angl. displaced aggregation units, DAU). Vsako jedro ima svoj nabor parametrov, svojo velikost dovzetnega polja. V tej diplomski nalogi naslavljamo vprašanje, ali je mogoče reducirati prostostne stopnje modela brez izgube natančnosti. Predlagamo tri načine reduciranja prostostnih stopenj z deljenjem odmikov na vhodih in izhodih. Implementiramo prehod naprej in vzvratni prehod za te tri različice, jih vgradimo v arhitekture konvolucijskih nevronskih mrež različnih velikosti in evalviramo na problemu klasifikacije slik v 10 razredov. Vse različice imajo za več kot 50% manj parametrov kot originalni sloj DAU. Eksperimentalni rezultati kažejo, da ima model, ki ima odmike neodvisne od izhoda, znatno manjšo računsko zahtevnost kot originalni sloj DAU, pri tem da klasifikacijska točnost pade za manj kot 2%. Convolutional neural networks have demonstrated excellent performance at computer vision tasks. The central operation of these networks is a convolution with a small, fixed size kernel. In practice, therefore, the standard approach for increasing the receptive field is to combine adjacent pixels, which for many computer vision tasks does not have a sufficient output resolution. The problem is addressed by the so-called dilation, which extends the units from the convolution kernel to a wider area, thereby increasing the receptive field. The size of the kernel is manually set and is not variable during learning, which can be a problem, as we generally do not know its optimal value. To solve this problem, a method has recently been proposed in which the convolution kernel consists of displaced aggregation units (DAU). Each kernel has its own set of parameters, its own size of receptive field. In this thesis we address the question of whether it is possible to reduce model degree of freedom without loss of its accuracy. We propose three ways to reduce degrees of freedom by sharing displacements at the inputs and outputs. We implement a forward and backward pass for these three versions, embed them in architectures of convolutional neural networks of different sizes and evaluate on the problem of classifying images into 10 classes. All versions have more than 50% fewer parameters than the original DAU layer. The experimental results show that the model, which has output-independent displacements, has a significantly lower computational complexity than the original DAU layer, with the classification accuracy lower by less than 2%.

Konvolucijske neuronske mreže pokazale su se kao izvrstan odabir u području obrade slike, a sve se više primjenjuju i u raznim drugim područjima. Najčešće se neuronske se mreže izvode na računalnim sustavima veće procesorske snage, kao što su poslužitelji i osobna računala dok se rijeđe izvode na ugradbenim računalnim sustavima. U radu je istražena mogućnost izvođenja konvolucijskih neuronskih mreža na ugradbenim računalnim sustavima koji sadrže FPGA sklopove, a za takve sustave moguće je generirati sklopovske akceleratore za konvolucijske neuronske mreže.U sklopu rada razvijene su u jeziku VHDL neke od jedinica koje izvode operacije konvolucijske mreže. Također su provedena mjerenja vremena izvođenja 2D konvolucije na osobnom računalu te su dobiveni rezultati uspoređeni s rezultatima dobivenim simulacijom jedinice za 2D konvoluciju na FPGA. U radu je pokazano kako je moguće prenijeti neuronsku mrežu iz TensorFlow modela na FPGA platformu te je istraženo koji se problemi mogu pojaviti prilikom prijenosa. Pokazano je kako je najveći problem manjak memorije na samom FPGA sklopu, ali taj problem je umanjen dizajnom komponenti koje ne zahtijevaju veliku količinu memorije. Convolutional neural networks are nowadays among the best choices for solving various problems in the image processing domain, as well as many other different application fields. Neural networks are usually executed on computer systems with high processing power, such as servers and personal computers, and they are rarely run on embedded systems. This thesis explores the posibilities of running convolutional neural networks on embedded systems that contain FPGA circuits, since it is possible to generate hardware accelerators for convolutional neural networks. Work on this thesis encompassed the development of some hardware units for convolutional neural network operations in VHDL language. Moreover, the performance of generated FPGA hardware accelerator for convolutional neural networks was compared with performance of personal computer by means of simulations and runtime measurements. This work also shows how to transfer neural network from TensorFlow model to FPGA platform, along with analysis of possible problems in this process. One of the main shortcomings is the lack of memory resources on FPGA hardware, what was addressed by designing the components with low memory requirements.

U ovom radu je kronološki prikazan razvoj modela i tehnika korištenih za obavljanje zadataka računalnog vida, detekcije objekata na slikama i klasifikacije. Upoznali smo se sa osnovnom idejom strojnog i dubokog učenja kao i sa razlikama među njima. Poseban naglasak je stavljen na važnost nastanka i razvoja umjetnih neuronskih mreža, alata koji stoje iza najvećih postignuća umjetne inteligencije modernog doba. U konačnici je prikazan cjelokupan proces prikupljanja podataka (slika) te izrade i primjene detektora voća na slikama. Detektor je treniran koristeći TensorFlow GPU inačicu poznate Googleove biblioteke strojnog učenja. This work presents the chronological development of models and techniques used to perform computer vision tasks, object detection at the images and classifications. We met with the basic concept of machine and deep learning as well as the differences between them. Special emphasis has been put on the importance of the emergence and development of artificial neural networks, the tools which stays behind the greatest achievements of the modern-day intelligence. At the end, there is described entire process of data (pictures) collecting and the creation and application of the fruit detector in the pictures. Detector is trained using the TensorFlow GPU version of the famous Google Machine Learning library.

Problemi analize i obrade slike dio su brojnih grana ljudske djelatnosti. Poseban izazov predstavljaju problemi u kojima se sa slike nastoji očitati rukom pisani tekst. U ovom se radu razmatra segmentacijski pristup očitavanju takvih znakova pomoću dubokih modela. Ispituje se sposobnost takvog sustava na konkretnom primjeru očitavanja rukom pisanih decimalnih brojeva. Prikazani su i komentirani dobiveni rezultati te je dan kratak opis funkcionalnosti razvijenog grafičkog sučelja. Image analysis and processing problems are present in numerous human activities. Most challenging ones involve optical character recognition, specifically recognition of handwritten characters. This thesis covers segmentation-based approach to that kind of problems using the power of deep models. Capabilities of such systems are tested on real problem that involves recognition of handwritten decimal numbers. Results are shown and commented and short description of developed graphical user interface is presented.

Jedna od najperspektivnijih tehnika za ispitivanje sastava, strukture i svojstava materijala je mikroskopija sondama za skeniranje (SPM), odnosno njene komponente mikroskopija tunelovanjem elektrona (STM) i mikroskopija atomskim silama (AFM). Ovim metodama se rutinski postiže nanometarska i atomska rezolucija. Posebno istaknuta prednost metode je da ne postoje ograničenja u smislu porekla i sastava uzoraka, te je moguće ispitivanje organskih i neorganskih materijala. Ova tehnika se primenjuje u savremenim multidisciplinarnim istraživanjima u oblasti medicine, farmacije, stomatologije, nauke o materijalima, itd, i to za ispitivanje bioloških uzoraka, hemijskih jedinjenja, farmaceutskih proizvoda, veštačkih tkiva, materijala za implantologiju, i svih ostalih materijala čija nanotehnološka svojstva imaju uticaj na primenu u navedenim naučnim oblastima. Međutim, snimci dobijeni pomoću AFM-a su samo aproksimacije površina uzoraka, jer sonde nemaju ni savršenu veličinu ni geometriju, usled čega dolazi do pojave artefakata koji se definišu kao karakteristike koje se pojavljuju na snimku a koje nisu prisutne na ispitivanom uzorku. Ovi efekti izazvani konvolucijom između sonde i uzorka mogu do izvesne mere da budu korigovani matematičkom manipulacijom topografskim podacima. Metodologija koja je u ovom radu korišćena se zasniva na algebri skupova i osnovnim alatima matematičke morfologije. Iskorišćeni su matematički algoritmi za “slepu rekonstrukciju” vrhova sondi, a potom je izvršena dekonvolucija, da bi se otkrili delovi površine uzorka koji u realnosti nisu bili dostupni. Granica realnog vrha sonde se izračunava iz slike pomoću morfoloških ograničenja koja su inherentna u procesu snimanja. Rezultat se dobija u vidu snimka rekonstruisane površine uzorka iz dobijenih snimaka, uz pomoć rekonstrukcije vrha sonde kojom je uzorak sniman. One of the most perspective available technique for investigation of the composition, structure and properties of materials, is scanning probe microscopy (SPM), respectively its components scanning tunneling microscopy (STM) and atomic force microscopy (AFM). The advantage of the method is that they have no restrictions related to origin and composition of the material, and its possibilities to investigate vide variety of materials. This technique is used in multidisciplinary research in the field of medicine, pharmacy, dentistry, material science, etc., for study of biological samples, chemical compounds, pharmaceutical products, artificial tissues, implantology materials, and all other materials that have nanotechnological impact on application in these scientific fields. However, images obtained by AFM represent only approximation of the sample surfaces. This is because the probes have not perfect size and geometry, which leads to the appearance of artifacts. They are defined as characteristics that appear on the image and are not present on the sample. These effects caused by convolutions between the probe and sample can be corrected to a certain extent by mathematical manipulation of topographic data. The methodology used in this paper is based on algebra of sets, and basic tools of mathematical morphology. Mathematical algorithms for the "blind reconstruction" of the tip were used, and then in order to detect the parts of the sample surface which is not available in real-time scanning deconvolution was applied. The limit of the real probe tip is calculated from the image, using the morphological limitations inherent in the recording process. The result acuired as an image of the reconstructed surface out of the used images, with the reconstruction of the real tip.

Cilj ovog rada je korištenje ResNet (Residual Network) neuronske mreže u svrhu raspoznavanja pasmine pasa. Koristi se baza slika Stanford Dogs Dataset, koja se sastoji od oko 20 000 slika pasa, podijeljenih u 120 vrsta. U radu najprije su opisane bitne značajke konvolucijskih mreža s fokusom na ResNet50 te su opisani alati korišteni za treniranje mreže. Praktični dio rada uključuje pripremu baze slika pasa, programsku implementaciju mreže, te učenje i testiranje mreže. U konačnici, evaluirani su rezultati učenja i uspješnost mreže. The aim of this thesis is to use ResNet (Residual Network) neural network for the purpose of classifying dog breeds. The Stanford Dogs Dataset, which consists of around 20,000 dog images, is divided into 120 breeds. The essential features of convolutional neural networks are described, with the focus on ResNet50 and the tools used to train the network. The practical part of the work involves the preparation of a dog image database, the network deployment and ultimately the learning and testing of the network. Finally, learning outcomes and the effectiveness of the network were evaluated.

U današnje doba pokušava se postići što veća autonomija vozila, a za to su zaduženi napredni sustavi za pomaganje vozaču (ADAS, engl. Advanced driver-assistance systems). Krajnji cilj razvoja jednog takvog sustava jest omogućiti potpunu autonomiju vozila. Kako bi jedan takav sustav mogao donositi odluke, treba raspolagati informacijama koje pružaju uvid u okolinu vozila, tj. objekte koji okružuju automobil. Prilikom normalne vožnje (unaprijed), sustavu je najbitnije raspolagati informacijama o objektima koji se nalaze ispred vozila. Ovaj rad se bavi klasifikacijom objekata detektiranih s prednje strane vozila gdje ulaz u algoritam klasifikacije predstavljaju slike objekata. Diplomski rad opisuje klasifikaciju objekata koristeći duboke konvolucijske mreže te je kao dio rada opisan postupak izrade jedne takve mreže, od prikupljanja slika koje predstavljaju podatke pa do samog učenja mreže. Također, opisani su i pojedini slojevi od kojih se takva duboka neuronska mreža sastoji. U radu je izvršena evaluacija izrađenih mreža i razmatrani su problemi koji se mogu stvoriti kod krive klasifikacije i zašto do njih dolazi. Nowadays, we are trying to achieve as much vehicle autonomy as possible by developing Advanced driver-assistance systems (ADAS). The ultimate goal of developing such a system is allowing complete autonomy of the vehicle. In order for such a system to make decisions, it should have information that provides insight into the environment of the vehicle, i.e. the objects surrounding the car. During forward driving, it is most important for the system to have information about the objects in front of the vehicle. This paper describes the classification method of using deep convolutional neural networks of the objects detected in the front of the vehicle. The input into the classification algorithm is represented by the image of the object. This paper describes the process of making such a network, from collecting and grouping the images that represent the data up to the learning of the network itself. This paper also describes individual layers which comprise such a deep neural network. In this paper, an evaluation of created networks has been carried out and the paper also discusses why and what problems could occur when using such a method for classification.

U ovom diplomskom radu detaljno je obrađen model konvolucijskih neuronskih mreža. U prvom dijelu rada dan je uvod u klasične neuronske mreže, radi boljeg razumijevanja arhitekture i osnovnih pojmova dubokih modela. Drugi dio rada započinje opisom operacije konvolucije, koja se primjenjuje u konvolucijskim mrežama. U nastavku smo opisali svaki sloj konvolucijske mreže te dali matematički prikaz algoritma učenja modela. Nakon toga, naveli smo neke od najčešćih problema koji se javljaju prilikom učenja mreže te prikazali neke od optimizacijskih i regularizacijskih metoda, koje rješavaju dane probleme i poboljšavaju učenje modela. Na samom kraju rada, opisali smo implementacijsko rješenje za problem neuronskog prijenosa stila, s umjetničke slike na odabranu fotografiju. Model je razvijen pomoću biblioteke TensorFlow za strojno učenje. Za učenje modela korištena je okolina razvojnog oblaka Google Colaboratory, koja pruža besplatnu upotrebu grafičkih kartica. Rezultati modela su slike s primijenjenim stilom drugih slika, koje su prikazane u posljednjem poglavlju rada. In this thesis we gave a detailed view of convolutional neural network models. In the first part of the thesis, we presented a gentle introduction to classic neural networks for better understanding, with some basic concepts of deep learning models. Second part of the thesis begins with the convolution operation description, which is the main carrier operation in convolutional neural networks. Furthermore, we described every CNN layer, and gave a mathematical background for the learning algorithm. After that, we presented some most common problems which can occur while training deep models. We described some optimization and regularization methods that can solve these problems and improve the model learning. Lastly, we described an implementation for neural style transfer problem, from an artistic image to a chosen photography. The model is implemented using TensorFlow machine learning library. Model is learned in Google Colaboratory environment which offers free GPU support. Results of the model computations are images, with style transferred from other images, as shown in the last chapter of the thesis.

Cilj ovog diplomskog rada je koristeći predtrenirane konvolucijske neuronske mreže procijeniti spol osobe na temelju ortopantomograma. Rad je podijeljen u tri dijela. U prvom dijelu se govori o povijesti neuronskih mreža, njihovim arhitekturama, tipovima neuronskih mreža. Takod̄er je objašnjeno na koji način rade i umjetne i konvolucijske neuronske mreže. U drugom dijelu je pojašnjen pristup rješenju, koji je podijeljen u nekoliko djelova. Za svaki dio je objašnjeno zašto je potreban, te je prikazan dio koda koji obavlja tu zadaću. Posljednji dio rada prikazuje dobivene rezultate za svaku kori- štenu neuronsku mrežu. Postignuti rezultati za svaku mrežu se med̄usobno uspored̄uju, a i uspored̄uju se ortopantomogrami koji su krivo procjenjeni. Theme of this paper is by using the pretrained convolutional neural networks to determine the sex of the person using the given X-ray image of the jaw. Paper is divided into three parts. First part explains what are neural networks, talks about history of neural networks, their architectures and types. It is also explained how both artificial and convolutional neural networks work. Theme of the second part of the paper is the solution of the problem. The solution is devided in several parts. For every part it is explained why why it is necessary and there is part of code which solves the issue. In the last part of the paper results are shown and compared.

U ovome radu proučavamo korištenje duboke neuronske mreže za estimiranje iluminacije scene. Koristimo mrežu s jednim konvolucijskim slojem sa udruživanjem s maksimalnom vrijednošću, jedan potpuno povezani sloj te izlaz s tri čvora (jedan za svaku vrijednost kanala boje). Za treniranje mreže koristimo slike iz baze koja sadrži istinite vrijednosti iluminacije scena svih slika. Mreža na ulaz prima uzorke slika te daje lokalna predviđanja osvjetljenja za svaki uzorak. Globalno predviđanje osvjetljenja dobiva se jednostavno uzimanjem srednje vrijednosti svih lokalnih predviđanja. Predviđenu boju osvjetljenja scene tada možemo iskoristiti za uklanjanje neželjenog utjecaja boje osvjetljenja kromatskom adaptacijom. Korištenje dubokih mreža za rješavanje problema estimacije osvjetljenja scene daje izvrsne rezultate u usporedbi s ostalim metodama. In this work we describe using a deep neural network for estimating the scene illumination. The network we use consists of one convolutional layer with max pooling, one fully connected layer and an output layer with three nodes (one for each color channel). For training the network we use an image dataset that contains groundtruth scene illumination values for each image. The network takes image patches as input and gives local illumination predictions for every patch. The global estimate is calculated simply by taking the average of all the local estimates. The predicted scene illumination color values can then be used to remove unwanted illumination effects using chromatic adaptation. Using deep neural networks for solving the problem of estimating the scene illumination produces excellent results compared to other methods.

Računalna postojanost boje je sposobnost uklanjanja efekta boje izvora na svjetlosti sa slika kako bi slika izgledala kao da je slikana pod kanonskim, bijelim svjetlom. U zadnje vrijeme, konvolucijske neuronske mreže ostvaruju state-of-the-art rezultate u zadacima obrade slike, uključujući i problem računalne postojanosti boje. U sklopu ovog rada prestavljena je potpuno konvolucijska neuronska mreža za rješavanje problema postojanosti boje na računalu. Također, opisani su skupovi za učenje korišteni za treniranje mreže te rezultati koje je mrea potigla. Color constancy is the ability to account for the color of the light source in images so that images look like they were shot under a canonical light source (usually white light). Lately, convolutional neural networks brought state-of-the-art performance in various image processing tasks, including computational color constancy. In this paper, fully convolutional neural network is introduced to solve this task along with datasets used to train the network as well as results which the network accomplished.

U znanstvenom području računarstva vrlo je važna implementacija teorija algoritama i matematičkih modela za dizajniranje rješenja problema koja se javljaju u različitim znanstvenim područjima. Dosadašnji modeli koji pružaju informacije o mikrostrukturi nanomaterijala (veličina kristalita, njihov oblik i deformacija kristalita) iz analize snimke rengdenske difrakcije uzoraka pokazuju niz nedostataka tijekom obrade i analize snimljenog signala. Većina rješenja je komercijalna, i kao rezultat pružaju uprosječene vrijednosti, što je vrlo nepotpuna informacija, posebno u slučajevima kada je oblik kristalita anizotropan, tj. različitih dimenzija u različitim smjerovima. U radu su obrađeni sljedeći znanstveni doprinosi, koji pokrivaju algoritme, te računalna rješenja koja adekvatno odgovaraju na zahtjeve eksperimentalne metode rendgenske difrakcije: 1. Model signala snimljenog rendgenskom difrakcijom, te postupak izdvajanja čistog difrakcijskog signala temeljen na tom modelu. 2. Metoda za razdvajanje dviju djelomično preklapajućih sastavnica čistog difrakcijskog signal. 3. Metoda ekstrakcije značajki čistog difrakcijskog signala za određivanje prosječnog oblika i veličine kristalita te raspodjele kristalita po veličini. U ovoj doktorskoj disertaciji razvijeni su. Sam rad koncipiran je u nekoliko cjelina: Uvod – objašnjenje problematike i prikaz dosadašnjih spoznaja u literaturi. To u sebi podrazumijeva teorijske koncepte analize signala prilagođene problematici određivanja mikrostrukture materijala. Nakon njega slijedi Teorijski pregled metoda za obradu i analizu difrakcijskog signala – gdje je dan prikaz dosadašnjih rješenja za modeliranje signala, modeliranje degradacije signala, te uklanjanje šuma koji unosi mjerni uređaj i tehnika snimanja. U trećem poglavlju predstavljen je Model signala snimljenog rendgenskom difrakcijom, te postupak izdvajanja čistog difrakcijskog signala temeljen na tom modelu. Ovdje je opisan model izdvajanja čistog difrakcijskog signala i snimljenog signala koji u sebi unosi šum od strane instrumenta. Nakon toga predstavljena je Metoda za razdvajanje dviju djelomično preklapajućih sastavnica čistog difrakcijskog signala. Ovo predstavlja jedan od najčešćih problema u analizi difrakcijskih snimaka, posebno u slučaju kompleksnih kristalnih struktura. Da bi se dobila informacija o mikrostrukturi uzorka, potrebno je izolirati svaki difrakcijski profil i ovdje je predstavljena metoda za razdvajanje međusobno preklapajućih signala koja još nije korištena u problematici rendgenske difrakcije. U petom poglavlju predstavljene su dvije Metode ekstrakcije značjaki čistog difrakcijskog signala za određivanje prosječnog oblika i veličine kristalita te raspodjele kristalita po veličini. Ovdje je predstavljen konačni cilj disertacije, dobivanje informacija o mikrostrukturnim parametrima nanomaterijala te analiza izračunatih parametara koje rezultiraju „ocrtavanjem“ oblika nanočestice. Postojeći modeli su poboljšani, te je razvijen novi algoritam koji omogućava izradu cjelovitog računalnog rješenja za određivanje veličine kristalita i deformacije kristalita te njihovo ocrtavanje na temelju snimke rendgenske difrakcije. Na kraju svakog poglavlja prikazani su eksperimentalni rezultati koji predstavlja valorizaciju i provjeru algoritma. Materijali su snimljeni elektronskim mikroskopom s visokim razlučivanjem i dobiveni rezultati uspoređeni su s rezultatima dobivenim algoritmom razvijenim u disertaciji čime je potvrđena njegova točnost. One very important aspect of scientific computing is the implementation of the theory of algorithms and mathematical models to design solutions to problems that occur in various scientific fields. The previous models that provide information about the microstructure of nanomaterials (crystallite size and shape, and deformation in crystalites – crystalline structure) from their X-ray diffraction patterns show a number of shortcomings in processing and analyzing the recorded signal. The majority of solutions are commercial and offer only averaged values, which can be highly inaccurate especially in cases of materials with crystallites of an anisotropic shape, i.e. when their dimensions are different in different directions. In this thesis, the following scientific contributions were covered, that cover algorithms and computations solutions which adequately cope with the challenges of x-ray diffraction: 1. Model of signal recorded by x-ray diffraction, and extraction of pure diffraction signal based on this model. 2. Method for separation of two partially overlapping pure diffraction signals. 3. Method for extraction the characteristics from pure diffraction signal for obtaining average crystallite shape and size, as well as their distributions. In this dissertation algorithms and computer solutions that adequately meet the requirements of the specific experimental method are developed. The work itself is divided into several sections: The Introduction - offers an explanation of the problem and presents recent findings in the literature, including theoretical concepts of the signal analysis adapted to the problem of microstructural determination of materials. It is followed by Theoretical overview of the methods of image processing – where an overview of contemporary solutions for signal modeling are given, as well as models for signal degradation modeling and noise removal in measuring devices and recording techniques. In the third chapter A model of x-ray diffraction signal is given, together with the deconvolution of the signal components. A model for extraction of pure diffraction profile is presented here. After this, a Model for separation of two overlapping x-ray diffraction profiles is given. This is one of the most common problems in x-ray diffraction analysis, especially for complicated crystal structures. In order to obtain information about the microstructure of the sample, it is necessary to isolate each and every diffraction profile, and a method which was never used in the x-ray diffraction theory before is presented here. In the fifth chapter two methods for extraction the characteristics from pure diffraction signal for obtaining average crystallite shape and size, as well as their distributions are given. Final goal of the dissertation presented here, how to obtain information on the microstructural parameters of nanomaterials, and the analysis of calculated parameters that would result in nanoparticle shape. The existing models are improved and a new algorithm is developed that would allow an integrated computer solution for determining the crystallite size and strain on the basis of X-ray diffraction patterns. At the end of every chapter experimental results are given that present the valorization of the algorithms is valorized. Samples are recorded by high-resolution electron microscopy, and the results of the comparison confirm the accuracy of the developed algorithm.

U ovom radu ispitane su neke od metoda za estimaciju fazora napona i struja u elektroenergetskom sustavu. Simulacijski modeli izrađeni su u programskom okruženju MATLAB i simuliran je rad svih algoritama. Objašnjene su pojave koje se događaju pri obradi signala. Testirano je ponašanje algoritama u raznim uvjetima poput pojave viših harmonika, visokofrekventnog šuma i promjene frekvencije samog signala. Posebna pozornost obraćena je na ponašanje algoritama u uvjetima kvara elektroenergetskog sustava. Također razmotrene su i implementacijske mogućnosti pojedinih algoritama. Algoritmi su implementirani na DSP procesoru i testirano je njihovo ponašanje. Testiranje na DSP procesoru obuhvaća detekciju harmonika i otpornost na promjenu frekvencije. Za generiranje signala željenog harmoničkog sastava korišten je generator signala Omicron 356. In this master thesis, three phasor estimation methods of voltage and current in power system are explained. All simulation models are made and tested in MATLAB. Signal processing phenomena are also explained. Algorithms are tested on various signal conditions such as the occurrence of high harmonics, high frequency noise and frequency changes. Particular attention is given to the behavior of algorithms when the signal is simulating failure of the power system. The final section of the paper describes testing of algorithms on a DSP processor. Testing includes harmonics detection and stability to frequency changes. The Omicron 356 signal generator was used to generate the signal of the desired harmonic composition.