Search

Direktna vizualna odometrija skupina je algoritama koji estimiraju položaj kamere pomoću vrijednosti intenziteta piksela u slikama. Samim time je osjetljiva na pogreške kalibracije i inicijalizacije početnih vrijednosti. Iako stereo kamere omogućuju brzu inicijalizaciju i procjenu metričke skale, njihovo korištenje je složenije i zahtijeva kompleksniju kalibraciju kamera. Duboko učenje omogućuje estimaciju metrički točne dubine iz monokularnih slika. Korištenjem najnovijih pristupa samo-nadziranog učenja, omogućuje se učenje mreže bez označenog skupa podataka za treniranje. Stoga je moguća vrlo laka prilagodba neuronske mreže za različita okruženja. U diplomskome radu potrebno je iskoristiti dubinske mape iz neuronske mreže u direktnoj vizualnoj odometriji kako bi se poboljšala inicijalizacije i omogućila procjena metričke skale svijeta iz monokularnih slika. Direct visual odometry is a group of algorithms that estimate camera position using pixel intensity values in images. It is therefore sensitive to calibration errors and initialization of initial values. Although stereo cameras allow for rapid initialization and metric scale estimation, their use is more complex and requires more complex camera calibration. Deep learning allows the estimation of metrically accurate depth from monocular images. Using the latest approaches to self-supervised learning, network learning is enabled without a labeled training data set. Therefore, it is possible to very easily adapt the neural network to work in different environments. In this graduate thesis it is necessary to use depth maps from the neural network in direct visual odometry in order to improve the initializations and enable the assessment of the metric scale of the world from monocular images.

Poznati izazov u sustavima preporuke jest tzv. problem hladnog starta koji nastaje u ranoj fazi postprodukcije kada još nemamo zabilježene korisničke preference u obliku recenzija na temelju kojih bi sustav mogao generirati preporuke. U okviru rada, predloženo je rješenje koje koristi metodu samonadziranog učenja kojim se neuronska mreža uči reprezentacijama korisnika i sadržaja na temelju kojih se uz međusobnu usporedbu dolazi do najpoželjnije preporuke. Kako bi se dokazala uspješnost ove metode, dizajniran je sustav preporuke znanstvenih članaka. Rezultati ovog pristupa su zadovoljavajući. Kako bi se u budućnosti postigli još bolji rezultati, naučeni model trebao bi se iskoristiti u sklopu prijenosnog učenja (eng. transfer learning) uz prave korisničke recenzije. A well-known challenge in recommender systems is the so-called cold start problem that arises in the early stages of post-production when we do not yet have recorded user preferences in the form of reviews, based on which the system could generate recommendations. This final paper suggest a solution based on self-supervised learning in which the neural network learns the representations of users and the content on the basis of which they are compared to the most desirable recommendations. As part of proving proposed method, a system of recommending scientific articles has been developed. The results of this approach are satisfactory; however, in order to achieve even better results, the developed trained model should be used in transfer learning with real user reviews.

Monokularna procjena dubine loše je postavljen problem kojeg karakterizira nedostatak geometrijskih ograničenja, a primjena dubokog učenja pokazuje se plodonosnom u računalnom vidu. Pristup zadatku podrazumijeva nenadzirano učenje dubokih konvolucijskih neuronskih mreža za procjenu dubine i relativne poze kamere, temeljenih na široko rasprostranjenoj arhitekturi U-Net. Pojedine induktivne pristranosti te korisna geometrijska svojstva - poput rijetke povezanosti i ekvivarijantnosti s obzirom na pomak, razlog su zbog kojeg spomenute arhitekture predstavljaju prikladan alat za rješavanje navedenog zadatka. Matematički okvir za nenadzirano učenje monokularne procjene dubine proizlazi iz modela kamere i geometrije nastanka slike, a svodi se na zadatak rekonstrukcije. Kod monokularnog pristupa, posebno se ističe problem skale te potreba za modelom za procjenu relativne poze kamere - dva povezana problema kojih nema kod stereo pristupa. Kvalitativni rezultati pokazuju pojedine učinke učenja i ugađanja modela na skupu KITTI te na internom skupu BIH. Arhitekturalne značajke poput procjene aleatorne nesigurnosti, rekonstrukcije značajki i mehanizma pozornosti, pokazuju se kao kompetitivne. Eksperimenti također pokazuju da se performanse monodepth2 modela na KITTI Eigen testnom skupu mogu unaprijediti pažljivijim odabirom vrijednosti pojedinih hiperparametara te upotrebom transponirane konvolucije za naduzorkovanje. Svi eksperimenti su temeljeni na monodepth2 modelu. Monocular depth estimation is an ill-posed problem that suffers from lack of geometric constraints, whilst deep learning has already proven itself for a variety of computer vision tasks. The approach consists of training deep convolutional neural networks deployed as popular and widely used U-Net architecture. These tools are known for possessing desirable inductive biases (e.g. sparse connectivity) and geometric properties (e.g. translational equivariance). Unsupervised learning for monocular depth estimation is enabled by a mathematical framework that arises from single view geometry and the pinhole camera model; the neural networks are trained to perform warping-based view synthesis. The "scale problem" and the need for relative camera pose estimation model are the key differences between monocular and stereo approach. Qualitative results show the effects of training and fine-tuning on KITTI and internal BIH datasets. Architectural features such as aleatoric uncertainty estimation, multi-scale feature reconstruction and attention mechanism are also competitive. Experiments also show that monodepth2 performance on KITTI Eigen test set can be improved by choosing different hyperparameter values and using transposed convolution for upsampling. All experiments are based on monodepth2 model.

Zadatak procijene optičkog toka jedan je od neriješenih problema u području računalnog vida. Optički tok ima široku primjenu u praksi te se zbog toga pojavljuju brojni pokušaji rješavanja ovog problema. Počevši od formulacije problema kao optimizacijskog postupka te korištenja ručno dizajniranih opisnika, današnje stanje tehnike u području optičkog toka postignuto je dubokim konvolucijskim modelima. Primjer takvog dubokog konvolucijskog modela je RAFT koji se sastoji od tri glavne komponente: kodera značajki, korelacijskog sloja i modula za ažuriranje. Osnovno svojstvo RAFT-a je iterativan pristup i korištenje volumena cijene sa svim parovima piksela. U ovom radu predlažemo kompletan postupak samonadziranog učenja modela RAFT. Učenje obavljamo u dvije faze tako da procijenu toka u nezaklonjenim pikselima iz prve faze koristimo kao točne oznake za vođenje učenja u umjetno zaklonjenim dijelovima tijekom druge faze. Najvažnija karakteristika predloženog postupka je mogućnost učenja na parovima slika bez poznavanja točnog toka čime uklanjamo ograničenja na domenu primjene. Procijenu evaluiramo na skupovima Sintel i Flying Chairs te pokazujemo da naš model postiže rezultate usporedive s najboljim poznatim modelima, a navodimo i mogućnosti budućeg napretka. The task of estimating optical flow is one of the unsolved problems in the field of computer vision. Optical flow has a wide application in practice and therefore there are numerous attempts to solve this problem. Starting from the formulation of the optical flow as an optimization problem and the use of hand-crafted descriptors, the current state-of-the-art in the field of optical flow has been achieved by deep convolutional models. An example of such a deep convolutional model is RAFT which consists of three main components: a feature encoder, a correlation layer and an update operator. The main feature of RAFT is the iterative approach and the use of cost volume with all pairs of pixels. In this paper, we propose a method for self-supervised learning of the RAFT model. We perform the learning in two phases by using the flow estimation in the non-occluded pixels from the first phase as ground-truth to guide learning in the manually occluded areas during the second phase. The proposed method is able to learn on pairs of images without knowing the ground-truth flow, thus removing restrictions on the field of application. We evaluate the estimations at the Sintel and Flying Chairs and show that our model achieves results comparable to the best known models, and we also discuss the possibilities for the future work.

Zadaća algoritama preporuke je rangiranje i selekcija sadržaja koji su zanimljivi pojedinom korisniku. U sustavima preporuke temeljenim na učenju postoji problem hladnog početka (engl. cold-start) do kojeg dolazi kada ne postoje produkcijski, stvarni podatci za korisnike. Cilj ovog rada je konstruirati pomoćni zadatak (engl. artificial task) temeljen na slučajnim šetnjama u svrhu rješavanja problema hladnog početka. Pomoćni zadatak će omogućiti samonadzirano učenje za stvaranje dobrih reprezentacija na autorskim materijalima. Na temelju dobivenog skupa podataka stvorit će se model pojačanih stabala (engl. boosting trees). Potom će se analizirati pretpostavke i mane konstruiranog problema za učenje za potrebe inicijalnog korištenja modela u produkcijskom sustavu. The task od recommendation algorithms is to rank and select content that is interesting to an individual user. In learning-based recommendation system, there is cold-start problem that occurs when there is no production, actual data for users. The aim of this paper is to construct a pretext task based on random walks in order to solve the problem of cold start. The pretext task will enable self-supervised learning to create good representations on the author's materials. A model of the boosting trees will be created based on the obtained dataset. Then, the assumptions and shortcomings of the constructed learning problem will be analyzed for the purposes of the initial use of the model in the production system.