Search

3D object reconstruction is a very rapidly developing field, especially from a single perspective. Yet the majority of modern research is focused on developing algorithms around a single static object reconstruction and in most of the cases derived from synthetically generated datasets, failing or at least working insufficiently accurately in real-world data scenarios, regarding morphing the 3D object's restoration from a deficient real world frame. For solving that problem, we introduce an extended version of the three-staged deep auto-refining adversarial neural network architecture that can denoise and refine real-world depth sensor data current methods for a full human body pose reconstruction, in both Earth Mover's (0.059) and Chamfer (0.079) distances. Visual inspection of the reconstructed point-cloud proved future adaptation potential to most of depth sensor noise defects for both structured light depth sensors and LiDAR sensors

Dissertation presents a set of computer models and their application strategy for the completion of a three-dimensional object from a single imperfect depth sensor perspective. The proposed models can reconstruct the volume and surface of multiple complex and temporally morphing objects per frame from only a single noisy or otherwise distorted depth sensor frame input. Where the input can be captured by using either LiDAR or structured light depth sensors. With the application of unsupervised deep adversarial auto-refining neural networks the models have shown to be robust against various types of noise typically seen in real world depth sensors. This is because the novel adversarial-autorefinement branch first removes majority of the distortions in the depth map, making the input synthetic-like that can be later completed with missing features. Additionally, while the state-of-the-art robustness against noise and reconstruction quality has a great scientific importance, the conducted research has shown potential commercial applications such as robotics, autonomous vehicles and virtual reality due to their performance in terms of time being adequate for real-time applications., Šiame darbe pristatomi modeliai bei jų pritaikymo strategija trimačių objektų atkūrimui iš vieno netobulo gylio jutiklio perspektyvos kadro. Pasiūlyti sprendimai geba atkurti kelių sudėtingų bei laike kintančių objektų tūrį bei jų paviršių. Objektai yra atkuriami iš vieno triukšmingo ar turinčio kitokių defektų gylio jutiklio perspektyvos kadro užfiksuoto tiek struktūrizuotos šviesos, tiek LiDAR jutiklio. Pritaikant neprižiūrimus giliuosius išvalančiuosius neuroninius tinklus netobulo įvesties signalo išvalymui, išgaunamas kadras panašus į sintetinį. Išvalymas padaro objekto atkūrimo sprendimą atsparesnį įvairiam triukšmui. Pateiktų sprendimų naujumas pasižymi ne tik atsparumu triukšmui ir atkūrimo kokybei, bet ir greitaveika, kuri leidžia pritaikyti modelius realaus laiko sprendimuose bei panaudoti komercinėje aplinkoje, pavyzdžiui, robotika, autonominiai automobiliai bei virtuali realybė.

Darbo metu sukurta sistema vizualiam robotų programavimui ir robotų sąveikos modeliavimo tyrimui – RobotVL. Sukurta sistema jos vartotojui leidžia panaudojus grafiškai kuriamus algoritmus sukurti algoritmus robotams bei išbandyti tuos algoritmus virtualioje aplinkoje. Tyrimo pagrindinis tikslas – ištirti kelio planavimo algoritmus bei atrinkti tinkamiausią (ar jų kombinaciją) algoritmą kuris bus įdiegiamas sukurtoje sistemoje. Parinktas algoritmas yra pradedantiesiems palengvinti darbą su mobiliaisiais robotais. Taip pat tai yra kaip mokomoji medžiaga kurią vartotojas gali išanalizuoti bei pakeitus stebėti kaip keičiasi roboto elgsena. Tyrimas buvo atliekamas su pasirinktais universaliais algoritmais galinčiais dirbti tiek fizinėje, tiek realioje aplinkoje. Algoritmai kurie būtų neįgyvendami fizinėje aplinkoje buvo atmetami kadangi sistema turi leisti vartotojui tą patį sukurtą roboto algoritmą pakartotinai panaudoti ir tikrame robote. Algoritmai buvo analizuojami pagal jų vykdymo greitį, operatyviosios atminties sąnaudos reikalingas darbo metu bei rasto kelio optimalumą. Tyrimo rezultatų metu buvo atrinkti du algoritmai kurių kombinacija yra tinkamiausia kuriamoje sistemoje., In this work, we have created software for visual robot software development and their interactions observation – RobotVL. Developed software allows its user to graphically create algorithms for robots and test them inside a virtual environment. The purpose of the research is to examine path planning algorithms and to propose the most suited (or a combination of) algorithm to implement in the developed software. Selected algorithm allows a beginner user to get into mobile robotics easier alongside being a tool for learning by modifying it and observing how changes to the algorithm impact the behavior of a mobile robot. The research was conducted with universal algorithms that are not tied to specific environment. Algorithms that are impossible to implement in physical environment were rejected due to requirement that the system needs to be able to reuse the same graphical algorithm for both virtual and physical environments. Selected algorithms were analyzed by their performance, operating memory usage and whether they could find the most optimal path or not. Research result suggests a combination of two algorithms to implement in the system which would be the most optimal and universal solution for the task at hand.