Search

The main question investigated is whether additional decision steps can improve vessel behavior produced by the collision avoidance method scenario based model predictive control (SBMPC). The method, which functions by predicting alternative paths resulting from a finite number of alternative control behaviors, then selecting which behavior to apply by use of a cost function, was originally formulated to allow switching between several behaviors on the prediction horizon. However, current implementations have been limited to a single control step. To compare the single-step and multi-step SBMPC, a simulation study was performed, where different configurations for the number, positioning and possible control actions were tested. In the course of the simulation study it became clear that identifying situations producing a significant difference between the two methods was difficult to identify and the multi-step SBMPC led to only minor improvements in very few scenarios. Nevertheless, multi-step decisions can be visualized to give better situational awareness, and also have additional benefits with other trajectory parameterizations and less uncertain predictions of other ship trajectories.

Safe navigation for autonomous surface vehicles requires a robust and reliable tracking system that maintains and estimates position and velocity of other vessels. This paper demonstrates a measurement level sensor fusion system for tracking in a maritime environment using lidar, radar, electrooptical and infrared cameras. The backbone of the system is a multi-sensor version of the Joint Integrated Probabilistic Data Association (JIPDA) with both existence and visibility probabilities. Using reference targets equipped with GPS receivers, the performance of different sensors and sensor combinations are evaluated for autonomous surface vehicles (ASVs), Several interesting observations are made, among them that passive sensors can help resolve merged measurements issues in radar tracking, and that the choice between radar and lidar may boil down to a trade-off between fast track initiation and large numbers of false tracks.

—The detection probability of maritime vessels may change over time, either slowly or more abruptly, due to effects such as sea state and varying aspect angle. If the varying detectability is not accounted for in the tracking system, tracks may be terminated or lost. The undetected targets may cause dangerous situations in applications such as maritime collision avoidance. In the following, we propose two methods for tracking targets with varying detection probability, both in the integrated probabilistic data association (IPDA) framework. One method uses the number of validated measurements to estimate the detectability of the target, while the other calculates the joint detectability and existence probabilities based on the measure- ment association likelihoods. Both methods show significant improvements over the conventional Markov chain 1 and 2 IPDAs

Established state-of-the art methods for target tracking assume perfect knowledge of the sensor position and orientation. This assumption is violated when the tracking sensor is mounted on a moving platform such as a ship. Two methods for solving this problem are compared. The Schmidt-Kalman filter maintains correlations between the ownship and the target, while a converted measurement approach merely translates the navigation uncertainty into the measurement model of the target. Simulation results indicate that the Schmidt-Kalman filter yields the best improvements with regard to consistency, while the converted measurement approach yields better improvements in root mean square error. © 2016 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work in other works. This is the authors' accepted and refereed manuscript to the article.

Autonomous vehicles can obtain navigation information by observing a source with a camera or an acoustic system mounted on the frame of the vehicle. This information properly fused provides navigation information that can overcome the lack of other sources of positioning. However, these systems often have a limited angular field-of-view (FOV). Due to this restriction, motion along some paths will make it impossible to obtain the necessary navigation information as the source is no longer in the vehicle’s FOV. This paper proposes both a path planning approach and a guidance control law that allows the vehicle to preserve a certain object or feature inside the FOV while at the same time converging to the proposed path.

Summary As the maritime traffic sector is expected to increase over the next years, effort should be invested into protocols and technology for ensuring safe and efficient voyage over the seas. Autonomous ships can here offer multiple benefits, such as increased safety and efficiency, lessened environmental impact and higher rates of reliability and consistency. Recently, there has been an increased focus on the development of such autonomous surface vehicle platforms, with examples such as Yara Birkeland and Zeabuz leading the way in Norway. For this development to be successful, there is a need for robust autonomy systems onboard the ship, which can make intelligent decisions in reasonable time in order to avoid collision and adhere to the International Regulations for Preventing Collisions at Sea (COLREGS), when faced with a challenging and uncertain environment involving multiple grounding hazards and dynamic vessels or obstacles. In this setting, a robust collision avoidance (COLAV) system is vital for the safety and efficacy of the autonomous ship. Topics within this field has been the focus in this thesis. During the PhD, two sampling-based Collision Probability Estimators (CPEs) were developed, one based on a combination of Monte Carlo Simulation (MCS) and a Kalman-filter, and the other based on the Cross-Entropy (CE) method. Both CPEs estimate the probability that a ship will collide with a nearby dynamic obstacle, by taking the kinematic uncertainty of the obstacle into account. For the first CPE, samples from the obstacle Probability Density Function (PDF) involving both position and velocity are used to estimate the probability, which is then filtered through the KF to obtain the final estimate. The KF makes it possible to reduce the statistical variance introduced by the MCS. However, the method struggles with estimating low collision probabilities, as the assumption of constant obstacle velocities in the sampling and the curse of dimensionality makes evident. This was solved through the CE-based CPE, which can adaptively converge towards the optimal density to sample from using iterative optimization by minimizing the Kullback-Leibler divergence between the optimal and the current importance densities. Because of the adaptivity, the CE-based estimator can obtain low variance collision probability estimates at reasonably low computational cost. Simulation studies are shown to verify the methods. Simultaneously, the Probabilistic Scenario-based Model Predictive Control (PSBMPC) was introduced, based on the original Scenario-based MPC (SB-MPC), as an aim towards taking situational uncertainty into account for COLAV. The PSB-MPC employs a CPE to have probabilistic risk assessment, by using collision probability estimates in its cost function, which increases the COLAV situational awareness. The PSB-MPC was further enhanced throughout the thesis work to also consider intention uncertainty for nearby dynamic obstacles, by evaluating the probabilities of multiple different maneuvering scenarios for each obstacle. Ornstein-Uhlenbeck (OU) processes and Line-of-Sight (LOS) guidance based models have been used to improve its prediction scheme and allow for also taking into account this intention uncertainty. Simulation results are shown throughout the thesis chapters to prove that the method incrementally gets more and more viable for use as a means for robust COLAV. This is also evident after a parallelized and efficient implementation of the algorithm was developed, which facilitates both static and dynamic obstacle avoidance through the use of a Graphical Processing Unit (GPU) in the MPC cost evaluation. In the last part of the thesis work, the GPU-based PSB-MPC with a Dynamic Bayesian Net (DBN) for intention inference is validated in full-scale experiments, which demonstrates the viability of the method. Lastly, a new approach to joint vessel destination inference and long-term kinematics prediction for dynamic obstacles was developed. The method uses a maritime graph in combination with a piecewise OU process and a so-called bridge model, in a Bayesian inference setting. The piecewise OU process utilizes maritime traffic pattern information through the maritime graph, for more accurate predictions of typical vessel trajectories along common sea lanes. After the vessel has reached the end of its trajectory along the maritime graph, the bridge model enables the continued vessel prediction to converge towards the considered destinations. It is demonstrated using historical Automatic Identification System (AIS) data that the method performs better than current state-of-the-art in terms of both destination inference and prediction quality. Improved vessel predictions, in addition to information on their most likely goal destinations, is valuable for ship autonomy applications, and the next step will be to also incorporate this in risk-based COLAV systems. The thesis work has contributed to the progress of research within robust COLAV systems, for both the situational awareness and decision making aspects of the topic. Still, there are considerable challenges to solve. How to tune COLAV systems such as the PSB-MPC, with all involved modules, for use in a large variety of situations with different geographies and dynamic obstacle configurations is highly non-trivial. It will here be important to investigate methods for making such systems adaptive and capable of learning from experience, in order to properly adopt them on maritime vessels. Samandrag: Ein ventar at den maritime sektoren vil auke i dei komande åra. Det bør derfor investerast i protokollar og teknologi for å gjere sjøtransport både sikrare og meir effektiv. Her kan autonome skip tilby fleire fordelar, som auka sikkerheit og effektivitet, mindre miljømessig påverknad samt ein i større grad påliteleg og repeterbar oppførsel. I det siste har det vore auka fokus på utvikling av slike platformar for autonome overflatefartøy, med eksempel som Yara Birkeland og Zeabus i Noreg. For at denne utviklinga skal vere vellukka, trengst det robuste autonomisystem på skipet, som kan ta intelligente avgjersler i rimeleg tid for å unngå kollisjon med andre båtar. Eit utfordrande og usikkert miljø med fleire grunningsfarar og dynamiske hindringar krev også at ein føyer seg etter det internasjonale regelverket for å forhindre kollisjon på sjøen (COLREGS). I denne samanhengen så er eit robust kollisjonsunngåingssystem viktig for sikkerheita og effektiviteten til det autonome skipet. Emne innan dette feltet har vore fokuset i denne avhandlinga. I løpet av PhD-en blei to samplingsbaserte kollisjonssannsynsestimatorar utvikla. Den første er basert på ein kombinasjon av Monte Carlo-simulering og eit Kalmanfilter, medan den andre er basert på kryssentropi-metoden. Begge estimerer sannsynet for at eit skip vil kollidere med ei nærliggande dynamisk hindring, ved å ta omsyn til den kinematiske usikkerheiten til hindringa. For den første estimatoren, blir sampel av både posisjon og hastigheit frå sannsynstettleiken til hindringa brukt til å estimere sannsynet, som vidare blir filtrert gjennom Kalmanfilteret for å få det endelege estimatet. Kalmanfilteret gjer det mogleg å redusere den statistiske variansen som kjem frå bruk av Monte Carlo-simulering. På den andre sida slit metoden med å estimere låge kollisjonssannsyn, på grunn av at ein i samplinga reknar hastigheiten som konstant, samt den såkalla dimensjonalitetsforbanninga. Dette blei løyst gjennom bruk av den kryssentropibaserte estimatoren, som på ein adaptiv måte kan konvergere mot den optimale tettleiken å sample frå, ved bruk av iterativ optimalisering for å minimalisere Kullback-Leibler-divergensen mellom den optimale og nåverande viktigheitstettleiken. På grunn av adaptiviteten kan den andre estimatoren oppnå låg varians på kollisjonssannsynsestimata ved liten reknemessig kostnad. Simuleringsstudiar er her vist for å verifisera dei to estimatorane. Samtidig blei den probabilistisk scenariobaserte modellprediktive regulatoren (PSBMPC) introdusert, basert på den opprinnelege scenariobaserte MPC-en (SB-MPC), med målet om å kunne ta omsyn til situasjonsspesifikk usikkerheit for kollisjonsunngåing. PSB-MPC-en bruker ein kollisjonssannsynsestimator for å oppnå probabilistisk risikovurdering der kollisjonssannsynsestimata inngår i kostnadsfunksjonen, noko som igjen aukar situasjonsforståinga til systemet. Algoritmen blei vidare forbetra gjennom arbeidet i doktorgraden til å også kunne ta omsyn til intensjonsusikkerheit for nærliggande dynamiske hindringar. Dette var mogleg ved å evaluere sannsyna for fleire ulike manøverscenariar for kvar hindring. Ornstein-Uhlenbeck (OU)-prosessen og siktelinjemetoden blei brukt til å forbetre prediksjonsdelen av MPC-en, for å kunne ta omsyn til intensjonsusikkerheit. Simuleringsresultat er vist for å demonstrere at metoden gradvis gir meir robust kollisjonsunngåing. Dette blir endå meir tydeleg etter at ein parallellisert og effektiv implementasjon av algoritmen blei utvikla. Denne innlemma kollisjonsunngåing med omsyn til både statiske og dynamiske hindringar ved å ta i bruk ein grafikkprosessor i kostnadsevalueringa til MPC-en. Den paralleliserte versjonen av PSB-MPC-algorithmen blei til sist testa experimentelt ilag med eit dynamisk Bayesiansk nettverk brukt til intensjonsinferens for dynamiske hindringar, som demonstrerte at algoritmen kan brukast i praksis. Sist blei ein ny måte å samtidig estimere eit skip sin planlagte destinasjon og langtidsprediksjon mot denne, utvikla. Metoden bruker ein maritim graf kombinert med ein stykkevis OU-prosess og ein såkalla brumodell i ein Bayesiansk setting. Den stykkevise OU-prosessen utnyttar informasjon om maritime trafikkmønster gjennom den maritime grafen, for meir nøyaktige prediksjonar av typiske skipsbanar langs vanlege sjøvegar. Etter at skipet har nådd enden av banen langs den maritime grafen, gjer brumodellen det mogleg å få baneprediksjonen til å konvergere mot vurderte destinasjonar. Ved bruk av historisk data frå eit automatisk identifikasjons system (AIS), blir det demonstrert at metoden yter betre enn den nåverande forskningsfronten på emnet, med tanke på destinasjonsinferens og kvaliteten på skipsprediksjonane. Avhandlinga har bidratt til framgang på forskninga innan robuste system for kollisjonsunngåing, for både situasjonsforståing- og beslutningstakingsaspektet på feltet. Det finst derimot framleis betydelege utfordringar å løyse. Korleis ein skal justere parametrane for slike system, som for eksempel PSB-MPC-algoritmen, med alle involverte modular til bruk i eit stort spekter av situasjonar med forskjellig geografi og konfigurasjonar av dynamiske hindringar, er ikkje trivielt. Det vil her vere viktig å utforske moglege metodar for å gjere slike system adaptive og i stand til å lære frå erfaring, for å kunne ta dei i bruk på maritime fartøy.

For at autonome overflate-fartøyer (ASVer) skal kunne operere trygt er det essensielt med robuste antikollisjonssystemer. Slike systemer innebærer ikke bare at et fartøy må kunne reagere i det det oppstår farlige situasjoner, men også evnen til å proaktivt unngå situasjoner med høy risiko. Fartøyene er dermed nødt til å gjenkjenne ulike scenarioer og kunne planlegge for potensielle hendelser frem i tid. Denne fremtidsforståelsen er temaet i denne oppgaven, og målet er å utforske hvordan historisk data fra Automatisk Identifikasjonssystem (AIS) kan brukes til å predikere skips fremtidige bevegelser. Mer spesifikt foreslår denne oppgaven to metoder som begge benytter Gaussiske Prosesser til å lære bevegelsesmønsteret til skip i ulike scenarier basert på historiske data. Motivasjonen bak bruken av Gaussiske Prosesser er basert på dens intuitive tolkning som en statistisk fordeling over funksjoner. En slik representasjon kan dermed naturlig innlemme usikkerhet knyttet til prediksjonene som en sentral del av modellen. Et Bayesiansk statistisk rammeverk brukes i tråd med Gaussiske Prosesser for å eksplisitt vurdere den underliggende usikkerheten. Den første foreslåtte metoden bruker et rammeverk basert på Gaussiske Prosesser direkte for å modellere posisjon i banen som en funksjon av tid. Denne tilnærmingen fungerer rimelig bra, bortsett fra i nærvær av forgrenede trafikkfelt. Formuleringen av metoden gjør strenge antakelser om unimodalitet og er ikke i stand til å representere noen form for multimodal usikkerhet. Som en mer indirekte tilnærming forsøker den andre metoden å bruke en Gaussisk Prosess til å beskrive en latent bevegelsesmodell og bruke den til å simulere baner numerisk. Denne formuleringen er langt mer fleksibel og er i teorien i stand til å uttrykke multimodale fordelinger for de predikerte banene. Å kombinere denne tilnærmingen med et prediksjonssystem basert på et Utvidet Kalman Filter (EKF) for å simulere baner fungerer bra så lenge banene er tilstrekkelig glatte, slik at en Taylor-approksimasjon av bevegelsesmodellen fungerer som en rimelig tilnærming. Disse antagelsene gjør imidlertid denne metoden mer skjør enn den første metoden. Begge metodene testes grundig på et reelt AIS-datasett samlet fra Trondheimsfjorden i løpet av ett år, og den statistiske ytelsen til begge metodene sammenlignes. Konsistensen av usikkerhetsestimatene blir også testet for å undersøke om metodene er i stand til å nøyaktig kunne representere den underliggende usikkerheten. An essential aspect of safe operations of Autonomous Surface Vehicles (ASV) is a robust Collision Avoidance (COLAV) system. In addition to the ability to react to dangerous situations, it is also highly beneficial for the COLAV to be able to proactively avoid high-risk scenarios. In order to do so, the ASV requires solid situational awareness and the ability to understand how the future might unfold given a current scenario. Predicting the future behaviour of surrounding vessels is the topic of this thesis. By utilizing historical data from Automatic Identification System (AIS), the goal is to predict the trajectories of vessels into the future. Two methods based on a Gaussian Process (GP) framework are proposed. The GP's intuitive interpretation as a statistical distribution over functions allows the predictions to also incorporate uncertainty as a first-class citizen of the model. A Bayesian statistical framework is applied to always explicitly consider the underlying uncertainty when performing predictions. The first proposed method directly applies the GP framework to model the trajectories as a function of time. This approach works reasonably well, except for in the presence of branching traffic lanes. This formulation makes strict assumptions about unimodality and is unable to represent any form of multimodal uncertainty. As a more indirect approach, the second method attempts to use a GP to describe a latent motion model and use it to simulate trajectories numerically. This formulation is far more flexible and is, in theory, able to express multimodal trajectory distributions. Combining this approach with an Extended Kalman Filter (EKF)-based prediction scheme to simulate trajectories works well as long as the trajectories are sufficiently smooth, such that a Taylor approximation of the motion model serves as a reasonable approximation. These assumptions do, however, make this method more fragile than the first method. Both methods are tested extensively on a real AIS dataset collected from the Trondheim fjord over the course of one year, and the statistical performance of both methods are compared. The consistency of the uncertainty estimates is also tested to investigate whether the methods are able to accurately represent the true underlying uncertainty.

Tradisjonelt sett er Global Navigation Satellite System (GNSS) benyttet for å finne den globale posisjonen til et kjøretøy. GNSS målinger innhentes ofte ved hjelp av én eller to antenner som kommuniserer med satelitter. Dette kan skape et sikkerhetsproblem dersom noe skulle skje med antennene, satellittkommunikasjonen eller dersom kjøretøyet opererer i områder uten GNSS. Denne rapporten tester presisjonen og anvendbarheten til AprilTag fiducial markører som faste og kunstige landemerker med kjent posisjon for å implementere en visuell Simultaneous Localisation and Mapping (SLAM)-metode for autonome overflatekjøretøy som opererer i ukjente kanaler. Dette ble testet ved å designe og implementere en Fiducial SLAM metode basert på Incremental Smoothing And Mapping (iSAM2) rammeverket. En fiducial pose faktor og enfiducial projection faktor for å legge til fiducial markører til i faktorgrafer ble designet og implementert for Fiducial SLAM-metoden. Fiducial SLAM metoden ble testet på ekte data fra eksperimenter utført ved å bruke AprilTag fiducial markører, den tilhørende deteksjonsalgoritmen og Norges teknisk-naturvitenskapelige universitet (NTNU)’s autonome ferge milliAmpere. Testing av metoden på den innsamlede dataen viste at ved å kun bruke fiducial markører, kunne gode estimater av systemets pose bli oppnådd. Testingen viste også at dersom flere kameraer ser de samme markørene samtidig ble det bedre estimater enn dersom kun ett kamera observerer fiducial markørene. Ved å utvide metoden videre med å inkluderer Inertial Mesurement Unit (IMU) og lavfrekvente GNSS målinger, ble estimatene også forbedret. Traditionally, finding the global position of a vehicle is done using Global Navigation Satellite System (GNSS). GNSS measurements are often gathered using one or two antennae in communication with satellites, which may present a safety problem should something happen to either the antennae or the satellite communication, or if the vehicle should operate in a GNSS-denied environment. This thesis tests the precision and applicability of using fiducial markers as constant and artificial landmarks with known global positions in order to implement a visual Simultaneous Localisation and Mapping (SLAM) method for Autonomous Surface Vehicles (ASVs) operating in urban canal environments. This was performed by designing and implementing a Fiducial SLAM method based on the Incremental Smoothing And Mapping (iSAM2) framework. A fiducial pose factor and fiducial projection factor for adding fiducial markers to factor graphs were designed and implemented for the Fiducial SLAM method. The Fiducial SLAM method was tested on real data from experiments conducted using the AprilTag fiducial markers, the corresponding detection algorithm and the Norwegian University of Science and Technolog (NTNU)’s autonomous ferry milliAmpere. Testing the method on the data gathered showed that using only the fiducial markers, good estimates of the system pose could be achieved. Testing also showed that if multiple cameras detect the same markers at the same time, better estimates were achieved than if only a single camera observed the fiducial markers. Extending the method further by including Inertial Mesurement Unit (IMU) and infrequent GNSS measurements, the resulting estimates were improved.

Konteksten for denne oppgaven er bruk av multisensor målfølging av flere mål for et autonomt overflatefartøy i et havneområde. Hensikten med forskningen er å lokalisere og målfølge en autonom ferge kombinert med andre mål og hindringer for å unngå kollisjon i autonom navigasjon. Det endelige målet er å forbedre robustheten og påliteligheten til målfølgingssystemet ved hjelp av sensorfusjon. Infrarøde kameraer kan forbedre nattsynet og oppløsning, i tillegg til å gi mer informasjon knyttet til målets egenskaper. Derfor fokuserer denne oppgaven på deteksjon av objekter i infrarøde bilder. For å adressere dette gjennomgås relevant litteratur som dekker tilnærming til deteksjon av objekter i maritime, infrarøde bilder, med spesielt fokus på nevrale nettverk og teknikker for forøkning av data. Det finnes få tilgjengelige annoterte langbølge-infrarød bilder av båter, slik at mer data er samlet inn og annotert med mål om å trene og teste nevrale nettverk ved bruk av disse bildene. De nevrale nettverksmodellene YOLOv3 og EfficientDet-D0 er trent of testet på tilgjengelig og innsamlet data, og ytelsen deres er sammenlignet. Dataforøknings-teknikker blir ofte brukt i det generelle datasyn domenet for å øke variasjonene i treningsdataen, men ingen studier er så langt utført for å undersøke effekten på maritime langbølge-infrarød bilder. På grunn av dette og kombinert med et størrelsesbegrenset datasett, blir den potensielle forbedringseffekten av dataforøkning under trening av de nevrale nettverkene testet i denne oppgaven. Resultatene viser at begge modellene presterer bra med en deteksjonssannsynlighet på 100% for to båter i bevegelse når pikselarealet for båtene er over 1800. For mindre objekter blir deteksjonsresultatene betraktelig dårligere, hvilket viser at det er en avstandsgrense for deteksjon av målene i de infrarøde bildene. Sammenligning av de to modellene viser at YOLOv3 presterer litt bedre på deteksjon av små objekter, selv om effekten er for liten til å konkludere med at en modell er bedre enn den andre. Effekten av å kombinere dataforøkningsteknikkene vending, skalering og mosaikk er signifikant forbedring av resultatene for begge modeller, hvor mosaikk gir den største forbedringen. Når deteksjonene skal brukes til kollisjonsunngåelse kan det være nyttig å hente ut informasjon knyttet til type båt, noe som kan brukes blant annet til å estimere hastighet og vinkel på målet. For å undersøke mulightene til å skille motorbåter fra seilbåter er de nevrale nettverksmodellene testet med deteksjon og klassifikasjon kombinert. Dette resulterer i lovende ytelse, selv om misklassifiseringer er vanlige og det fører til flere falskt positive prediksjoner sammenlignet med trening på én båt-klasse alene. The context of this project is the use of multisensor multitarget tracking for an Autonomous Surface Vehicle (ASV) in a harbour environment. The purpose of the research is to locate and track an ASV in combination with other targets for collision avoidance in autonomous navigation. The final goal is to improve robustness and reliability of the tracking system by means of sensor fusion. Infrared cameras can improve night vision, improve resolution and provide more feature information. Therefore, this thesis focuses on detection performance in infrared images. To address this, a literature review is conducted covering approaches to object detection in maritime infrared images, with focus given to neural networks and data augmentation techniques. There are few available annotated Long Wave Infrared (LWIR) images of boats, therefore more images are collected and annotated with the purpose of training and testing neural networks on the data. The neural network models YOLOv3 and EfficientDet-D0 are trained and tested on the available and collected data and their performance is compared. Data augmentation is a frequently used technique in the general computer vision community in order to increase the variation in the training data, but no studies have previously examined the effect on maritime LWIR images. Because of this and motivated by the limited available dataset, the effect of data augmentation during training of the neural networks is examined in this thesis. The results show that both models perform well with a probability of detection of 100% for two moving target boats when the pixel area size is above a threshold of 1800. For smaller objects, the detection performance is significantly reduced, showcasing a limited range of infrared camera object detection. The comparison of the models shows that YOLOv3 performing slightly better for smaller targets, although the effect is to small to conclude that one model is superior to the other. The effect of the combined data augmentation techniques flip, scale and mosaic is significant increase in performance for both models, with mosaic providing the greatest improvement. Finally, for the application of collision avoidance it can be useful to extract information related to the type of boat, which can be used for instance for estimation of velocity and heading. To test the possibility of separating motorboats from sailboats, the neural networks are tested with detection and classification combined, resulting in promising performance, although misclassifiactions are common and more false positive predictions are introduced than when training on one boat-class.

I denne avhandlingen evaluerers flere methoder for løsing av korrespondanseproblemet og objektdeteksjon ved bruk av stereokamera. For løsing av korrespondanseproblemet ble den lokale metoden Sum of Absolute Differences og den globale metoden Semi-Global Method testet på virkelige data. Metoden Stixel Tesselasjon og Euclidisk Gruppering ble testet innen objektdeteksjon. Arbeidet ble gjort som en del av forskningsprojectet Autoferry, hvor dette prosjektet undersøker mulighetene for bruk av stereokamera på den autonome fergen, milliAmpere. Autonome kjøretøy som beveger seg i et område delt med andre kjøretøy er avhengige av nøyaktig og robust oppfatning av omgivelsene. Deteksjon og estimering av distanse til objekter på lang avstand er utfordring å få til. Over lengre tid har lidar har vært den vanligste sensoren for logging av omgivelsedata i korte til medium lange avstander. Derimot, så kan lidar-sensorer være dyre, bli sterkt påvirket av værforhold og ha dårlig oppløsning på store avstander. Et alternativ til lidar er stereokamera. Et stereokamera dekker mange av de samme behovene som lidar, men med høyere oppløsning. Ulempen med stereokamera har tradisjonelt sett vært dårligere nøyaktighet og krevende med tanke på regnekraft. I denne studien er de ulike metodene testet og evaluert gjennom eksperiementer gjort med den autonome fergen, milliAmpere i de faktisk omgivelsene milliAmpere skal operere i. Metodene har blitt sammenlignet med hverandre i tillegg til mot lidar-data. Funnene fra denne studien typer på at stereokamera kan tilby informasjon om omgivielsene på en større rekkevidde enn lidar, med en nøyaktighet som er sammenlignbar med lidar. Stereokamera kan derfor være en nyttig sensor ombord på milliAmpere. Derimot var kjøretiden til de forskjellige objektdeteksjons metodene ikke optimal, og videre arbeid bør fokusere på å redusere kjøretiden. In this project several methods for solving the correspondence problem and object detection in stereo vision are compared and evaluated. In regards to the correspondence problem, the local correspondence method Sum of Absolute Differences and the global method Semi-Global Method were tested on real data. Stixel Tesselation and Euclidean Clustering were tested in regards to object detection. This project was conducted as a part of the research project at NTNU called Autoferry, and provide improved knowledge on the use of stereo vision on the autonomous ferry, milliAmpere. Autonomous vehicles that move in a space shared with other vehicles depend on accurate and reliable perception data. Detecting and estimating distance to objects far away is a difficult task. Lidar has been the "go-to" sensor for high frequency 3D-perception in short to medium ranges. However, these sensors can be expensive, have poor resolution and can be weather sensitive. Stereo cameras serve many of the same purposes with higher resolution, but often poorer accuracy. To address this, I tested and evaluated different stereo vision algorithms on real data from milliAmpere. The results from these tests has been compared against each other as well as against lidar data to see which is best in terms of accuracy, detection and run time. The findings of this study show that stereo vision can provide valuable information to autonomous vehicles at greater distances than lidar, and that the accuracy is comparable to what the lidar provides. A stereo camera therefore seems like a good sensor for use on milliAmpere. However, the run time of the methods presented are not optimal, and future research should focus on reducing run time.

For å sørge for at autonome overflatefartøyer er sikre for bruk blant den allerede eksisterende trafikk, da må den være utstyrt med et antikollisjonssystem. En viktig del av et slikt system er evnen til å kunne oppdage potensielle trusler og unngå dem. For å oppnå dette må en målfølgingsmodell kunne predikere banen til andre overlatefartøyer. For modellbaserte metoder, kan kunnskapen om intensjoner til andre fartøyer gi forbedrede prediksjoner om fremtidige tilstander. Denne masteroppgaven analyserer tre modellbaserte metoder for å predikere intensjoner til fartøyer ved bruk av reelle måledata fra Automatic Identification System (AIS). Disse metodene baserer seg på Bayesian bridging distribusjoner som beregner sannsynligheten for mulige destinasjoner og bruker fartøyets målinger som input. Disse er, (1) Bayesian filtreringsmetode som kobler nåværende tilstand med den endelige tilstanden via en joint tilstand som innholder begge tilstandene, (2) Bayesian filtreringsmetode som kobler nåværende tilstand med den endelige tilstanden via en pseudo-måling, og (3) Bayesian glattingsmetode som også bruker en pseudo-måling for koblingen. Tre målfølgingsmodeller ble brukt, constant velocity (CV) modell, equilibrium reverting velocity (ERV) modell, og Ornstein-Uhlenbeck (OU) modell. Disse ble brukt i kombinasjon med Bayesian bridging metodene for destinasjonsprediksjoner og fremtidige tilstandsprediksjoner. Det ble observert gode resultater for destinasjonsprediksjonene ved bruk av de fleste modeller testet. For fremtidige tilstandsprediksjoner, begge filtrerings metodene hadde godt estimat opptil omtrent 15-30 min, varierende for forskjellige situasjoner. Derimot hadde glatting metoden dårlige tilstandsprediksjoner. To ensure that autonomous surface vessels are safe for operation amongst the already existing traffic, it must be equipped with a robust collision avoidance (COLAV) system. An important part of such system is the ability to accurately detect potential threat and to avoid it. To achieve this a tracking model must be able to reliably predict future trajectory of other vessels that pose a potential threat. For model-driven methods, the knowledge about the intent of other vessels can greatly increase how far into the future their trajectories can accurately be predicted. In this thesis, three model-driven methods for intent predictions have been analysed using measurements from Automatic Identification System (AIS). These methods are all based on Bayesian bridging distributions that compute the likelihood of possible destinations using the vessel's measurements as input. These are, (1) a Bayesian filtering approach that bridges the current state with the final state via a joint state of the two, (2) a Bayesian filtering approach that bridges the current state with the final state via a pseudo-measurement, and (3) a Bayesian smoothing approach that also uses a pseudo-measurement for bridging. Three bridged motion models were considered for tracking, a constant velocity (CV) model, an equilibrium reverting velocity (ERV) model, and an Ornstein-Uhlenbeck (OU) model. These were then used with the different bridging methods for destination inference and future predictions. Good results were observed for most cases in predicting the intended destination. For predicting future states, both filtering approaches had good estimates up to about 15-30 min of future predictions, depending on the situation. Whereas the smoothing approach did not perform well in predicting future states.

The maritime industry is actively engaged with developing remotely controlled and autonomous ships to sail in the near future. Remotely controlled and autonomous vessels have the potential to transform the maritime transport sector and to constitute the instantiation of the Industry 4.0 process in the maritime industry, termed “Shipping 4.0”. Both remotely controlled and autonomous vessels are variants of the Cyber-Enabled Ship (C-ES), and comprise a number of interconnected Cyber Physical Systems (CPSs) that perform functions critical to the safe operation of the vessel. This proliferation of the use of integrated Information Technology and Operational Technology systems that aims to maximize the reliability and efficiency of a number of the vessel’s operations, including vessel navigation, introduces previously unknown security risks that, in view of the significance of the sector to transportation and commerce, are important to address. The overall objective of this research is to determine the security architecture of the C-ES seen as a system of CPSs, i.e. to provide a cohesive security design, which addresses the requirements - and in particular the risks of the C-ES, and specifies what security controls are to be applied where. Accordingly, the main research questions that the work described in this thesis addressed are as follows: • What is a reference system architecture for the C-ES? • What are the cyber security and safety risks and requirements of the C-ES? • What is an appropriate security architecture for the C-ES? In the course of addressing these research questions, we researched several aspects of the process of analyzing the security of CPSs and we proposed methods and approaches for carrying out such analysis. We thus effectively proposed a domain-agnostic approach for studying the security of complex interconnected CPSs, and we demonstrated its applicability to the case of the C-ES. Specifically, we proposed methods for analyzing threats, attacks, attack paths, and risks of interconnected CPSs; for systematically selecting baseline security controls for individual CPSs; for eliciting security and safety requirements; and for selecting optimal sets of security controls for complex interconnected CPSs. We also proposed a reference architecture that can represent the C-ES in the maritime domain ecosystem, and a reference architecture for a cyber-physical range. These results have been published in five journal articles and three articles in conference proceedings; these constitute the second part of the thesis.

Denne oppgaven omhandler "track level"-metoden (spornivåtilnærmingen) for sammenslåing av "Automatic Identification System (AIS)"-meldinger og radarmålinger. En fullstendig tilnærming på spornivå til AIS-radarfusjon har blitt utviklet, bestående av løsninger på spor-til-spor-tilknytning og spor-til-spor-sammenslåingsproblemer. Spor-til-spor-tilknytning løses vanligvis ved en hypotesetest som krever kovariansinformasjon fra estimatene. Dessverre er kovariansinformasjon ikke alltid tilgjengelig fra de enkelte sporingssystemene. En alternativ tilnærming som kan brukes i slike tilfeller er en telleteknikk hvor antall gode treff brukes som en teststatistikk. Denne oppgaven sammenligner telleteknikken med en konvensjonell hypotesetest ved simuleringer av et fullstendig fler-måls sporingssytem system. Da datatilknytningen til radarsporingssystemet gjør det vanskelig å bestemme seg for en "ground truth", foreslås også en ny måte å evaluere "ground truth" ved hjelp av en glidende vindu-tilnærming. Resultatene indikerer at telleteknikken presterer like godt som hypotesetesten under visse sporingsforhold. Videre sammenlignes AIS-radar spornivåtilnærmingen med en målesnivåstilnærming. Resultatene antyder at spornivåtilnærmingen er litt mindre konsistent, men fungerer bedre når det gjelder posisjonsfeil. This thesis concerns the track level approach to the fusion of Automatic Identification System (AIS) messages and radar measurements. A complete track level approach to AIS-radar fusion is developed, consisting of solutions to the track-to-track association and the track-to-track fusion problems. Track-to-track association is typically solved by a hypothesis test, which requires information from the covariances of the estimates. Unfortunately, covariance information is not always available from the individual tracking systems. An alternative approach that can be used in such cases is a counting technique, where the number of good matches is used as a test statistic. This thesis compares the counting technique with a conventional hypothesis test by simulations using a complete multi-target tracking system. Furthermore, since the data association of the radar tracking system inevitably makes it nontrivial to decide on a ground truth, we also propose a ground truth assessment scheme using a sliding window approach. The results indicate that the counting technique performs at par with the hypothesis test under certain tracking conditions. Further, the complete AIS-radar track level multi-target tracking system is compared to a measurement level tracking system. The results suggest that the track level approach is a bit less consistent but perform better in terms of positional error.

Andelen ulykker på havet som resultat av menneskelige feil er anslått å være mellom 60 og 90%. I situasjoner der mennesker ofte opptrer ulikt gitt samme utgangspunkt har et autonomt fartøy fordelen av å være forutsigbart, selv etter lengre perioder i drift. Det å kunne tolke omgivelsene på en pålitelig måte for å detektere andre fartøy er et høyst aktuelt tema innen forskning og utvikling av autonomi. Denne avhandlingen presenterer en implementasjon av en JIPDA metode for å følge flere fartøy gitt målinger fra deteksjoner i kamerabilder og LIDAR. Det er samlet inn data fra ulike testscenario i områder med begrensede muligheter for trygg manøvrering. To båter er utstyrt med GPS-mottakere for logging av posisjon og deltar som en del av scenarioene. GPS-posisjonen sammenlignes med posisjonsestimatene fra målfølgingsalgoritmen for å kvantifisere ytelsen i de gitte scenarioene. Prosessering av sensordata fra både LIDAR og kamera er beskrevet i detalj. Bildene fra testscenarioene er annotert og vi oppnår en gjennomsnittlig deteksjonsnøyaktighet på mindre enn 25% ved å bruke detekteringsalgoritmer som er forhåndstrent på andre datasett. Ved å trene vår egen algoritme fra grunnen av oppnår vi en deteksjonsnøyaktighet på 95%. Detekteringene i kamerabildene blir konvertert til en retningsmåling som blir prosessert i målfølgingsalgoritmen. Denne implementasjonen av målfølgingsalgoritmen gir en økt ytelse dersom målene som skal følges er innenfor kameraenes synsfelt. Det vises også til at ytelsen til målfølgingsalgoritmen blir dårligere når målene er utenfor kameraenes synsfelt, ettersom algoritmen antar et 360 graders synsfelt for alle sensorene. Kameramålingene er i stand til å opprettholde et tilfredstillende posisjonsestimat uten hjelp fra LIDAR i rundt 10 sekunder. Etter hvert blir usikkerheten i estimatet stor nok til at flere retningsmålinger blir assosiert med et enkelt posisjonsestimat, noe som fører til at kovariansen vokser raskt og at estimatet blir termintert som følge av for stor usikkerhet. I tilfeller der algoritmen mottar sporadiske målinger fra LIDAR viser denne rapporten at kameramålingene sørger for tidligere initiering og å enklere opprettholde et estimat. The amount of accidents at sea happening as a consequence of erroneous human action is between 60 and 90%. While human operators often behave differently to the same situations, an autonomous vessel has the advantage of being more predictable even after long periods of operation. Being able to reliably sense the surroundings and detect other vessels to make quantified decisions is a hot research subject within autonomy. This thesis presents an implementation of a JIPDA-based multi-sensor multi-target tracker where the data from a camera object detector and a LIDAR are fused together. Test data sets are collected for different scenarios in congested waters with limited room for safe navigation. Two targets in these test scenarios are equipped with GPS receivers that are used for validating the accuracy and performance of the tracking system. The data processing pipelines are described in detail for both the LIDAR and the camera detector. The data from the test sets is annotated and we observe a mean average precision (mAP) of less than 25% when running a pre-trained detector on the set. Training our own object detector from scratch we are able to achieve an mAP of over 95%. The detections in the camera images are extracted as bearing measurements which are used in the tracking pipeline. Tests show that the current implementation of the tracker increases the performance while the targets are within the camera's field of view. The bearing measurements do however yield lower performance on the data sets when the targets are outside the camera's field of view, as the tracker assumes a full 360 degree field of view from all sensors. The camera is able to maintain a track for a few seconds without the help of a LIDAR, but gets terminated quickly as the uncertainty grows too large. The large uncertainty introduced in the bearing measurements causes multiple bearing measurements to be gated to a single target which adds uncertainty to the estimate. The LIDAR alone has trouble initiating a good track on a small target, but with sparse LIDAR measurements the camera is shown to help with initiating and maintaining the track.

I denne oppgaven er det utviklet et navigasjonssystem basert på visuell simultan lokalisering og kartlegging (VSLAM), som er i stand til å inkludere målinger fra Inertial Measurement Unit (IMU) og Global Navigation Satellite System (GNSS) i en samlet factor graf sensor fusjon. VSLAM systemet er feature-basert og optimalisert for prossessering på GPU. Initielle bevegelsesestimater produseres mens man parallelt utfører multi-frame bundle adjustment (BA) over vinduer med aktive factorer. Stedsgjenkjenning gjennomføres vellykket uten noen falske positive deteksjoner, der lukking av den detekterte sløyfen utføres i en siste, tredje tråd. Et filter og en smoother gjennomfører optimaliseringer parallelt over en samlet factor graf, der iSAM2 brukes som den oppdateringsstrategi når nye målinger legges til. Preintegrerte IMU- og GNSS-målinger fusjoneres sammen med VSLAM estimater i filteret. På den måten vil globale GNSS-data korrigere for drift når de er tilgjengelige, mens den visuell-inertiale SLAM-modulen gir nøyaktige målinger av forflytningen til kjøretøyet i mellomtiden, eller hvis signalet til GNSSen faller ut. På denne måten kan kjøretøyet motta nøyaktige målinger på sin globale posisjon, selv ved lavere oppdateringsrate fra GNSSen. Det utviklede systemet er validert på innsamlede sensordata fra den autonome ferjeprototypen milliAmpere. Som et resultat av problemer med kamerakalibreringen ble testingen hovedsakelig gjennomført på det offentlig tilgjengelige Karlsruhe Institute of Technology and Toyota Technological Institute (KITTI)-datasettet. Analyse viste at den visuell-intertiale odometri (VIO)-delen av systemet overgår det populære stereo VO-algoritmen LIBVISO2 på de fleste av de testede sekvensene. Når lukking av sløyfer ble lagt til VIO-modulen, økes gapet i ytelse ytterligere. Presisjonen til den utviklede algoritmen sammenlignes også med en av de nåværende beste SLAM algoritmene, ORB-SLAM2, for å understreke svakheter som utløses i noen spesielle tilfeller. For this project, a real-time capable GPU-accelerated feature-based stereo Visual Simultanous Localization And Mapping (VSLAM) solution, capable of fusing measurements from Inertial Measurement Unit (IMU) and Global Navigation Satellite System (GNSS), is developed. Initial motion estimates are produced in one thread while concurrently managing 3D points and performing multi-frame Bundle Adjustment (BA) over short-term windows. Place recognition is successfully performed without false positives, and loop closures are carried out in a final, third thread. The concurrent long-term and short-term optimization is solved over a single factor graph, where iSAM2 is used for the underlying update rule. Preintegrated IMU and GNSS measurements are fused with the short-term VSLAM estimates by optimization. GNSS data are thus available to correct for drift, while the visual-inertial SLAM module provides accurate motion estimates during temporary or permanent loss of GNSS data. This enables the vehicle to report accurate trajectory estimates relative to a global reference frame. The developed system is validated on real world sensor data recorded on-board the autonomous ferry prototype milliAmpere. However, as a result of insufficient stereo camera calibration, the main portion of the testing is rather performed on the publicly available Karlsruhe Institute of Technology and Toyota Technological Institute (KITTI) dataset. Analysis showed that the Visual-Inertial Odometry (VIO) part of the system outperforms the popular stereo VO system LIBVISO2 on most tested sequences. When loop closures are extended to the VIO module, the gap in performance is increased even further. The resulting performance is also measured up against and compared with one of the current state-of-the-art solutions, ORB-SLAM2, to put the performance of the developed system in perspective.

Denne rapporten ser på muligheten til å implementere en selvkalibrerende algoritme for et stereo vision system som skal tas i bruk på en autonom ferje. Målet med algoritmen er å erstatte tradisjonelle offline kalibereringsmetoder, som er avhengig av en kalibreringsrig av en kjent størrelse for å fungere, ved å være i stand til å kalibrere stereo kameraene kun ved hjelp av data som blir samlet av kameraene under normal drift. En selvkalibrerende algoritme vil gjøre at stereo systemet trenge mindre vedlikehold. En kalibreringsmetode blir diskutert, implementeret og vurdert i denne rapporten. Denne metoden prøver å estimere kaliberingsparametrene ved å minimere reprojeksjonsfeilen som oppstår mellom matchende features i tre bilder. To typer constraints er lagt til optimaliseringsproblemet for å hjelpe optimeringsmetoden med å finne riktige parametre, nemlig epipolar og trelinear constraints. Et Extended Kalman Filter er brukt for å optimalisere problemet. Den trelineare constrainten trenger feature matcher fra tre forskjellige bilder. En trepunktsmatcher er foreslått i denne rapporten. Den finner matcher mellom bildene fra stereoparet og et av bildene fra det neste stereoparet som blir prosessert. Forskjellige featuremetoder are diskutert i rapporten. SIFT, SURF og ORB er vurdert som feature descriptors. FLANN og "brute force matcher" er vurdert som machingmetode. Autokalibreringsalgoritmen ble testet på ekte data som ble samlet inn i Trondheimskanalen i løpet av prosjektperioden. Resultatene fra testing av algoritmen viste at algoritmen ikke klarte å gjenskape de samme parameterene som en tradisjonell kalibreringsmetode produserte. Noen av svakhetene ved bruk EKF som en optimaliserer blir diskutert. This thesis explores the possibilities of implementing a self-calibration algorithm for a stereo vision system to be used on an autonomous ferry. The algorithm aims to replace traditional offline calibration methods which are dependent on a calibration rig of known dimensions to function, by being able to perform the calibration on data gather by the cameras during normal operation. An auto-calibrating algorithm would lessen the need for maintenance of the stereo system. A calibration method is discussed, implemented and evaluated in this report. This method tries to estimate the calibration parameters by minimizing the reprojection error of feature matches between three images. Epipolar and trilinear constraints are introduced to the problem to guide the optimizer towards the solution. An Extended Kalman Filter is used as optimiser. The trilinear constraints needs three-view matches to be computed. A three-point matcher is proposed. This matcher finds common matches between the two stereo images and one of the images in the next stereo image pair. Different types of feature methods are discussed throughout the report. SIFT, SURF and ORB are evaluated and tested as descriptors. FLANN and brute force are considered as matching methods. The auto-calibrating algorithm was tested on real data captured in the Trondheim channel during the project period. Results for testing revealed that the algorithm did not manage to reproduce the calibration done using traditional methods, and some of the weakness using EKF as an optimizer on non-linear problems was discussed.

Denne rapporten presenter en sanntids doppler velocity logger og trykksensor hjulpet treghets navigasjons system. Den sammenligner en feil-tilstand Kalman tilstandestimator basert på Joan Solà versjon [2] med gyro og akkselerometer bias-estimering, en ulinær tilstandestimor basert på [3] med gyro bias-estimering og et forlenget Kalman filter på Manta-2020 autonome-undervannsfarkosten med bruk av robot operativ system plattformen (ROS). De to implementerte tilstandestimatorene ESKF og EKF er veldig nylige filtere i deres felt. En sammenligning av fire eksperimentelle test senarior var gjort på Tyholt i Trondheim. Dette inkluderte to "overvanns" tester og to undervanns tester. Første overvanns test var en åttetalls-aktig test, mens andre overvanns test var en 30 minutters firkant-aktig test. For undervannstestene, var første test en firkant-aktig test og andre test var en sinsus-funksjons-aktig test. Rosbag resultatene av filterene var da lagt inn i MATLAB for å produsere figurer av 3D øst,nord og høyde, posisjon, hastighet, attityde, bias estimasjonene, posisjonsfeilene, hastighetsfeilene og tilslutt DVL og trykksensor NIS verdiene. IMU-sensor buffering, IMU-viltpunkt filtrering og sensor-synkronisering var lagt til for å få bedre tilstandsestimar på tilstandsestimatorene. This thesis presents a real-time doppler velocity logger and pressure aided inertial navigation system comparison between an error-state Kalman filter with acceleration and gyro bias estimation, a nonlinear observer with gyro bias estimation and a extended Kalman filter on Manta-2020 autonomous underwater vehicle using the Robot operating system platform. The two implemented state estimators, ESKF and NLO, are two very recent filters in their respective field. A comparison between four real world testing scenarios were performed at the MC-lab at Tyholt in Trondheim. These included two "above water" tests and two underwater tests. The "above water" tests included a one round eight-shaped test and a 30 minutes square-shaped test. For the underwater tests this included an square-shaped test and a sinusoidal-shaped test. The comparison were then compared to MATLAB produced figures with a 3D east-north-altitude plot, position, velocity, attitude, bias estimates, position error, velocity error, altitude error and lastly the NIS values. IMU-sensor buffering, IMU-wild point filtering and sensor-synchronization were added to get better filter estimates.

Før autonome skip kan bli kommersielt akseptert, må de være trygge nok. Å ha et automatisk antikollisjonssystem som følger navigasjonsreglene (COLREGs), er et viktig steg mot å gjøre autonome skip tryggere. Det finnes allerede mye forskning på ulike antikollisjonsmetoder, men få forskere har undersøkt om intensjonsdata kan brukes til å forbedre ytelsen til et eksisterende antikollisjonssystem. Denne masteroppgaven skal undersøke hvorvidt bruk av data om intensjoner kan forbedre den eksisterende SBMPC-antikollisjonsalgoritmen til Johansen et al. (2016). I denne masteroppgaven har det blitt utviklet to forskjellige antikollisjonsalgoritmer: den originale SBMPC-algoritmen til Johansen et al. (2016) og en modifisert versjon av denne algoritmen, som vil bli kalt modifisert SBMPC. Den eneste forskjellen mellom den originale SBMPC-algoritmen og den modifiserte SBMPC-algoritmen er at den modifiserte SBMPC-algoritmen utnytter data om andre skip sine intensjoner. Denne dataen inneholder fremtidig rute i tillegg til hvilke navigasjonsregler andre skip har planlagt å følge. De to antikollisjonsalgoritmene har blitt implementert som en del av en skipssimulator. Denne simulatoren simulerer ulike situasjoner for å sammenligne ytelsen til de to algoritmene. Ulike metrikker har blitt utviklet for å kvantifisere ytelsen. Et bredt utvalg av ulike situasjoner med ulik vanskelighetsgrad har blitt brukt for å sammenligne de to algoritmene. Selv om de to algoritmene hadde ytelsesproblemer på grunn av valg av parametere, så klarte begge algoritmene å unngå kollisjon og grunnstøting i alle situasjoner som ble testet. I flertallet av situasjoner som ble testet så hadde den modifiserte SBMPC-algoritmen, som bruker intensjonsdata, bedre ytelse enn den originale SBMPC-algoritmen. Bruk av intensjonsdata gjorde manøvere mer trygge, og bruk av intensjonsdata førte også til at skipet klarte å følge navigasjonsreglene bedre. Before autonomous vessels are commercially accepted, they need to be sufficiently safe. Having a collision avoidance system that complies with the navigational rules (COLREGs) is an essential step towards making autonomous vessels safer. There exists a wide range of research on different collision avoidance methods, but few researchers have investigated if data about other vessel's intentions can improve collision avoidance performance. This thesis aims to investigate if utilization of other vessels' intentions can improve the performance of an existing short-term collision avoidance method; the Simulation-Based Model Predictive Control (SBMPC) algorithm by Johansen et al. (2016). This algorithm is classified as short-term because it is concerned with avoiding immediate collisions. In this thesis, two different collision avoidance algorithms have been implemented: the original SBMPC algorithm by Johansen et al. (2016) and a modified version of this algorithm called the modified SBMPC algorithm. The only difference between the original SBMPC and the modified SBMPC is that the modified SBMPC algorithm uses intention data about future trajectories and what COLREGs rules other vessels intend to follow. The two collision avoidance algorithms were implemented as part of a vessel simulator. This simulator performs simulations to compare the performance of the two algorithms. A set of metrics were developed to quantify the collision avoidance performance. A wide range of simulation scenarios with varying difficulty were used to compare the two algorithms. Although the two implemented algorithms did have some problems with the choice of tuning parameters, they were able to avoid collision and grounding in all simulation scenarios. In the majority of the scenarios, the modified SBMPC algorithm utilizing intention data had better collision avoidance performance compared to the original SBMPC algorithm. The use of intention data made maneuvers safer, and it also increased compliance with the navigational rules.

Ein hovuddel av system for kollisjonsforhindring for autonome skip er å oppdaga andre objekt i omgivnadene, og å følgja rørsla deira (dvs. posisjon, fart og kurs), i tillegg til å estimera omfanga deira (dvs. storleik og form), basert på sensormålingar med høg oppløysing og annan navigasjonsinformasjon. Utvidet følging av fleire objekt (”Multiple extended object tracking (MEOT)” på engelsk) løyser dette situasjonsmedvitsproblemet. Denne masteroppgåva presenterer ei sjølvstendig avleiing av Poisson multi-Bernoulli-blanding filteret (”Poisson multi-Bernoulli mixture (PMBM) filter” på engelsk) for MEOT, som er ein av dei mest moderne metodane for MEOT. Vidare blir det presentert ein tilstandsrommodell som bruker Gaussiske prosessar for å modellera eit breitt utval av omfang, og lidarmålingane som desse objekta genererer. PMBM-filteret og tilstandsrommodellen er testa saman under ulike simuleringer, der objekta liknar på skrog til skip i det horisontale planet. An essential task of collision avoidance systems for autonomous ships is to, based on high-resolution sensor measurements and other navigational information, detect other objects in the surroundings, and to track their movement (i.e., their position, velocity and heading), as well as to estimate their extent (i.e., size and shape). This situational awareness problem is addressed by multiple extended object tracking (MEOT). This master thesis presents a self-contained derivation of the Poisson multi-Bernoulli mixture (PMBM) filter for MEOT, which is one of the state-of-the-art methods for MEOT. Furthermore, a state-space model that uses Gaussian processes to model a wide variety of object extends and the lidar measurements that these objects generate, is integrated in the PMBM filter. The PMBM filter and the state-space model are tested together under different simulations, where the objects resemble the hull of ships in the horizontal plane.

Denne oppgaven diskuterer stereosyn for å detetktere objekter på lange distanser, kalibrering og system implementasjon for et førerløst fartøy. Oppsettet innehar en interaksiell avstand på 1.80 meter mellom kameraene for å optimalt detektere objekter på 50 meters avstand. En metode for å kalibrere på lengre avstander er foreslått. Metoden er testet og resultatene viser at valg av kalibrerings scene er viktigere enn avstanden til kalibreringsobjektet. Kalibreringen utført på 20 meter viste å gi mest nøyaktige dybdeestimat. Systemet er designet for fergen milliAmpere og er testet i et marint miljø. Systemet prosesserer rå sensordata og gir ut verdenskoordinater til detekterte objekter. Dybdekartet er implementert ved bruk av algoritmene Sum of Absolute Differences og Fast Global Image Smoothing filter basert på minste kvadraters metode viser seg å være robust. To metoder er implementert for å detektere objekter i dybdekartet. Ett konvolusjonelt nevralt nettverk (CNN) for klassifisering gir i kombinasjon med dybdekartet verdensposisjonen til objekter av interesse. Metoden viser seg å være robust mot støy, men har noe inkonsekvente estimater. En alernativ metode deteksjonsmetode basert på hierarkisk grupperingsalgoritme som bruker Euklidsk avstand gir mer pålitelige deteksjoner, men er mer utsatt for støy i dybdekartet. Det implementerte systemet viser potensiale for å detektere objekter i avstander mellom 10 og 200 meter, men ytterligere testing må utføres for å kunne integrere sensoren i ett helhetlig system for navigasjon av et autonomt fartøy. The thesis discusses far-range object detection for stereo, calibration, and system implementation for unmanned surface vehicles. The stereo system record with a baseline of 1.80 meters, with a fixation point at 50 meters. For far range distance estimation, a procedure for extrinsic stereo calibration is introduced. Testing the procedure at different distances, show that the selected scene is of higher importance than calibrating at the operating range. The calibration at 20 meters achieves the best overall distance estimates. The stereo system is designed for the autonomous ferry milliAmpere, and tested in a maritime environment. The system processes raw sensor data and output world coordinates of the detected objects. The disparity map created using Sum of Absolute Difference (SAD) and a Fast Global Image Smoothing based on Weighted Least Square (WLS) filter, is robust and has low computational cost. For object detection purposes, two clustering techniques are implemented. A convolution neural network is applied for classification, and used in combination with the disparity map to extract 3D positions of objects. The method is robust against noise in the disparity map, but appear to be partially inconsistent in the estimates. An alternative detection method based on hierarchical clustering using Euclidean distance yields more reliable detections, but is more prone to noise. The implemented system shows potential for vessel detection in a range of 10 to 200 meters, but it is still not clear that the detection performance is good enough to rely on in an autonomous collision avoidance system.

Med utviklingen innen autonom teknologi de siste årene har autonomi nå entret racingscenen. Som en del av konkurransen Formula Student, konkurrerer lag mot hverandre med førerløse racerbiler. Racerbilene kjører helt autonomt på baner definert av kjegler, der målet er at bilen skal manøvrere seg så raskt som mulig gjennom racerbanen. Dette stiller høye krav til deteksjonssystemet, som må lokalisere og klassifisere kjegler nøyaktig, i sanntid. Lidarer for autonome formål antas å være egnet for denne type oppgaver, da de gir nøyaktig posisjonsdata, sammen med intensitetsdata som potensielt kan brukes til klassifisering. I denne masteroppgaven implementeres og testes et rammeverk for kjegledeteksjon, basert på lidardata. Det består av et lokaliseringssystem som bruker Euklidisk klynging i tillegg til filtrering, for å finne kjeglekandidater. Ettersom metoden er utsatt for falske positiver, blir kjeglekandidatene 2D-projisert til 28 × 28 bilder, som klassifiseres av et CNN. Dette fanger formen til en kjegle, som antas å filtrere ut falske positiver. Ved å introdusere intensitet til de 2D-projiserte bildene, blir det repeterbare mønsteret på tvers av høyden til en kjegle inkludert. Dette lar CNN klassifisere farge i tillegg til form. Videre introduseres et rammeverk for lidar-lidar-fusjon. Dette består av kalibrering og synkronisering, hvor ego-bevegelse-kompensasjon er en forutsetning. Resultatene viser at CNN kan forbedre presisjon og gjøre fargegjenkjenning med en overordnet nøyaktighet pa 98.9% og 97.3% på testdata, for hendholdsvis formklassifisering og farge- og formklassifisering. Basert på stasjonære scenarier, klarer lokaliseringssytemet å finne kjegler opp til minst 28 meter. Klassifikatorene klarer å bestemme kandidater på 15m og 10m, basert på henholdvis formklassifisering, og form- og fargeklassifisering. Det ble funnet at kombinert form- og fargeklassifikator ikke er så bra som formklassifikatoren for å filtrere ut falske positiver. Selv om resultatene er lovende, er det nødvendig med mer treningsdata og testing på realistiske baner. Lidar-lidar-fusjonen hadde en kalibreringsfeil, som gjorde at resultatene relatert til fusjonslokalisering ble korrupte. Følgelig er rekalibrering nødvendig. Synkronisering og ego-bevegelse-kompensasjon bør videre testes og verifiseres i høyhastighetsscenarier. With the development of autonomous technology in recent years, autonomy has now entered the racing scene. As part of the Formula Student competition, teams compete against each other with driverless racing cars. The racing cars runs completely autonomously on tracks outlined by cones, where the goal is for the vehicle to maneuver as fast as possible through the racetrack. This sets high expectations for the detection system, which must locate and classify cones accurately in real-time. Lidars for autonomous purposes are thought to be suitable for this task, as they give accurate positional data, along with intensity data that potentially can be used for classification. In this thesis, a cone detection framework based on lidars is implemented and tested. It consists of a localization system using Euclidean clustering alongside filtering to find cone candidates. As the method is prone to false positives, the cone candidates are 2D projected to 28 × 28 images, which is classified by a CNN. This captures the shape of a cone, which is thought to filter out false positives. By introducing intensity to the 2D projected images, the repeatable pattern across the height of a cone is included. This lets the CNN classify color in addition with shape. Furthermore, a framework for lidar-lidar fusion is introduced. This consists of calibration and synchronization, with the prerequisite of ego-motion compensation. The results show that CNNs can improve precision and do color recognition with overall accuracy of 98.9% and 97.3% on test data, for the shape classification and color and shape classification, respectively. Based on stationary scenarios, the localization system manages to find cones up to at least 28m. The classifiers manage to classify candidates at 15m and 10m, based on shape classification, and shape and color classification, respectively. It was found that the combined shape and color classifier is not as good as the shape classifier to filter out false positives. Although the results are promising, more training data and tests on realistic tracks is necessary. The lidar-lidar fusion had a calibration error, which corrupted the results related to fusion localization. Consequently, re-calibration is necessary. Synchronization and ego-motion compensation should be tested and verified in high speed scenarios.

Autonom racing er et ganske nytt tilskudd til emnene robotikk og autonom mobilitet. Konseptet ble startet av Formula Student (FS)-konkurransene, og er en utfordring som studentlag over hele verden bryner seg på. Ettersom racerbaner er begrenset i størrelse og form, er racerbiler konstruert for å prestere på sitt beste gitt disse begrensningene. Dette prinsippet er like relevant for utviklingen av programvaren i en autonom racerbil. Som i vanlig racing, må de involverte systemene i en autonom racerbil kunne reagere fort og ta hurtige valg basert på eksterne hendelser. Av den grunn innlemmer det arbeidet som er presentert i denne oppgaven en avansert Samtidig Lokalisering og Kartlegging (SLAM) algoritme i iSAM2 for å estimere kjøretøyets stilling, samt plasseringene til kjegler som utgjør racerbanen. Gjennom bruk av målinger fra visuelle sensorer går denne avhandlingen i detalj om implementasjonene av forskjellige metoder for datatilknytning i SLAM: problemet med å knytte målinger til kjeglene. Totalt fire metoder ble vurdert, inkludert den robuste joint compatibility branch and bound (JCBB) algoritmen, og testet i forskjellige scenarier som er relevante for FS-konkurranser. De foreslåtte implementasjonene lar racerbilen nøyaktig bygge kartet med kjegler og estimere sin posisjon på en svingete bane ved hastigheter på minst 40 km/t. Innføringen av sannsynlighetsbaserte datatilknytningsmetoder som JCBB og maksimal sannsynlighet (ML) lar kjøretøyet i større grad korrigere den usikre startstillingen sin på et gitt kart, noe som øker robustheten til estimeringen av bilens stilling. Autonomous racing is a relatively new addition to the field of robotics and autonomous mobility. Pioneered by the Formula Student (FS) competitions, it is a challenge tackled by student teams across the globe. As racetracks are limited in size and shape, racecars are constructed to perform at their best given these constraints. This principle is just as well applied to the development of software in an autonomous racecar. Just as in regular racing, the involved systems in an autonomous racecar has to be able to react and make choices quickly based on external input. For this reason, the work presented in this thesis incorporates a state-of-the-art Simultaneous Localization and Mapping (SLAM) algorithm in iSAM2 to estimate the vehicle pose (position and orientation) as well as the locations of cones that make up the racetrack. Based on measurements originating from visual sensors, this thesis goes into detail on the implementations of different means of data association in SLAM: the problem of associating measurements to cones. A total of four methods are considered, including the robust joint compatibility branch and bound (JCBB) algorithm, and tested in different scenarios relevant for FS competitions. The proposed implementations allow the racecar to accurately build the map of cones and estimate its position on a winding track at speeds of at least 40 km/h. The introduction of probabilistic association schemes such as JCBB and Maximum Likelihood(ML)-data association allows the vehicle to better correct it's uncertain initial pose within a given map, increasing the robustness of vehicle pose estimation.

Denne masteroppgaven ser på egenskaper ved lokalisering av en Unmanned Surface Vehicle (USV), forklarer fordeler og ulemper ved noen metoder for lokalisering og foreslår hvor fokus bør ligge videre. Bruken av en lidar til å gjøre dette er motivert av skjørheten til Global Navigation Satellite System (GNSS). Analysene i denne oppgaven er viktige for å lage en basis for videre utvikling, utvikling som er basert på en forståelse av det underliggende problemet. Patrikkelfilteret med en fysikk-basert målemodell og en enkel kinematisk bevegelsesmodell kan brukes for å lokalisere USVen i et occupancy grid. Bruk av en bevegelsesmodell som forslag for bevegelse gir den raskeste metoden, å bruke Unscented Kalman Filter (UKF) gir ingen fordeler og å bruke Iterative Closest Point (ICP) reduserer feilen i estimert tilstand. Ved bruk av en fysikk-basert målemodell anbefales det å tune parametre slik som måleusikkerheten for å få bedre konsistensegenskaper. En analyse av hvordan en fysikk-basert sensor modell virker er minst like viktig som resultatene fra partikkelfilteret. Mens den fysikk-baserte målemodellen ikke håndterer diskontinuiteter i kartet godt er ICP-metoden bedre til å ta strukturen i miljøet med i betraktningen. Den fysikk-baserte målemodellen vil, avhengig av støy og tuning, ha problemer med forksjellige typer støy. ICP-metoden har andre problemer, men bruken av den som en målemodell kan løse flere forksjellige problemer. Grunnlaget etablert av denne oppgaven supplementerer utviklingen av robuste lokaliseringsmetoder som muliggjør at en autonom ferge kan utføre plikter slik som gjennomreise og trygg og pålitelig tillegging til kai. Disse pliktene skal utføres kun ved bruk av sensorer om bord. This thesis wants to establish properties for localization of an Unmanned Surface Vehicle (USV), explain advantages and disadvantages of some methods for localization and suggest where to focus next. The use of a lidar to do this is motivated by the fragility of Global Navigation Satellite Systems (GNSSs). The analyzes in this thesis are important in order to lay a basis for further development, development that is based on an understanding of the underlying problem. The particle filter using a physically based measurement model and a simple kinematics motion model can be used to localize the USV in an occupancy grid. Using only the motion model as a prior for movement gives the fastest method, using Unscented Kalman Filter (UKF) gives no benefit and using Iterative Closest Point (ICP) reduces the state estimation error. Using the physically based measurement model it is suggested to tune parameters such as measurement uncertainty to get better estimation consistency. An analysis of the workings of the physically based measurement model is at least as important as the particle filter results. While the physical measurement model does not handle discontinuities in the map well, the ICP method is better at taking the structure of the environment into account. The physically based measurement model will, depending on the noise and tuning, have difficulties with different kinds of noise. The ICP method has different problems, but the use of it as a measurement model might solve several different issues. The basis established by this thesis will supplement the development of robust localization methods that enable an autonomous ferry to conduct duties such as transit and safe and reliable docking . These duties should be carried out only using on-board sensors.

I de siste årene har det blitt utviklet flere maritime anti-kollisjonssystemer (COLAV-system) for autonome overflatefartøy (ASV). Mange metoder inkluderer løsninger for å følge Konvensjonen om internasjonale regler til forebygging av sammenstøt på sjøen (COLREGS), men ytterst få av disse prøver å aktivt unngå COLREGS-situasjoner før de finner sted. Denne oppgaven foreslår og tester ytelsen til et proaktivt COLAV system basert på neighbor course distribution method (NCDM), en prediksjonsmetode basert på Automatic Identification System (AIS) data. Testresultatene antyder at den klarer å utføre proaktive manøvre for å unngå COLREGS-situasjoner, men belyser også utfordringer rundt måten prediksjonene blir brukt i det nåværende COLAV-rammeverket. \\ For å forbedre situasjonsforståelsen til det proaktive COLAV-systemet, er det i tillegg blitt utviklet en metode for å generere begrensninger ved hjelp av kystlinjedata. Disse er blitt implementert i COLAV-systemet. In recent years, a number of maritime collision avoidance (COLAV) systems for autonomous surface vehicles (ASV) have been proposed. While many include solutions for obeying the International Regulations for Preventing Collisions at Sea (COLREGS), most of these are not proactive, in the sense that few make any active efforts to avoid COLREGS situations before they occur. This thesis proposes and analyzes the performance of a proactive COLAV system based on the neighbour course distribution method (NCDM), a long term prediction method based on historical Automatic Identification System (AIS) data. Test results suggest that it is able to use the AIS data to make proactive maneuvers to avoid COLREGS situations, but also demonstrate challenges with using the predictions in the current COLAV framework. \\ In addition, to improve the situational awareness of the proactive COLAV system, a method for automatically generating coastal constraints from map data is developed, and the resulting constraints included in the COLAV system.

Marine fartøy som opererer i trange omgivelser krever et robust og nøyaktig navigasjonssystem og kontrollsystem. Denne oppgaven presenterer nye implementasjoner av navigasjonssystem og kontrollsystem i detalj. Implementasjonene utforsker det siste og beste innen hver av sine respektive fagområder, samt implementasjon av disse på en eksperimentell plattform. Det nye kontrollsystemet tar i bruk $\mathcal{L}_1$ adaptiv kontroll basert på adaptiv backstepping for raskere konvergeringstid for estimeringen av dynamikk som ikke er modellert. Det nye kontrollsystemet fungerer sammen med et \gls{eskf} som utfører sensor fusjon og tilstandsestimering. Disse systemene fungerer som oppgraderinger av det gamle navigasjonssystemet og kontrollsystemet på den eksperimentelle plattformen milliAmpère. Det nye navigasjonssystemet og kontrollsystemet er testet i simulatorer og gjennom eksperimentelle tester i havnebassenget ved Brattøra i Trondheim. De nye implementasjonene bruker de eksisterende systemene for å foreta sammenligninger i ytelse. En rekke ytelses metrikker er tatt i bruk for en objektiv evaluering av de ulike implementasjonene. De nye systemene er testet både individuelt og samlet for å skaffe et bilde av hvilke konsekvenser de ulike systemene har på overordnet ytelse. De nye implementasjonene fungerer bedre enn de eksisterende implementasjonene. Det nye kontroll systemet øker evnen til å estimere dynamikk som ikke er modellert betraktelig, og det nye navigasjonssystemet fjerner flere uønskede egenskaper som var tilstede i det gamle navigasjonssystemet. Spesielt oppleves det en økning i retningsstabilitet som en konsekvens av de nye systemene. Til slutt er de nye systemene sydd sammen med en kollisjonsunngåelsesmodul som er utviklet av en felles student. Suksessfulle full skala tester med disse tre systemene som jobber sammen er utført med virtuelle objekter. Disse testene markerer en fullstendig oppgradering av planlegging, navigasjon og kontroll systemet på den eksperimentelle plattformen. Marine vessels operating in a confined area demands a robust and accurate navigation and control system. This thesis presents the implementations of a navigation system and a motion control system. The implementations in the thesis explore two state of the art methods in their respective fields and their implementations on an experimental platform. In the implementation of the new motion control system, the $\mathcal{L}_1$ adaptive control approach utilizes adaptive backstepping for faster convergence of the unmodeled dynamics. The latest motion control approach is coupled with an \gls{eskf} that performs sensor fusion and state estimation. Together these approaches serve as an upgrade over the prior systems on the experimental platform milliAmpere. The new navigation system and motion control system are both tested through computer-simulated environments and experimental tests in the harbor basin by Brattøra in Trondheim. The new implementations use the existing implementations on the experimental platform for a comparison of performance. Various performance metrics ensure an objective assessment of performance between the new and old implementations. The new implementations are tested individually at first to get a grasp of how they differ in performance in comparison to the prior system. Afterwards, they are joined together to show the performance with their combined efforts. The new implementations outperforms the prior solution. The new motion controller greatly increases the ability to estimate the unmodeled dynamics, and the new navigation system successfully eliminates several unwanted characteristics present in the previous implementation. The new implementations especially improves the directional stability of the vessel. Lastly, final experimental tests with a collision avoidance module, which is developed by a fellow student, are successfully carried out with virtual objects. The experimental tests with the use of the collision avoidance system mark the complete upgrade of the new \gls{gnc} system.

I de senere åra har spillmotorer, som Unreal Engine, blitt brukt mer og mer grunnet deres evne til å gengi realistiske miljøer, og dermed kunne generere syntetiske dataset for bruk i visuell navigering. Å koble sammen disse forskjellige simuleringprogrammene med vari- erende maskinvare kan derimot være problematisk. Dette har ledet til mye nyutvikling av forskjellige typer mellomvare, som definerer standarder for kommikasjon mellom en- heter. Selv om de fleste av disse er fleksible når det gjelder integrerbarhet, kan denne fleksibiliteten i mange tilfeller forårsake unødvendig treghet i systemet. Denne masteroppgaven presenterer en tidlig utgave av en klient-programvare, som er rettet mot å kunne sette opp lett utskiftbare, nodebaserte, simuleringsoppsett i C++, sammen med brukerdefinerte meldinger for kommunikasjon mellom noder, samtidig som den holder seg så platformuavhengig som mulig. Klienten skiller seg ut fra annen mellom- vare ved at hele simuleringsoppsettet er bestemt før kompilering. Dette åpner for ekstra optimaliseringer og fjerner behovet for nettverkskommunikasjon mellom nodene. Dette gjør det mulig å optimalisere bort forsinkelser og øke ytelsen. Klienten blir presentert med et konkret bruksområde, ved å koble den sammen med Microsoft sin simuleringsplatform, AirSim, for spillmotoren Unreal Engine, og generere simuleringdata for ROS-kompatible oppsett for visuell navigering. In the later years game engines, such as Unreal Engine, have been more and more utilized for their ability to render realistic environments, and thereby generate synthetic datasets to use in visual navigation. However, connecting these to various simulation software and hardware setups can be challenging. The problem of connecting different devices has led to the development of many types of middleware, defining standard terms of communication. While most of these are quite flexible in terms of integrability, this flexibility can, in many cases, induce unnecessary overhead and latency. This master thesis will present the early development of a type of client software aimed towards the creation of easily interchangeable node based simulation setups in C++, with user-defined messages for inter-node communication while being as platform-independent as possible. The client differs from most other middleware in the sense that the node setup is decided at compile-time, allowing for extra optimizations and removing the need to connect the nodes via a network connection. This decision enables optimization for performance and latency. The client is presented with a real-world use case, connecting the simulation environment found in Microsoft’s AirSim plugin for the Unreal Engine game engine, with ROS, in order to create simulation data for ROS-compatible visual navigation setups.

Denne masteroppgaven legger frem, og implementerer, en arkitektur for et autonomt system som er i stand til kontektsbasert resonnering under inspeksjonsoppdrag utført med ubemannede undervannsfartøy. For å forenkle design- og implementasjonsprosessen har arkitekturen blitt delt inn i fem undermoduler: maskinvare, simultan lokalisering og kartlegging (SLAM), klassifisering, planlegging og kontroll. Utvikling av disse modulene undergikk fire hovedfaser: ytelsesspesifikasjon, design, implementasjon og testing. Som følge av dette har hver av undermodulene blitt verifisert, både individuelt og kombinert med hverandre, for å luke ut software bugs og svakheter som kunne forringe totalsystemets ytelse. En tilpasset stereovisuell-treghetssensor ble konstruert slik at presis undervannstesting av toppmoderne visuelle SLAM-metoder (VSLAM) kunne gjennomføres. Ved å kombinere en moderne VSLAM-metode og en avansert objektgjenkjenningsalgoritme, ble seman- tiske kart generert for å gi økt kontekstbevissthet i uutforskede omgivelser. Gjennom bruk av en informert, asymptotisk optimal samplingbasert metode, produserer planleg- gingsmodulen gjennomførbare, kollisjonsfrie baner som er i overensstemmelse med C 2 - kontinuitetsrestriksjonene pålagt av kontrollsystemet. Ved å kombinere planleggingsmod- ulen med en informasjonsdrevet randbasert utforskningsmetode, ble et system for autonom utforskelse av ukjente omgivelser implementert. Kontrollmodulen bestod av et uniformt globalt asymptotisk stabilt kaskadebasert styringssystem som oppnådde full konvergens på 3D-kurver forsynt fra planleggingsmodulen. For å løse det spesifikke problemet med autonom rørinspeksjon med en svømmende undervannsmanipulator ble klassifisering og planleggingsmodulene designet for å kombin- ert kunne planlegge ruter basert på semantisk informasjon om omgivelsene som, sammen med utforskningsmodulen, kunne håndtere situasjoner hvor sporet av røret gikk tapt under operasjonen. This thesis proposes a system architecture for an autonomous system capable of context- based reasoning when performing autonomous mapping and inspection tasks with un- manned underwater vehicles. To simplify design and implementation, the system architec- ture was divided into five submodules: hardware, simultaneous localization and mapping (SLAM), classification, path planning, and control. Development of these modules went through four main phases: performance specification, design, implementation, and testing. Consequently, each submodule was verified, both individually and in pairs, to weed out bugs and weaknesses that could impair the performance of the complete system. A custom stereo-visual-inertial sensor was constructed to allow for precise testing of state-of-the-art visual SLAM (VSLAM) methods underwater. Through the integration of a VSLAM method and an advanced object detection algorithm, semantic maps were generated for increased context-awareness in unknown environments. Using an informed, asymptotically optimal sampling-based approach, the planning module produced feasible, collision-free paths consistent with the C 2 continuity constraint imposed by the control system. By combining the planning module with an information-driven frontier exploration strategy, an autonomous exploration method was implemented. The control module con- sisted of a uniform global asymptotically stable cascaded guidance and kinematic control algorithm, which achieved full body convergence on the 3D curves provided by the planning module. To solve the specific case of autonomous pipe inspection with an underwater swimming manipulator, the classification and planning modules were designed to plan routes based on semantic environment information, which, combined with the exploration module, could handle cases where the pipe was lost.

Fremtiden innen maritim varetransport består av autonome skip, og for å bli en levedyktig kommersiell løsning må de lages like trygge eller tryggere enn bemannede farkoster. Fullstendig autonome fartøy som oppfyller dette kriteriet, er avhengig av et forutsigbart kollisjonsunngåelsessystem. Det må være et system som tilpasser seg ettersom omgivelsene endres, er forberedt på uventede hendelser og samtidig overholder de internasjonale forskriftene for forebygging av kollisjon på sjøen (COLREGS). Denne masteroppgaven omhandler et COLREGS-kompatibelt kollisjonsunngåelsessystem basert på Scenario-Based Model Predictive Control (SBMPC) og et anti-grunnstøtingssystem, begge installert på skalamodellen av ReVolt. Et bredt spekter av realistiske simulerte situasjoner med statiske hindringer, uforutsigbare objekter og forstyrrelser fra omgivelsene har blitt evaluert som en forberedelse til virkelige sjøtester. For å håndtere oscillatorisk oppførsel har noen nødvendige utbedringer av metoden blitt implementert. En mer passende skipsmodell sikrer gode prediksjoner underveis, og transisjonskostnaden bidrar til å bedre overholde COLREGS. For å unngå grunnstøtingsulykker er det lagt inn restriksjoner basert på elektroniske sjøkart, og for å oppdage objekter som nærmer seg utnyttes AIS-data. Det utbedrede kollisjonsunngåelses-systemet er testet både i simulator og i virkeligheten, og gir lovende resultater med tanke på å unngå kollisjon på en forutsigbar måte. For å komme nærmere optimalt resultat i alle situasjoner kan fremtidig forskning omfatte justering av parametere, samt øke kompleksiteten i algoritmen. Autonomy is the future of maritime shipping, and in order to be a viable solution for commercial use it has to be as safe or safer than conventional shipping. Fully autonomous surface vessels rely on a predictable collision avoidance system (CAS) to meet this criteria. The CAS should adapt as surroundings change and prepared for unexpected occurrences while adhering to the International Regulations for Preventing Collision at Sea (COLREGS). This thesis addresses a COLREGS compliant CAS using Scenario-Based Model Predictive Control (SBMPC) in conjunction with an anti-grounding system on the ReVolt model-scale ship. A broad specter of realistic simulated scenarios, including static obstructions, unpredictable obstacles and environmental disturbances are evaluated as a preparation for real life testing. Necessary improvements to the method are implemented to address oscillatory behaviour. A more fitting ship model ensures good predictions along the way and a transitional cost help better comply with COLREGS. To avoid grounding, a map restriction based on electronic navigational charts is implemented and to detect approaching obstacles exploitation of automatic identification system (AIS) data is added. The improved CAS is tested both in simulator and in real life. The tests present promising results with regards to avoiding collision in a smooth predictable manner. To pursue optimal performance in all scenarios, future research may include improved tuning and additional complexity of the algorithm.

Autonom transport blir stadig mer tilgjengelig, både landbasert, luftbasert og til havs. Urbane vannveier er på den andre siden underutnyttet i dagens byer. Den vanlige måten å krysse en kanal er enten via bro eller en bemannet ferge, som er dyrt på både kort og på lang sikt. Verden har til overs å se en kost-effektiv, fullt autonom og miljøvennlig personferge. For ethvert autonomt system er situasjonsforståelse kritisk. Nyvinninger innen kamer- ateknologi, beregningskraft og datasyn muliggjør nye framgangsmåter. I motsetning til vanlige elektrooptiske kameraer, er langbølge infrarød (LWIR) sensitive kameraer nyttige uten belysning. Selvom oppløsningen er lavere enn for elektro-optiske kameraer kan de fortsatt utklassere oppløsningen til en radar og være mindre utsatt for dårlig vær enn en lidar. Hovedsvakhetene til LWIR kameraer er bakgrunnsrot og faktum at det er passive sensorer, som gjør direkte avstandsmålinger umulig med et mono oppsett. Som et separat lag av sensorer vil det mulig kunne øke viktig redundans i autonome systemer. Når kameraer, både elektro-optiske og LWIR-sensitive, skal brukes som sensorer er det viktig med nøyaktig kalibrering. Selvom flere metoder for geometrisk kalibrering av LWIR kameraer har blitt lagt fram finnes det ikke standariserte metoder. Derfor blir en ny metode for geometrisk kalibrering av LWIR sensitive kameraer som utnytter emissivitets- forskjeller i materialer lagt fram. Metoden er basert på Leslie’s kube [2] og etterligner den standardiserte metoden for elektro-optiske kameraer og kan blant annet bli brukt med Mat- lab sin kamera-kalibrerings applikasjon. Gjennomsnittlig feil i piksellengde ved bruk av forvrengnings-koeffisienter og indre kameraparametre fra denne metoden var 1.91 px eller 1 px horisontalt og vertikalt. Basert på denne metoden har en kameramodell som over- setter pikselkoordinater til stråler i kamerakoordinater blitt implementert som en del av objekt-deteksjon samlebåndet. Samlebåndet bruker data fra en sensorrigg med 5 vidvinkel LWIR sensitive kameraer arrangert i en konfigurasjon som resulterer i 360 ◦ synsvinkel. Avhandlingen demonstrerer et funksjonelt Robot Operating System (ROS) nettverk som publiserer stråler i kamerakoordinater som peker til detekterte objekter funnet i infrarød data fra sensorriggen. Nettverket er skreddersydd MilliAmpere, prototypen til en autonom personferge utviklet som en del av Autoferry prosjektet. Autonomous transport is on the rise, both on land, in the air and at sea. Urban water channels are however underused in today’s cities. The main ways of crossing channels are either by bridge or by a manned passenger ferry. Both methods require expensive investments, in short- as well as long-term. The world has yet to see a cost-effective, fully autonomous and environmental friendly passenger ferry. For any autonomous system, situational awareness is paramount. With the rapid advance- ment in both camera technology, computing power and computer vision, new approaches are attainable. In contrast to ordinary electro-optical cameras, long wave infrared (LWIR) sensitive cameras are useful without illumination. While the resolution is more coarse than for electro-optical cameras, it can still be superior to the resolution of a radar and is less susceptible to weather detoriation than a lidar. The main weakness of LWIR cameras are background clutter and the fact that it is a passive sensor, making direct range measure- ments impossible with a mono setup. As a separate sensor layer, it might however add important redundancy to an autonomous system. Using cameras as sensors, electro-optical as well as LWIR sensitive, requires accurate cal- ibration. While several methods for geometric calibration of LWIR cameras have been proposed, a standardized method does not exist. Therefore, a new method for geomet- ric calibration of cameras sensitive to LWIR radiation utilizing emissivity differences in materials is proposed in this thesis. The method is based on Leslie’s cube [2] and mimics the standardized method for electro-optical cameras and can be used with Matlab’s camera calibration application among others. The average error in pixel length using distortion co- efficients and intrinsic parameters from this method were 1.91 px or 1 px horizontally and vertically. Based on this method, a camera model translating pixel coordinates to rays of camera-frame coordinates is implemented as part of a real time object detection pipeline. The pipeline uses data from a sensor rig with 5 wide angle LWIR cameras arranged in a configuration resulting in full 360 ◦ field of view. The thesis demonstrates a functional Robot Operating System (ROS) network publish- ing normalized rays of camera-frame coordinates pointing to detected objects found in infrared data from the sensor rig. The network is tailored to MilliAmpere, the prototype autonomous passenger ferry developed as part of the Autoferry project.

De metodene med høyest ytelse på objektgjenkjennelse og -sporing i bilder og videoer er nå begge basert på dyp læring og konvolusjonelle nevrale nettverk CNN [7]. Mye forskning blir investert i disse metodene, som antas å være avgjørende i den kommende autonome revolusjonen. Ute til sjøs i et kol- lisjonsunngålese (COLAV) scenario kan kameraer gi verdifull informasjon ved å komplimentere andre sensorer som RADAR og LiDAR. Kameraene har utmerket vinkel-oppløsning og oppdateringsfrekvens, men mangler all informasjon om dybde eller avstand. For å oppnå robuste og sikre autonome fartøyer er det nødvendig å ha flere sensorer som reduserer sannsynligheten for feilaktige eller manglende detekteringer. Ved å bruke forskjellige typer sensorer kan man kombinere de beste egenskapene til et sensorsystem bedre enn noen enkeltsensor kan gi. Denne oppgaven beskriver en modulær sensorfusjonsmetode, bygd ved bruk av ROS, for å kombinere RADAR spor med bildedata sanket med omnidireksjonelle (360°) kamerasystemer. RADAR-trackeren fra Autosea prosjektet som brukes i denne oppgaven, utfører all nødvendig behandling av RADAR- dataene. Den gir ut posisjon og usikkerhet samt en unik ID for hvert sporet object. All denne infor- masjonen er brukt for å initialisere forfatterens Extended Kalman Filter (EKF)-baserte tracker som tar inn målinger fra RADAR og kamera. Mottatte posisjoner fra AIS systemet tas også inn som målinger hvis tilgjengelige. Andre sensorer som gir ut målinger i Kartesiske koordinater kan enkelt legges til i algoritmen. Bildedata i retning av det detekterte fartøyet behandles gjennom en CNN-basert objektdetektor. Objekt- detektoren er komplementert av en CNN-basert objektracker, og trackeren initialiseres fra deteksjonene som er gjort i objektdetektoren. Målinger fra både trackeren og detektoren slås sammen med RADAR- dataene i den EKF-baserte sensorfusjonsalgoritmen. Testene demonstrerer at den EKF-baserte algoritmen klarer å følge et allerede initialisert spor ganske bra ved bare bruk av kameradata, spesielt hvis ASVen utfører noen manøvre. Kameraene hjelper videre til å redusere usikkerheten på det sporede objektet sammenlignet med RADAR alene. I testene som er gjort, gir den visuelle trackeren begrenset forbedring sammenlignet med objekt detektoren alene. Årsaken er serialisering på GPU bruk og svak bildestabilisering. Separat GPU til trackeren og strengere fokus på synkronisering mellom sensorer er nødvendig for gode resultater. Det overordnede målet med Autosea-prosjektet og denne oppgaven er et robust, sanntids COLAV system for å øke sikkerheten til sjøs. Det er ikke noe enkelt korrekt svar på hvordan problemet skal løses og denne oppgaven tar en praktisk og ukomplisert tilnærming, som demonstrerer mulighetene i aktiv-passiv sensorfusjon. Deep learning Convolutional Neural Network (CNN) based detection and tracking methods for images and videos are currently the highest performing methods available [7]. Much research is being invested in these methods, which are predicted to be vital in the upcoming autonomous revolution. Out at sea in a collision avoidance (COLAV) scenario cameras can provide valuable information to aid other sensors such as RADAR and LiDAR. The cameras have excellent angular resolution and update frequency, but lacks any information on depth or distance. To reliably achieve robust and safe autonomous vessels it is necessary to have multiple sensors which reduce the likelihood of erroneous or missed detections. Using different types of sensors one can combine the best characteristics into a sensory system better than any single sensor could provide. This thesis describes a modular sensor fusion pipeline, built using ROS, for combining RADAR tracks with image data captured using omnidirectional (360°) camera systems. The Autosea RADAR tracker used in this thesis performs all necessary handling of the RADAR data. It outputs position and uncer- tainty as well as an unique ID for each tracked target. All of this information is used to initialize the author’s Extended Kalman Filter (EKF) based tracker which takes in measurements from the RADAR and camera. Received positions from the AIS system is also implemented as possible measurements for when they are available. Other sensors outputting measurements in Cartesian coordinates are easily added in the algorithm. Image data in the direction of the detected vessel is processed through a CNN based object detector. The object detector is complimented by a CNN based object tracker, and the tracker is initialized from the detections made in the object detector. Measurements from both the tracker and detector is merged with the RADAR data in the EKF based sensor fusion algorithm. The tests demonstrates that the EKF is able to track an already initiated track quite well using only camera data, especially if the ASV performs some maneuvers. The cameras further help reduce the uncertainty of the targets position from RADAR alone. In the tests done, the visual object tracker provide limited enhancement on the object detector due to serialization on GPU usage and imperfect image stabilization. Separate GPUs and more stringent synchronization between sensors will be necessary for better results. The overall aim of the Autosea project and this thesis is a robust, real-time COLAV system to enhance safety at sea. There are no ”one true” answer on how the problem should be solved and this thesis takes a practical and straightforward approach, demonstrating the possibilities in active-passive sensor fusion.

Target tracking is of vital importance for autonomous vehicles moving in areas with unpredictable traffic. The radar is an important sensor in target tracking for autonomous vessels, though, it suffers from occasional false alarms, which may be particularly troublesome near land. Track initiation methods have different approaches to filtering the clutter and detecting true targets among the measurements. Integrated Probabilistic Data Association (IPDA) is a method suitable for both data association and track initiation, though its assumption of uniform clutter is not fully adaptable to many real world situations. Near-shore environments tend to have an uneven clutter distribution at the same time as they are the subject to targets leaving shore, making efficient track initiation a difficult task. Clutter maps attempt to estimate clutter density to assist in the process of selecting or weighting measurements associated with a target. Three clutter estimators were thoroughly tested and compared, which given some initialization time, improved the efficiency and accuracy of the IPDA in simulations. The Spatial estimator shows the best results for a shorter initialization length of 20 scans, while the Classic and Temporal estimators are able to achieve higher true detection rates when given longer initialization time. The Spatial estimator performs the best in simulated uniform clutter which correlates with its theoretical bias and quick convergence. The tests from real data sets recorded in Trondheimsfjorden suggest that the Classic estimator is most suitable for tracking scenarios where the radar is on board the ownship. For a stationary radar setup, which is more comparable to the simulations in this thesis, the Temporal estimator is a logical choice due to no theoretical bias when given sufficient estimation time. Excluding estimated target measurements from clutter estimation shows a positive effect on track initiation time, and should be tested and explored in further testing of clutter maps.

Autonomous surface vehicles (ASVs) are likely to revolutionize the maritime industry in the near future. To obtain situation awareness and avoid collisions, information from various types of sensors is needed. Visual cameras mounted on an ASV provide a detailed description of its surroundings. In this thesis, an algorithm for object detection in images based on unsupervised learning is implemented and tested. Different from supervised learning, unsupervised learning algorithms have no ground truth to use as guidance for learning what type of objects it should detect. This saves a large amount of human labor, and enables detection of objects the algorithm has not seen before. The object detection algorithm is based on a neural network, specifically an autoencoder, that is trained to represent visual ocean features well, while highlighting what it consider anomalous. Hence, the algorithm relies on the assumption that objects are represented as anomalies in the image data. The evaluation shows that the algorithm at its best is able to detect all objects. However, this comes at the expense of a high number of false positives. The maritime environment contains a lot of natural features, such as waves, that stand out visually. These are often considered anomalous by the algorithm, and therefore detected as objects.

This study provides a thorough investigation into the theoretical framework and background around the standard model used in \ab{mtt}, including \abp{pgm} with \ab{bp}, Bayesian state estimation for a hybrid state space, \abp{rfs} and labeling of sets in their union and the \ab{kldiv}. This serves as a foundation for developing novel derivations of the \ab{pmbm} filter and for how to include a hybrid state space. The models in the \ab{imm} are viewed as a discrete state in the hybrid state space. This enables appropriate conditioning and thus it is possible to avoid the increase in computational complexity of having the discrete states in the data association. Through the derivations it is seen that the components of the target set, i.e. the underlying sets in the union, can be handled independently under a given association. This is used through the prediction and update step to provides track continuity, and hence the possibility for track labeling. Additionally, track labels are seen as being a latent variable pointing to individual sets, being either a single track set or the undetected targets set, in the unionized set of targets. The track labels follow a specific track after first detection, and hence in a manner provide target identities. The only change in the multi target distribution is in the distribution of the union, and no changes are made to the individual distribution components in this union. The only thing changed in the distribution of the union is the addition of a "labeled subset extractor". Thus, it is seen as being a different approach than the labeling done in the \ab{lmb}. A total target information distribution is stated as a compact way of viewing the complete picture within \ab{mtt}, and furthering insight into identities and tracks. It might lend itself as a starting point for studies of new approximative algorithms on \abp{pgm}. Furthermore, the relationship to most of the well known \ab{mtt} filters, including \ab{pmbm}, \ab{mht}, \ab{tombp}, \ab{jipda} with its degenerate cases and \ab{phd}, are provided, recognizing them as approximations of the \ab{pmbm}, or as attaining association variables within their distribution. The \ab{lbp} way of approximating the association probabilities of \citeauthor{Williams2014} is given. Lastly it is shown how much larger the expected number of undetected targets is compared to the expected number of born targets after convergence, as a function of model parameters, along with the relationship between new born targets and clutter in the case of constant initial probability.

The development of autonomous surface vessels (ASVs) has seen great progress in the last few years, and are on the verge of becoming a reality. Sensing the environment in a reliable way is a key element in making a ship fully autonomous. The sensors needed to make a ship fully autonomous exist today, but the challenge remains to find the optimal way to combine them. An ASV operating in a urban environment might need different exteroceptive sensors than a vessel operating at sea. Optical cameras and lidars (light detection and ranging) are suitable candidates for close-range sensing of the environment. Different sensors have different strengths and weaknesses, and in order to build a coherent world image on which e.g. sense-and-avoid decisions can be based on, information from the different sensors need to be fused and included into the state estimation of surrounding vessels. This is done using a target tracking system. In this thesis, a target tracking framework based on the JIPDA filter is implemented and tested on real data gathered during a series of experiments in a harbour environment. Measurement models for both the lidar and the camera are formulated, and the sensors are geometrically calibrated and integrated with the navigation system onboard the ReVolt model ship. The data from the lidar are clustered using a slightly modified version of the DBSCAN algorithm. Sensor measurements from a number of different scenarios with two maneuvering targets are recorded, and the targets are tracked with the JIPDA filter using the lidar sensor as the primary sensor. The results show that wakes behind the targets lead to many false tracks in close vicinity to the ReVolt model ship. The results also show that the detection probability of targets at range is reduced due to the spread of the laser beams. The presence of wakes did not lead to track loss for the true targets. At ranges where the targets were steadily detected, the targets were successfully tracked with few false tracks. It was also found that tracks can be lost due to occlusions, where one of the targets block the other target from being detected. The implemented Faster R-CNN detector showed limited range, where the detections at ranges over 20 meters are few and far between. At close ranges however, it shows the potential to be used in mitigating false tracks due to wakes or clutter, and could be used to aid in track formation and confirmation.

A high activity harbor environment could present several problems for a tracking system. The observable area may be small, targets may be closely spaced, move in formation and disappear close to where other appears. Therefore, to perform harbor surveillance one requires a tracking algorithm capable of both robust track initiation, maintenance and termination. To deal with this, the Hypothesis-Oriented Multiple Hypothesis Tracker (HO-MHT) of Reid is extended to also model the event of targets ceasing to exist. The result is similar to that of Kurien, but is formulated such that the K-Best hypotheses can be generated in polynomial time by the algorithm of Murty. Important design aspects of the algorithm are explained, including track and hypothesis tree data structures, together with additional complexity reduction techniques aside from K-best generation. The surveillance system is to be used for the autonomous ferry project in Trondheim, Norway, and the objective is to gather statistics for the area the ferry is going to operate in. This is important to both evaluate the impact of the ferry on the existing traffic, and to aid in the development of a collision avoidance system. A high performing radar detection system is developed, removing 40 % of the clutter, and under 1 % of the true target detections. This includes a filter to remove "multiples" generated by large boats. Measurement and plant noise parameters for a DWNA-model are estimated for the sensor and the targets that operate in the area. Both the optimal parameters of the detection system and the target model is obtained by evaluating it against an approximate ground truth. A Graphical User Interface (GUI) has been made to both facilitate the creation and increase the precision of the ground truth. Another GUI has been made to analyze the results of the tracking system. It is possible to examine individual clusters and its hypotheses through time. The tracks of a hypotheses is shown on top of a satellite image along with detection data.