Search

Safe navigation for autonomous surface vehicles requires a robust and reliable tracking system that maintains and estimates position and velocity of other vessels. This paper demonstrates a measurement level sensor fusion system for tracking in a maritime environment using lidar, radar, electrooptical and infrared cameras. The backbone of the system is a multi-sensor version of the Joint Integrated Probabilistic Data Association (JIPDA) with both existence and visibility probabilities. Using reference targets equipped with GPS receivers, the performance of different sensors and sensor combinations are evaluated for autonomous surface vehicles (ASVs), Several interesting observations are made, among them that passive sensors can help resolve merged measurements issues in radar tracking, and that the choice between radar and lidar may boil down to a trade-off between fast track initiation and large numbers of false tracks.

Denne rapporten presenter en sanntids doppler velocity logger og trykksensor hjulpet treghets navigasjons system. Den sammenligner en feil-tilstand Kalman tilstandestimator basert på Joan Solà versjon [2] med gyro og akkselerometer bias-estimering, en ulinær tilstandestimor basert på [3] med gyro bias-estimering og et forlenget Kalman filter på Manta-2020 autonome-undervannsfarkosten med bruk av robot operativ system plattformen (ROS). De to implementerte tilstandestimatorene ESKF og EKF er veldig nylige filtere i deres felt. En sammenligning av fire eksperimentelle test senarior var gjort på Tyholt i Trondheim. Dette inkluderte to "overvanns" tester og to undervanns tester. Første overvanns test var en åttetalls-aktig test, mens andre overvanns test var en 30 minutters firkant-aktig test. For undervannstestene, var første test en firkant-aktig test og andre test var en sinsus-funksjons-aktig test. Rosbag resultatene av filterene var da lagt inn i MATLAB for å produsere figurer av 3D øst,nord og høyde, posisjon, hastighet, attityde, bias estimasjonene, posisjonsfeilene, hastighetsfeilene og tilslutt DVL og trykksensor NIS verdiene. IMU-sensor buffering, IMU-viltpunkt filtrering og sensor-synkronisering var lagt til for å få bedre tilstandsestimar på tilstandsestimatorene. This thesis presents a real-time doppler velocity logger and pressure aided inertial navigation system comparison between an error-state Kalman filter with acceleration and gyro bias estimation, a nonlinear observer with gyro bias estimation and a extended Kalman filter on Manta-2020 autonomous underwater vehicle using the Robot operating system platform. The two implemented state estimators, ESKF and NLO, are two very recent filters in their respective field. A comparison between four real world testing scenarios were performed at the MC-lab at Tyholt in Trondheim. These included two "above water" tests and two underwater tests. The "above water" tests included a one round eight-shaped test and a 30 minutes square-shaped test. For the underwater tests this included an square-shaped test and a sinusoidal-shaped test. The comparison were then compared to MATLAB produced figures with a 3D east-north-altitude plot, position, velocity, attitude, bias estimates, position error, velocity error, altitude error and lastly the NIS values. IMU-sensor buffering, IMU-wild point filtering and sensor-synchronization were added to get better filter estimates.

Før autonome skip kan bli kommersielt akseptert, må de være trygge nok. Å ha et automatisk antikollisjonssystem som følger navigasjonsreglene (COLREGs), er et viktig steg mot å gjøre autonome skip tryggere. Det finnes allerede mye forskning på ulike antikollisjonsmetoder, men få forskere har undersøkt om intensjonsdata kan brukes til å forbedre ytelsen til et eksisterende antikollisjonssystem. Denne masteroppgaven skal undersøke hvorvidt bruk av data om intensjoner kan forbedre den eksisterende SBMPC-antikollisjonsalgoritmen til Johansen et al. (2016). I denne masteroppgaven har det blitt utviklet to forskjellige antikollisjonsalgoritmer: den originale SBMPC-algoritmen til Johansen et al. (2016) og en modifisert versjon av denne algoritmen, som vil bli kalt modifisert SBMPC. Den eneste forskjellen mellom den originale SBMPC-algoritmen og den modifiserte SBMPC-algoritmen er at den modifiserte SBMPC-algoritmen utnytter data om andre skip sine intensjoner. Denne dataen inneholder fremtidig rute i tillegg til hvilke navigasjonsregler andre skip har planlagt å følge. De to antikollisjonsalgoritmene har blitt implementert som en del av en skipssimulator. Denne simulatoren simulerer ulike situasjoner for å sammenligne ytelsen til de to algoritmene. Ulike metrikker har blitt utviklet for å kvantifisere ytelsen. Et bredt utvalg av ulike situasjoner med ulik vanskelighetsgrad har blitt brukt for å sammenligne de to algoritmene. Selv om de to algoritmene hadde ytelsesproblemer på grunn av valg av parametere, så klarte begge algoritmene å unngå kollisjon og grunnstøting i alle situasjoner som ble testet. I flertallet av situasjoner som ble testet så hadde den modifiserte SBMPC-algoritmen, som bruker intensjonsdata, bedre ytelse enn den originale SBMPC-algoritmen. Bruk av intensjonsdata gjorde manøvere mer trygge, og bruk av intensjonsdata førte også til at skipet klarte å følge navigasjonsreglene bedre. Before autonomous vessels are commercially accepted, they need to be sufficiently safe. Having a collision avoidance system that complies with the navigational rules (COLREGs) is an essential step towards making autonomous vessels safer. There exists a wide range of research on different collision avoidance methods, but few researchers have investigated if data about other vessel's intentions can improve collision avoidance performance. This thesis aims to investigate if utilization of other vessels' intentions can improve the performance of an existing short-term collision avoidance method; the Simulation-Based Model Predictive Control (SBMPC) algorithm by Johansen et al. (2016). This algorithm is classified as short-term because it is concerned with avoiding immediate collisions. In this thesis, two different collision avoidance algorithms have been implemented: the original SBMPC algorithm by Johansen et al. (2016) and a modified version of this algorithm called the modified SBMPC algorithm. The only difference between the original SBMPC and the modified SBMPC is that the modified SBMPC algorithm uses intention data about future trajectories and what COLREGs rules other vessels intend to follow. The two collision avoidance algorithms were implemented as part of a vessel simulator. This simulator performs simulations to compare the performance of the two algorithms. A set of metrics were developed to quantify the collision avoidance performance. A wide range of simulation scenarios with varying difficulty were used to compare the two algorithms. Although the two implemented algorithms did have some problems with the choice of tuning parameters, they were able to avoid collision and grounding in all simulation scenarios. In the majority of the scenarios, the modified SBMPC algorithm utilizing intention data had better collision avoidance performance compared to the original SBMPC algorithm. The use of intention data made maneuvers safer, and it also increased compliance with the navigational rules.

Denne oppgaven diskuterer stereosyn for å detetktere objekter på lange distanser, kalibrering og system implementasjon for et førerløst fartøy. Oppsettet innehar en interaksiell avstand på 1.80 meter mellom kameraene for å optimalt detektere objekter på 50 meters avstand. En metode for å kalibrere på lengre avstander er foreslått. Metoden er testet og resultatene viser at valg av kalibrerings scene er viktigere enn avstanden til kalibreringsobjektet. Kalibreringen utført på 20 meter viste å gi mest nøyaktige dybdeestimat. Systemet er designet for fergen milliAmpere og er testet i et marint miljø. Systemet prosesserer rå sensordata og gir ut verdenskoordinater til detekterte objekter. Dybdekartet er implementert ved bruk av algoritmene Sum of Absolute Differences og Fast Global Image Smoothing filter basert på minste kvadraters metode viser seg å være robust. To metoder er implementert for å detektere objekter i dybdekartet. Ett konvolusjonelt nevralt nettverk (CNN) for klassifisering gir i kombinasjon med dybdekartet verdensposisjonen til objekter av interesse. Metoden viser seg å være robust mot støy, men har noe inkonsekvente estimater. En alernativ metode deteksjonsmetode basert på hierarkisk grupperingsalgoritme som bruker Euklidsk avstand gir mer pålitelige deteksjoner, men er mer utsatt for støy i dybdekartet. Det implementerte systemet viser potensiale for å detektere objekter i avstander mellom 10 og 200 meter, men ytterligere testing må utføres for å kunne integrere sensoren i ett helhetlig system for navigasjon av et autonomt fartøy. The thesis discusses far-range object detection for stereo, calibration, and system implementation for unmanned surface vehicles. The stereo system record with a baseline of 1.80 meters, with a fixation point at 50 meters. For far range distance estimation, a procedure for extrinsic stereo calibration is introduced. Testing the procedure at different distances, show that the selected scene is of higher importance than calibrating at the operating range. The calibration at 20 meters achieves the best overall distance estimates. The stereo system is designed for the autonomous ferry milliAmpere, and tested in a maritime environment. The system processes raw sensor data and output world coordinates of the detected objects. The disparity map created using Sum of Absolute Difference (SAD) and a Fast Global Image Smoothing based on Weighted Least Square (WLS) filter, is robust and has low computational cost. For object detection purposes, two clustering techniques are implemented. A convolution neural network is applied for classification, and used in combination with the disparity map to extract 3D positions of objects. The method is robust against noise in the disparity map, but appear to be partially inconsistent in the estimates. An alternative detection method based on hierarchical clustering using Euclidean distance yields more reliable detections, but is more prone to noise. The implemented system shows potential for vessel detection in a range of 10 to 200 meters, but it is still not clear that the detection performance is good enough to rely on in an autonomous collision avoidance system.

Med utviklingen innen autonom teknologi de siste årene har autonomi nå entret racingscenen. Som en del av konkurransen Formula Student, konkurrerer lag mot hverandre med førerløse racerbiler. Racerbilene kjører helt autonomt på baner definert av kjegler, der målet er at bilen skal manøvrere seg så raskt som mulig gjennom racerbanen. Dette stiller høye krav til deteksjonssystemet, som må lokalisere og klassifisere kjegler nøyaktig, i sanntid. Lidarer for autonome formål antas å være egnet for denne type oppgaver, da de gir nøyaktig posisjonsdata, sammen med intensitetsdata som potensielt kan brukes til klassifisering. I denne masteroppgaven implementeres og testes et rammeverk for kjegledeteksjon, basert på lidardata. Det består av et lokaliseringssystem som bruker Euklidisk klynging i tillegg til filtrering, for å finne kjeglekandidater. Ettersom metoden er utsatt for falske positiver, blir kjeglekandidatene 2D-projisert til 28 × 28 bilder, som klassifiseres av et CNN. Dette fanger formen til en kjegle, som antas å filtrere ut falske positiver. Ved å introdusere intensitet til de 2D-projiserte bildene, blir det repeterbare mønsteret på tvers av høyden til en kjegle inkludert. Dette lar CNN klassifisere farge i tillegg til form. Videre introduseres et rammeverk for lidar-lidar-fusjon. Dette består av kalibrering og synkronisering, hvor ego-bevegelse-kompensasjon er en forutsetning. Resultatene viser at CNN kan forbedre presisjon og gjøre fargegjenkjenning med en overordnet nøyaktighet pa 98.9% og 97.3% på testdata, for hendholdsvis formklassifisering og farge- og formklassifisering. Basert på stasjonære scenarier, klarer lokaliseringssytemet å finne kjegler opp til minst 28 meter. Klassifikatorene klarer å bestemme kandidater på 15m og 10m, basert på henholdvis formklassifisering, og form- og fargeklassifisering. Det ble funnet at kombinert form- og fargeklassifikator ikke er så bra som formklassifikatoren for å filtrere ut falske positiver. Selv om resultatene er lovende, er det nødvendig med mer treningsdata og testing på realistiske baner. Lidar-lidar-fusjonen hadde en kalibreringsfeil, som gjorde at resultatene relatert til fusjonslokalisering ble korrupte. Følgelig er rekalibrering nødvendig. Synkronisering og ego-bevegelse-kompensasjon bør videre testes og verifiseres i høyhastighetsscenarier. With the development of autonomous technology in recent years, autonomy has now entered the racing scene. As part of the Formula Student competition, teams compete against each other with driverless racing cars. The racing cars runs completely autonomously on tracks outlined by cones, where the goal is for the vehicle to maneuver as fast as possible through the racetrack. This sets high expectations for the detection system, which must locate and classify cones accurately in real-time. Lidars for autonomous purposes are thought to be suitable for this task, as they give accurate positional data, along with intensity data that potentially can be used for classification. In this thesis, a cone detection framework based on lidars is implemented and tested. It consists of a localization system using Euclidean clustering alongside filtering to find cone candidates. As the method is prone to false positives, the cone candidates are 2D projected to 28 × 28 images, which is classified by a CNN. This captures the shape of a cone, which is thought to filter out false positives. By introducing intensity to the 2D projected images, the repeatable pattern across the height of a cone is included. This lets the CNN classify color in addition with shape. Furthermore, a framework for lidar-lidar fusion is introduced. This consists of calibration and synchronization, with the prerequisite of ego-motion compensation. The results show that CNNs can improve precision and do color recognition with overall accuracy of 98.9% and 97.3% on test data, for the shape classification and color and shape classification, respectively. Based on stationary scenarios, the localization system manages to find cones up to at least 28m. The classifiers manage to classify candidates at 15m and 10m, based on shape classification, and shape and color classification, respectively. It was found that the combined shape and color classifier is not as good as the shape classifier to filter out false positives. Although the results are promising, more training data and tests on realistic tracks is necessary. The lidar-lidar fusion had a calibration error, which corrupted the results related to fusion localization. Consequently, re-calibration is necessary. Synchronization and ego-motion compensation should be tested and verified in high speed scenarios.

Autonom racing er et ganske nytt tilskudd til emnene robotikk og autonom mobilitet. Konseptet ble startet av Formula Student (FS)-konkurransene, og er en utfordring som studentlag over hele verden bryner seg på. Ettersom racerbaner er begrenset i størrelse og form, er racerbiler konstruert for å prestere på sitt beste gitt disse begrensningene. Dette prinsippet er like relevant for utviklingen av programvaren i en autonom racerbil. Som i vanlig racing, må de involverte systemene i en autonom racerbil kunne reagere fort og ta hurtige valg basert på eksterne hendelser. Av den grunn innlemmer det arbeidet som er presentert i denne oppgaven en avansert Samtidig Lokalisering og Kartlegging (SLAM) algoritme i iSAM2 for å estimere kjøretøyets stilling, samt plasseringene til kjegler som utgjør racerbanen. Gjennom bruk av målinger fra visuelle sensorer går denne avhandlingen i detalj om implementasjonene av forskjellige metoder for datatilknytning i SLAM: problemet med å knytte målinger til kjeglene. Totalt fire metoder ble vurdert, inkludert den robuste joint compatibility branch and bound (JCBB) algoritmen, og testet i forskjellige scenarier som er relevante for FS-konkurranser. De foreslåtte implementasjonene lar racerbilen nøyaktig bygge kartet med kjegler og estimere sin posisjon på en svingete bane ved hastigheter på minst 40 km/t. Innføringen av sannsynlighetsbaserte datatilknytningsmetoder som JCBB og maksimal sannsynlighet (ML) lar kjøretøyet i større grad korrigere den usikre startstillingen sin på et gitt kart, noe som øker robustheten til estimeringen av bilens stilling. Autonomous racing is a relatively new addition to the field of robotics and autonomous mobility. Pioneered by the Formula Student (FS) competitions, it is a challenge tackled by student teams across the globe. As racetracks are limited in size and shape, racecars are constructed to perform at their best given these constraints. This principle is just as well applied to the development of software in an autonomous racecar. Just as in regular racing, the involved systems in an autonomous racecar has to be able to react and make choices quickly based on external input. For this reason, the work presented in this thesis incorporates a state-of-the-art Simultaneous Localization and Mapping (SLAM) algorithm in iSAM2 to estimate the vehicle pose (position and orientation) as well as the locations of cones that make up the racetrack. Based on measurements originating from visual sensors, this thesis goes into detail on the implementations of different means of data association in SLAM: the problem of associating measurements to cones. A total of four methods are considered, including the robust joint compatibility branch and bound (JCBB) algorithm, and tested in different scenarios relevant for FS competitions. The proposed implementations allow the racecar to accurately build the map of cones and estimate its position on a winding track at speeds of at least 40 km/h. The introduction of probabilistic association schemes such as JCBB and Maximum Likelihood(ML)-data association allows the vehicle to better correct it's uncertain initial pose within a given map, increasing the robustness of vehicle pose estimation.