Search

High-resolution 3D velocimetry estimation of fluids is a key problem in experimental fluid mechanics. It offers important applications for aero- and hydrodynamic measurements in academia and industry and facilitates fundamental research in turbulent flows. By injecting tracer particles into a fluid and observing their displacements over time from multiple view-points, a dense velocity field can be obtained. However, with increased particle seeding densities, ambiguities in the 3D particle reconstruction arise, which, in turn, affect the reconstruction accuracy of the underlying flow field. Existing approaches are limited to low seeding densities, which limit the spatial resolution of the flow field, or require long time sequences to heuristically resolve ambiguities of large, self-occluding particle sets. This thesis focuses on novel, physically-motivated approaches for high accuracy 3D flow estimation from few time steps. Multiple contributions are presented to tackle high seeding densities and, thus, facilitate high-resolution velocity field estimation. First, a variational formulation of the 3D flow estimation problem is introduced. The coarse- to-fine optimization scheme allows incorporation of physical priors, such as the incompressible stationary Stokes equations. To counteract the high memory requirement of voxel-based representations, a sparse particle reconstruction approach is subsequently proposed, combined with a sparse descriptor for 3D correspondence matching. Finally, a joint energy formulation is presented that optimizes both the sparse 3D particle locations and the dense motion field. Taking into account all available input views and both time steps jointly results in a better disambiguation of particle reconstructions and a more detailed flow field estimation. This favorable formulation is further extended to multiple time steps, allowing to further improve the particle reconstruction. Hence, even higher particle seeding densities can be supported. The proposed approaches were quantitatively validated on synthetic fluid simulations and delivered compelling results on experiments in water and air., ISBN:978-3-03837-010-9

Dichtes Stereomatching ist ein aktives Forschungsgebiet im Bereich der Computer Vision. Ziel ist es, Tiefeninformationen aus zwei oder mehr 2D-Bildern einer Szene zu extrahieren. Hierf��r wird eine Korrespondenzsuche ��ber alle Pixel der verwendeten Bilder angewandt. Ermittelte Tiefeninformation kann f��r verschiedene Anwendungen verwendet werden. Beispiele sind die automatisierte Navigation von Robotern und Autos oder die 3D-Rekonstruktion von Gegenst��nden und Geb��uden. In dieser Arbeit werden wir uns auf dichtes Stereomatching f��r urbane Outdoor-Bereiche konzentrieren. Der k��rzlich publizierte PatchMatch Stereo Ansatz von Bleyer et al. scheint in Hinsicht auf Speicherverbrauch und Skalierbarkeit f��r hochaufl��sende Bilder f��r unsere Zwecke geeignet. Wir starten von dieser Idee und erweitern den Ansatz, um die Verarbeitung von mehr als zwei Bildern zu erm��glichen. Wir testen unseren Algorithmus an verschiedenen Bilddaten im urbanen Au��enbereich: Stereobilder aufgenommen von einem fahrenden Auto, Panoramabilder aus st��dtischen Gebieten, Bildsequenzen von historischen St��tten und Luftbilder. F��r die Korrespondenzsuche werden Experimente mit unterschiedlichen Kostenfunktionen durchgef��hrt. PatchMatch Stereo ist eine lokaler Stereomatching Ansatz, der an jeder Pixelposition eine 3D-Ebene sch��tzt. Dadurch werden nicht nur Disparit��tswerte sondern auch Oberfl��chennormalen ermittelt. Der PatchMatch Stereo Algorithmus basiert auf einer randomisierten, approximierten Korrespondenzsuche. Zun��chst wird f��r jede Pixelposition eine zuf��llige Ebene gew��hlt. Gute Ebenensch��tzungen, die niedrige Matching-Kosten aufweisen, werden daraufhin an benachbarte Pixel weitergegeben und in einem iterativen Prozess weiter verfeinert. Wir transformieren den PatchMatch Stereoansatz vom Disparit��tsraum in den 3D Szenenraum, um eine direkte Bestimmung von Tiefenwerten zu erm��glichen. Dies erm��glicht zus��tzlich das Arbeiten mit nicht-rektifizierten Bildpaaren. Die Abbildung von einem Kamerabild zum anderen wird durch Ebenen-induzierte Homographien erm��glicht. Hierf��r wird die gesch��tzte Ebene (Normale und Tiefenwert) an jeder Pixelposition verwendet. Das Arbeiten im Szenenraum erm��glicht die direkte Verarbeitung von mehr als zwei Bildern, da keine Rektifizierung notwendig ist. Dies f��hrt zum Hauptbeitrag dieser Arbeit: ein Multi-View Stereo Matching-Ansatz. Die Verwendung von mehr als zwei Bildern erleichtert die Handhabung von teilweise verdeckten Bildbereichen und f��hrt dadurch zu robusteren Ergebnissen. Unser Ansatz wird quantitativ auf bestehenden Benchmarks f��r 2-View und Multi-View Bildsequenzen ausgewertet. Die Ergebnisse werden des Weiteren mit anderen State-of-the-Art Stereomatching Methoden verglichen., Dense stereo matching is an active research topic in the area of Computer Vision. Depth information is extracted from a dense correspondence search between two or more images of the same scene, taken from different camera positions. Extracted depth information can be used for various applications such as robotic navigation, automated driving or 3D reconstruction of objects and buildings. In this work we will focus on dense stereo matching for urban outdoor environments. We start from the recently published PatchMatch Stereo approach by Bleyer et al. since it seems suitable for our purpose in terms of memory consumption and scalability for high resolution images. We further extend their idea to multi-view stereo. Our algorithm is tested on different urban outdoor image sets, including image pairs from cameras mounted on a car, panoramic images of urban areas as well as multi-view data from historic sites and aerial image data. For the correspondence search, experiments with different cost functions are performed. PatchMatch Stereo is a local stereo matching approach that estimates a 3D plane at each pixel position, hence, extracting not only disparity values but also surface normals. The PatchMatch Stereo algorithm is based on a randomized approximate correspondence search. Initially a random plane is selected for each pixel position. Good plane estimates are then propagated to neighboring pixels and further refined in an iterative process. We transform the PatchMatch Stereo approach to scene space in order to directly estimate depth values and work with non-rectified images. Mapping from one image to another is facilitated by plane induced homographies, utilizing the estimated planes (normal and depth) at each pixel position. Processing in scene space allows us to directly combine multiple images. The major contribution of our work is a multi-view stereo matching approach. The use of more than two images facilitates the handling of partially occluded image regions and therefore leads to more robust results. Our approach is quantitatively evaluated on existing benchmark data for two-view and multi-view image sequences. Results are compared with reported values of state-of-the-art stereo matching methods.