Search

This work addresses the problem of bi-modal registration to provide the surgeon with an accurate optical biopsy location in endoscopic frames during image guided examination. A multispectral-augmented endoscopic prototype was developed based on a commercial endoscopic system: A fiberscope is inserted into the operating channel and connected to a snapshot multispectral camera (41 bands in the range of 470 to 975 nm), working as a localized optical biopsy for a complementary medical exploration with a much smaller field of view. The registration between modalities is challenging due to the lack of texture in gastric wall which causes direct image-content registration methods to fail. Therefore, we approach the registration problem as a relative pose estimation between two non-homogeneous cameras (endoscope and fiberscope) not rigidly linked. Both cameras can be separately calibrated using a chessboard pattern so their instantaneous relative pose can be estimated by tracking the moving camera (fiberscope). To do this, we take advantage of the fiberscope presence in the endoscopic images and its geometry. Therefore, the pose of the fiberscope is estimated by minimizing the re-projection error of a virtual cylinder using a predicted pose in four steps: (i) the segmentation of the fiberscope is achieved through CNNs models trained on our endoscopic sequences;(ii) a 3D cylinder axis is initialized using the initial segmentation and Plücker’s coordinates;(iii) the pose estimate is optimized by maximizing Jaccard’s similarity index between an automatic segmentation of the fiberscope in the image and the virtual cylinder projection in the endoscopic reference frame; (iv) we use the pose of both cameras to estimate the transformation through direct homography between virtually projected points achieving a markerless tracking. This approach was validated using a virtual framework to realistically simulate the movements of the fiberscope inside the operating channel (i.e, insertion and precession) and in-vivo sequences acquired with our multimodal prototype in a medical center. The final registered images offer the surgeon real time visualization of the area targeted by the fiberscopeat the gastric wall and its corresponding spectral data. In an off-line process, it is also possible to locate the hyperspectral biopsy on a panoramic map constructed by image mosaicing techniques from the endoscopic video acquired during examination. In a general way, the proposed method for locating optical biopsy can be extended to any type of imaging, specially in the presence of poorly textured images or when markerless probe tracking is necessary, and could be valuable for patient monitoring., Un prototype d’endoscope augmenté d’une sonde multispectrale a été développé au moyen d’un fibroscope inséré dans le canal opérateur d’un système endoscopique commercial et connecté à une caméra multispectrale snapshot (41 bandes dans la gamme de 470 à 975 nm). La sonde multispectrale fonctionne comme une biopsie optique localisée pour une exploration médicale complémentaire avec un champ de vision beaucoup plus petit que l’endoscope. Cette thèse aborde le problème d’un recalage in vivo des images bimodales (RGB endoscope/MS fibroscope) afin de fournir au chirurgien une localisation précise de la biopsie dans l’image endoscopique pendant l’examen. Ce recalage est critique car l’absence de texture dans la paroi gastrique fait que les méthodes classiques exploitant une mise en correspondance des contenus des images échouent le plus souvent. De plus, par mesure d’asepsie, la sonde doit être retirée et nettoyée entre chaque patient. C’est pourquoi nous abordons le problème de recalage comme une estimation de pose relative entre deux caméras hétérogènes et non rigidement liées(endoscope et fibroscope). Les deux caméras peuvent être calibrées séparément à l’aide d’un motif en damier de sorte que leur pose relative instantanée puisse être estimée en suivant la caméra mobile (fibroscope). Pour ce faire, on profite de la présence du fibroscope dans les images endoscopiques et de sa géométrie. Ainsi, la pose du fibroscope est estimée en minimisant l’erreur de re-projection d’un cylindre virtuel en utilisant une pose estimée en quatre étapes : (i) la segmentation du fibroscope est réalisée à l’aide de modèles CNN formés sur nos séquences endoscopiques ; (ii) un axe de cylindre 3D est initialisé en utilisant la segmentation initiale et les coordonnées de Plücker ; (iii) l’estimation de la pose est optimisée en maximisant l’indice de similarité de Jaccard entre une segmentation automatique du fibroscope dans l’image et la projection du cylindre virtuel dans le cadre de référence endoscopique ; (iv) nous utilisons la pose des deux caméras pour estimer la transformation par homographie directe entre les points projetés virtuellement, ce qui permet d’obtenir un suivi sans marque. Cette approche a été validée en utilisant une simulation réaliste des mouvements du fibroscope à l’intérieur du canal opérateur (c’est-à-dire l’insertion et le béquillage) et les séquences in vivo acquises avec le prototype multimodal dans un centre médical. L’estimation en temps réel de la position relative entre les deux caméras permet au chirurgien de visualiser la zone ciblée par le fibroscope sur la paroi gastrique au cours de l’examen et de superposer les deux modalités d’images en donnant accès aux données spectrales pour la biopsie optique. Dans un processus hors ligne, il est également possible pour le suivi des patients de localiser les biopsies sur une carte panoramique construite par des techniques de mosaïquage d’images à partir de la vidéo endoscopique acquise lors de l’examen. D’une manière générale, la méthode proposée pour localiser la biopsie optique peut être étendue à n’importe quel type d’imagerie, en particulier pour une sonde sans marqueur et des images peu texturées.