Real-time haptic simulation of medical procedures involving deformations and device-tissue interactions

The research work presented for the habilitation thesis aim to provide new simulation tools for medical and surgical interventions.These tools have many applications including training of physicians, planning of interventions (for rehearsal and for the validation of a therapy) or providing assistance during a real intervention. However, to obtain a realistic or even predictive simulation of the procedure, we must take into account the deformation of anatomical structures and the mechanical interactions between devices and tissues. At the same time, the simulation must be interactive and computed in real-time to keep the gesture of the physician in the loop of the simulation. The major challenge of our work is to guarantee a certain level of accuracy in the simulation while keeping a very short computation time, consistent with the real-time. First, we present an optimized formulation of the finite element method (FEM) for the deformable models and new numerical tools (preconditionner, coupling between models...) dedicated to real-time FEM computation. This approach is used to compute the biomechanics of anatomical soft-tissues, as well as flexible instruments. The second key point is the boundary conditions: the mechanical interactions between organs and/or with surgical devices are often difficult to account for. Yet, a bad modeling of these interaction can lead to a large source of errors. Our approach builds on non-smooth mechanics for modeling contact and friction between solids but also extends to other models of interaction (like needle insertion for instance). In this context, we also address the difficult problem of computing the compliance of deformable structures in real-time. Third, during some procedures, the visual feedback is far from perfect and the physician uses haptic feedback for guidance. In such case it is important to provide haptic rendering using dedicated haptic devices and simulation algorithms. In this domain, we provide a new asynchronous approach that is centered on the mechanical interactions between devices and human tissues. The method addresses the problem of high-refresh rates (1kHz) needed in the haptic loop. Finally, we present some research results on concrete application examples that we are currently developing. We present the remaining challenges to allow a large diffusion of the simulation as a clinical tool, used by physicians in the future.; Les travaux de recherche présentés pour l'habilitation à diriger des recherches, visent à proposer de nouveaux outils pour simuler des interventions médicales et chirurgicales. Ces outils ont plusieurs applications dont l'amélioration de la formation des praticiens, la planification d'interventions pour la préparation et la validation d'une thérapie ou encore l'assistance au geste médical durant une intervention. Or, pour simuler ces interventions de manière réaliste voire prédictive, il faut tenir compte de la déformation des structures anatomiques et des interactions mécaniques entre les outils et les organes. En même temps, la simulation doit être interactive et calculée en temps-réel pour garder le geste du praticien dans la boucle de la simulation. Le défi majeur de notre travail est donc de garantir un calcul précis au niveau de la simulation tout en gardant un temps de calcul très court, qui soit compatible avec le temps-réel. D'abord, nous proposons une formulation optimisée de la méthode par éléments finis (FEM) et de nouveaux outils numériques (pré-conditionneurs, couplage entre modèles...) dédiés à au calcul FEM temps-réel. Cette approche est utilisée pour calculer la biomécanique des déformations des tissus anatomiques et les instruments flexibles. Nous abordons ensuite un autre point clé de ces simulations que sont les conditions aux limites. Les interactions mécaniques entre organes et/ou entre les outils chirurgicaux et les tissus sont souvent complexes à modéliser. Or, une mauvaise prise en compte de ces interactions peut aboutir à des erreurs importantes. Notre approche suit les bases de la mécanique non-régulière pour gérer, notamment, le contact et le frottement entre solides. Nous étendons l'approche à d'autres modèles d'interaction (comme l'insertion d'aiguille par exemple). Dans ce contexte, nous mettons l'accent sur le calcul de la compliance des structures en temps-réel. Par ailleurs, pour certaines interventions où le retour visuel n'est pas parfait, le praticien se guide aussi avec le sens du toucher. Il est donc important de reproduire au moins partiellement cette sensation - dite haptique - avec des interfaces à retour d'effort, pilotée à partir des données de la simulation. Dans ce domaine, nous proposons une approche centrée sur le rendu haptique des interactions mécaniques entre outil chirurgical et tissus humain. Cette approche se base notamment sur une désynchronisation du calcul de la boucle de simulation et de la boucle de retour d'effort qui demande un rafraichissement à haute fréquence (1kHz). Finalement, nous présentons ces résultats de recherche sur des exemples concrets d'application et nous présentons les défis à venir pour permettre à la simulation de devenir un outil utilisé par les praticiens à l'avenir. Le manuscrit est en anglais.