Surgical Navigation using an Optical See-Through Head Mounted Display

Abstract

Surgical navigation consists in guiding the surgeon during medical procedures, having important benefits such as the improvement of the clinical outcome and the decrease in the surgeon's learning curve. Recently, Perceive3D developed in.nav, which is a system for intra-operative navigation based in video that makes use of augmented reality to safely guide the medical procedures. By using only a monocular camera and small fiducial markers, in.nav overcomes the two main drawbacks inherent to the common Optical Tracking systems: the required high capital investment and the difficulty in preserving lines-of-sight in the Operating Room.The in.nav system currently runs in standard PCs and tablets. This thesis focuses on implementing in.nav in an Head Mounted Display (HMD). This brings important advantages that include the improvement of the visibility of the screen by the surgeon, enabling him/her not to move sight from anatomy, and the fact that it removes the need for an extra pair of hands for holding the screen.This implementation consists in the development of an application to serve as interface between in.nav and the HMD, through which all the necessary information is transmitted. This interface presents two different modes: one where the HMD serves to virtualize a conventional 2D display and another where the rendering of guidance information is done directly over the patient's anatomy. In order to provide a pleasant and useful user experience, the latter approach requires an accurate calibration of the HMD. This is accomplished in the last part of this thesis, as demonstrated by the thorough experimental validation.Although the technology of HMDs still presents some problems, such as the vergence-accommodation conflict, the work developed in this thesis yielded a simple, accurate and easy to use AR headset for surgical navigation.

Navegação Cirúrgica consiste em guiar o cirurgião durante procedimentos médicos, tendo vários benefícios desde a melhoria de resultados clínicos até à redução do tempo da aprendizagem do cirurgião. Recentemente, a Perceive3D desenvolveu o in.nav que consiste num sistema de navegação cirúrgica baseado em vídeo, com utilização de realidade aumentada para guiar procedimentos médicos. Com a utilização de uma camara monocular e de vários pequenos marcadores, o in.nav supera as duas principais desvantagens inerentes aos sistemas de Optical Tracking: o elevado investimento de capital necessário e a dificuldade de preservar lines-of-sight na sala de operações.O sistema in.nav atualmente funciona em computadores e tablets. Esta tese tem como foco a implementação deste sistema em óculos de realidade aumentada. Com esta implementação, várias vantagens pode ser retiradas que incluem o melhoramento da visibilidade do ecrã pelo cirurgião, permitindo que não seja necessário desviar o foco da anatomia e o facto de já não ser necessário uma pessoa auxiliar para segurar o tablet ou computador. Este trabalho consiste no desenvolvimento de uma aplicação que serve de interface entre o in.nav e os óculos, pela qual toda a informação necessária é transmitida.-----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------