Camera Calibration and Real-Time Image Processing in Heterogeneous Architectures - Application in Medical Endoscopy

Abstract

In the context of Minimally Invasive Surgery (MIS), developing image processing algorithms for endoscopic video poses several challenges over conventional camera systems. The endoscopic lens is a complex optical system that possesses some unique features, like the rotation of the scope for periscope-like view inside the anatomical cavity. Building a camera model that accounts for these changes in the image forma- tion is of major importance for algorithms depending on accurate camera modeling, such as stereo reconstruction, visual robust localization and mapping or distortion correction for visualization improvement. In order to infer geometric information from the image the camera has to be properly calibrated. While calibration is a well known topic in the literature, few works have focused on the specificity and practi- cability issues of calibrating an endoscopic system in the Operating Room (OR). In endoscopy, the lens is usually assembled to the camera head right before the proce- dure and therefore current camera calibration approaches are not suited for use in the OR. Research on unsupervised camera calibration techniques, that potentially ease the burden of performing this procedure in a delicate environment, is of key importance to bring complex image processing algorithms to the medical endoscopy field. Since lenses in MIS are usually very small with a wide Field of View (FOV), the Radial Distortion (RD) of the optical system is significant enough to further difficult camera calibration and affect the performance of surgeons during operation. The RD affects MIS procedures by interfering with the notion of relative depths in the imaged scene and changing the shape of anatomical landmarks and tools while the surgeon operate. The development of real-time systems for endoscopy in architectures, that allow a fast and scalable deployment of advanced image processing algorithms, is an important step for bringing practical software solutions for assisting the practitioner in the OR. This thesis advances the state of the art in the modeling of endoscopic systems and calibration of perspective cameras with RD, with the results of such work being used in a practical real-time system for distortion correction in medical endoscopy that impacts in the performance of surgeons. The real-time requirements of image processing algorithms that aim at assisting the doctor during surgery/diagnosis lead to the development of efficient solutions in heterogeneous architectures to cope with the latest video resolutions and frame rates.

No contexto da cirurgia minimamente invasiva, o desenvolvimento de algoritmos de processamento de imagem para vídeo endoscópico coloca vários desafios inexistentes em sistemas de câmera convencional. A lente endoscópica é um sistema óptico com- plexo, que possui características especiais, como a rotação da lente para possibilitar um vista similar a um periscópio no interior da cavidade anatômica. Desenvolver um modelo de câmera que tenha em atenção essas mudanças na formação da ima- gem é de grande importância para os algoritmos que dependem de um modelo da câmera preciso, tais como a reconstrução estéreo, a localização robusta visual e ma- peamento ou a correcção de distorção para a melhoria da visualização. De forma a deduzir informações geométricas a partir da imagem, a câmera tem que ser devi- damente calibrada. Enquanto que a calibração é um tema conhecido na literatura, apenas alguns trabalhos se focam na especificidade e questões práticas para calibrar um sistema endoscópico na sala de operação. Em endoscopia, a lente é geralmente montada na cabeça da câmera imediatamente antes do procedimento e portanto as técnicas atuais de calibração não são adequados para uso em bloco operatório. A in- vestigação de técnicas de calibração da câmera sem supervisão, que potencialmente aliviam o impacto de realizar este procedimento num ambiente delicado, é de impor- tância fundamental para levar algoritmos de processamento de imagens complexos o campo da endoscopia clínica. As lentes em cirurgia minimamente invasivas são geralmente muito pequeno, com um amplo campo de visão, e a distorção radial do sistema óptico é significativa o su- ficiente para tornar ainda mais difícil a calibração da câmara e afetar o desempenho dos cirurgiões durante a operação. A distorção afeta os procedimentos interferindo com a noção de profundidade relativa na imagem e mudando a forma das referências anatômicas e ferramentas enquanto o cirurgião opera. O desenvolvimento de siste- mas de tempo real para endoscopia em arquiteturas que permitão uma implantação rápida e escalável de algoritmos avançados de processamento de imagens é uma passo importante para trazer soluções práticas de software para ajudar o cirurgião no bloco operatório. Esta tese avança o estado da arte na modelação de sistemas endoscópicos e calibração de câmeras em perspectiva com distorção radial, com os resultados a serem utilizados num sistema prático em tempo real para correção de distorção em endoscopia clinica, com impacto no desempenho dos cirurgiões. Os requisitos detempo real dos algoritmos de processamento de imagem que visam auxiliar o médico durante a cirurgia/diagnóstico levaram ao desenvolvimento de soluções eficientes em arquiteturas heterogêneas para lidar com as últimas resoluções e frequências de vídeo.