Depth Camera Based Image Processing for Indoor Mobile Robots Localization and Navigation

Abstract

O aumento do desenvolvimento de plataformas robóticas móveis capazes de desempenhar actividades de navegação, localização e mapeamento em ambientes partilhados com humanos tem vindo a propulsionar áreas de investigação tais como a Robótica Móvel, Robótica Cooperativa, Interação Homem-Máquina, etc. Esta questão ganha maior relevância quando se reúnem as condições de criar uma plataforma robótica móvel própria, de raiz, tornando-a num sistema robusto que serve de matéria de investigação a nível interno e porventura, mais tarde, vir a ser colocado no mercado. O Interbot, robô social, é uma plataforma robótica móvel desenvolvida pelo ISR para actuação em ambientes interiores partilhados com humanos. Nesta dissertação propõe-se um módulo de aquisição e processamento de imagem, mais especificamente de imagens de profundidade, com o objectivo de fornecer ferramentas úteis de localização e navegação para esta plataforma. Em termos de hardware, é usado um sensor Microsoft Kinect One devidamente adaptado à plataforma. Posto isto, desenvolveu-se um sistema de processamento de imagens de profundidade de baixa complexidade. O sistema recebe a informação do ambiente envolvente através do sensor Microsoft Kinect One, estes dados são submetidos a uma primeira fase de processamento, onde são extraídas as estruturas planares da imagem (planos da imagem) e respectivos parâmetros (equação do plano, normal do plano, pontos do plano), e uma segunda fase de processamento onde é gerado um \textit{laser scan} com base nos dados previamente processados. O utilizador tem a possibilidade de facilmente regular os parâmetros de configuração do sistema consoante as características do ambiente e a finalidade desejada. Todos os algoritmos propostos foram desenvolvidos e testados em MatLab e ROS (Robotic Operating System). .

The increasing development of mobile robotic platforms able to perform activities such as localization, navigation or even map building in human shared environments has been propelling research areas such as Mobile Robotics, Cooperative Robotics, Human-Machine Interaction, etc. This issue is especially relevant when there are conditions to create an own mobile robotic platform from the scratch, making a robust system that serves internally for research purposes and perhaps to be placed on the market later on. The social robot, Interbot, is a mobile robotic platform developed by the ISR for indoor environments deployment. In this dissertation an image processing and acquisition module, more specifically depth images is proposed, with the aim of providing useful localization and navigation tools for this platform. In terms of hardware, it is used a Microsoft Kinect One sensor properly attached to the Interbot platform. Hereupon, a low complexity depth image processing system was developed. The system acquires the surrounding environment information using the Microsoft Kinect One sensor, this data is subjected to a first stage of processing, where the planar structures of the image (image planes) and their information (plane's equation, normal to plan and points within the plane) are extracted, then a second processing phase where an obstacle laser scan is generated based on the preprocessed data. The user has the ability to easily adjust the system configuration parameters depending on the environmental characteristics where he wants to use the system and depending on the desired purpose. All proposed algorithms are developed and tested in MatLab and ROS (Robot Operating System). .