Reinforcement Learning in the Navigation of Mobile Robots

Abstract

Com o passar do tempo, a ideia de que os robôs desempenham unicamente papeis ligados ao sector industrial tem vindo a desaparecer. Atualmente, na sociedade, existe uma forte integração de robôs com o objetivo de auxiliar/melhorar a execução de determinadas tarefas.Desta forma, os robôs podem ser vistos como ferramentas essenciais no nosso quotidiano, em diversas áreas como medicina, educação, ou a nível pessoal.Esta dissertação de Mestrado tem como objetivo principal desenvolver e implementar um novo método de navegação local para robôs móveis tendo por base aprendizagem por reforço Reinforcement Learning. Este método permite que plataformas móveis virtuais ou reais como InterBot-Social Robot, desenvolvida no Instituto de Sistemas e Robótica (ISR), siga um caminho de forma a navegar de um local A para B. O método consiste em dois estágios: estágio de treino e estágio online. O estágio de treino consiste em o robô aprender a seguir um caminho previamente definido. Este estágio é realizado num ambiente de simulação, permitindo uma total liberdade no desenvolvimento e aperfeiçoamento do método. Através do treino é obtido um modelo que é utilizado no estágio online permitindo que uma plataforma móvel, num ambiente de simulação, se mova ao longo de um caminho evitando obstáculos. Uma conjunto de testes e experiências foram feitos em diferentes cenários. Diferentes testes como limitar o número de ações disponivéis, alterar o tipo de representação do caminho (definido por segmentos de reta ou splines cúbicos) e introduzir obstáculos perto do caminho. O método desenvolvido apresenta resultados promissores para caminhos com e sem obstáculos. Quando há limitação no número das ações o comportamento do robô é bastante instável embora consiga comprir o ojetivo pretendido.

Over time, the idea that robots only carry out roles related to the industrial sector has been disappearing. Today, in society, there is a strong integration of robots in order to help/improve the execution of certain tasks.As a result, robots can be seen as essential tools in our daily lives, in many areas such as medicine, education, or at a personal level.The main objective of this Master's dissertation is to develop and implement a new local navigation method for mobile robots based on Reinforcement Learning. This method enables virtual or real mobile platforms such as InterBot-Social Robot, developed at the Institute of Systems and Robotics (ISR), to follow a path to navigate from location A to B. The method consists of two stages: training stage and online stage. The training stage consists in the robot learning to follow a previously defined path. This stage is performed in a simulation environment, providing total freedom in the development and improvement of the method. Through the training, a model is obtained and is used in the online stage enabling a mobile platform, in a virtual environment, to move along a path avoiding obstacles. A set of tests and experiments were performed in different scenarios. Different tests such as limiting the number of available actions, changing the type of path representation (defined by line segments or cubic cubic splines) and introducing obstacles near the path. The method developed presents promising results for paths with and without obstacles. When there is a limitation in the number of actions, the robot's behavior is quite unstable, although it can accomplish the desired objective.