Interação criança-robô: Generalização de Movimentos Utilizando Aprendizagem por Imitação

Abstract

Para que seja possível a interação entre robôs e humanos em contextos sociais, a criação de uma estrutura com capacidades sociais deve servir de suporte ao robô. Neste trabalho uma estrutura do género é proposta. Nesta estrutura algumas destas capacidades sociais foram implementadas com a ajuda do robô NAO. A estrutura é composta ainda pelo sensor kinect RGB-De um computador.Este trabalho está incluído numa parceria entre o Instituto de Sistemas e Robótica (ISR) e a Associação de Paralesia Cerebral de Coimbra (APCC). Esta parceria pretende desenvolver vários trabalhos na área de interação entr robôs e crianças, com um foco nas crianças da associação APCC que sofrem de paralisia cerebral.As diferentes funcionalidades da estrutura foram testadas por utilizadores adultos e por uma criança. O sistema foi desenvolvido na plataforma \textit{robot operating system} (ROS) que efectua as comunicações necessárias entre todos os componentes do sistema. O sensor kinect foi utilizado devido às suas capacidades de reconhecimento humano e rastreamento de esqueleto.O sistema está preparado para realizar a aprendizagem e generalização de movimentos recorrendo ao sensor kinect na captura da informação do esqueleto do utilizador. Depois de o movimento ser generalizado o sistema está preparado para mapeá-lo no robô NAO, ficando depois preparado reproduzi-lo. Um módulo de classificação também foi implementado para detecção de movimento, no caso de um movimento ser reconhecido o robô poderá reproduzi-lo. Foi desenvolvido ainda um módulo de imitação onde a parte superior do corpo poderá ser imitada pelo robô.A fim de realizar as habilidades descritas, o sistema também está equipado com o reconhecimento de voz e, ao mesmo tempo, o robô NAO está equipado com um altifalante permitindo assim comunicar com o utilizador.Este tipo de sistema é um sistema expansível onde outras habilidades podem sempre vir a ser adicionados. O mesmo acontece no sentido contrário, as habilidades aqui desenvolvidas poderão ser incluídas em trabalhos futuro. É de esperar que seja alcançado o ponto em que exista um sistema avançado o suficiente para ajudar as crianças nessas situações, para alcançar esse objetivo é necessário pequenos passos como o sistema proposto. .

For robots to engage with human users in social interactions, the setup where they are included must be prepared with a set of different capability's. In this work a system setup is proposed where some of this social skills were implemented with the help of NAO robot. The framework is composed by a computer, kinect RGB-D depth sensor and the previously mentioned NAO robot.This work is included in a partnership between Instituto de Sistemas e Robótica (ISR) and Associação de Paralesia Cerebral de Coimbra (APCC). This partnership intends to develop several works in child-robot interaction area, focusing children from the APCC association that suffer from cerebral palsy. The system setup different skills were tested with adults and children users interacting with NAO robot. The system was developed under Robot Operating System (ROS) which provided the necessary communications between all the parts of the system. The kinect depth sensor was used due to its capacities in human recognition and skeleton tracking. Among the different skills, the system is prepared for kinect motion learning and generalization taught by the user. This is accomplished by using the tracking capacities of the sensor. The sensor will track the user skeleton and it will publish the body joints on-the-fly. This allows the system to save motion information over time. After the motion generalization, the system is prepared to map it to NAO, which is then able to reproduce it. A movement classification module was also implemented for movement detection. If the system is able to identify a movement that was previously classified, the robot is ready to reproduce it. The robot will reproduce the movement from the database of already known movements. It was also developed an imitation module for the system. This module allows the robot to reproduce the user upper-body pose. In order to accomplish the described skills the system is also equipped with voice recognition and at the same time it can reply using NAO speech capacities.This type of system is a growing system where other skills can always be added. It also works the other way around, the skills of the work proposed here have the potential to be included in future works. Hopefully it will come to a point where it exists a system advanced enough suited to help children in this situations. Small steps like the proposed system are the way to accomplish it. .