ISR-RobotHead v2.0: New Hardware and Software Modules

Abstract

A tecnologia tem vindo a ganhar grande importância na vida humana e a área da robótica, através do desenvolvimento de robôs capazes de interagir com o homem, contribui muito para esse aumento. Uma grande parte destes robôs são considerados robôs sociais ou sócio-interativos. Começaram por conseguir fazer uma comunicação não verbal e atualmente têm módulos de inteligência artificial que lhes permite ter inúmeras interações com o humano. Estes robôs têm despertado a atenção de psicólogos devido ao seu potencial para avaliar o comportamento humano bem como o contributo que podem dar na área da reabilitação.Esta dissertação de Mestrado tem como objetivo principal melhorar as capacidades de interação com o homem do protótipo ISR-RobotHead, uma cabeça robótica desenvolvida no Instituto de Sistemas e Robótica (ISR) com dois LCDs para expressar os olhos e um para a boca. Foram melhoradas as expressões faciais e adicionados módulos de reconhecimento da fala, permitindo assim que o humano interaja com o robô através da voz e este responda com uma expressão facial. Como principal controlador das expressões a apresentar pelo robô foi utilizado um micro-computador Raspberry-Pi e, de modo a incluir os módulos do reconhecimento de fala foi utilizada a placa Matrix Voice acoplada a um outro Raspberry Pi. Através da nova arquitetura de software desenvolvida, ambos os Raspberry Pis são capazes de comunicar entre si. Esta arquitetura também permite uma fácil integração a qualquer outro sistema externo desenvolvido posteriormente que contribua para ajustar a melhor expressão a ser exibida.De modo a validar a comunicação não verbal deste protótipo, foram efetuadas experiências com crianças para reconhecerem as emoções apresentadas. Relativamente ao reconhecimento da fala, foi efetuada uma comparação entre todos os serviços utilizados e determinado qual é o melhor e o mais adequado para interpretar comandos de emoções. Com os resultados apresentados, verifica-se que as expressões emocionais foram bem reconhecidas e a integração dos sistemas de reconhecimento da fala tornou-se uma boa maneira de interagir com o robô, alcançando assim os objetivos propostos.

The technology has gained great relevance in human life and the robotic field, through the development of robots capable of interacting with human, has contributed much to this increase. A large part of these robots are considered social or social-interactive robots. They started by making non-verbal communication and currently have artificial intelligence modules that allow them to have innumerable interactions with humans. These robots have attracted the attention of psychologists because of their potential to assess human behavior as well as the contribution they can make in the area of rehabilitation.The main goal of this Master's dissertation is to improve the interactions capabilities of the ISR-RobotHead prototype, a robotic head developed at the Institute of Systems and Robotics (ISR) with two LCDs to display the eyes and one to the mouth. The facial expressions have been improved and speech recognition modules have been added, thus allowing humans to interact with the robot through voice commands and in return displaying a facial expression. As the main controller of the expressions to be displayed by the robot, a micro-computer Raspberry Pi was used and to include the modules of speech recognition a Matrix Voice board attached to another Raspberry Pi was used. Through the new software architecture, both Raspberry Pis are able to communicate with each other. This architecture also allows an easy integration with others external systems developed later that may enhance the robot interaction capabilities.In order to evaluate the non-verbal communication of this robot head prototype, experiments were carried out where children were asked to recognize the emotions presented. Regarding speech recognition, a comparison between all the software systems was made to determine which is the best and most appropriate for interpreting voice commands. With the results shown, it became clear that the emotional expressions were well recognized and the integration of the speech recognition systems becomes a good way to interact with the ISR-RobotHead, thus achieving the desired objectives.