A human-machine interface using augmented reality glasses for applications in assistive robotics.

Abstract

The use of Augmented Reality has grown significantly and has been applied in various fields. Simultaneously, assistive technology, such as Brain-Computer Interfaces, has made significant improvements in the quality of life of individuals with severe motor impairments. In this dissertation, we explored the integration of Microsoft Hololens 2 and P300-based Brain-Computer Interface, for future applications in assistive robotics. The proposed Human-Machine Interface could identify relevant elements for the given scenario, such as doors, tables, or people, depending on the user's objective and the Brain-Computer Interface was utilized to determine the user’s intentions. Using YOLOv5 for real-time object detection and the SORT algorithm for object tracking, our system recognized and consistently tracked objects within the user's field of view. This precision was important for ensuring effective communication with the P300-based Brain-Computer Interface. By integrating the P300-based Brain-Computer Interface, users can interact with detected objects solely through their thoughts. The Brain-Computer Interface achieves this by interpreting neural signals associated with the discrimination of target and non-target objects, enabling hands-free selection and interaction with objects in the environment. The experiment results showed potential as well as difficulties. Our integrated system showed the potential for hands-free interaction with the environment using the Brain-Computer Interface and Microsoft HoloLens. However, we encountered difficulties, possibly stemming from communication delays, when utilizing the Brain-Computer Interface and Microsoft HoloLens. In the future, strategies to improve accuracy and reduce latency between all modules need to be researched. In our research, we studied the integration of Augmented Reality, object detection, and Brain-Computer Interfaces based on event-related potentials for future applications in assistive robotics. Although we were able to integrate this technology, we encountered some challenges in integrating Brain-Computer Interface and Microsoft HoloLens, particularly with communication delays. Despite these obstacles, we successfully reduced delays in image acquisition, however, addressing latency in the Brain connection is a complex task that needs to be researched in the future.

O uso da Realidade Aumentada cresceu significativamente e tem sido aplicado em várias áreas. Simultaneamente, a tecnologia assistiva, especificamente as Interfaces Cérebro-Computador, avançou significativamente na melhoria da qualidade de vida de pessoas com graves deficiências motoras. Nesta dissertação, exploramos a integração dos Microsoft Hololens 2 e P300-baseado Interface Cérebro-Computador para uso em situações de assistência. A Interface Humano-Máquina proposta pôde identificar elementos relevantes para o cenário dado, como portas, mesas ou pessoas, dependendo do objectivo do utilizador, e a Interface Cérebro-Computador foi usada para determinar as intenções do utilizador. Utilizando o YOLOv5 para deteção de objetos em tempo real e o algoritmo SORT para o seguimento de objetos, o nosso sistema reconheceu e seguiu consistentemente objetos no campo de visão do utilizador. Esta precisão foi importante para garantir uma comunicação eficaz com a Interface Cérebro-Computador baseada no potencial relacionada a eventos P300. Ao integrar a Interface Cérebro-Computador baseada em P300, os utilizadores podem interagir com objetos detetados apenas através dos seus pensamentos. A Interface Cérebro-Computador alcança isto ao interpretar sinais neuronais associados à discriminação entre objetos-alvo e objetos não-alvo, permitindo a seleção e interação sem usar as mãos com objetos no ambiente. Os resultados experimentais revelaram-se promissores, no entanto, também enfrentamos algumas dificuldades. O nosso sistema integrado demonstrou potencial para interação sem o uso das mãos com o ambiente, utilizando a Interface Cérebro-Computador e o Microsoft HoloLens. No entanto, encontrámos dificuldades, possivelmente relacionadas com atrasos na comunicação, ao utilizar a Interface Cérebro-Computador e o Microsoft HoloLens. Alcançar detecções precisas, na Interface Cérebro-Computador, foi difícil, requerendo melhorias para um melhor desempenho. Na nossa investigação, estudámos a integração da Realidade Aumentada, deteção de objetos e Interface Cérebro-Computador baseados no potencial relacionado a eventos P300, para futuras aplicações em robótica assistiva. Embora tenhamos conseguido integrar esta tecnologia, enfrentámos desafios na integração do Interface Cérebro-Computador e do Microsoft HoloLens, nomeadamente relativos a atrasos na comunicação. Apesar destes obstáculos, conseguimos reduzir os atrasos na aquisição de imagens, no entanto, abordar a latência na ligação Interface Cérebro-Computador é uma tarefa complexa que precisa de ser melhorada no futuro.