Deep Learning Based Human Activity Recognition: A Real-Time Perspective

Abstract

Nas últimas duas décadas, houve um grande desenvolvimento de sistemas robóticos na área dos robôs de serviço, sociais e pessoais. Robôs têm vindo a ser integrados em cenários como: locais públicos, casas, hospitais, lares de idosos ou como recepcionistas. Este tipo de robôs irá beneficiar com a integração, na sua arquitetura, de um módulo de Reconhecimento de Atividades Humanas. Ter a capacidade de identificar uma variedade de atividades humanas permite uma interação homem-máquina mais diversa. Ao identificar humanos e interações sociais, os robôs serão capazes de adaptar o seu comportamento de navegação de acordo com as normas sociais. Habilitar robôs sociais com estas capacidades irá ajudar na futura integração destes robôs. O seu comportamento irá parecer mais natural, ajudando os humanos a desenvolver uma sensação de conforto em relação à presença do robô.O objetivo do trabalho de investigação da dissertação é desenvolver, treinar e avaliar uma \textit{framework} de reconhecimento da atividades humanas. Para tal, duas frameworks, (1) framework baseada em RGB e (2) framework baseada em esqueleto foram desenvolvidas, treinadas e avaliadas. É feita uma comparação, com base na precisão da classificação e no tempo de execução, do desempenho de ambas.As frameworks desenvolvidas são validadas primeiramente num dataset de reconhecimento de atividades humanas de grande escala. Após esta validação, a framework com melhor desempenho, tanto em termos de precisão de classificação como de tempo de execução, é validada num dataset de pequena escala colhido no Laboratório Human-Centered Mobile Robotics do Instituto de Sistemas e Robótica - Universidade de Coimbra.Os testes foram realizados em dois subconjuntos de classes com o objetivo de comparar a capacidade de generalização das frameworks quando treinadas e testadas em subconjuntos de classes com diferentes níveis de dificuldade. Os resultados obtidos correspondem às expectativas estabelecidas para cada framework desenvolvida. Ambas as frameworks conseguem identificar, com êxito, atividades no dataset de grande escala. No entanto, o desempenho no dataset de pequena escala necessita de investigação adicional.

Over the last two decades there has been a massive development of robotic systems in the field of service, social and personal robots. Robots are being deployed in scenarios such as: public places, homes, hospitals, elderly care centers or front desk applications. This type of robots will greatly benefit from the integration of a Human Activity Recognition module in their architecture. Having the ability to identify a variety of human activities allows for a more diverse human robot interaction. By identifying humans and their social interactions the robots will also be able to adapt their navigation behavior according to social norms. Empowering social robots with these capabilities will help towards the future deployment of such robotic systems. Their behavior will look more natural, helping humans develop a sense of comfort towards the robot’s presence.The objective of the dissertation research work is to develop, train and evaluate a Human Activity Recognition framework. For such purpose two frameworks, (1) RGB-based framework and (2) Skeleton-based framework were developed, trained and evaluated. A performance comparison between both frameworks is made based on classification accuracy and runtime.The developed frameworks are primarily validated on a large-scale human activity recognition dataset. After validation, the best performing framework, in terms of both classification accuracy and runtime, is validated in a small-scale dataset collected at the Human-Centered Mobile Robotics Laboratory in the Institute of Systems and Robotics - University of Coimbra.Tests were conducted in two subsets of classes with the objective of comparing the frameworks' generalization capabilities when trained and tested in a more or less challenging subset of classes. The results obtained met the expectations set for each developed framework. Both frameworks can successfully identify activities on the large-scale dataset. However, the performance on the small-scale dataset needs more research.