Probabilistic-based Human Behaviour Analysis using Hierarchical Framework

Abstract

Recently by progressing technology and infrastructures, monitoring and understanding human behaviour and activity is going to be more interesting in various applications. Exploring through human body parts motions to analyse human behaviours in different contexts, is the aim of this PhD research. The features of human movements are less restricted than the other possible features (e.g. facial expressions and voice) in many real world applications, however they are more complicated to be analysed. Due to the large dimensions of body parts movements and the complex dynamics and dependencies between them, high computational processing resources are needed to analyse and estimate human behaviours.

Firstly, a hierarchical framework is proposed to reduce the complexity of the process in different layers. Secondly, a well-known human movement descriptor, Laban Movement Analysis (LMA), which provides different types of needed features in five components, is proposed. The LMA components prepare minimum needed features that can assist us to analyse any kind of human activities, and fill the gap between the Low Level Features (LLFs) and human movements analysis. Finally, for modeling the framework, Bayesian-based approaches (Bayesian Network (BN), Dynamic BN (DBN), and Hidden Markov Model (HMM)), are defined to deal with the uncertain data, to apply learning processes using small data, to fuse different types of features (in frequency and spatial domains) and to have enough flexibility for modeling the different dependencies between different features and layers. In this study we explored several different human activities and behaviours though the framework, namely; body parts movements, human individual analysis, human-object interaction, human-human interaction, interpersonal behaviour, and social role of people.

The mentioned framework is modeled and constructed in a bottom-up strategy. During the process, different approaches are proposed to solve the problems. From the lowest level of analysis, the study is divided into two different domains; frequency and spatial. This study is performed to estimate LMA components, which provide enough knowledge in body motion level, to be able to explore more high level of human activities analysis. For instance; Effort component, which explains human body movement dynamics, is modeled in frequency domain, and Shape component, which explains human body shape deformation in 3D space during any movement, is modeled by spatial based features. Based on the mentioned components, individual human action level is modeled.

In the next step to analyse human-object and human-human interaction analysis (context-based), each individual human actions and the relations between them, are needed. Those relations are modeled by inspiration of Relationship Component which is one of the less explored LMA component. Thus we were able to model human-object and human-human interactions by modeling Relationship components through the framework to explore human activities with respect to the context (i.e., scene understanding).

With respect to the proposed framework, human activities in social context are explored by information of the LMA level. The system was enough flexible to provide the complex existent dependencies between different features to estimate body-motion based interpersonal behaviors and a social role, inspired by Alex Pentland investigation in "Honest signals" book.

The hierarchical framework presents many capabilities such as; flexibility of modeling, generalizing to different related applications, extendability by progressing the sensory technology, dealing with uncertainly in all level of analysis, and providing semantic-based information for all layers of analysis. The proposed framework provides an automatic monitoring human behaviour system which is very highly interested application in almost everywhere that people are involved, such as; clinical study, security system, elder-care, surveillance system, sport training, virtual reality, choreography, etc.

In the experimental process, a motion tracker suit which provides 3D position of human body parts in maximum 120 Hz resolution, is used. To prepare a dataset, several people dressed the suit and performed the defined activities. The attached sensors of the suit for each record trial, need to be calibrated. It means the data for each person in different trials can be different with respect to the calibration process.

The obtained results in the each step, present the capability of the mentioned framework in different level of human movement activity analysis. Furthermore, a descriptive global framework to explore and estimate various level of human body-motion based activities, is proposed.

Os recentes progressos das tecnologias e infra-estruturas de monitorização e compreensão do comportamento humano sugerem novas e interessantes aplicações. A presente tese de doutoramento tem por objectivo a analise do comportamento humano em diferentes contextos, utilizando os movimentos do corpo humano. As primitivas associadas aos movimentos do corpo humano são menos restritivas que outras possíveis (ex. expressões faciais ou voz), no entanto a sua analise é mais complexa. O desafio prende-se com a grande dimensionalidade dos movimentos dos elementos do corpo, complexidade dinâmica, interdependência, e elevados requisitos computacionais para analise e estimação do comportamento humano.

Inicialmente, propõe-se uma metodologia hierárquica para reduzir a complexidade do processo em diferentes camadas. Em seguida, propõe-se a utilização do reconhecido descritor de movimentos humanos, o Laban Movement Analysis (LMA), para extrair e decompor as primitivas em cinco componentes. As componentes LMA garantem um numero mínimo de primitivas para analise de qualquer movimento humano, colmatando a lacuna entre as Low Levels Features (LLFs) e o movimento. Finalmente, a metodologia é modelizada recorrendo a redes bayesianas (Bayesian Network (BN), Dynamic BN (DBN) e Hidden Markov Model (HMM)) permitindo lidar com a incerteza dos dados, utilizar processos de aprendizagem em pequena escala, fundir diferentes tipos de primitivas (no domínio da frequência e espaço) e obter um modelo de dependências suficientemente flexível entre as varias primitivas e camadas. A metodologia proposta nesta tese explora diferentes actividades e comportamentos humanos, nomeadamente: movimento de elementos do corpo humano, analise humana individual, interacção homem/objecto, interacção humano/humano, comportamento interpessoal e o papel social das pessoas.

A metodologia proposta foi modelizada e construída seguindo uma abordagem de baixo para cima (bottom-up). A camada de analise de baixo nível foi decomposta em dois domínios: frequência e espaço. Esta camada permite estimar componentes LMA, obter um conhecimento de baixo nível dos movimentos e fornece dados para hierarquias superiores de analise de actividades humanas. Por exemplo, a componente de esforço (Effort), responsável pela dinâmica dos movimentos do corpo humano foi modelizada no domínio da frequência, a componente forma (Shape), responsável pela deformação 3D dos elementos do corpo durante os movimentos foi modelizada através de primitivas espaciais.

A etapa de analise humano/objecto e interacção humano/humano (baseada no contexto) requer o conhecimento individual de cada acção humana e respectivas inter-relações. A modelização das inter-relações, foi inspirada na "Relationship component" , uma das componentes LMA pouco explorada, e permite obter uma metodologia e um modelo de interacção humano/objecto e humano/humano capaz de explorar as actividades humanas num dado contexto (scene understanding). As actividades humanas num contexto social foram igualmente analisadas utilizando informações do nível LMA. O sistema é suficientemente flexível para comportar as complexas inter-relações entre as várias primitivas utilizadas na estimação dos movimentos resultantes dos comportamentos interpessoais e respectivo papel social (inspirado no trabalho de investigação "Honest Signals" de Alex Pentaland).

Uma abordagem e uma metodologia hierárquica apresentam várias vantagens, tais como modelos flexíveis, generalização a aplicações relacionadas, expansibilidade da tecnologia sensorial, capacidade de lidar com a incerteza e produção de informação semântica em todas as camadas de analise.

A abordagem e o sistema proposto garantem uma monitorização automática do comportamento humano e tem uma nível de aplicabilidade muito alto em muitos cenários com pessoas, ex. estudos clinico, sistemas de segurança, cuidados a idosos, vigilância, treino desportivo, realidade virtual, coreografia, etc.

O sistema proposto, foi experimentalmente testado com dados reais obtidos através de um fato com sensores de movimento capazes de gerar informação da posição 3D das várias partes do corpo humano a uma frequência de 120Hz. O dataset produzido é o resultado da utilização desse fato por varias pessoas enquanto executavam actividades bem definidas e foi calibrado individualmente. Isto significa que os dados gerados para cada pessoa nos diferentes trials podem ser diferentes consoante a calibração.

Os resultados obtidos em cada etapa, demonstram as capacidades da abordagem e metodologias propostas nos vários níveis de analise da actividade humana. Em síntese, a tese propõe uma abordagem global e descritiva, suficientemente flexível, capaz de explorar e estimar os vários níveis dos movimentos do corpo baseados na actividade.