Modelação de expressões faciais num avatar usando classificação de biossinais

Abstract

O reconhecimento do estado afetivo ou emocional dos humanos, pelas máquinas, assunto que se explora já há muito tempo, pretende melhorar a interação entre máquinas/computadores e humanos, adaptando-se a diferentes situações. As expressões faciais são uma das formas que permite a inferência de estados emocionais. Existem várias técnicas de reconhecimento automático de expressões faciais, que passam por técnicas baseadas em processamento de imagem ou vídeo e por utilização de biossinais, mais especificamente sinais eletromiográficos. Nesta tese, foi investigada a utilização de biossinais, nomeadamente sinais eletromiográficos e sinais eletro-oculográficos, para inferir expressões faciais e movimentos oculares. Os músculos faciais permitem detetar expressões, tais como “felicidade”, “tristeza”, “surpresa”, “raiva”, entre outras. A informação do olhar é também relevante, tanto para a criação de novas interfaces de interação homem-máquina como para a dedução de estados emocionais e sociais. Informações como: olhar para cima, olhar para baixo, desviar o olhar são úteis para este fim. Existem várias técnicas de seguimento ocular e também de deteção de piscar de olhos, nomeadamente as que se baseiam no processamento de imagem, na oculografia de infravermelhos, na técnica da bobina escleral e nos biossinais eletro-oculográficos. A fim de mimetizar as expressões faciais efetuadas pelo utilizador, bem como movimentos oculares e movimentos da cabeça (através de um sensor de inércia) foi desenvolvido um avatar 3D. O sistema de deteção incorpora três subsistemas; o primeiro deteta entre quatro expressões faciais (neutra, felicidade, tristeza e raiva), o segundo sistema deteta entre cinco movimentos oculares (“cima”, “baixo”, “direita”, “esquerda” e “piscar de olhos”) e o movimento de “franzir”. Ainda foi desenvolvido um terceiro sistema de seguimento ocular de movimentos horizontais (eye-tracking) recorrendo também a sinais eletrooculográficos. Os dois primeiros sistemas recorrem a um classificador discriminativo linear (classificador de Bayes). Todos estes sistemas foram implementados para funcionamento online. O sistema de reconhecimento de expressões faciais obteve desempenho bastante satisfatório, com uma média de exatidão, entre expressões, de 95,5%, sendo a expressão “tristeza” algumas vezes confundida pelo classificador com a expressão ”raiva” (algo que se refletiu no desempenho global do sistema).Nos testes efetuados, o sistema de reconhecimento de movimentos oculares obteve uma taxa de sensibilidade de 84,7% e um taxa de exatidão de 98,3%. O sistema de seguimento ocular, que foi desenvolvido, apresentou um ótimo desempenho, no seguimento de treze sacadas, e um erro de aproximadamente 3,0 graus na posição final.

The recognition of the human affective and emotional state by machines is a subject that has been researched for a long time. This allows for better and more suitable interaction between machines/computers and humans. Facial expressions are one of the ways that allows the inference of emotional states. Various techniques are available to automate facial expressions recognition, ranging from techniques based on the image and video processing to the use of biosignals, more precisely electromyographic signals. In this thesis, the use of biosignals, in particular electromyographic signals and electrooculographic signals, was researched to deduce facial expressions and eye movements. The facial muscles allow the detection of expressions such as “happiness”, “sadness”, “surprise”, “anger”, among other expressions. Eye information is also relevant, not only for the creation of new humanmachine interfaces, but also for depicting social and emotional states. Look in up, look in down or look away are useful information for this purpose. There are several techniques for eye tracking and detecting blinks of the eye: based on image processing, infrared oculography, scleral coil and based on electrooculographic biosignals. In order to mimic the user facial expressions, as well as eye tracking and head movements (through a motion sensor), a 3D avatar was developed. The main detecting system incorporates three subsystems. The first subsystem detects four facial expressions (neutral, happiness, sadness and anger), the second subsystem detects five eye movements (up, down, right, left and blink of the eye) and frown movement. The third subsystem is an eye-tracking system that also uses electrooculographic signals. The first two subsystems use a linear discriminative classifier (Bayes classifier). All these subsystems were developed for online usage. The facial expressions recognition system had a positive performance, with an average accuracy of 95,5%, where the sad expression was sometimes confused with anger expression (that affected the system global performance). In the tests carried out, the eye-movement recognition system had a sensitivity of 84,7% and accuracy of 98,3%. The developed eye-tracking system showed great performance when following 13 saccades, and a final position error of approximately 3,0 degrees.