Gesture spotting from IMU and EMG data for human-robot interaction

Abstract

Gesture spotting is an important factor in the development of human-machine interaction modalities, which can be improved by reliable motion segmentation methods. This work uses a gesture segmentation method in order to distinguish dynamic from static motions, using IMU and EMG sensor modalities. The performance of the sensors individually as well as their combination was evaluated, with thresholds and window size manually defined for each sensor modality, through 60 sequences performed by 6 users. The method which used the IMU alone obtained the best results in regards to the total segmentation error (11.88%), in comparison to the other two methods (EMG = 43.75% e IMU+EMG= 12.92%). When considering gestures which only contain arm movement, the best error obtained was 1.11% by the IMU method (EMG = 58.89% e IMU+EMG= 7.22%). However, when considering gestures which have only hand motion, the combination of the 2 sensors achieved the best performance, with an error of 10% (IMU = 30.83% e EMG= 17.5%). Results of the sensor fusion modality varied greatly depending on user, with segmentation errors varying between 1.25% and 26.25%, where users with more training obtained better results. Application of different filtering method to the EMG data as a solution to the limb position resulted in an error for the combination of sensors of 9.17%, with all gestures performing similarly or better than the IMU method but with an increased number of non-detected gestures.

O reconhecimento de gestos é um fator importante no desenvolvimento de modalidades para interação homem-máquina, que podem ser melhoradas através de métodos fiáveis de segmentação de movimento. Esta tese usou um método de segmentação de modo a distinguir movimentos dinâmicos de estáticos, através do uso de sensores IMU e EMG. Foi avaliado o desempenho dos sensores individualmente e em combinação, com thresholds e tamanho de janela calculados manualmente para cada modalidade, através de 60 testes realizados por 6 utilizadores. O método que usou o IMU isoladamente obteve melhores resultados em relação ao erro total de segmentação (11,88%), comparativamente aos outros dois métodos (EMG = 43,75% e IMU+EMG= 12,92%). Quando considerámos os gestos que continham apenas movimento de braço, o melhor erro obtido foi de 1,11% para o método de IMU (EMG = 58,89% e IMU+EMG= 7,22%). No entanto, quando avaliámos os gestos apenas com movimento da mão a combinação dos dois sensores atingiu o melhor desempenho, com um erro de 10% (IMU = 30,83% e EMG= 17,5%). Os resultados da metodologia de combinação de sensores variaram consideravelmente dependendo do utilizador, com erros de segmentação entre 1,25% e 26,25%, em que os utilizadores com maior treino obtiveram os melhores resultados. A utilização de um método de filtragem diferente aos dados do sensor EMG, como solução para o problema da posição do membro, resultou em um erro para a combinação de sensores de 9,17%, com todos os gestos a terem um desempenho semelhante ou superior em comparação ao método que usou o IMU, mas com um número mais avultado de gestos não detetados.