Mental state monitoring for improving the Brain-Computer Interface robustness in a human-centered collaborative control

Abstract

A brain-computer interface (BCI) is a useful device for people with severe motor disabilities, and several BCI applications and devices have already been validated, such as communication spellers, wheelchairs, prosthetic devices, etc. However, BCI still has a very limited application in daily real-world tasks due to its low speed, low reliability, and other practical aspects, such as the high user’s workload imposed by continuous focus, and the need for calibration in every session. BCI researchers have been striving to improve the reliability as well as other usability issues. The main goal of this PhD thesis was to research and develop new approaches and new methods to improve the reliability and usability of current BCI systems. This thesis contributes to the BCI field mainly on three topics.

The first main contribution is a novel approach based on double error-related potential (ErrP) detection for automatic error correction. We introduce a second ErrP to validate automatic correction. The approach demonstrates the possibility of using ErrPs in a closed-loop human-computer interaction, allowing the user to change or confirm system decisions. The proposed approach was assessed offline and online through a set of experimental tests. Results showed that the proposed approach is effective with a significant increase in classification accuracy and information transfer rate.

Secondly, a self-paced P300-based brain-controlled wheelchair (BCW) combined with a collaborative-controller and dynamic-time commands is proposed. The feasibility of this approach was analysed by measuring the impact of these three features on the system reliability, naturalness of interaction, and users’ effort. The proposed method was validated through extensive experiments conducted with able-bodied individuals and individuals with severe motor disabilities. Results showed high feasibility for both able-bodied and motor-disabled participants.

The third main issue researched in this thesis is focused on model generalization across session and cross-subject variability. To achieve a good performance, the classification model is usually built from calibration data recorded at the beginning of each session. A novel statistical spatial filter is proposed that takes advantage of the Riemannian distance to extract features that are robust to the non-stationarity of electroencephalographic (EEG) signals. The results show that the proposed method improves generalization across sessions and it is robust to the variation of the amount of training data.

Uma interface cérebro-computador (ICC) é um dispositivo útil para pessoas com deficiências motoras graves e vários dispositivos e aplicações já foram validados, como por exemplo soletradores para comunicação, cadeiras de rodas, dispositivos protéticos, etc. No entanto, a aplicação das ICCs em tarefas do dia-a-dia ainda é limitada devido à sua baixa velocidade, baixa fiabilidade e outros aspetos práticos, como a alta carga de trabalho mental do utilizador imposta pelo foco contínuo e a necessidade de calibrar o sistema em cada sessão. Os investigadores das ICCs têm se esforçado para melhorar a fiabilidade e também outras questões relacionadas com usabilidade. Esta tese pretende investigar e desenvolver novas abordagens e novos métodos para melhorar a fiabilidade e usabilidade dos sistemas ICC. Esta tese contribui para a área das ICCs principalmente em três tópicos.

A primeira contribuição é uma nova abordagem baseada na deteção dupla do potencial de erro (ErrP) para correção automática de erros. Introduzimos um segundo ErrP para validar a correção automática. A abordagem demonstra a possibilidade de usar ErrPs numa interação homem-computador em malha fechada, permitindo ao utilizador alterar ou confirmar as decisões do sistema. A abordagem proposta foi avaliada offline e online através de um conjunto de testes experimentais. Os resultados demostraram que a abordagem proposta é eficaz com um aumento significativo na precisão da classificação e na taxa de transferência de informação.

Em segundo lugar, é proposta uma interface aplicada a uma cadeira de rodas atuada pelo cérebro baseada no potencial P300 ao ritmo do utilizador combinado com um controlador colaborativo e comandos com janela de tempo dinâmico. A viabilidade dessa abordagem foi testada através da medição do impacto dessas três características na fiabilidade do sistema, na naturalidade da interação e no esforço dos utilizadores. O desempenho dos métodos propostos foi avaliado através de um extenso conjunto de experiências realizadas com indivíduos saudáveis e indivíduos portadores de deficiência motora grave. Os resultados evidenciaram alta fiabilidade tanto para os participantes saudáveis como para os participantes com deficiência motora.

A terceira questão abordada nesta tese está focada na generalização do modelo de classificação ErrP entre sessões e entre utilizadores. Para se obter um bom desempenho, o modelo de classificação é normalmente construído com os dados de calibração obtidos no início de cada sessão. É proposto um novo método de filtro espacial que tira partido da distância Riemanniana para extrair características que são robustas à não estacionariedade dos sinais eletroencefalográfico (EEG). Pode concluir-se dos resultados que o método proposto aumenta a generalização entre as sessões e é robusto à variação da quantidade de dados de treino.