Biosignal Classification for Human Interface with Devices and Surrounding Environment

Abstract

Brain computer interface (BCI) is emerging as a new communication channel for individuals with severe motor disabilities. Yet, its effective application in real-world scenarios is still limited by low communication rates and by other practical aspects. Notwithstanding, the constant improvement on techniques for brain activity recording provides signals with increasing signal-to-noise ratios, and the increase in computational power allows the use of more complex signal processing techniques, in real-time. In electroencephalographic (EEG) based BCIs, the recording technique used in this work, much can be done to improve the performance of BCI systems and to overcome practical limitations, moving toward its effective use in clinical and non-clinical applications. Therefore, the aim of this thesis is to contribute with new signal processing methods and new visual paradigms in the context of BCIs based on a neurophysiologic signal designated by ’P300 event related potential’. Moreover, several related practical issues are addressed. In particular, the improvement of communication rates has been accomplished by two main approaches: 1) development of signal processing techniques based on statistical spatial filtering; and 2) design of new visual paradigms/protocols. Improving these two components simultaneously, significantly increases the accuracy and transfer rates of P300 BCIs. Regarding the development of statistical spatial filtering, several methods were proposed in the time domain and in the frequency domain. The frequency domain approach led to a spatio-spectral method combining simultaneously spatial and temporal filtering. The performance of the proposed methods was assessed offline and online though extensive experiments performed by able-bodied individuals and individuals with severe motor disabilities. The results demonstrated the effectiveness of the proposed methods. Regarding the design of new paradigms, a lateral single character (LSC) speller was proposed to overcome several of the limitations of the standard row-column speller. Additionally, it introduced a new neurophysiologic dimension besides P300, which is related to the left vs. right visual presentation layout in the design of the paradigm. The effective improvements regarding communication rates and P300 enhancement were demonstrated by online experiments performed by able-bodied individuals and individuals with severe motor disabilities. Several other practical aspects were addressed, through the development of a gaze independent P300-based BCI, and through the development of an asynchronous, subject controlled, P300-based BCI. The gaze independent BCI makes possible its control without moving the eyes, an important issue for individuals with severe ocular limitations. The asynchronous BCI was proposed in the context of a robotic wheelchair steering, allowing an automatic subject dependent switch On/Off of the BCI. We hope that this work has pointed to new directions on the application of statistical spatial filters. Concerning visual paradigms, we hope that the novel proposed approaches will be adopted and improved by more research groups.

A interface cérebro-computador (ICC) está a emergir como um novo canal de comunicação para indivíduos com deficiências motoras graves. Ainda assim, a sua efectiva aplicação em cenários do mundo real é limitada pelas baixas taxas de comunicação e por outros aspectos práticos. Não obstante, a constante melhoria das técnicas de registo da actividade cerebral fornece sinais com crescentes relações sinal-ruído, e o aumento da capacidade computacional permite o uso de técnicas de processamento de sinal mais complexas em tempo real. Em ICCs baseadas em eletroencefalografia (EEG), a técnica de registo utilizada neste trabalho, existem muitas formas de melhorar o desempenho de sistemas ICC, e de superar limitações práticas, caminhando assim em direcção à sua efectiva utilização em aplicações clínicas e não-clínicas. Sendo assim, esta tese pretende contribuir com novos métodos de processamento de sinal e com novos paradigmas visuais, no contexto de ICCs baseadas num sinal neurofisiológico designado ’potencial evocado P300’. Para além disso, são abordadas várias questões práticas relacionadas. Em particular, conseguiu-se melhorar as taxas de comunicação através de duas abordagens principais: 1) desenvolvimento de técnicas de processamento de sinal baseadas em filtragem espacial estatística; e 2) concepção de novos paradigmas visuais / protocolos. A melhoria simultânea deste dois aspectos permite aumentar significativamente a precisão e as taxas de transferência de ICCs baseadas em P300. Quanto ao desenvolvimento de filtragem espacial estatíıstica, foram propostos vários métodos no domínio do tempo e no domínio da frequência. A abordagem no domínio da frequência levou a um método espaço-espectral que combina filtragem espacial e temporal. O desempenho dos métodos propostos foi avaliado offline e online num extenso conjunto de experiências realizadas por indivíduos saudáveis e indivíduos portadores de deficiência motora grave. Os resultados demonstraram a eficácia dos métodos propostos. Em relação à concepção de novos paradigmas, foi proposto um soletrador designado por ”lateral single character” (LSC), para superar algumas das limitações do soletrador padrão de ”linhas e colunas”. Além disso, este paradigma introduziu uma nova dimensão neurofisiológica para além do P300, a qual está relacionada com a concepção esquerda vs. direita do paradigma em termos do layout do estímulo visual. A efectiva melhoria das taxas de comunicação e do sinal P300 foi demonstrada por experiências online realizadas por indivíduos saudáveis e indivíduos portadores de deficiência motora grave. Foram abordados vários outros aspectos práticos, através do desenvolvimento de uma ICC baseada em P300, independente do olhar do utilizador, e através do desenvolvimento de uma ICC baseada em P300 com funcionamento assíncrono, dependente da intenção do participante. A ICC independente do olhar torna possível o seu controlo sem mover os olhos, uma questão importante para indivíduos com limitações oculares graves. A ICC assíncrona foi proposta no contexto da condução de uma cadeira de rodas robótica, permitindo um modo automático de ligar/desligar a ICC. Esperamos que este trabalho tenha apontado novas direcções na aplicação de filtros espaciais estatísticos. Relativamente aos paradigmas visuais, esperamos que as novas abordagens propostas sejam adoptadas e aperfei¸coadas por mais grupos de investigação.