Development of an Eye-Tracker for a HMD

Abstract

Capacetes de realidade virtual, dada a sua recente disponibilidade a preços reduzidos, estão a atrair a atenção de investigadores pela possibilidade da sua utilização para além do uso tradicional nos videojogos, nomeadamente no desenvolvimento de sistemas capazes de ajudar o terapeuta em procedimentos médicos. A psicologia é uma dessas áreas que poderia beneficiar disto, especialmente em terapias de exposição. Onde os pacientes são expostos a elementos indutores de fobia com o propósito de provocar uma resposta emocional, este tipo de terapia é tipicamente usada para o tratamento de fobias e stress pós-traumático. Como tal monitorizar o estado emocional do paciente é muito importante para o terapeuta. Estes sistemas imersivos podem proporcionar o reconhecimento automático das emoções, desde a postura corporal, bio sinais e expressões faciais. Contudo, o uso de capacetes de realidade virtual, que são um ingrediente fundamental para realidade virtual imersiva, impedem parcialmente a observação das expressões faciais do paciente. Como tal é difícil visualizar a expressão facial do paciente, e mais importante, determinar onde é que o paciente está a olhar no mundo virtual. Será que o paciente fechou os olhos quando confrontado com um elemento indutor de fobia? Será que o paciente olhou para esses elementos? Uma maneira de responder a essas perguntas é usar um seguidor ocular dentro do capacete de realidade virtual, de modo a fornecer informação em tempo real ao terapeuta. No mercado actual existem algumas soluções comerciais que oferecem capacidades de seguimento ocular aos mais populares capacetes de realidade virtual, mas fazem-no a preços proibitivos para a maioria dos investigadores, requerendo modificações extensivas dos capacetes. Nesta tese apresento uma solução de baixo custo para fazer o seguimento ocular de um utilizador dentro do popular Oculus Rift Dk2, que requer habilidades técnicas mínimas para montar e que inclui uma interface de software que visa proporcionar uma plataforma simples para análise do seguimento ocular. Esta solução é composta por dois espaçadores, com duas cameras de endoscopia, colocados por detrás da lentes do capacete, que permitem a monitorização dos olhos do utilizador. Nesta tese falo sobre as razão que me levaram a esta solução, e falo também no desenvolvimento do software que a acompanha, especificamente o processo de calibração do seguidor ocular. Uma das aplicações desta plataforma de seguimento ocular é complementar a análise dos bio sinais na detecção de activações emocionais, e também para determinar onde é que o utilizador está a olhar na cena virtual e se ele(a) foge dos elementos fóbicos.

Head mounted displays (HMD), which are becoming available at accessible prices, are attracting the attention of researchers for their possible application beyond the traditional game use, namely for the development of systems capable of aiding the therapist in therapeutic procedures. Psychology is one of the areas that could benefit from this, especially in exposure-based therapies. Where patients are exposed to phobia inducing elements intended to activate a emotional response, this type of therapy is typically used for the treatment of phobias or post traumatic stress disorders. As such, monitoring of the emotional state of the patient is very important for the therapist. And these immersive systems can provide the automatic recognition of emotions from body posture, bio-signals and face expressions. However, the use of a head mounted display, that is a key ingredient for immersive virtual reality, partially precludes the observation of facial expressions. And as such is difficult to access the facial expression of the patient, and more importantly to determine where the user is looking at in the virtual world. Has the patient closed it’s eyes when faced with a phobia inducing elements? Has the patient looked way from those elements? In order to answer this questions an eye-tracker can be used inside the head mounted display to provide real-time information to the therapist. On the market there are some commercial solutions that provide eye-tracking capabilities for the most popular head mounted displays, but do so at a prohibitively high cost for most researchers, and require extensive modification of the units. On this thesis I present a low cost solution to track the users gaze inside the popular Oculus Rift development kit 2, that requires minimal technical skills to assemble and comes with a software interface aimed at providing a simple to use platform for gaze analysis. This solution comprises of two spacers with two endoscopy cameras, placed behind the lenses of the helmet, that allow monitoring the eyes of the user wearing the helmet. On this thesis I discuss the reasons that led me to this design, and I also talk about the development of the software that accompanies it, specially the calibration of the users gaze. One of the applications of this eye-tracking platform is to complement bio-signal data to detect emotional activations, and also to enable the understanding of where the user is looking at in the scene and if he/she flees away from phobic element.