Human-computer Interaction: Handwriting Learning

Abstract

As habilidades de escrita de uma crianc¸a em idade escolar tˆem um grande impacto na sua auto-estima.Al´em disso, boas habilidades de escrita s˜ao consideradas um requisito fundamental para o seu futurosucesso acadˆemico [3, 17]. Crianc¸as com dificuldade na escrita tˆem propens˜ao a sofrer de um reduzidoQI verbal, aptid˜ao matem´atica enfraquecida e d´eficit de atenc¸ ˜ao [16]. Considerando que as dificuldadesde escrita afetam aproximadamente 10 a 30 % [8] das crianc¸as, ´e f´acil entender que uma terapiaeficiente ´e de suma importˆancia.A ‘terapia convencional’ que consiste em muitas sess˜oes de treinamento, e a terapia ‘Learning byTeaching’, no qual o aluno ensina um colega em sess˜oes de treino, s˜ao duas t´ecnicas de terapia propostascom sucesso comprovado [7, 15]. Neste trabalho ambas as t´ecnicas s˜ao inclu´idas num esforc¸opara criar um software framework que servir´a como base para um futuro parceiro human´oide de aprendizagem/ensino caligr´afico. Este parceiro pretende ser uma ferramenta extra para o terapeuta de escrita,n˜ao um substituto. Usando o framework que vai ser poss´ivel operar com qualquer uma das t´ecnicas deterapia.O sistema implementado utiliza um dataset [11] para produzir uma assinatura para cada variac¸ ˜aoescrita de uma letra. Estas assinaturas, designadas assinaturas mestre, s˜ao comparados com o input doutilizador para o classificar. Uma vez classificado, ´e poss´ivel aproxim´a-lo de um caractere mais correto(para o ensino convencional) ou us´a-lo para melhorar um caractere menos correto (para a learning byteaching).O desempenho do sistema proposto foi avaliado e validado com testes. Foi poss´ivel provar que a todasa informac¸ ˜ao sobre o formato dos caracteres ´e completamente preservada e utilizada na classificac¸ ˜ao,n˜ao s´o permitindo dividir caracteres de diferentes variac¸ ˜oes, mas tamb´em permitindo dividir caracteresda mesma variac¸ ˜ao, mas desenhados usando caminhos diferentes. Esta capacidade permite que as letrassejam escritas (n˜ao instantaneamente, mas) como se estivessem a ser desenhadas por um intervenientehumano, possibilitando no futuro uma integrac¸ ˜ao muito simples de um robˆo humanoide no sistema.Os resultados tamb´em demonstraram a capacidade do framework para receber o input do utilizador,interpreta-lo e produzir um output did´actico de acordo com a t´ecnica de terapia a ser utilizada. Oframework desenvolvido cumpre totalmente todos os objectivos definidos...............................................

Handwriting skills have a major impact in the self-esteem of young children. Furthermore, good handwritingskills is considered a fundamental step to future academic success [3, 17]. Children with writingdisorders had propensity to inferior verbal IQ, weakened mathematics abilities and higher attention difficulties[16]. Considering that writing disorders affect approximately 10 to 30% [8] of children it, iseasy to understand that efficient handwriting therapy is of paramount importance.‘Conventional therapy’ consisting of many training sessions, and ‘Learning by Teaching’ in whichthe student teaches a colleague in training sessions, are two proposed successful therapy techniques[7, 15]. In this work we involve both techniques in the effort to create a software framework that willserve as foundation for a future humanoid learning/teaching partner. This partner aims at being an extratool for the handwriting therapist, not a substitute. Using the framework it will be possible to operateany of the therapy paradigms.The implemented system uses a dataset [11] to produce a signature for each character writingvariation. These signatures, called master signatures, are compared with the user input to classifyit. Having the user input classified it is possible to morph it towards a more correct character (forconventional teaching) or use it to improve a less correct character (for learning by teaching).The performance of the proposed system was assessed and validated. It was possible to provethat shape information is fully preserved and used in the classification, not only enabling to dividecharacters of different variations, but also allowing to divide characters of the same variation but withdifferent drawing path. This capability allows the master characters to be displayed (not instantaneouslybut) as being written by a human intervener, enabling a very straightforward future integration with ahumanoid robot. The results also proved the ability of the framework to receive a user input, interpret itand produced a didactic output in line with the therapy technique being used. The framework developedfully meets all the objectives defined..................................................................................................................................................................................................................................................................................................................................................