Using sensory substitution devices for a letter recognition task

Abstract

Les êtres humains exploitent de manière optimale leur sens de la vision dans le but d’interagir avec leur environnement. Ceux souffrant de cécité présentent évidemment un handicap, ainsi de nombreux scientifiques, tel que le Dr. Paul Bach-y-Rita, ont mis au point des appareils de substitution sensorielle ayant comme objectif l’amélioration de l’autonomie des personnes aveugles. Ce projet a impliqué huit sujets atteints d’une cécité congénitale et de huit sujets aux yeux bandés servant de contrôles dans une expérience d’entraînement de trois jours consécutifs sur une tâche de reconnaissance de caractère. Cette expérience a employé les plus récents appareils de substitution sensorielle, tel que le Tongue Display Unit (où une image est convertie en un patron de stimulation tactile sur la langue) et le vOICe (où l’image est cette fois convertie en sons). Nous avons mesuré les temps de réaction comme moyen d’évaluer la performance à la tâche de reconnaissance de lettre. Les lettres apparaissent sur un écran se situant devant les participants et une caméra, posée sur des lunettes, capture la scène et la convertit en sensations tactiles sur la langue, en sons ou les deux simultanément. Chaque sujet aveugle était comparé à un sujet aux yeux bandés de même âge et d’habilité musicale similaire. Les paires de participants ont été répartis dans trois groupes d’entrainements: un groupe audio (seulement le vOICe), un groupe tactile (seulement le TDU) et un groupe audio-tactile (vOICe + TDU simultanément). Nous avons découvert que les sujets atteints d’une cécité congénitale surpassaient les contrôles voyants dans le groupe audio seulement. Nous demeurons optimistes, vu les dernières technologies disponibles aujourd’hui, que les prochaines percées scientifiques fourniront aux aveugles un meilleur sens d’autonomie.

Humans use their sense of vision in order to interact with their environment in an optimal manner. Those who suffer from blindness are therefore at a disadvantage, and so, scientists, such as Dr. Paul Bach-y-Rita have created sensory substitution devices (SSDs) with the purpose of providing the blind population with more independence. This project recruited eight congenitally blind (CB) and eight blindfolded sighted control (SC) subjects to engage in a training experiment on a letter recognition task on three consecutive days. The experiment made use of state-of-the-art sensory substitution devices, such as the tongue display unit (TDU) (where a visual scene is transformed into a pattern of tactile stimulations on the tongue), and the vOICe (where visual information is transformed into sounds). We measured performance on the letter recognition task using reaction times. The letters would appear on a screen in front of the participants and a camera, mounted onto glasses, would capture the scene and convert it into tactile sensations on the tongue, sounds, or both. Congenitally blind subjects and the blindfolded sighted controls were matched for age and musical experience. The pairs were then assigned to three different training conditions; an audio group (vOICe only), a tactile group (TDU only), and an audio-tactile group (vOICe + TDU simultaneously). We found that the congenitally blind subjects significantly outperformed the sighted controls in the audio group only. We remain optimistic in the breadth of new technologies available for the blind, as well as the potential breakthroughs that will, one day, provide blind individuals with an increased sense of autonomy.