Microsoft a dévoilé récemment un projet consistant à exploiter la réalité augmentée pour aider les enfants soufrant d’une déficience visuelle à mieux interagir avec le monde extérieur et de voir les personnes avec qui ils parlent. Microsoft a déclaré que la vision est très importante dans l’interaction sociale et la conversation. C’est pour cette raison qu’ils ont décidé de concevoir des HoloLens modifiées pour servir d’assistant de vision pour les enfants malvoyants.
Cette initiative entre dans le cadre du Projet Tokyo de Microsoft qui consiste à chercher comment les technologies comme l’intelligence artificielle et la réalité mixte peuvent être utiles à tous, y compris les personnes souffrant d’un handicap. Selon eux, les assistants virtuels à commande vocale constituent une aubaine pour ceux qui ne peuvent pas utiliser facilement un écran tactile ou une souris et un clavier.
L’HoloLens modifié fait partie des principales recherches du Projet Tokyo. Cet appareil de vision holographique peut être aussi un appareil d’imagerie hautement sophistiqué, capable d’identifier des objets et de reconnaitre des personnes s’il est équipé avec le bon code. Ces lunettes transmettent un ensemble d’indices contextuels à son porteur en fonction de son environnement. Lorsqu’une personne est détectée à quelques mètres à droite par exemple, le casque émettra un clic qui semble provenir de cet endroit. Si le dispositif reconnait un visage, il émettra un son (bump) avant de prononcer le nom de la personne (audible uniquement par l’utilisateur). Si les lunettes n’arrivent pas à identifier une personne, elles émettront un son qui s’étirera lorsque l’utilisateur se tourne vers la personne en question. Le son se terminera ensuite quand le visage est centré sur la caméra ce qui voudra dire que l’utilisateur lui fait face directement. Les HoloLens modifiés ne seraient qu’un début dans la réalisation du Projet Tokyo. Microsoft serait aussi en train de développer d’autres outils. Pour le moment, l’entreprise se concentre sur l’amélioration du dispositif en travaillant avec un jeune malvoyant de 12 ans appelé Théo. Microsoft a déclaré que Théo a commencé à apprendre le fonctionnement du système et à gérer les situations sociales en utilisant les indices principalement utilisés par les voyants. Il a par exemple appris à balayer une pièce du regard pour garder un œil sur les personnes se trouvant à proximité. Malgré les avancées des recherches, les HoloLens demeurent un matériel encombrant et couteux pour un usage du quotidien.
