Project Tokyo от Microsoft помогает пользователям с нарушениями органов зрения зрения «видеть» с помощью ИИ и дополненной реальности

В 2016 году Microsoft  запустила Project Tokyo —  это партнерство между исследователями в США, Великобритании, Японии и Индии для изучения технологий, которые помогают людям с нарушениями органов зрения взаимодействовать с окружающей обстановкой. В 2020 году компания представила устройство — модифицированную версию VR-гарнитуры Microsoft HoloLens, использующего идентифицирующие людей и окружающие объекты алгоритмы.

Эксперты по машинному обучению из команды Project Tokyo разработали алгоритмы, которые работают на базе графических процессоров, размещенных на ПК, подключенном к HoloLens, с которого сняты передние линзы.

Светодиодная полоска, прикрепленная над областью камер, отслеживает ближайшего к пользователю человека и загорается  зеленым, когда указанный человек был идентифицирован, а также сообщить собеседникам, что контакт установлен. Еще одна модель компьютерного зрения идентифицирует позу людей в окружающей среде, передавая пользователю представление о том, где и как далеко те находятся. 

Вся эта информация передается носителю посредством звуковых сигналов. Например, если модифицированный HoloLens обнаруживает человека на расстоянии одного метра с левой стороны пользователя, он будет воспроизводить специфический щелчок. Если ИИ распознает лицо человека, то HoloLens издаст «объемный» звук. В случае полной идентификации человека, параметры которого загружены в систему, устройство озвучит его имя

В качестве альтернативы пользователи могут запросить обзор и получить пространственное считывание всех имен людей, которым дано разрешение на распознавание системой. Носитель устройства также оповещается звуковым сигналом, когда кто-то смотрит прямо на него. Помимо этого в блоге Microsoft, посвященном Project Tokyo, сообщается об использовании уменьшенной версию технологии, которая направлена на помощь слепым и слабовидящим детям в развитии навыков социального взаимодействия.