ИИ решение Google превращает язык жестов в аудиосообщения

Google опубликовала алгоритмы, которые сторонние разработчики смогут использовать для создания собственных приложений в помощь глухим. До сих пор подобный тип ПО работал только на ПК. Представители сообществ с нарушениями слуха приветствовали этот шаг, однако уточнили, что технология пока с трудом способна воспроизводить «комплексные» диалоги.

В блоге, посвященному искусственному интеллекту, инженеры Google Валентин Базаревский (Valentin Bazarevsky) и Фан Чжан (Fan Zhang) сообщили, что цель свободно опубликованной технологии – стать «основой для понимания языка жестов». Решение было создано в партнерстве с компанией MediaPipe, специализирующейся на ПО для обработки изображений.

«Мы приветствуем инициативу. Со своей стороны, мы продолжим исследования, чтобы сделать технологию более надежной, увеличив число жестов, которые будут надежно выявляться», – прокомментировала представитель Google BBC.

Участники сообщества, осуществлявшие тестирование, отмечают, что приложение воспроизводит аудио, анализируя только жесты. Однако выражения лица или скорость жестикуляции не принимаются во внимание, и это может изменить смысл сообщения. Также алгоритмы не включают анализ регионализмов.

До сих пор при попытках отследить движения на видео сгибание пальцев, щелчки и прикосновения к запястьям скрывали другие части руки. Эти жесты вводили в заблуждение ранние версии ПО.

Инженеры Google наложили график на 21 точку на межфаланговых суставах пальцев, внутренней и тыльной стороне ладони, облегчая распознавание жеста при поворотах руки или соприкосновении двух пальцев.