В Новосибирске создали двусторонний онлайн-переводчик русского жестового языка

В Новосибирском государственном техническом университете (НГТУ) НЭТИ совместно с компанией «Адаптис» обучили нейросеть распознавать русский жестовый язык и разработали двусторонний онлайн-переводчик, позволяющий глухим в режиме реального времени общаться со слышащими. Как рассказал журналистам профессор вузовской кафедры автоматизированных систем управления и разработчик Михаил Гриф, запустить приложение-сурдопереводчик для смартфонов и чат-бот планируется уже этой осенью.

«Слышащий говорит, идет распознавание речи, перевод посылается на устройство глухого, на котором аватар осуществляет перевод на жестовый язык. Жестовая речь глухого считывается видеокамерой, на сервере идет распознавание жестового языка и перевод в текст либо в звучащую речь», – процитировало ТАСС Грифа.

Ученый также добавил, что аватар сопровождает жесты артикуляцией и эмоциями, а задержка перевода не превышает одну секунду. Для обучения нейросети распознаванию жестов постоянно собирается большой объем исходных данных, и работа над качеством перевода продолжится. А поскольку русский жестовый язык обладает своей грамматикой, профессор Гриф убежден, что важно выделять не отдельные слова, а грамматические конструкции, многозначные слова и т. п. языковые сложности.

Начнется в сентябре и тестирование переводчика лекций в онлайн- и офлайн-режиме для глухих студентов, коих в новосибирском вузе насчитывается более 150. Вариант онлайн предполагает, что голос преподавателя распознается системой и передается на смартфон неслышащего. В случае же с офлайн лекции будут записываться и переводиться заранее.

Ранее iot.ru писал о портативном переводчике, который поможет индийским солдатам мгновенно понимать китайский.

Чтобы оперативно получать наши новости в удобном формате, подписывайтесь на наш Telegram-канал.