В Новосибирске учёные создали онлайн-переводчик, который работает в режиме реального времени на основе нейросети. Над схожим искусственным интеллектом работают и британские учёные.
Там разработкой проекта занимается компания, одним из видов деятельности которой является визуальный перевод для ТВ, транспорта, образования и других сфер.
Переводчиков с жестового языка не хватает во всех странах. А они нужны во многих жизненных ситуациях. Для того, чтобы люди, пользующиеся языком жестов, смогли в полной мере пользоваться информацией и развлечениями, необходим машинный перевод.
Учёным из НГТУ НЭТИ удалось обучить нейросеть распознавать русский жестовый язык и на этой основе создать онлайн переводчик для синхронного перевода. Он работает как от слышащего к неслышащему, так и в обратную сторону.
В планах – запуск чат-бота и перевод лекций для учащихся. Разработка осуществляется совместно с компанией «Адаптис». Для качественного перевода необходимо учитывать особенности грамматики русского ЖЯ, а для этого нужно выделять грамматические конструкции, определять многозначные слова, омонимы и т.п.
Специальное мобильное приложение даст возможность общаться глухим и слышащим. Нейросеть переводит слова на язык жестов, неслышащий человек видит их на своём смартфоне в изображении компьютерного аватара. Жестовую речь глухого считывает видеокамера, а нейросеть переводит её в текст или в речь. Перевод задерживается не более, чем на 1 сек.
Обучающиеся в НГТУ глухие студенты (более 150 чел.) тестируют переводчик лекций с сентября в 2-ух режимах – онлайн и офлайн.
В дальнейшем появится возможность получения разъяснения непонятных терминов на ЖЯ.
