В наше нейросетевое время, когда искусственный интеллект используется специалистами различных сфер для повышения качества их работы и достижения более высокого результата, едва ли не самым жизненно важным измерением данного взаимодействия оказывается инклюзия, которая, благодаря превращению ИИ в волонтёра, готового помочь в режиме 24 на 7, выходит на совершенно новый уровень.
Разумеется, наиболее актуально это для тех, кто имеет тяжёлые ограничения в функционировании сенсорных систем организма и испытывает множество проблем с информационной доступностью.
И если об использовании нейросетевых моделей для упрощения жизни слепых и слабовидящих написано уже достаточно много, то вот далеко не всем нуждающимся известно, что подобные же технические помощники существуют сегодня и для глухих!
Как известно, полная или частичная потеря слуха становится серьёзной проблемой для установления эффективной коммуникации при посещении общественно значимых мест (больниц, магазинов, кинотеатров), обучении в школах и вузах, профессиональной самореализации и т.д.
Очень часто неслышащим людям для того, чтобы точно быть правильно понятыми, приходится брать с собой сурдопереводчиков, которых всегда не хватает, а потому нередко обладатели данной нозологии вынуждены пробовать все альтернативные способы взаимодействия, порой так и оставаясь за гранью понимания. И здесь, как отмечают учёные, работающие в реабилитационной индустрии, хорошую службу человеку могут реально сослужить современные нейросети.
Так, сотрудники Университета Суррея (Великобритания) разработали особый алгоритм ИИ, который воспринимая звучащую человеческую речь, переводит её на язык жестов, создавая соответствующий видеоряд.
Технология базируется на воспроизведение движений человеческого скелета, который, по словам разработчиков, фактически полностью задействуется при жестовой коммуникации.
После этого модель, получившая название U-net, генерирует изображение человеческого тела, соответствующие жесты совершающего, и уже готовая картинка поставляется на экран гаджета, через который неслышащий пользователь может её увидеть.
Разработка оказывается весьма полезной при необходимости сурдоперевода в режиме реального времени, делая доступными для обладателей указанной нозологии восприятие лекций, бесед со специалистами различных учреждений и т.д.
Попытки сделать анимированного сурдопереводчика предпринимались не только в Британии. К примеру, Проект под названием IBM, в своё время не получивший достаточной популярности, не так давно возродили в новосибирском Академгородке, создав на его основе приложение «Адаптис» для AbStore и GooglePlay.
Суть технологии также заключается в интерпретации звуковой речи и переводе её на язык жестов, который на экране смартфона демонстрирует аватар. Однако для повышения точности распознавания программа ещё требует доработки.
Большой интерес представляет собой и детище бельгийских учёных, создавших в полном смысле этого слова целую 3D-руку, готовую в любой момент, после поступления соответствующей команды, передать высказывание жестами. Роботизированное чудо, по словам авторов проекта, функционировало под управлением Arduino и состояло из 25 деталей, которые в будущем планировалось дополнить.
Разработка получила название Aslan, и, как обещают её авторы, в скором времени должна обзавестись второй такой же рукой и даже лицом для отображения мимики.
Аналогичные роботизированные модели создаются учёными из российского Института проблем управления им. В.А. Трапезникова. Однако разработчики отмечают, что над их усовершенствованием предстоит работать ещё не один год.
Довольно успешной реализацией обратного процесса – перевода языка жестов в обычный текст - может похвастаться ещё одна отечественная разработка, созданная специалистами Санкт-Петербургского федерального исследовательского центра РАН.
Данную нейросетевую модель обучали на основе достаточно широкой базы данных, включающей в себя 85 высказываний с их различными вариациями. Заложены в рассматриваемую технологию иалгоритмы умного распознавания жестов, учитывающие такие факторы, как пол и возраст использующего их человека, которые, по словам учёных, нередко оказывают влияние на передачу информации.
Для запуска модели используется видеокамера и специальное ПО, анализирующее и переводящее зафиксированные жесты в текст. Точность составляет более 90%.
Конечно, для того, чтобы все описанные нейросетевые механизмы стали высокоэффективными способами осуществления коммуникации, ещё должно пройти время.
Однако и технологии типа Bemyeyes и Vision ботов, используемые с целью идентификации изображений для незрячих людей, тоже далеко не сразу научились выдавать правильные описания, тогда как сейчас реально показывают по-настоящему удивительные результаты.
Поэтому есть все основания считать, что в весьма обозримом будущем инвалиды по слуху получат возможность с большой степенью точности переводить информацию из звукового формата на язык жестов и обратно, что позволит им стать полноценными участниками коммуникативного взаимодействия в любом месте и в любое время.
Софья Золотова
Разумеется, наиболее актуально это для тех, кто имеет тяжёлые ограничения в функционировании сенсорных систем организма и испытывает множество проблем с информационной доступностью.
И если об использовании нейросетевых моделей для упрощения жизни слепых и слабовидящих написано уже достаточно много, то вот далеко не всем нуждающимся известно, что подобные же технические помощники существуют сегодня и для глухих!
Как известно, полная или частичная потеря слуха становится серьёзной проблемой для установления эффективной коммуникации при посещении общественно значимых мест (больниц, магазинов, кинотеатров), обучении в школах и вузах, профессиональной самореализации и т.д.
Очень часто неслышащим людям для того, чтобы точно быть правильно понятыми, приходится брать с собой сурдопереводчиков, которых всегда не хватает, а потому нередко обладатели данной нозологии вынуждены пробовать все альтернативные способы взаимодействия, порой так и оставаясь за гранью понимания. И здесь, как отмечают учёные, работающие в реабилитационной индустрии, хорошую службу человеку могут реально сослужить современные нейросети.
Так, сотрудники Университета Суррея (Великобритания) разработали особый алгоритм ИИ, который воспринимая звучащую человеческую речь, переводит её на язык жестов, создавая соответствующий видеоряд.
Технология базируется на воспроизведение движений человеческого скелета, который, по словам разработчиков, фактически полностью задействуется при жестовой коммуникации.
После этого модель, получившая название U-net, генерирует изображение человеческого тела, соответствующие жесты совершающего, и уже готовая картинка поставляется на экран гаджета, через который неслышащий пользователь может её увидеть.
Разработка оказывается весьма полезной при необходимости сурдоперевода в режиме реального времени, делая доступными для обладателей указанной нозологии восприятие лекций, бесед со специалистами различных учреждений и т.д.
Попытки сделать анимированного сурдопереводчика предпринимались не только в Британии. К примеру, Проект под названием IBM, в своё время не получивший достаточной популярности, не так давно возродили в новосибирском Академгородке, создав на его основе приложение «Адаптис» для AbStore и GooglePlay.
Суть технологии также заключается в интерпретации звуковой речи и переводе её на язык жестов, который на экране смартфона демонстрирует аватар. Однако для повышения точности распознавания программа ещё требует доработки.
Большой интерес представляет собой и детище бельгийских учёных, создавших в полном смысле этого слова целую 3D-руку, готовую в любой момент, после поступления соответствующей команды, передать высказывание жестами. Роботизированное чудо, по словам авторов проекта, функционировало под управлением Arduino и состояло из 25 деталей, которые в будущем планировалось дополнить.
Разработка получила название Aslan, и, как обещают её авторы, в скором времени должна обзавестись второй такой же рукой и даже лицом для отображения мимики.
Аналогичные роботизированные модели создаются учёными из российского Института проблем управления им. В.А. Трапезникова. Однако разработчики отмечают, что над их усовершенствованием предстоит работать ещё не один год.
Довольно успешной реализацией обратного процесса – перевода языка жестов в обычный текст - может похвастаться ещё одна отечественная разработка, созданная специалистами Санкт-Петербургского федерального исследовательского центра РАН.
«К нам обратились представители одной из организаций для реабилитации глухих людей с проблемой посещения больниц. Чтобы подробно объяснить свой недуг, глухой пациент вынужден брать с собой переводчика, которых часто не хватает. Для решения этой задачи мы разработали программное обеспечение, которое распознает язык жестов и преобразует его в текст»,- поделился с АиФ один из старших научных сотрудников лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Дмитрий Рюмин.
Данную нейросетевую модель обучали на основе достаточно широкой базы данных, включающей в себя 85 высказываний с их различными вариациями. Заложены в рассматриваемую технологию иалгоритмы умного распознавания жестов, учитывающие такие факторы, как пол и возраст использующего их человека, которые, по словам учёных, нередко оказывают влияние на передачу информации.
Для запуска модели используется видеокамера и специальное ПО, анализирующее и переводящее зафиксированные жесты в текст. Точность составляет более 90%.
Конечно, для того, чтобы все описанные нейросетевые механизмы стали высокоэффективными способами осуществления коммуникации, ещё должно пройти время.
Однако и технологии типа Bemyeyes и Vision ботов, используемые с целью идентификации изображений для незрячих людей, тоже далеко не сразу научились выдавать правильные описания, тогда как сейчас реально показывают по-настоящему удивительные результаты.
Поэтому есть все основания считать, что в весьма обозримом будущем инвалиды по слуху получат возможность с большой степенью точности переводить информацию из звукового формата на язык жестов и обратно, что позволит им стать полноценными участниками коммуникативного взаимодействия в любом месте и в любое время.
Софья Золотова
