Инновация отслеживает слова, которые произносят люди, с помощью тензодатчиков
Новая система распознавания беззвучной речи, разработанная южнокорейскими исследователями, может точно распознавать слова, отслеживая движения лица, говорится в отчете, опубликованном в пятницу Euronews.
Новое изобретение было разработано, чтобы помочь людям с нарушениями слуха, которые не всегда могут общаться с другими людьми с помощью языка жестов. Другие области применения включают военное применение, когда радиосвязь осложняется окружающим шумом.
Технология использует тензодатчики для обнаружения расширения и сжатия кожи, когда человек произносит слова, и дополнительно применяет алгоритм глубокого обучения для преобразования этих движений лица в слова.
“Тензодатчик, прикрепленный к лицу, растягивается и сжимается в зависимости от растяжимости кожи, когда человек говорит. И электрические свойства тензодатчиков соответственно меняются”, - сказал "Евроньюс" Тэмин Ким из Школы электротехники и электроники Университета Йонсей.
На данный момент система может распознавать набор из 100 слов с точностью почти 88 процентов.
Датчики также устойчивы к воздействию пота и кожного сала и значительно меньше, чем предыдущие аналогичные устройства.
Лучшее понимание
Их размер означает, что к лицу человека можно приложить больше датчиков, что приводит к лучшему пониманию произносимых слов.
"Чтобы классифицировать и распознавать больше слов, требуется более высокое разрешение информации. И именно поэтому исследователи сегодня пытаются разработать бесшумную речевую систему с высоким разрешением, которая сочетает в себе наш носимый тензодатчик с высокоинтегрированной схемой, которая обычно используется в производстве дисплеев или полупроводников ", - сказал Ким.
"Если нам удастся увеличить объем информации, и, следовательно, система сможет распознавать больше слов и предложений, мы ожидаем, что одажды инвалиды по слуху смогут общаться в повседневной жизни”.
Сделает язык жестов устаревшим?
Постоянные нововведения, подобные этим, могут вскоре сделать устных переводчиков и даже язык жестов устаревшим. В марте 2021 года Google представила свою функцию Live Captions в браузерах Chrome.
Live Caption использует машинное обучение для мгновенного создания закрытых субтитров к любому видео или аудиоклипу, предоставляя слабослышащим или слабослышащим людям более широкий доступ к интернет-контенту.
В прошлом — и по сей день — закрытые субтитры были либо заранее запрограммированы для видеоформатов, либо стенографистка набирала почти мгновенный заголовок, который транслировался по телевидению.
Однако в тех местах, где субтитры не являются “нормой”, например, в таких приложениях, как Instagram или TikTok, подписи практически невозможно найти.
Живые субтитры меняют это: с помощью нескольких нажатий на экран любой пользователь может мгновенно получать точные субтитры, которые расширяют доступ к аудио и видео.
Живой заголовок Google - это разновидность NLP или обработки естественного языка. НЛП - это форма искусственного интеллекта, которая использует алгоритмы для облегчения своего рода “взаимодействия” между людьми и машинами. НЛП помогает нам расшифровывать человеческие языки в машинные, и часто наоборот.
Новое исследование опубликовано в журнале Nature Communications.
