Потеря слуха и нарушения слуха затрагивают примерно 2,5 миллиона человек в Индонезии, создавая разрыв в общении, который, несомненно, является проблемой. Язык жестов в стране используется не так широко, а нехватка сурдопереводчиков еще больше усугубляет эту проблему.
Мухаммад Алан Нур, основатель и генеральный директор Tulibot, впервые узнал об этой проблеме во время своего первого семестра обучения в колледже в Сурабае, еще будучи студентом. Во время ужина в ресторане неподалеку ему было сложно взаимодействовать с официантом с нарушением слуха. Этот опыт вдохновил его на разработку инновационных решений, которые не только помогли бы взаимопониманию между людьми независимо от способности слышать, но и проложили путь к расширению возможностей сообщества с помощью технологий.
Разработка умных очков
Нур и его команда в Tulibot изначально экспериментировали с различными потенциальными решениями, которые могли бы преодолеть коммуникационный барьер между людьми с нарушениями слуха и остальным обществом.
Это включало интеграцию смартфонов с очками виртуальной реальности (VR) для обеспечения визуального вывода, умные перчатки для перевода языка жестов в аудио и многое другое. В конечном итоге было определено, что умные очки являются наиболее целостным решением.
“Умные очки обеспечивают особое преимущество, позволяя глухим людям не только получать доступ к субтитрам, но и воспринимать язык тела и выражения лица во время разговоров, предлагая гораздо больше, чем обычное решение для транскрипции со смартфона”,- сказал Нур.
Умные очки Tulibot работают в паре со смартфоном, выступая в качестве дополнительного монитора. Смартфон записывает и расшифровывает речь в режиме реального времени, прежде чем передавать транскрипцию, отображаемую на очках. Этот процесс отличается задержкой, которая может достигать 10 миллисекунд, в зависимости от скорости соединения.
Используя общедоступный голосовой репозиторий с открытым исходным кодом, предоставляемый Mozilla, который содержит большое количество голосовых данных на самых разных языках, умные очки Tulibot могут понимать языки, которые обычно используются в Индонезии, включая суданский, яванский и индонезийский Bahasa.
По словам Нура, Tulibot регулярно обновляет свой набор данных, надеясь достичь еще более высокого уровня точности транскрипции.
Умные очки были разработаны для работы практически в любом сценарии с учетом таких факторов, как изменение освещения, совместимость с очками и ситуации с участием нескольких участников.
Эти очки предлагают широкий спектр настроек, включая опции изменения яркости и регулировки линз в соответствии с потребностями пользователя в коррекции зрения.
Чтобы умные очки могли функционировать в сценариях с несколькими динамиками, Tulibot использует стратегию двойного назначения. Первый подход использует возможности облачного механизма ведения дневника говорящих, позволяя умным очкам распознавать личности говорящих и соответствующим образом помечать субтитры.
В качестве альтернативного решения Tulibot также предлагает локализованную опцию, с помощью которой пользователи могут использовать приложение, приглашающее других пользователей смартфонов присоединиться к группе чата с функциями, аналогичными группе WhatsApp. Смартфоны из одной группы могут помочь идентифицировать и отличать говорящих друг от друга.
После запуска пилотных проектов, осуществляемых в сотрудничестве с энергетической компанией PT Pertamina, Tulibot получил положительные отзывы от некоторых своих пользователей.
Эти инициативы привели к более широкому внедрению умных очков компании, в том числе в кафе Cue, которым управляет сообщество глухих, заботящихся о Битунгах (Kaleb), при поддержке PT Pertamina. В кафе работают бариста с нарушениями слуха, которые положительно отзываются о том, что умные очки удобны и эффективны.
Перспективы на будущее
Продвигаясь вперед, Tulibot амбициозно стремится превратить свои умные очки в бренд стиля жизни, выходящий за рамки первоначальной цели обслуживания глухих и людей с нарушениями слуха.
Nur планирует интегрировать умные очки Tulibot в повседневную жизнь, используя субтитры в режиме реального времени, чтобы сделать взаимодействие более увлекательным, чем когда-либо прежде.
Еще одним направлением Tulibot является уменьшение веса своих умных очков. В настоящее время каждая пара весит примерно 79 граммов, что превышает средний вес обычных очков на 25-50 граммов. Решающее значение имеет достижение оптимального баланса между весом и функциональностью, гарантирующего, что умные очки Tulibot будут легкими и удобными в носке, сохраняя при этом необходимую вычислительную мощность для выполнения своих задач в повседневной жизни.
В настоящее время основным целевым рынком Tulibot является индонезийское сообщество с нарушениями слуха, по крайней мере, до 2024 года. В дальнейшем компания планирует расширяться в другие азиатские страны, распространяя свое приложение и умные очки среди сообществ в этих странах, улучшая доступность и расширяя возможности для более широкой аудитории.
