На фестивале Young Con компания Яндекс представила обновление мобильного приложения «Алиса AI»: функция Live-режим теперь полностью доступна людям с нарушениями зрения.
С её помощью пользователи могут в реальном времени получать голосовые подсказки о том, что их окружает, — от расположения входа в здание до информации на дисплеях бытовой техники.
Нейросеть помогает решать бытовые задачи: оценить состояние посылки, идентифицировать лекарство или описать наличие продуктов в холодильнике. Для активации достаточно навести камеру смартфона на объект и озвучить вопрос.
Как отметил Анатолий Попко, менеджер проектов по цифровой доступности Яндекса, ИИ-камера становится эффективным инструментом для повышения самостоятельности незрячих людей в повседневной жизни.
Техническую основу решения составляет мультимодальная нейросеть Alice AI VLM, которая распознаёт объекты и описывает их в диалоговом режиме. История вопросов и ответов сохраняется в чате.
Запустить Live-режим можно через меню или голосом (на Android — уже сейчас, на iOS — в ближайшее время).
Функция предоставляется бесплатно для пользователей в приложении «Алиса AI» для Android и iOS.
На сегодняшний день Яндекс адаптировал для незрячих и слабовидящих 20 своих сервисов, включая Такси, Почту, Браузер, Книги и Музыку. «Алиса» также распознаёт речь пользователей с особенностями произношения. Компания внедряет инклюзивные опции в продукты (тифлокомментарии, спецфункции в Яндекс Go), адаптирует рабочие места и процессы найма.
Young Con — ежегодный фестиваль Яндекса для начинающих ИТ-специалистов. В 2026 году в нём участвуют 10 тысяч человек, и впервые мероприятие стало платформой для технологических анонсов.
