Специалисты Бингемтонского университета (США) создали роботизированного помощника для людей с потерей зрения.
Данное устройство не только выполняет функции сопровождения, но и даёт словесные описания окружающей обстановки в пути.
В основе технологии лежат современные языковые модели. Внешне аппарат напоминает собаку-поводыря. Он способен заранее планировать несколько вариантов пути, а в процессе движения информировать пользователя о встречающихся препятствиях, предстоящих поворотах и дистанциях. Такой подход позволяет отчасти восполнить недостаток зрительного восприятия пространства.
Как пояснил руководитель исследований, доцент Школы вычислительных наук Ши-ци Чжан, традиционная собака-поводырь реагирует на ограниченный набор команд.
В то время как робот, использующий возможности GPT-4, обеспечивает гораздо более содержательное и гибкое взаимодействие.
В испытаниях приняли участие семь добровольцев с нарушениями зрения. Им было необходимо самостоятельно достигнуть конференц-зала в административном корпусе.
Робот уточнял конечную цель, предлагал на выбор маршруты с расчётным временем, а затем, сопровождая человека, комментировал всё происходящее вокруг. Участники особо отметили ценность комбинации предварительного построения маршрута и постоянного голосового описания в реальном времени.
Авторы проекта намерены продолжить работу: расширить тестирование, увеличить степень автономности системы и настроить её для работы на протяжённых дистанциях внутри зданий и на открытой местности.
В будущем подобные разработки могут стать неотъемлемым элементом повседневности для незрячих людей.
Данное устройство не только выполняет функции сопровождения, но и даёт словесные описания окружающей обстановки в пути.
В основе технологии лежат современные языковые модели. Внешне аппарат напоминает собаку-поводыря. Он способен заранее планировать несколько вариантов пути, а в процессе движения информировать пользователя о встречающихся препятствиях, предстоящих поворотах и дистанциях. Такой подход позволяет отчасти восполнить недостаток зрительного восприятия пространства.
Как пояснил руководитель исследований, доцент Школы вычислительных наук Ши-ци Чжан, традиционная собака-поводырь реагирует на ограниченный набор команд.
В то время как робот, использующий возможности GPT-4, обеспечивает гораздо более содержательное и гибкое взаимодействие.
В испытаниях приняли участие семь добровольцев с нарушениями зрения. Им было необходимо самостоятельно достигнуть конференц-зала в административном корпусе.
Робот уточнял конечную цель, предлагал на выбор маршруты с расчётным временем, а затем, сопровождая человека, комментировал всё происходящее вокруг. Участники особо отметили ценность комбинации предварительного построения маршрута и постоянного голосового описания в реальном времени.
Авторы проекта намерены продолжить работу: расширить тестирование, увеличить степень автономности системы и настроить её для работы на протяжённых дистанциях внутри зданий и на открытой местности.
В будущем подобные разработки могут стать неотъемлемым элементом повседневности для незрячих людей.
