Исследователи из Технологического университета Граца используют виртуальную реальность и большие языковые модели, чтобы помочь людям с расстройством аутистического спектра тренировать социальные навыки. Система призвана сделать варианты терапии более доступными для широкого круга людей.
Во всем мире растет число людей, страдающих расстройствами аутистического спектра (РАС), и исследования показывают, что диагноз ставится каждому 44-му ребенку. Одним из основных симптомов является так называемая «социальная слепота», то есть неспособность распознавать эмоции других людей и адекватно реагировать на социальные ситуации.
Подходящая терапия в этом случае обычно основана на индивидуальной или групповой поддержке, которая доступна лишь в ограниченном объеме и является дорогостоящей. Исследователи из Института человекоцентрированных вычислений Технического университета Граца используют технологии компьютерных игр для создания эффективного, недорогого и доступного в любое время дополнительного средства. Первые исследования показывают, что такой подход помогает людям с РАС более безопасно справляться с повседневной жизнью.
Специально разработанная виртуальная среда Simville использует виртуальную реальность, большие языковые модели (LLM), распознавание и генерацию речи, чтобы сделать социальное обучение независимым от местоположения и, следовательно, более доступным для тех, кому это необходимо. В этом компьютерном мире пользователи тренируются в реалистичных повседневных ситуациях, таких как разговоры с коллегами по работе или встречи с людьми в кафе. Поскольку это происходит в контролируемой среде, пользователи могут действовать свободно, не опасаясь социальных последствий. Эти сценарии обучения лучше готовят их к подобным взаимодействиям в повседневной жизни.
Разыгрывание повседневных ситуаций призвано подготовить к подобным ситуациям.(Изображение: HCC - TU Graz)
«Наша система не предназначена для замены традиционных методов терапии, а для их дополнения и усиления», — говорит Кристиан Поглитш из Института человекоцентрированных вычислений Технического университета Граца, который реализовал проект в рамках своей диссертации.
Иммерсивный, но в то же время игровой подход имеет центральное значение для Simville: задания, повествование и мгновенная обратная связь после разыгранной сцены мотивируют участников к регулярной практике. Кроме того, количество стимулов, воздействующих на пользователя, можно контролировать, так что новички могут начать с небольшого числа, постепенно увеличивая его в процессе обучения и снова уменьшая, если почувствуют себя перегруженными.
«Что было поразительно, так это то, что модель также смогла передать определенную эмоцию. В зависимости от контекста произнесенных слов, вы определенно можете услышать нужный подтекст», — говорит Кристиан Поглитш.
Первые исследования показывают, что тренировки с Simville оказывают положительное воздействие. Например, исследование с участием 25 человек показало, что уже после нескольких занятий многие почувствовали себя гораздо увереннее в социальных ситуациях. В настоящее время Simville интегрируется в международный проект ETAP, возглавляемый Университетом Фуртвангена. Интерфейс симулятора сочетается с обширной сенсорной технологией, позволяющей снижать или повышать интенсивность воздействия в зависимости от реакции пользователя.
Кроме того, Game Lab Graz при Технологическом университете Граца планирует предоставить Simville в качестве демонстрационного образца, чтобы люди, испытывающие трудности, могли тренироваться с его помощью самостоятельно.
Во всем мире растет число людей, страдающих расстройствами аутистического спектра (РАС), и исследования показывают, что диагноз ставится каждому 44-му ребенку. Одним из основных симптомов является так называемая «социальная слепота», то есть неспособность распознавать эмоции других людей и адекватно реагировать на социальные ситуации.
Подходящая терапия в этом случае обычно основана на индивидуальной или групповой поддержке, которая доступна лишь в ограниченном объеме и является дорогостоящей. Исследователи из Института человекоцентрированных вычислений Технического университета Граца используют технологии компьютерных игр для создания эффективного, недорогого и доступного в любое время дополнительного средства. Первые исследования показывают, что такой подход помогает людям с РАС более безопасно справляться с повседневной жизнью.
Повседневные ситуации без социальных последствий
Специально разработанная виртуальная среда Simville использует виртуальную реальность, большие языковые модели (LLM), распознавание и генерацию речи, чтобы сделать социальное обучение независимым от местоположения и, следовательно, более доступным для тех, кому это необходимо. В этом компьютерном мире пользователи тренируются в реалистичных повседневных ситуациях, таких как разговоры с коллегами по работе или встречи с людьми в кафе. Поскольку это происходит в контролируемой среде, пользователи могут действовать свободно, не опасаясь социальных последствий. Эти сценарии обучения лучше готовят их к подобным взаимодействиям в повседневной жизни.
Разыгрывание повседневных ситуаций призвано подготовить к подобным ситуациям.(Изображение: HCC - TU Graz)
«Наша система не предназначена для замены традиционных методов терапии, а для их дополнения и усиления», — говорит Кристиан Поглитш из Института человекоцентрированных вычислений Технического университета Граца, который реализовал проект в рамках своей диссертации.
Иммерсивный, но в то же время игровой подход имеет центральное значение для Simville: задания, повествование и мгновенная обратная связь после разыгранной сцены мотивируют участников к регулярной практике. Кроме того, количество стимулов, воздействующих на пользователя, можно контролировать, так что новички могут начать с небольшого числа, постепенно увеличивая его в процессе обучения и снова уменьшая, если почувствуют себя перегруженными.
Языковая модель передает эмоции
Благодаря интеграции больших языковых моделей (LLM) и систем распознавания и генерации речи, пользователи могут общаться с аватарами в игровом мире как обычно. Произнесенная речь преобразуется в текст системой распознавания речи, большая языковая модель генерирует реакцию, адаптированную к ситуации, и аватар отвечает соответствующим образом на разговорном языке. Команда использовала модель Google Gemini 12B для создания и воспроизведения ответа.«Что было поразительно, так это то, что модель также смогла передать определенную эмоцию. В зависимости от контекста произнесенных слов, вы определенно можете услышать нужный подтекст», — говорит Кристиан Поглитш.
Испытуемые чувствуют себя в большей безопасности
Первые исследования показывают, что тренировки с Simville оказывают положительное воздействие. Например, исследование с участием 25 человек показало, что уже после нескольких занятий многие почувствовали себя гораздо увереннее в социальных ситуациях. В настоящее время Simville интегрируется в международный проект ETAP, возглавляемый Университетом Фуртвангена. Интерфейс симулятора сочетается с обширной сенсорной технологией, позволяющей снижать или повышать интенсивность воздействия в зависимости от реакции пользователя.
Кроме того, Game Lab Graz при Технологическом университете Граца планирует предоставить Simville в качестве демонстрационного образца, чтобы люди, испытывающие трудности, могли тренироваться с его помощью самостоятельно.
