Исследователи изучают, как мозг интегрирует визуальные речевые сигналы со слуховыми сигналами, уделяя особое внимание людям с кохлеарными имплантами, чтобы лучше понять мультисенсорную обработку речи и усовершенствовать технологии слуха.
Прорывное исследование: Целью исследования является изучение того, как визуальная и слуховая информация объединяются в мозге, особенно в шумной обстановке, чтобы способствовать пониманию речи.
Особое внимание уделено кохлеарным имплантам: в исследовании примут участие 250 человек с кохлеарными имплантами. Целью исследования станет изучение того, как возраст имплантации влияет на зависимость от визуальных речевых подсказок.
Технологические последствия: Результаты этого исследования могут привести к усовершенствованию технологий слуховых аппаратов и кохлеарных имплантов, что улучшит понимание речи для глухих и слабослышащих людей.
Как человеческий мозг использует визуальные речевые сигналы в шумной, переполненной комнате, чтобы дополнить спутанный звук и помочь слушателю лучше понять, что говорит говорящий?
Хотя большинство людей интуитивно знают, что нужно следить за движениями губ и жестами говорящего, чтобы заполнить пробелы в понимании речи, ученые пока не знают, как этот процесс работает физиологически.
«Ваша зрительная кора находится в задней части мозга, а слуховая кора — в височных долях», — говорит Эдмунд Лалор , доцент кафедры биомедицинской инженерии и нейробиологии в Университете Рочестера .
«То, как эта информация объединяется в мозге, не очень хорошо изучено».
Ученые пытаются решить эту проблему, используя неинвазивную электроэнцефалографию (ЭЭГ) для измерения мозговых волн, чтобы изучить, как люди реагируют на базовые звуки, такие как гудки, щелчки или простые слоги. Лалор и его команда исследователей достигли прогресса , изучая, как определенная форма артикуляторов — таких как губы и язык напротив зубов — помогает слушателю определить, говорит ли кто-то «Ф» или «С», или «П» или «Д», которые в шумной обстановке могут звучать одинаково.
Теперь Лалор хочет продвинуть исследование на шаг дальше и изучить проблему в более естественной, непрерывной, мультисенсорной речи. Национальные институты здравоохранения (NIH) выделяют ему около 2,3 млн долларов в течение следующих пяти лет на проведение этого исследования. Проект основан на предыдущем гранте NIH R01 и изначально был начат с начального финансирования от Института нейронауки Дель Монте при Университете .
Мониторинг лиц с кохлеарными имплантами
Для изучения этого явления команда Лалора будет отслеживать мозговые волны людей, у которых слуховая система особенно шумная — глухих или слабослышащих людей, использующих кохлеарные имплантаты. Исследователи намерены набрать 250 участников с кохлеарными имплантатами, которых попросят смотреть и слушать мультисенсорную речь, надев шапочки ЭЭГ, которые будут измерять реакции их мозга.
«Главная идея заключается в том, что если людям вживляют кохлеарные импланты в возрасте одного года, то, возможно, они пропустят год слухового восприятия, но, возможно, их аудиосистема все равно будет подключена довольно похоже на таковую у слышащего человека», — говорит Лалор.
«Однако люди, которым имплантируют позже, скажем, в 12 лет, пропустили критические периоды развития слуховой системы. Таким образом, мы предполагаем, что они могут использовать визуальную информацию, которую они получают от лица говорящего, по-другому или больше, в каком-то смысле, потому что им нужно больше полагаться на нее, чтобы восполнить информацию».
Лалор сотрудничает в исследовании с соруководителем профессором Мэтью Даем, который руководит докторской программой по когнитивной науке в Рочестерском технологическом институте и Центром сенсорной, перцептивной и когнитивной экологии Национального технического института глухих, а также является внештатным преподавателем в Медицинском центре Рочестерского университета .
Лалор говорит, что одна из самых больших проблем заключается в том, что ЭЭГ-шапочка, которая измеряет электрическую активность мозга через кожу головы, собирает смесь сигналов, поступающих из множества различных источников. Измерение сигналов ЭЭГ у людей с кохлеарными имплантами еще больше усложняет процесс, поскольку импланты также генерируют электрическую активность, которая еще больше скрывает показания ЭЭГ.
«Это потребует серьезной инженерной работы, но у нас в Рочестере есть замечательные студенты, которые могут помочь нам использовать обработку сигналов, инженерный анализ и вычислительное моделирование, чтобы исследовать эти данные по-новому, что сделает их пригодными для использования», — говорит Лалор.
В конечном итоге команда надеется, что лучшее понимание того, как мозг обрабатывает аудиовизуальную информацию, приведет к созданию более совершенных технологий, которые помогут глухим или слабослышащим людям.
