Наши сенсорные системы слуха и осязания накладываются друг на друга, вызывая множество эмоций.
Эвелин Гленни начала брать уроки игры на перкуссии примерно в 12 лет, после того как потеряла большую часть слуха из-за нервного истощения. Ее учитель ударил в литавры и позволил звуку резонировать, задаваясь вопросом вслух, как они могли бы использовать вибрации барабана.
“Он попросил меня положить руки на стену музыкальной комнаты”, - рассказывала Гленни. Она могла почувствовать первый удар барабанного боя, но она также могла почувствовать вибрации, отражающиеся после.
“Это действительно замедлило работу организма, потому что я обращала внимание на весь путь этого звука”, - объяснила она. “Все тело участвовало в том, чтобы обращать внимание на звук. И тогда это действительно все изменило для меня. Это изменило мою чувствительность к прикосновениям ”.
Таким образом Гленни научилась различать различные тона музыкальных нот и в конечном итоге сделала карьеру знаменитой сольной перкуссионистки.
Исключительная чувствительность Гленни к вибрациям и замечательный талант к сочинению музыки символизируют сильную связь, которую миллионы глухих и слабослышащих людей имеют с музыкой. Многие ходят на концерты и наслаждаются музыкой у себя дома с помощью прикосновений, зрения и движений. Немногие избранные, такие как Гленни, играют на музыкальных инструментах или профессионально поют. Но по мере того, как ученые узнают больше о том, как наши тела и мозг обрабатывают вибрации, они проводят множество новых исследований, которые помогут глухим людям лучше оценить сложность и эмоциональный диапазон музыки, как слушателям, так и исполнителям.
В процессе они также обнаруживают, как музыка проходит через нас, создавая симфонии чувств.
Многие глухие посетители концертов сжимают воздушные шарики, чтобы лучше чувствовать акустические вибрации через тонкую резину.
Люди со слухом воспринимают музыку и другие звуки, когда определенные частоты вибрации — в пределах слышимого диапазона от 20 до 20 000 Герц — распространяются по воздуху и улавливаются крошечными сенсорными клетками в улитке, улиткообразном органе во внутреннем ухе. Но музыку можно воспринимать и через осязание. Звуковые волны можно ощущать как давление воздуха на кожу или проходить через твердые материалы, такие как дека гитары или пол сцены, где их можно уловить руками, телом и ногами. Вибрации также могут ощущаться мембранами между костями и стенки внутренних полостей, таких как легкие и грудная клетка.
Музыкальные традиции глухих уже давно используют силу прикосновения для восприятия вибрации, которая называется вибротактильным чувством.
Многие глухие посетители концертов сжимают воздушные шарики, чтобы лучше чувствовать акустические вибрации через тонкую резину, а Гленни известна тем, что выступает босиком, чтобы лучше чувствовать вибрации, пульсирующие на сцене. Говорят, что после того, как Бетховен оглох, он смастерил себе что-то вроде слухового аппарата из палки: он сжимал один конец зубами, а другой конец положил на пианино, чтобы улавливать вибрации от музыки.
Благодаря некоторому сочетанию мозговых связей и практики у многих глухонемых от рождения развивается повышенная чувствительность к осязанию, и это может выражаться по-разному. Нейробиолог и музыкант Фрэнк Руссо исследует, как электрические сигналы в мозге отслеживают ритмы, обнаруженные с помощью вибротактильного ощущения, и его исходные данные показывают разные результаты у глухих и слышащих людей.
“До сих пор мы видели, что мозг глухих лучше справляется с воспроизведением ритма, чем мозг обычного слышащего человека”, - сказал Руссо, который изучает музыкальное познание, акустику и слуховое восприятие в Столичном университете Торонто.
Эвелин Гленни держит стойку с треугольниками в студии своих ударных инструментов. Будучи глухим музыкантом и исполнителем, Гленни показала миру, что звук - это восприятие всего тела.
В мозге глухих людей часть мозга, отвечающая за обработку звука, часто перепрофилируется. Без притока звуковых сигналов для интерпретации слуховая кора может перестроиться на прием сигналов от других органов чувств, таких как осязание и зрение.
Каждая часть мозга обычно в конечном итоге используется тем или иным образом, сказала Каролина Финк, ученый-когнитивист из Университета Николая Коперника.
Исследование Finc, опубликованное в 2020 году, показало, что у тех, кто оглох в раннем возрасте, цепи по всему мозгу реорганизованы с учетом потери слуха.
По ее словам, различным сетям пришлось научиться общаться друг с другом по-новому. Например, было обнаружено, что сеть, участвующая во внимании и решении проблем, более тесно связана с сетями, которые координируют моторные реакции, зрительные системы и память. “Весь мозг должен приспособиться”, - сказал Финк.
Поскольку у каждого слабослышащего человека своя история с музыкой, и поскольку каждый мозг индивидуален, то как и в какой степени вибротактильное чувство человека может компенсировать потерю слуха, будет разным. В любом случае, вибрация, передаваемая через прикосновение, предлагает множество музыкальных тонкостей, которые исследователи сейчас оценивают количественно.
Нейробиологи, которые исследуют сенсорное восприятие, исторически фокусировались на слуховой и зрительной системах. По словам Марио Прса, нейробиолога из Университета Фрибурга в Швейцарии, изучающего, среди прочего, то, как мозг координирует движение, вибротактильное чувство изучено менее хорошо.
“Мы почему-то пренебрегаем этим ощущением вибрации”, - сказал он. В 2016 и 2017 годах, когда Prsa был постдоком в лаборатории неврологии Даниэля Хубера в Женевском университете, он исследовал, как улучшить контроль сознания при протезировании. Чтобы обучить мышей активировать определенные нейроны в моторной коре, ключевой области для регулирования движения, он попытался дать им обратную связь в виде тактильных вибраций.
Документируя результаты, он случайно обнаружил удивительное поведение нейронов в соматосенсорной коре: разные наборы нейронов наиболее интенсивно реагировали на разные частоты вибрации. Prsa покопался в научной литературе, чтобы узнать, что другие до него узнали о поведении нейронов, за которыми он наблюдал, и ничего не нашел. Он не смог найти других описаний частотно-специфических реакций нейронов на вибрацию. Поэтому он и его коллеги из Женевского университета решили провести несколько экспериментов. Когда они посылали вибрации разной частоты и интенсивности через металлический стержень на кончики пальцев человека и передние конечности мышей, они подтвердили, что разные частоты вызывали реакцию у разных нейронов.
Это было важное открытие, потому что слуховая система человека 10 ведет себя аналогичным образом. Фактически, сенсорные системы слуха и осязания пересекаются многими интригующими способами. Даже у слышащих людей сигналы от вибротактильного ввода могут быть обнаружены слуховой корой, а тактильные и слуховые стимулы могут быть перепутаны, когда воспринимаются вместе или чередуются.
В слуховом восприятии слуховой сигнал также может изменить восприятие того, является ли объект, такой как пергаментная бумага, шероховатым или гладким. Как в слухе, так и в осязании механика восприятия вибрации по существу одинакова: чувствительные нервы, называемые механорецепторами, расположенные в улитке и по всему телу, изгибаются в ответ на изменения давления, вызывая нервный импульс, который отправляется в мозг.
Многие существа, такие как некоторые насекомые и грызуны, все еще в первую очередь общаются с помощью вибраций, а некоторые нейробиологи даже предположили, что слух развился у более сложных животных из вибротактильного чувства.
За последние одно-два десятилетия инженеры создали множество вибрирующих носимых устройств и устройств, которые призваны помочь глухим людям ощутить больше нюансов музыки: куртки, перчатки и браслеты для слушателей, а также стулья для барабанов и платформы для музыкантов.
Одно из носимых устройств, недавно прошедший бета-тестирование на концерте в Лас-Вегасе от Not Impossible Labs, компании, разрабатывающей инновационные технологии здравоохранения с открытым исходным кодом, немного похоже на ремень безопасности или рюкзак. Оно состоит из серии беспроводных датчиков, предназначенных для усиления и передачи вибраций различной частоты, закрепленных на спине, плечах и талии человека, а также на лодыжках и запястьях.
Но многие из существующих инструментов все еще относительно примитивны и в основном передают только басы и ритмы. Гленни, которая опробовала вибрирующие платформы, стулья и браслеты, говорит, что она обеспокоена тем, что подобные устройства могут сгладить тактильные ощущения от музыки. Ученые только начинают понимать, как уловить и передать истинную сложность, глубину и эмоциональный диапазон музыки с помощью прикосновения, перевести потрясающий вокал, глубокие басовые ноты и дребезжащие гитарные риффы в тактильные вибрации в сложных комбинациях частот и интенсивности, которые можно тонко почувствовать.
Мозг глухого человека может лучше воспроизводить ритм, чем мозг обычного слышащего человека.
“Если мы можем оптимизировать использование вибрации с помощью технологий, чтобы улучшить восприятие музыки людьми, страдающими потерей слуха или глухотой, то почему бы и нет?” - спрашивает Руссо. ”Мы только сейчас наблюдаем этот расцвет".
Когда проект "Музыкальные вибрации" при Университете Ливерпуля, группа, предоставляющая оборудование для преобразования музыки в вибрацию, предложила свою технологию глухому рэперу SignKid, он обнаружил, что это помогло ему не отставать от ритма. Они загрузили одну из его песен в оборудование, которое преобразовало треки с бас-гитарой, гитарой, ударным и малым барабаном в вибрации. Каждая босая ступня SignKid опиралась на два шейкера — красную и белую канистры, увенчанные круглыми пластинами, которые создавали вибрации, которые он ощущал пятками и передними лапами.
“Мне это нравится”, - сказал он команде Musical Vibrations. “Я мог бы использовать это”.
Команда одолжила ему оборудование, которое он использовал при создании своего EP 2019 года, The Visual Experience.
Некоторые музыкальные особенности тактильных вибраций очевидны: они могут эффективно передавать ритм. Анализы Руссо с помощью ЭЭГ показывают, что сигналы мозга, измеренные через кожу головы, пульсируют в такт музыкальному ритму, независимо от того, передавался ли этот ритм с помощью звука или прикосновения.15 По его словам, шаблон не такой четкий с “более фанковыми” последовательностями, которые имеют неравные временные интервалы. Но прикосновение может передать и гораздо более подробные аспекты музыки. Амплитуда звуковой волны, которая преобразуется в громкость в слуховой системе, воспринимается вибротактильной сенсорной системой как интенсивность давления. Частота создает ощущение высоты звука в обоих режимах.
Однако мы не так чувствительны к изменениям вибрации, как к изменениям звука, что затрудняет определение высоты тона. Согласно исследованиям Карла Хопкинса, руководителя проекта "Музыкальные вибрации", даже при обучении использовать вибрацию для определения разницы между соседними нотами, такими как До и До-диез,
было сложно как для глухих, так и для слышащих людей. Тем не менее, наши тела могут на ощупь определять основные подъемы и падения высоты звука, которые делают до мелодий. Мы также можем различать с помощью вибротактильного чувства высоту многих нот, издаваемых музыкальными инструментами и человеческим вокалом, хотя этот диапазон уже, чем для звука.
Без интерпретации звуков слуховая кора может перестроиться, чтобы получать сигналы от других органов чувств.
В то время как наши уши наиболее чувствительны к частотам от 2000 до 5000 Герц, диапазон вибротактили обычно составляет от 5 до 1000 Герц.
(Для справки, диапазон глубокого голоса для мужчин обычно составляет от 75 до 100 Герц.) Это означает, что многие из самых высоких тональных частот, которые обычно улавливает ухо, не могут быть уловлены, например, вибротактильным чувством - или не могут быть точно идентифицированы.
Но это также означает, что мы можем чувствовать определенные низкие частоты, даже когда мы их не слышим.
С помощью вибраций люди также могут определять различия в тембре, качество, которое формирует “цвет” звука, который мы слышим.
“Даже если вы возьмете два пианино, у них не совсем одинаковый тембр”, - сказал Руссо. “Они оба могли бы играть на средних до, но в рояле есть что-то более яркое по сравнению с вертикальным пианино”.
Просто прикоснувшись к вибрирующему устройству, как слышащие, так и глухие люди продемонстрировали способность определять различия между виолончелью, фортепиано и тромбоном, а такжекак между тусклыми и яркими звуками.
Прса и его сотрудники изучают, являются ли определенные комбинации частот более приятными для вибротактильной сенсорной системы, чем другие.
“Существует ли такая вещь, как вибротактильная октава?” .
“Есть ли что-то похожее на диссонирующие ноты?”
Он и его сотрудники начали исследовать эти вопросы с помощью простого мелодического эксперимента: проверка того, насколько легко глухие и слышащие участники могут идентифицировать базовые мелодии, такие как “С днем рождения”, по вибрациям, ощущаемым на ощупь. Перевод звука в вибрации, которые можно ощутить на ощупь, - несовершенная наука.
Поскольку диапазон частот, определяемых на ощупь, уже и ниже, чем диапазон, определяемый на слух, и поскольку различать соседние тона сложнее, некоторые ноты изменяются в процессе. Prsa хотелось посмотреть, как эти изменения — в частности, интервал между одной частотой и другой - влияют на способность испытуемых идентифицировать мелодию. Результаты этой работы еще не опубликованы.
Исследователи также пытаются понять, какая часть эмоций в музыке передается через вибротактильное восприятие.
“С помощью вибрации вы можете получить важные аспекты вокальных эмоций”, - сказал Руссо. “Вы можете почувствовать усталость в чьем-то голосе, твердость в чьем-то гневе”. Для Гленни низкочастотные вибрации несут в себе больше эмоций, в то время как высокочастотные вибрации лишены их. Байрон Ремаш-Винуэса из Университета Малаги описал эмоциональный диапазон тактильных вибраций в разных терминах: переключать музыку со звука на вибрацию - это как есть любимое блюдо, которое готовила твоя мама, только в пюре. Это просто не тот эмоциональный опыт.
Но он в восторге от идеи создания новой музыки с нуля исключительно в вибрациях — без звука — возможно, с помощью уникальных инструментов, предназначенных для создания только вибраций, или с помощью цифровой композиции.
Еще одним препятствием для перевода существующей музыки в вибрацию является разделение различных звуков. Многие современные технологии пока могут обрабатывать только ту музыку, которая уже разделена на отдельные звуковые дорожки для каждого инструмента или слоя нот, сказал Марк Флетчер из Института исследований звука и вибрации при Университете Саутгемптона. Но, по его словам, трудно “де-микшировать” звук хорошо.
Даже самые передовые алгоритмы, которые загружают музыку в вибрирующее оборудование, с трудом учитывают то, как более низкие и интенсивные вибрации маскируют другие, и то, как разные инструменты могут привлекать больше внимания в разные моменты песни. Без надежных способов разделения различных инструментов в пьесе и составления сбалансированных сигналов в форме вибраций, вибрациям, исходящим от этих систем, будет не хватать нюансов музыки, которая входит в них.
За годы исследований Хопкинс видел, как многие слабослышащие люди тестировали систему его команды, поглощая вибрации руками и ногами. Некоторые предпочитали способы, которыми они уже взаимодействовали со звуком. Гленни, например, ценит сложность вибраций, которые она может ощущать своим телом, когда они исходят непосредственно от различных инструментов, на которых играют, и от построенных условий концертных залов и репетиционных залов. Но она рада, что эти эксперименты продолжаются и что более широкая аудитория получит возможность опробовать технологии.
Некоторые инвалиды по слуху увлекаются ощущением музыки, передаваемой вибротактильными инструментами.
Одна испытуемая сказала Хопкинс, что она никогда не понимала разницы между белыми и черными клавишами на пианино. И когда команда принесла свою вибрационную систему в школу для глухих, учителя сообщили, что ученики гораздо больше занимаются уроками музыки.
“Детям это действительно понравилось”, - сказал Хопкинс. Один мальчик просто возвращался во время перерыва, стучал в дверь и спрашивал: “Могу я снова поиграть на оборудовании?”
