video/hero.mp4
точность распознавания рукописных цифр по ЭМГ (Lebedev et al., 2009)
каналов мышц → один осмысленный звук (PMSon, Hunt & Dyson)
мониторинг ЭЭГ на слух в ICU без постоянного взгляда на экран
достаточно, чтобы услышать жест «сжать / разжать» бионического протеза
Хронометраж ~2:45 · формат 16:9 · тон: научпоп + практическая польза
Представьте: вы слышите, как сжимается ваша кисть — не через зрение, а через уши. Или различаете на слух, какую цифру человек только что написал, глядя на монитор с закрытыми глазами. Это не фантастика. Это сонификация — перевод биоэлектрических сигналов мышц и мозга в звук.
На экране: волна ЭМГ → превращается в звуковую волну. Крупный текст: «Слышать тело».
ЭМГ живёт в основном ниже 500 Гц — у human ear это почти невидимый мир. Если просто «ускорить и включить» сигнал, получится глухой шум, из которого невозможно понять, сильнее ли усилие, симметричны ли мышцы, начался ли спазм. Вот как звучит прямая аудификация мышцы при вставании:
🔊 Аудификация сырой ЭМГ (Handbook S21.1)
Низкий шум — энергия сигнала вне слышимого диапазона. Сравните со следующим примером.
На экране: спектрограмма «до» — пик ниже 500 Гц, красная зона «неслышимо».
Учёные не стали копировать частоту мышцы — они сопоставили смысл с параметрами звука: огибающая → высота тона, симметрия → панорама L/R, пики → ритмические акценты. Метод PMSon (parameter-mapping sonification) превращает 8 каналов ЭМГ в один понятный тон. Тот же жест, но уже слышно нарастание и спад усилия:
🔊 PMSon: амплитуда → pitch (Handbook S21.3)
Слушатель без подготовки различает фазы усилия — основа для реабилитации и обучения движению.
На экране: split-screen S21.1 vs S21.3 · подпись «Один жест — два мира звука».
Для бионических кистей критично различать разжатие и сжатие на слух — особенно когда зрение занято или отсутствует. На oleviia.ru мы сонифицируем реальные записи SonyOpenFist: каждый жест — уникальный звуковой профиль. Прослушайте пару:
✋ Разжатие / open hand
✊ Сжатие / fist clenching
В онлайн-эксперименте «Нейропротез» испытуемые учатся различать эти звуки вслепую — первый шаг к тактильно-слуховому интерфейсу.
На экране: анимация протеза + waveform · QR на oleviia.ru/neuroprosthesis/
Linderman, Lebedev и Erlichman показали: по 8 каналам ЭМG при письме цифр 0–9 можно восстановить траекторию пера и распознать цифру с точностью до 90%. Если перевести этот паттерн в звук — эксперт или алгоритм «слышит» форму жеста. Пример сонификации написания цифры «3» в проекте Олевия:
🔢 Сонификация цифры «3» (ЭМG, 8 каналов)
На сайте доступны 7 алгоритмов сравнения — от PCA до Wiener-фильтра EMG→координаты.
На экране: рука пишет «3» + спектр + «90% accuracy» (Lebedev 2009).
ЭЭG — ещё медленнее: доминируют ритмы δ, θ, α, β. Прямая аудификация даёт низкий гул, но уже позволяет отслеживать сон и бодрствование. А событийная сонификация превращает патологические всплески в узнаваемые звуковые маркеры — врач слышит приступ, не отрываясь от других задач.
🧠 Аудификация α-ЭЭG (Handbook S12.4)
⚡ Стерео ЭМГ: баланс лево/право (Handbook S21.2)
Baier & Hermann (Uni Bielefeld): эпилептиформная активность озвучивается сменой вокального паттерна — см. литобзор.
На экране: ICU монитор → звук вместо графика · иконки: эпилепсия, сон, BCI.
Сегодня сонификация ЭМГ и ЭЭG — не лабораторная игрушка. Реабилитация после инсульта — пациент слышит симметрию шага. Нейропротезы — тактильно-слуховая обратная связь без перегрузки зрения. BCI и VR — ритм мышц и мозга как игровой/управляющий канал. Доступная диагностика — альтернатива сложным графикам для неэкспертов. И наука и искусство — sonification как способ «почувствовать данные».
На экране: быстрый montage: протез · реабилитация · VR · EEG cap · концерт sonification.
Хотите услышать своё тело — или проверить, различимы ли жесты на слух? Переходите на oleviia.ru: онлайн-эксперименты, алгоритмы сонификации и полный литобзор с научными ссылками. Звуки науки — это не метафора. Это интерфейс следующего поколения.
На экране: логотип oleviia.ru · «Слушай. Угадывай. Исследуй.»
Слуховая обратная связь по симметрии ЭМG при ходьбе, балансе, восстановлении после инсульта.
Различение сжатия/разжатия, силы захвата — без постоянного визуального контроля.
ICU, эпилепсия, сон: событийные звуковые маркеры вместо непрерывного взгляда на экран.
Дополнительный канал обратной связи для интерфейсов «мозг–компьютер» и immersive-сред.
Запись и передача «идеального» моторного паттерна на слух ученику или тренеру.
Альтернатива визуализации для людей с нарушениями зрения и для обучения не-инженеров.
Попробуйте сами — эксперименты и алгоритмы на oleviia.ru