Сонификация электромиографических и электроэнцефалографических данных

1. Введение и определения

Сонификация (sonification) — преобразование данных в звук с целью передачи информации альтернативно или дополнительно к визуализации (Kramer, 1994; Hermann, 2008). Для биосигналов это означает: электрическая активность мышц (ЭМГ) или мозга (ЭЭГ) становится слышимой структурой — ритмом, тембром, громкостью, пространственным положением.

Близкий, но не тождественный термин — аудификация (audification): изоморфное отображение отсчётов сигнала в амплитуду аудиосэмплов (часто с масштабированием по времени). В клинической и исследовательской литературе оба подхода встречаются при мониторинге ЭЭГ; для ЭМГ чаще используют параметрическое отображение (parameter-mapping sonification, PMSon), когда извлечённые признаки управляют высотой, громкостью, атакой и панорамой звука.

2. Историческая справка: сонификация ЭМГ

Преобразование электромиографического сигнала в звук — не изобретение одного года: оно выросло из клинической электромиографии, биообратной связи 1960–1970‑х и позднее — из инженерной дисциплины sonification. Ниже — кто, когда и с какой целью закладывал подход, как он эволюционировал и какие задачи остаются открытыми (по обзорам PubMed, ICAD, Sonification Handbook и смежной литературе).

2.1. Зачем переводить ЭМГ в звук

Изначальная мотивация была терапевтической, а не эстетической. Поверхностная ЭМГ отражает уровень сокращения мышцы; если этот уровень сразу слышен, человек может сознательно усиливать или ослаблять усилие — это ядро биообратной связи (biofeedback). Позже добавились другие причины:

• Разгрузка зрения — при записи с нескольких мышц терапевт или спортсмен не может одновременно следить за осциллограммами и за движением; слух освобождает визуальный канал (Dyson et al., 2016; обзор PMID 40011952).
• Временная микроструктура — последовательность включения мышц, длительность фаз, симметрия лево/право легче воспринимаются на слух, чем при беглом просмотре графиков (Hunt & Pauletto, ICAD 2006).
• Моторное обучение — непрерывный аудиосигнал даёт обратную связь в реальном времени при реабилитации, балансе, походке и спорте (Frontiers in Psychology, 2019; PMC11866693).
• Интерактивные и арт-системы — от MIDI-управления (BioMuse) до современных нейроинтерфейсов и VR, где звук несёт «ощущение» мышечной активности.

2.2. Хронология: от тона по ЭМГ к параметрической сонификации

1. 1940–1960‑е — звук в диагностической ЭМГ. Джордж Басмаджян (Basmajian) и коллеги уже в ранней электромиографии использовали звук потенциалов моторных единиц для оценки силы сокращения и привлекали пациента к совместному прослушиванию. Это предшественник обратной связи, хотя термин «сонификация» тогда ещё не применялся.
2. 1952 / 1970‑е — аналоговый тон от поверхностной ЭМГ. Джордж Уотмор (Whatmore) добавил к релаксационным протоколам аналоговый тон, пропорциональный SEMG-сигналу; параллельно развивалась клиническая SEMG-биообратная связь (Elmer Green, 1969; Budzynski & Stoyva, 1970).
3. 1969 — классический прототип «pitch ↔ активность». Budzynski и Stoyva описали прибор глубокой мышечной релаксации: интегрированный ЭМГ управляет генератором с частотой, пропорциональной активности (JABA, 1969). Пациент слышит тон постоянной громкости; снижая напряжение, снижает высоту — прямое отображение «сила → pitch».
4. 1970–1980‑е — расцвет EMG biofeedback. Аудио- и визуальная обратная связь по ЭМГ применяются при головных болях напряжения, инсульте, спастичности, ортопедической реабилитации. Звук — один из каналов наряду с лампами и метрами; дизайн звука пока минималистичен (чаще один тон или «щелчки»).
5. 1988 — BioMuse и «биоконтроль». Knapp & Lusted (BioMuse) переводят EMG, EEG и др. биосигналы в MIDI-сообщения в реальном времени — сдвиг от пассивного мониторинга к воспроизводимому управлению (Tanaka, 2009; eContact 14.2). Для арт-практики и HCI это мост к музыкальным интерфейсам; для клиники — к многоканальным интерактивным системам.
6. 1994 — термин sonification. Greg Kramer формализует понятие сонификации как намеренного преобразования данных в звук для познания структуры — отличие от простого «пищания» датчика становится предметом инженерного проектирования.
7. 2003–2006 — Hunt & Pauletto, Йорк / Teesside. Проект EPSRC «Improved Data Mining through an Interactive Sonic Approach»: совместно с физиотерапевтами создано интерактивное звуковое представление многоканальной ЭМГ. Доклад The Sonification of EMG Data (ICAD, London, 2006) — одна из первых работ, где целенаправленно проектируют аудиодисплей для клинического разбора паттернов активации, а не только для релаксации одной мышцы (Hunt, York; Sonification Handbook, гл. 20).
8. 2005–2012 — прототипы для баланса, походки, постурального контроля. Группы Chiari, Dozza, Vogt (Physiosonic), Matsubara и др. сонифицируют не только сырую ЭМГ, но и кинематику, ЦДП, углы суставов — звук становится частью мультимодальной реабилитации.
9. 2011 — Sonification Handbook. Hermann, Hunt, Neuhoff (ред.) систематизируют поле; гл. 21 (Hunt) сравнивает аудификацию сырой ЭМГ и параметрическое отображение (PMSon) на примерах вставания/садения — методологический поворот к осмысленному дизайну маппинга.
10. 2016 — количественная оценка дизайна PMSon. Dyson et al. вводят систематическое сравнение комбинаций pitch / loudness / attack / pan для задач «порядок включения мышц» и «уровень усилия» (Applied Ergonomics). Shibata et al. — гибрид детектора события и PMSon для лицевой ЭМГ («звук улыбки»).
11. 2020‑е — обзоры и клиническая интеграция. Scoping review по сонификации в физиотерапии движения (PMID 40011952, PMC11866693); растёт число пилотов в нейрореабилитации, спорте, VR и обучении моторным навыкам, но стандартизированных клинических протоколов пока мало.

2.3. Кто и как: от аналогового тона к PMSon

Важное различие: биообратная связь по ЭМГ (широкое клиническое поле с 1970‑х) и EMG-сонификация в узком инженерном смысле (осознанный дизайн маппинга, оценка различимости, задачно-специфичные схемы). Современная литература объединяет оба потока, но методологически опирается на второй.

2.4. Как развивалась область

Можно выделить четыре волны:

1. Клинический тон (1960–1980‑е) — релаксация, реабилитация, головные боли; один канал, один параметр звука.
2. Мультимодальные интерфейсы (1988–2005) — MIDI, движение + ЭМГ, первые лабораторные аудиодисплеи для терапевтов.
3. Системный дизайн (2006–2016) — ICAD-доклады, Handbook, психофизические тесты слушателей, сравнение маппингов.
4. Прикладные экосистемы (2016–н.в.) — спорт, лицевая ЭМГ, баланс/походка, VR, обучение жестам и цифрам; интеграция с носимой электроникой и ИИ-нормализацией.

Параллельно шла линия аудификации (прямое проигрывание отфильтрованного ЭМГ) в арт-науке и HCI (Tanaka; ACM «Sonic Entanglements»): она сохраняет «сырую» текстуру сигнала, но для различения паттернов движения клинические обзоры чаще рекомендуют огибающую + PMSon (гл. 21 Handbook; Dyson et al., 2016).

2.5. Вызовы и открытые задачи на сегодня

Итог исторической линии: сонификация ЭМГ началась как простой тон по силе сокращения для релаксации и реабилитации, прошла через MIDI-интерфейсы и интерактивные аудиодисплеи для терапевтов и сегодня требует инженерно строгого PMSon-дизайна, клинической валидации и интеграции в реальные протоколы нейрореабилитации и моторного обучения — в том числе в проектах вроде исследования цифр по ЭМГ на oleviia.ru.

Источники раздела

• Budzynski T, Stoyva J. An instrument for producing deep muscle relaxation by means of analog information feedback. J Appl Behav Anal, 1969 — PMID 16795269.
• Knapp RB, Lusted HS. BioMuse: biocontrol in the age of MIDI. Computer Music Journal, 1990.
• Pauletto S, Hunt A. The sonification of EMG data. ICAD, London, 2006.
• Hunt A, Pauletto S. Interactive sonification of EMG data. Proc. ISon, 2009 (Physiosonic).
• Hermann T, Hunt A, Neuhoff J (eds.). The Sonification Handbook, 2011 — гл. 20–21.
• Dyson M et al. Towards a systematic approach to real-time sonification design for surface EMG. Applied Ergonomics, 2016.
• Schaffert N et al. A review on sound and movement in sports and rehabilitation. Front Psychol, 2019.
• Scoping review: sonification for physiotherapy in human movement tasks — PMID 40011952 (PMC11866693).
• Tanaka A. Sonic entanglements (биосигналы, BioMuse, арт-практика). ACM, 2009.

3. Таксономия методов сонификации

По классификации Hermann (2008), для биосигналов практичны три семейства:

4. Общий конвейер обработки данных

Типичная цепочка перед синтезом звука:

1. Съём — многоканальная запись (10²–10³ Гц для ЭМГ, 250–512 Гц и выше для ЭЭГ).
2. Предобработка — удаление артефактов (миография глаз, движения, сеть 50/60 Гц), референцирование, полосовая фильтрация.
3. Извлечение признаков — RMS, огибающая, спектральная мощность по полосам, энтропия, детекторы ритмов/событий.
4. Нормализация и сглаживание — z-score, min–max, экспоненциальное или медианное сглаживание для стабильного слухового образа.
5. Отображение в звук — аудификация, MIDI/синтез, семплы, пространственная панорама.
6. Постобработка аудио — лимитер, компрессия, частотная коррекция для комфортного мониторинга.

5. Математические и инженерные методы преобразования в звук

5.1. Временная область

• Скользящее RMS: \( \mathrm{RMS}(t) = \sqrt{\frac{1}{W}\sum_{i\in window} x_i^2} \) — базовый признак активации мышцы для PMSon (громкость/высота).
• Огибающая и детекторы порога: сравнение \( \mathrm{RMS}(t) \) с \(\theta\) для событий «вкл/выкл» мышцы или улыбки (facial EMG).
• Децимация / ресэмплинг: \(f_s^{audio}\) часто 8–44,1 кГц; для ЭЭГ исходные 0,5–40 Гц сжимают по времени (time-scale expansion) при аудификации, чтобы попасть в слышимый диапазон.

5.2. Частотная область

• БПФ / ДПФ: \(X[k] = \sum_n x[n] e^{-j2\pi kn/N}\); мощность в полосах δ (1–4 Гц), θ (4–8), α (8–13), β (13–30), γ (30–45) — основа параметрической сонификации при болезни Альцгеймера и сне.
• Спектральная энтропия: \(H = -\sum p_b \log p_b\) по нормированным полосам — индикатор «упорядоченности» ритма, маппится на тембр или модуляцию шума.
• Полосовые фильтры (Butterworth, Chebyshev): выделяют целевой ритм перед событийным триггером звука.

5.3. Отображение признаков в акустические параметры

Общая схема PMSon:

\( p_{sound} = g(\mathbf{f}(t)), \quad \mathbf{f}(t) = [\mathrm{RMS}, P_\alpha, P_\beta, \ldots] \)

где \(g\) — калиброванная функция (линейная, логарифмическая, сигмоида). Примеры из литературы:

• амплитуда ЭМГ → высота тона (musical scale) и громкость;
• порядок активации мышц → панорама L/R и время атаки;
• относительная мощность полос ЭЭГ → независимые осцилляторы (Tone.js, WebAudio) или тембральные слои;
• класс «приступ / не приступ» → разные тембровые пресеты после обучения слушателей (Loui et al., 2014).

5.4. Событийная и модельная сонификация ЭЭГ

Baier & Hermann (2007) подавляют нерегулярный фон и генерируют стереотипные «слуховые объекты» при спайк-волновой активности: детекция ритма → синтез короткого тона с частотой в диапазоне 0,5–20 Гц, где ухо наиболее чувствительно к периодичности. Расширения включают кросс-корреляции между каналами (фазовые отношения как пространственные аудио-подсказки).

5.5. Обучение и обратная связь

Идентификация приступов по сонифицированной ЭЭГ улучшается после короткой тренировки (рост чувствительности, снижение смещения ответа по теории обнаружения сигналов; Loui et al., 2014). Для сна новички точнее стадируют эпохи при совместном аудио+визуальном отображении (PMC12425293).

6. ЭМГ: обработка и звук

Исторический контекст — в § 2.

Поверхностная ЭМГ — стохастический импульсный процесс 20–450 Гц; при аудификации слышна как шумоподобная текстура (Tanaka; ACM «Sonic Entanglements»). Практичнее извлекать огибающую активации и маппировать на pitch/loudness/pan (Dyson et al., 2016; Sonification Handbook, гл. 21).

• нормализация по MVC или по задаче наклона для баланса/ходьбы (обзор PMC11866693);
• сигмоидное отображение pitch/loudness для устойчивости при слабой активации;
• стерео: левая/правая мышца — разнесение в поле для задачи порядка включения;
• гибрид: детектор события (улыбка) + непрерывная PMSon внутри интервала (The sound of smile, 2016).

7. ЭЭГ: обработка и звук

ЭЭГ — микровольтовые колебания 0,5–40+ Гц; прямая аудификация даёт низкочастотный гул. Рабочие стратегии: полосовое выделение ритмов, усиление/перенос в слышимый диапазон, сонификация спектральных коэффициентов, обучение слушателей распознавать паттерны.

• Эпилепсия: downsample эпох, спектрограммы сонифицированных фрагментов, тренировка «seizure vs non-seizure» (PMID 25352802).
• Сон: 30-с эпохи, 3 канала ЭЭГ → тональное представление (упрощённая PMSon для обучения новичков) (PMID 40934291, PMC12425293).
• Нейродегенерация: скользящее окно, относительная мощность полос + энтропия по 10 топо-зонам, веб-сонификация (J Clin Med 2025).
• Мониторинг в реальном времени: event-based подавление фона (Baier & Hermann, 2007).

8. Сферы применения (кратко)

11. Методология

Заключение по обзору публикаций из PubMed (Dyson et al., 2016; обзор PMC11866693; Sonification Handbook, гл. 21): для поверхностной ЭМГ доминирует не снижение размерности (PCA) и не классификаторы внутри аудио-конвейера, а параметрическое отображение (PMSon) простых признаков активации в акустические параметры. Различимость на слух обеспечивают выбор признаков, нормализация и многоосевой маппинг.

11.1. Что используется чаще всего

11.2. Базовые формулы

Центральный признак для ЭМГ-сонификации — скользящее среднеквадратичное значение в окне длины \(W\):

\(\displaystyle \mathrm{RMS}(t) = \sqrt{\frac{1}{W}\sum_{i \in \mathrm{окно}} x_i^2}\)

Общая схема параметрического отображения:

\(p_{\mathrm{sound}} = g(\mathbf{f}(t)), \quad \mathbf{f}(t) = [\mathrm{RMS},\, \mathrm{MAV},\, \ldots]\)

где \(g\) — калиброванная функция (линейная, логарифмическая или сигмоида). Типичный маппинг: RMS → громкость и высота тона (часто по музыкальной шкале), канал → панорама.

11.3. PCA, классификаторы и частотные методы

PCA, ICA, CSP широко применяются в BCI и классификации жестов, но в ветке sonification почти не встречаются: слуховая различимость строится на интерпретируемых осях («сильнее сокращение», «раньше включилась левая мышца»), а не на абстрактных главных компонентах. При многоканальной записи чаще каждый канал отображают в отдельный аудиопараметр (стерео, тембр, задержка атаки).

Классификаторы (SVM, k-NN, случайный лес, нейросети) редко входят в сам звуковой конвейер. Возможны два режима: (1) классификатор выбирает метку → звуковой пресет (auditory icon); (2) непрерывная PMSon без ML, а различимость оценивается слухом и психофизикой. Для ЭМГ-реабилитации и моторного обучения предпочтителен второй путь.

БПФ и спектральные полосы для ЭМГ вторичны (иногда — средняя или медианная частота спектра); для различения жестов и цифр кодируется прежде всего временная структура активации. Прямая аудификация сырого ЭМГ даёт шумоподобную текстуру и реже превосходит схему «огибающая + PMSon».

11.4. Сводная таблица применимости методов

11.5. Рекомендуемый конвейер для различимых EMG-аудио

1. Многоканальная запись ЭМГ → полосовой фильтр 20–450 Гц.
2. Выпрямление → RMS / огибающая в окне 50–200 мс.
3. Нормализация (MVC или внутрисессионный min–max / z-score) → сглаживание (EMA).
4. PMSon: RMS → loudness + pitch (музыкальная шкала); каналы L/R → pan; порядок пиков → attack / ритм.
5. Лимитер и компрессия на выходе; короткая обучающая фаза для слушателя.

Итог: для информативных и различимых на слух аудио из ЭМГ литература предпочитает временную обработку (RMS / огибающая), нормализацию и многоосевое PMSon, а не PCA или классификаторы внутри звукового конвейера. Гибрид «классификатор + PMSon» уместен, когда класс задаёт пресет, а непрерывная динамика передаётся огибающей.

12. Выводы для практики (в т.ч. исследование цифр по ЭМГ)

Литература сходится в том, что успех сонификации определяется задачей: для различения цифр по мышечным паттернам нужны стабильные признаки (RMS по окну, спектральные полосы, порядок активации), нормализация внутри сессии и осмысленное PMSon (часто pitch + громкость + разнесение по стерео). Прямая аудификация сырого ЭМГ редко даёт лучший результат, чем огибающая + музыкальная шкала.

Для ЭЭГ критичны полосовые фильтры, подавление артефактов и либо событийный дизайн (эпилепсия), либо многополосный синтез (сон, когнитивные состояния). Короткая тренировка слушателей статистически улучшает детекцию целевых состояний — это прямо поддерживает формат эксперимента на oleviia.ru.