Sonifier v2 · черновик
Новый алгоритм сонификации
Выберите рукописную цифру 0–9, сессию (испытуемого), алгоритм и нажмите Play. В выбранной сессии случайно подбирается трайл с этой цифрой. Метка цифры в звук не подставляется — только паттерн ЭМГ (исключение: Lebedev-Voice озвучивает цифру по ground truth).
Прослушивание
Сонификаторы
Допустимы только целые числа от 0 до 9.
Готово к воспроизведению.
Окружение
- Данные:
processed_data/*.csv(огибающие ЭМГ по трайлам письма цифр). - 4-comp — моно, 4 синуса по PCA (как в
4_comp_sonification.ipynb). - PMsonAI — стерео, один тон с glide по огибающей, pan L/R, клики на пиках.
- NeuroInterspace — 8 каналов → ноты до-мажорного трезвучия; последовательность интервалов двух наиболее активных групп.
- Synergy5 (Ivanenko) — ресемпл 200 точек, PCA+varimax → 5 синергий, пентатоника (вариант A).
- Lebedev-Wiener — Wiener EMG→x̂,ŷ → pitch/pan/loudness; Oracle — ground-truth x,y (верхняя граница).
- Lebedev-Template — шаблон цифры 35×100 мс + residual / корреляции с прототипами.
- Lebedev-Voice (RU) — синтез речи: русское название цифры по метке трайла (верхняя граница распознавания).
- Описание всех алгоритмов с блок-схемами: Сонификаторы · скачать .md.
- PMsonAI pan: кисть (ch0–3) vs предплечье (ch4–7) по Lebedev Table 1.
- Прототипы:
npm run train-wiener,npm run build-templates,npm run synergy-prototypes. - Экспорт для слухового теста:
npm run listening-eval→listening_eval/. - Ноутбук для разработки алгоритма:
new_comp_sonification.ipynb.
Проверка API…