Представлен открытый проект StemDeck для разделения аудио на отдельные дорожки (вокал, ударные, бас, гитара, фортепиано)

На GitHub вышел открытый проект под названием StemDeck. Это решение для разделения аудиофайлов (данных из MP3, WAV или URL-адреса YouTube для удобства обработки контента, на который у пользователя есть права) на отдельные дорожки (вокал, ударные, бас, гитара, фортепиано и другие), а также воспроизведения дорожек в многодорожечном микшере в стиле DAW (цифровая звуковая рабочая станция). Исходный код проекта опубликован под лицензией Apache License 2.0.

«Отключите звук, включите соло, сведите, увеличьте масштаб волновой формы, зациклите фрагмент и загрузите отдельные дорожки или собственный микс. StemDeck не хранит, не кэширует и не распространяет загруженный контент. Вся обработка происходит локально на вашем компьютере, и ничего с него не покидает. StemDeck — это бесплатная, открытая альтернатива облачным разделителям дорожек, таким как Moises и LALAL.AI. Никакой учётной записи, никаких квот, никакой загрузки, никакой подписки. Если вам нужны отдельные дорожки для личного изучения и вы предпочитаете использовать локальные и бесплатные ресурсы, StemDeck будет достаточно. Если же вам требуется более качественная обработка, мобильное приложение или дополнительные инструменты для музыкантов, лучше подойдут коммерческие продукты», — пояснил разработчик проекта.

Компоненты StemDeck:

• построен на Python 3.10+;

• управляется через uv;

• с бэкендом FastAPI, предоставляющим REST и Server-Sent Events;

• разделение стемов использует Demucs (htdemucs_6s), открытую нейронную сеть Meta* (признана экстремистской организацией, её деятельность в России запрещена) AI с 6 стемами;

• аудио с YouTube загружается через yt-dlp;

• транскодирование и микширование используют FFmpeg;

• определение BPM и анализ тональности выполняются с помощью librosa;

• измерение громкости использует pyloudnorm (ITU-R BS.1770);

• оболочки рабочего стола macOS и Windows — Tauri v2 (Rust/WKWebView на macOS, Rust/WebView2 на Windows);

• фронтенд написан на чистом JavaScript с использованием Web Audio API, без фреймворков и этапов сборки;

• волновые формы отображаются на <canvas> с использованием рендеринга min/max sample.

Доступны сборки StemDeck для Windows и macOS.