Deezer Spleeter — бесплатный инструмент с открытым исходным кодом для разделения аудио на стэмы

Стриминговая музыкальная площадка Deezer выпустила программное обеспечение Deezer Spleeter. Специальный алгоритм ПО на основе машинного обучения разделяет аудиофайлы на отдельные составляющие и позволяет превратить их в стэмы для дальнейшей работы. Самое приятное, что использовать все возможности Spleeter можно совершенно бесплатно.

По словам разработчиков, в основе Spleeter лежит специальный алгоритм разделения аудиосигнала на составляющие. Скормив алгоритму любой готовый трек, пользователь на выходе получит разделённый на стэмы файл с возможностью выгрузки каждого отдельного стэма. Подобный функционал присутствует в iZotope RX7 и Audionamix Xtrax Stems.

Deezer приводит иллюстрацию, показывающую принцип работы Spleeter. Технических подробностей разработчики не раскрывают, но утверждают, что алгоритм в связке с производительной видеокартой обрабатывает аудиосигнал в 100 раз быстрее любого другого оборудования, производящего те же операции в режиме реального времени. Вместе с тем разработчики отмечают, что хотя Spleeter работает так, как задумано, использовать алгоритм в профессиональной деятельности пока что преждевременно — алгоритм будет дорабатываться, а пока что он создан исключительно в исследовательских целях.

Использование кода приложения абсолютно бесплатно, все исходники доступны в открытом доступе на GitHub. Отмечается, что Spleeter не имеет графического интерфейса — обработка поставляется в виде основанной на TensorFlow библиотеки для Python, а разделение аудио происходит через консоль. Такое решение позволяет сторонним разработчикам использовать исходный код Spleeter в собственных инструментах и программах. К примеру, наработки Deezer уже используются в онлайн-инструменте Moises, разделяющим аудиофайлы на стэмы.

Независимый разработчик Энди Байо ознакомился с принципом работы алгоритма на основе машинного обучения и проверил его возможности. В заметке в своём блоге Байо прогнал через Spleeter несколько десятков различных треков, включая известные записи, чтобы разделить их на отдельные составляющие. В частности, Байо отделил вокал от музыки в треках Led Zeppelin, Билли Айлиш, Van Halen, Марвина Гэя и других исполнителей, и отметил очень малое количество ошибок. При всей простоте использования Энди отметил, что для использования кода потребуются определённые технические навыки, среди которых знание TensorFlow и Python.

Единственное ограничение создатели накладывают на разделение коммерческих записей: несмотря на то, что алгоритм без каких-либо проблем разделит любой аудиофайл на стэмы, Deezer просит пользователей не нарушать авторские права исполнителей и прочих правообладателей. Получить больше подробностей о том, как и зачем был разработан алгоритм, можно в официальном блоге Deezer.