Команда учёных лаборатории Sony Computer Science Laboratories (CSL) создали искусственный интеллект для написания и исполнения басовых партий. Отмечается, что модель способна аккомпанировать в любом стиле музыки.
Над проектом работали инженеры Марко Пасини, Стефан Латтнер и Маартен Грахтен, создавшие диффузионную модель Latent Diffusion для генерации «реалистичного басового аккомпанемента в любом музыкальном жанре». По словам авторов, модель умеет создавать низкочастотный аккомпанемент в миксах с одним или множеством источников звука (текст исследования представлен здесь).
«[Лаборатория] Sony CSL стремится помогать музыкантам и продюсерам через разработку инструментов на основе ИИ», — рассказал Стефан Латтнер. — «Однако мы заметили, что распространённый подход к использованию ИИ в музыке через инструменты генерации законченных музыкальных произведений с нуля на основе текстовых запросов, не очень интересен исполнителям».
Латтнер отметил, что генерация всего произведения лишает людей творческого процесса, а музыканты начинают думать, что таким образом они перестают быть музыкантами, так как не участвуют написании музыки. Поэтому команда CSL создала инструмент, который не пишет композиции целиком, а лишь «помогает и подсказывает в определённых аспектах».
Исполнителям нужны инструменты, которые можно адаптировать к собственному уникальному стилю и использовать на любом этапе процесса написания музыки, считают инженеры Sony. Понимая это, авторы проекта создали генеративный музыкальный инструмент, «адаптирующийся и учитывающий любое промежуточное состояние композиции» в момент предложения новых идей.
Созданная модель заточена под работу с басовыми линиями, при этом речь идёт о написании партий под уже существующий материал. Система анализирует музыку и предлагает варианты басовых партий, подходящие под содержание того, что она «услышала», отметил Латтнер.
Отмечается, что длительность басовой партии не ограничена по времени — модель генерирует линии любой длительности. Пользователи могут управлять тембром звучания, корректировать направлении партии (например, «попросив» модель играть в более низком регистре), а также обучать модель на референсах. Последнее позволяет системе генерировать партии в стиле других музыкантов или композиций.
По словам инженеров, во время внутренних тестов виртуальный басист справился с созданием партий в самых разнообразных миксах. Так, например, модель одинаково успешно показала себя как в композициях с одним или двумя (гитара и/или вокал), так и с большим количеством инструментов. При этом, при наличии партии ударных, модель старалась поддерживать ритмический рисунок, задаваемый барабанами.
Исследователи заявили, что внутренние тесты показали верность выбранного направления развития искусственного интеллекта. В ближайшее время инженеры собираются перенести накопившийся опыт в новые модели, предназначенные для генерации партий других инструментов — ударных, клавишных, струнных и гитар.
В будущем учёные рассматривают возможность объединения с известными музыкантами и композиторами для развития способностей созданных моделей. Совместная работа позволит инженерам сделать более гибкие и креативные модели, которые станут эффективными помощниками в творческом процессе, отметили исследователи.
- Стоит отметить, что исследователи Sony экспериментировали с генеративными моделями ещё до того, как начался ИИ-бум. Так, например, в 2019 году инженеры компании рассказали о модели DrumNet, создающей партии ударных и способной «значительно упростить программирование барабанов за счёт машинного обучения».
- Позднее представители японской компании также показали систему плагинов Flow Machines, генерирующую мелодии, аккордовый и басовый аккомпанемент.