Sony создала плагин Flow Machines, сочиняющий музыку с помощью искусственного интеллекта

Исследовательская лаборатория SONY Computer Science Laboratories выпустила плагин Flow Machines. Инструмент генерирует мелодии, аккордовый аккомпанемент и басовые линии при помощи встроенного искусственного интеллекта и функций машинного обучения.

Лаборатория Sony CSL была основана японской компанией в 1996 году для проведения различных исследований в области музыки. Проект Flow Machines начался в 2012 году. Придуманный тогда работниками Sony CSL инструмент Flow Machines Professional (FM Pro) работал на основе самописного и самообучаемого искусственного интеллекта. По словам создателей, целью проекта было создание инструмента, который «генерирует мелодии и аккомпанемент на основании анализа большого количества музыки, и помогает композиторам создавать неограниченное количество различных мелодий на основании собственных идей».

Сам по себе инструмент представляет продвинутую самоиграйку — Flow Machines создаёт мелодии, линии баса и последовательности аккордов на основании заданных настроек проекта. По словам разработчиков, несмотря на автоматизацию процесса, Flow Machines задумывался как помощник, который объединит опыт и креативность музыкантов с обширными знаниями компьютера. В 2020 году разработанный в лаборатории инструмент был преобразован в плагин.

В основе интерфейса Flow Machines находится палитра стилей — специальный элемент, в котором пользователи выбирают стилистические основы того, что сгенерирует алгоритм. Здесь же располагается обширный блок дополнительных настроек: длительность мелодии, гармония, ритмика, соотношение с генерируемыми партиями аккомпанемента и баса.

Генерация контента происходит по нажатию кнопки Compose. Каждое нажатие генерирует новые мелодии и партии, поэтому нажимать её можно хоть до бесконечности — рано или поздно алгоритм сгенерирует что-то вдохновляющее. Сгенерированные такты и паттерны из разных попыток можно комбинировать между собой. Весь контент свободно экспортируется прямо на дорожку в DAW обычным перетаскиванием — на выходе получаем MIDI-регионы для последующего редактирования.

Создатели отмечают, что Flow Machines способен создать полноценный трек. Вместе с тем отмечается, что программа предназначена не для этого – её основная задача помочь музыканту, предложив идеи для музыкального содержания трека. Возможности своей разработки сотрудники Sony CSL транслируют в прямом эфире на YouTube-канале Tokyo LosT Tracks.

https://www.youtube.com/watch?v=YpLYaUo0dHE

Будет ли Sony CSL продавать Flow Machines пока что не сообщается — согласно описанию на официальном сайте, создатели позиционируют разработку скорее как своего рода некоммерческое научное исследование. До тех пор всем заинтересовавшимся придётся пользоваться другими подобными инструментами, распространяющимися на коммерческой основе. К примеру, идентичный Flow Machines продукт Captain Plugins несколько лет разрабатывает компания Mixed In Key — инструмент умеет генерировать аккордовый аккомпанемент, мелодии и басовые линии в любых тональностях.