Голосовой ИИ-ассистент Melosurf для Ableton Live умеет отвечать на вопросы о состоянии проекта, запускать треки и производить другие манипуляции в рабочей станции. Разработчик отмечает, что пока что ассистент представляет собой прототип.
Melosurf кажется безумной затеей, но именно такие штуки обычно будоражат воображение, активизируют сообщество и двигают всё вперёд. Ассистент разработан в среде Max for Live и представляет собой прототип для проверки жизнеспособности концепции голосового управления в Ableton Live.
Проект создан независимым разработчиком с ником Monolith_Echo. Кто именно скрывается за этим именем и какой у него музыкальный и компьютерный бэкграунд, неизвестно.
Создатель задаёт простой вопрос: почему бы не начать разговаривать со своей DAW? Для продюсеров, исполнителей и всех, кто постоянно разрывается между спонтанностью идей и сложностью проектов, голосовой ассистент для Ableton Live может стать реальным способом ускорить и не потерять идею по дороге к нужному параметру.
Melosurf представляет собой устройство в среде Max for Live, которое слушает пользователя, распознаёт речь и понимает команды. Для взаимодействия с проектом ассистент использует Live API, с помощью которого происходит управление сессией.
Как отмечает создатель, ассистент нужен не только для того, чтобы «поговорить с Ableton Live» — проект призван повысить эффективность работы. Голосовой помощник умеет отвечать на вопросы (например, «какой сейчас уровень на треке № 3?»), крутить параметры каналов, запускать сцены и вносить изменения в сами дорожки.
Объясняя задумку, Monolith_Echo рассказал, что голосовое управление «не ломает [состояние] потока» — голос быстрее указателя мышки, что пригодится в ситуациях, когда хочется заглушить бочку, включить клик или поддать ревера. К тому же такое управление освобождает руки: можно запускать сцены, менять уровни или открывать нужные окна, произнеся соответствующую команду.
Помимо общей эффективности, разработчик называет ассистента необходимым помощником для людей с ограниченными возможностями. Благодаря ему можно создавать музыку без мыши и клавиатуры, рассказывая ИИ, что именно сейчас нужно сделать. Ассистент не будет писать музыку за человека, а лишь покорно выполнит то, что ему скажут.
Принцип работы Melosurf прост:
- Программа представляет собой самописное устройство для Max for Live — мост между голосовым вводом, распознаванием речи и Live API.
- После запуска и получения соответствующих разрешений, помощник слушает человека, обрабатывает команды и поддерживает диалог.
- Ассистент выполняет как простые действия (изменения в микшере, транспортные функции, солирование и глушение каналов), так и сложные сценарии (подготовка треков, открытие и изменение конкретных параметров девайсов).
Monolith_Echo не раскрывает, использует ли устройство какие-либо популярные модели для обработки команд. Вместе с тем автор несколько раз отметил, что ассистент представляет собой прототип, далёкий от релиза. В текущем состоянии он умеет:
- Запускать сцены, перемещаться по проекту и его трекам, взаимодействовать с микшером, обращаться к параметрам устройств.
- Отвечать на вопросы о сессии, рассказывая о значениях параметров, активных функциях и общем состоянии проекта.
- Работать «в моменте», понимая, что именно сейчас происходит (обязательно посмотрите ролик ниже — там вся магия показана наглядно).
Среди ограничений называется необходимость чётко, внятно и конкретно формулировать команды. Так, например, шум и невнятная дикция могут сбить распознавание, особенно в условиях репетиционных баз или концерта.
Melosurf не «заменяет» контроллеры, а дополняет их: пользователь может использовать голос только тогда, когда такой формат взаимодействия удобнее, проще или точнее. Как будет развиваться проект и дорастёт ли до чего-то более масштабного, неизвестно, однако пока в планах автора стоит добавление новых сценариев работы и интеграций, а также улучшение распознавания речи.
Устройство для Max for Live пока недоступно для скачивания. Автор запустил сайт, на котором предлагает записаться в очередь — сейчас на нём можно оставить электронную почту, чтобы получить уведомление о доступности проекта.
Будет ли голосовой ассистент распространяться исключительно бесплатно или со временем разделиться на платную и бесплатную версии, неизвестно. Так или иначе, даже в таком до конца непонятном виде проект выглядит как редкий пример того, как сценарий из научной фантастики с управлением голосом становится практичной реальностью.