Исследовательский центр «Октава Дизайн и Маркетинг» представил уникальную технологию создания музыкальных произведений в реальном времени — цифровую систему «Танцгенератор». Презентация проекта состоялась 17 мая 2023 года в историческом особняке «Дом Номер Один» на Якиманке в Москве.
В основе разработки — фиджитал-телхнологии, объединяющие цифровое и реальное пространство. Программно-аппаратный комплекс «Танцгенератор» создаёт музыку, используя алгоритмы обработки голоса в реальном времени и алгоритмы компьютерного зрения, определяющего танцевальные движения людей в зале. В ходе презентации вокальные партии исполнила меццо-сопрано Большого театра Элеонора Водянова.
Создатели отмечают, что проект направлен на развитие отечественных фиджитал-технологий. Это особенно важно в свете грядущих «Игр Будущего» — масштабного спортивного события, построенного на концепции фиджитал и поддержанного Президентом Российской Федерации Владимиром Путиным.
Проект объединяет направленную на танцпол 2D-камеру, изображение с которой анализируется алгоритмами компьютерного зрения с целью определения движений. Параллельно этому происходит фиксация звуковой картины в помещении, для чего «Танцгенератор» использует радиосистемы Октава OWS-U1200H.
Данные анализа передаются нейросети, соединяющей фоновые шумы, разговоры в зале (без распознавания речи) и прочие звуки с движениями танцора на площадке и голосом исполнителя. Вокал выступает в качестве мелодической основы генерируемого искусственным интеллектом в режиме реального времени музыкального произведения.
«Появление искусственного интеллекта дало толчок развитию во многих отраслях науки и технологий. Мы решили совместить искусство и технологии, став идеологом создания первого программного продукта, который сможет генерировать музыку на основе собираемых „на ходу“ данных», — сказала генеральный директор компании «Октава Дизайн и Маркетинг» Любовь Стальнова.
Чтобы создать уникальную технологию написания музыки, «Октава Дизайн и Маркетинг» объединила несколько команд разработчиков. В реализации интерактивного проекта применены алгоритмы компьютерного зрения, обработки голоса в реальном времени, алгоритмы генерации музыки и обработки видео, оригинальные синтезаторы и скрипты. Также была использована новая цифровая вокальная радиосистема Октава OWS-U1200H, отлично зарекомендовавшая себя на рынке аудиооборудования.
«Технология является воплощением философии живых пространств, главная идея которой заключается в принципиальной интерактивности любой современной техно-среды и возможности управлять параметрами данной среды с помощью голоса и физических действий», — рассказал один из разработчиков программы Андрей Лазоряк.
Техническим партнером проекта выступила компания «ОНТЕГРА», обеспечившая мероприятие современной техникой и ИТ-оборудованием. Также организация оказала содействие в создании специального программного обеспечения.
«Помимо реализации интеграционных проектов, мы стараемся делать что-то творческое. Например, организуем фестиваль электронной музыки. В коллаборации с ведущим производителем электроакустики — „Октавой“ — развиваем фиджитал-технологии, представленные проектом „Танцгенератор“. Такие инициативы на стыке культуры, искусства и технологий сейчас востребованы в России», — сказал генеральный директор компании «ОНТЕГРА» Сергей Романов.