Нейросеть Holly+ «спела» песню Долли Партон «Jolene». Отмечается, что нейросеть обучалась на основе голоса композитора и певицы Холли Херндон, в результате чего программа стала «цифровым двойником» девушки.
Нейросеть Holly+ разработана Херндон совместно с компанией Never Before Heard Sounds. Авторы называют нейросеть «цифровым двойником» Херндон, способным генерировать «необработанный звук, убедительно имитирующий человеческий голос».
Holly+ использует голосовую модель, созданную на основе речи и пения Херндон. Нейросеть обучалась на записях с разговорами и пением девушки, благодаря чему научилась синтезировать голос и «певческие фразы». Создатели проекта отмечают, что Holly+ способна произносить и «передавать манеру речи и пения».
Генерация голоса происходит на основе введённых пользователем фраз. Текст передаётся в нейросеть, после чего она произносит или пропевает фразу так, как это сделала бы настоящая владелица голоса.
Певица показала возможности Holly+ во время выступления на платформе TED, где нейросеть в реальном времени произносила предложенные фразы. В ходе выступления Херндон также рассказала о возможностях применения технологии и рассмотрела этические и юридические вопросы, связанные с нейросетью. По мнению девушки, в ближайшем будущем любой музыкант или продюсер сможет петь голосом своего любимого вокалиста.
Херндон продемонстрировал Holly+ вживую в недавнем выступлении на TED, которое вы можете посмотреть ниже. В видео она описывает радикальные возможности, открываемые технологией, и исследует этические и юридические вопросы, которые они представляют, предполагая, что вскоре любой продюсер или музыкант сможет петь голосом своего любимого вокалиста.
На мероприятии также присутствовал знакомый вокалист девушки. Мужчина спел несколько фраз, после чего нейросеть повторила «услышанное», спев те же самые фразы мужским и женским голосом (см. видео c выступлением в рамках TED ниже, отметка 5:25).
В анонсе нейросети Херндон заявила, что «уверена, что создание убедительных [моделей] голоса вскоре станет стандартной практикой для исполнителей и представителей других творческих профессий». «Потребность во всеобъемлющих и высокоточных данных для обучения вокалу будет расти по мере развития нашей способности [искусственно] воспроизводить более детальный и правдоподобный голос», — отметила девушка.
Херндон предполагает, что развитие возможностей нейросетей вскоре создаст спрос на «официальные, качественные голосовые и вокальные модели общественных деятелей и знаменитостей». В качестве подтверждения слов девушки можно привести пример голливудского актёра Вэла Килмера, который лишился голоса, но обрёл его вновь благодаря программному обеспечению Voice Engine.
Ряд комментаторов, слушавших выступление Херндон, отметили, что разработка голосовых нейросетей поднимает дополнительные вопросы относительно авторских прав. В частности, неизвестно, как музыка, созданная «авторизованными» и «неавторизованными» цифровыми аналогами исполнителей будет рассматриваться в рамках существующей системы прав на интеллектуальную собственность в музыкальной индустрии.
По мнению девушки, голосовые модели должны быть общественным достоянием, распространяющимся «с открытым исходным кодом». Вместе с тем Херндон предполагает, что в будущем должна появиться «децентрализованная автономная организация», полагающаяся на технологии блокчейна и управляющая цифровыми двойниками.
Организация будет действовать от имени всех владельцев голосовых моделей, а любой заработок, полученный с помощью подобных нейросетей, будет направляться в её адрес. Таким образом люди смогут использовать цифровых двойников в собственных целях, а владельцы, на основе голоса которых создавались модели, будут получать доход от использования технологии.
Девушка полагает, что Holly+ способна принести пользу всем заинтересованным сторонам. «Я выпускаю инструменты, позволяющие творчески использовать моё изображение и мой голос, созданные произведения и лицензионные возможности утверждаются членами организации, а прибыль от произведений делится между создателями контента, членами организации и общим фондом, управляющим развитием проекта», — подытоживает Херндон.
Протестировать возможности Holly+ можно через официальный сайт проекта. В частности, система предлагает пользователям прислать образцы голоса, чтобы услышать, как голосовая нейросеть имитирует речь и пение. Сроки обработки информации не уточняются.
- Заявления Херндон об активном использовании убедительных искусственных голосовых моделей в музыкальной индустрии косвенно подтверждает история с «искусственным» музыкантом FN Meka. Проект нейросети, пишущей и исполняющей хип-хоп треки на основе предпочтений публики, был подписан на Capitol Records, однако позднее лейбл разорвал контракт с владельцами нейросети.
- Напомним, что ранее мы попросили популярную нейросеть Midjourney нарисовать несколько картин на тему записи, сведения и исполнения музыки. Что получилось у нейросети, смотрите здесь.
