Нейросеть Riffusion «пишет» музыку по текстовому описанию — принцип работы идентичен популярной Stable Diffusion — SAMESOUND
SAMESOUND
  • Написание
  • Исполнение
  • Продакшн
  • Инструменты
  • Оборудование
  • Софт
  • Мир музыки
No Result
Все результаты
  • 👫 Сообщество
  • 📖 Источники
  • 📅 Мероприятия
  • 🎁 Бесплатные VST
  • 🔊 Звуковые волны
  • 🎹 Аккорды для пианино
  • 🎸 Генератор диаграмм
SAMESOUND
  • Написание
  • Исполнение
  • Продакшн
  • Инструменты
  • Оборудование
  • Софт
  • Мир музыки
No Result
Все результаты
SAMESOUND
No Result
Все результаты
  • Телеграм
  • 📖 Источники
  • 📅 Мероприятия
  • 🤘 Сообщество
  • 🎹 Аккорды для пианино
  • 🎸 Генератор диаграмм
  • 🎁 Бесплатные VST
  • 🔊 Изучаем звуковые волны
  • 🎙 Как выбрать микрофон
  • 🎛 Выбираем оборудование
  • 🔥 Лучшие VST
in Софт
Автор: Егор Ревенга
23.12.2022

Нейросеть Riffusion «пишет» музыку по текстовому описанию — принцип работы идентичен популярной Stable Diffusion

Алгоритм генерирует изображения-спектрограммы, которые конвертируются в аудиоклипы.

3
5 254
0 0
Riffusion - нейросеть для написания музыки
55
ПОДЕЛИЛОСЬ
5.3k
ПРОСМОТРЫ
ПоделитьсяТелеграмнутьТвитнуть
SAMESOUND в Телеграме
Подписывайтесь на SAMESOUND в Телеграме

Команда разработчиков запустила нейросеть Riffusion, генерирующую музыку по текстовому описанию. Создатели отмечают, что принцип работы нейросети аналогичен Stable Diffusion, однако вместо изображений алгоритм «пишет» музыку.

Авторы нейросети — программисты Сет Форсгрен и Хайк Мартирос. По словам создателей, Riffusion запущена в качестве хобби-проекта — команда занимается развитием проекта в свободное от основной работы время.

На основе текстового описания Riffusion генерирует изображения-спектрограммы, которые затем конвертируются в аудиоклипы. Количество вариантов не ограничено: нейросеть создаёт «бесконечное множество разнообразных вариантов» музыки, заявляют Форсгрен и Мартирос.

Разработчики рассказывают, что нейросеть создаёт изображения с амплитудой синусоидальных волн, а не фазы, которые в дальнейшем преобразуются и смешиваются между собой. При реконструкции аудиоклипа используется алгоритм Гриффина-Лима, применяющийся для синтеза речи. Помимо коротких лупов, Riffusion генерирует и более длинные аудиофайлы, основанные на вариациях спектрограммы.

Сейчас нейросеть запущена в свободном доступе — пользователи могут присоединиться к тестированию и дальнейшему обучению алгоритма. Для генерации аудио пользователь должен указать текстовое описание будущего файла: в списке предложенных вариантов встречаются такие описания, как «arabic gospel vocals», «smooth tropical dance jazz», «techno DJ and a country fiddle» и другие.

Riffusion

Приложение генерирует контент в реальном времени до тех пор, пока пользователь не остановит процесс. Будущая музыка представляется в виде трёхмерной спектрограммы, которая позднее конвертируется в музыку. После генерации пользователи могут дополнять аудиофайл новыми данными или же создать несколько вариаций уже предложенного варианта.

По словам авторов MusicRadar, команда портала так и не смогла разобраться в принципах работы нейросети, однако «Riffusion в равной степени впечатляет и пугает». Комментируя свои опасения, авторы отмечают, что сейчас нейросети находятся в зачаточном состоянии, но «нетрудно представить, какими возможностями они будут обладать в будущем».

Проверить работу нейросети можно на официальном сайте Riffusion. Помимо поля для ввода запроса авторы проекта приводят описание принципов работы на основе генератора изображений Stable Diffusion и объяснение процесса «написания музыки» нейросетью. Там же можно ознакомиться с примерами творчества нейросети.

  • Напомним, что ранее мы протестировали возможности популярной нейросети Midjourney, попросив её рисовать на музыкальную тематику. Так, например, сеть изобразила музыкальные инструменты, процесс написания музыки, популярные песни и многие другие вещи.

What's Your Reaction?

  • Огонь!Огонь!
    82
    Огонь!
  • Хм...Хм...
    7
    Хм...
  • Лоооооол!Лоооооол!
    8
    Лоооооол!
  • Чё?Чё?
    2
    Чё?
  • ПечальПечаль
    7
    Печаль
  • Да ё..!Да ё..!
    7
    Да ё..!
Теги: искусственный интеллектсервисы
Поделиться5ПоделитьсяТвитнуть13Поделиться
Подписаться
Войти
Уведомлять о
Войдите на сайт, чтобы обсудить материал
3 комментариев
Новые
По порядку Популярные
Межтекстовые Отзывы
Посмотреть все комментарии

Сейчас читают


Далее
Бесплатные плагины Acustica Audio Arctic

Бесплатные плагины и фрибисы недели № 40: цепочка эффектов Acustica Audio Arctic, колёсная лира Sonokinetic Hardy Gardy и копия Commodore 64

Как выбрать микрофон для записи вокала гид для начинающих музыкантов

Как выбрать микрофон: гид для начинающих музыкантов

21.02.2022
11 821

Сейчас на главной

Вышел PreSonus Studio One 6.5 что нового

PreSonus Studio One 6.5 получила поддержку иммерсивных проектов Dolby Atmos и новые плагины

...

Автор: Егор Ревенга
27.09.2023
1
578
Shure SM7dB - обновленная версия классического Shure SM7B

Shure SM7dB поступил в продажу — улучшенная модель получила то, чего многим не хватало в знаменитой классике

...

Автор: Егор Ревенга
27.09.2023
Обсудить
1 021
Waves MetaFilter и Miroslav Philarmonik 2 CE скачать бесплатно до 30 сентября

Бесплатные плагины и фрибисы недели № 75: Waves MetaFilter, IK Multimedia Miroslav Philharmonik 2 CE и глючный Thump One

...

Автор: Егор Ревенга
27.09.2023
3
863

Рубрики

  • Написание
  • Исполнение
  • Продакшн
  • Инструменты
  • Оборудование
  • Софт
  • Мир музыки

Ресурсы

  • Источники информации
  • Афиша мероприятий
  • 🔥 Бесплатные плагины
  • Звуковые волны: интерактивный гид
  • Таблица звуковых частот
  • Cхемы прохождения сигнала
  • Справочник аккордов для пианино
  • Генератор диаграмм гитарных аккордов

Полезные страницы

  • Гид по выбору оборудования
  • Гид по звуковым эффектам
  • Лучшие VST
  • Уроки звукозаписи
  • Работа с вокалом
  • Гитарные уроки
  • Telegram-каналы для музыкантов
  • Продвижение музыки

Информация

  • О проекте
  • Реклама на сайте
  • Условия использования
  • Политика конфиденциальности
  • Правила сообщества
  • Правила общения в чатах

Связь с нами

Сотрудничество: hello@samesound.ru

Реклама: ad@samesound.ru

Сделано с ❤️ к 🎶 в SAMESOUND © 2015-2023.
Использование материалов SAMESOUND разрешено только с обязательным указанием ссылки на этот сайт.
Все права на картинки и тексты принадлежат их авторам.
Мнение авторов может не совпадать с мнением редакции, которое может не совпадать с вашим мнением и меняться с течением времени. Это нормально.
Издание может получать комиссию от покупки товаров, представленных в публикациях.
⚠️ 16+

  • Войти
  • Регистрация
  • Лента
    • В тренде
    • Горячее
    • Лучшее
    • Обсуждаемое
  • Рубрики
    • Написание
    • Исполнение
    • Продакшн
    • Инструменты
    • Софт
    • Оборудование
    • Мир музыки
  • Темы
    • Звуковые волны: интерактивный гид
    • Таблица звуковых частот
    • Телеграм-каналы для музыкантов
    • Гид по выбору
    • Гид по эффектам
    • Обзоры
    • Бесплатные плагины
    • Лучшие VST
    • Уроки гитары
    • Прохождение звукового сигнала
    • Сервисы цифровой дистрибуции музыки
  • Источники
  • Мероприятия
  • Сообщество
    • Лента активности
    • Группы
    • Разместить своё творчество
    • Пользователи
  • О нас
  • Помощь проекту
  • Реклама
  • Политика конфиденциальности
  • Условия использования
  • Правила сообщества
  • RSS

Сделано с ❤️ к 🎶 в SAMESOUND © 2015-2023.
Использование материалов SAMESOUND разрешено только с обязательным указанием ссылки на этот сайт.
Все права на картинки и тексты принадлежат их авторам.
Мнение авторов может не совпадать с мнением редакции, которое может не совпадать с вашим мнением и меняться с течением времени. Это нормально.
Издание может получать комиссию от покупки товаров, представленных в публикациях.
⚠️ 16+

Вход на SAMESOUND

Google ВКонтакте OK Яндекс

или через электронную почту

Забыли пароль? Регистрация

Регистрация

Не займёт и минуты

Все поля обязательны для заполнения. Войти

Напомнить пароль?

Введите имя пользователя или адрес почты — отправим письмо со ссылкой на восстановление пароля.

Войти