Adobe запустила бесплатный инструмент очистки голосовых аудиозаписей Adobe Enhance Speech. Сервис работает в рамках платформы Adobe Podcast и использует алгоритмы машинного обучения для удаления артефактов, резкости и шума из речи.
Enhance Speech стал частью ранее запущенного сервиса онлайн-обработки аудио Adobe Podcast. Бесплатная платформа объединяет два элемента — функцию Mic Check для проверки и настройки подходящего уровня записи микрофона и утилиту Enhance Speech для работы с уже записанным сигналом.
Инструменты внутри Adobe Podcast предназначены для авторов подкастов, интервью и блогеров. Отмечается, что «умный» обработчик аудио создан для аудиофайлов, записанных в неподготовленных условиях при помощи встроенного микрофона смартфона, планшета или ноутбука.
По словам разработчиков, Enhance Speech делает звучание голосовых аудиозаписей таким, как если бы они «были записаны в профессиональной студии». Отмечается, что система успешно обрабатывает речь, даже записанную с помощью «самых бюджетных микрофонов в неидеальных условиях».
Процесс улучшения и очистки идентичен обработке аудиофайлов в сервисах онлайн-мастеринга. После загрузки аудио на странице сервиса необходимо дождаться окончания обработки, чтобы получить улучшенный файл.
Обзоры возможностей сервиса и результаты обработки показывают, что алгоритм действительно заметно улучшает качество записей. Технология Adobe успешно удаляет артефакты, устраняет резкость и фоновые шумы. Вместе с тем алгоритм смягчает проблемы сибилянтов и взрывных согласных.
При загрузке качественных записей, сделанных на более качественные микрофоны и в лучших условиях, результаты работы Speech Enhance, ожидаемо, не так хороши. По словам блогера PiXimperfect, протестировавшего платформу, нормальные записи после обработки кажутся даже хуже, чем были, — очевидно, что алгоритм Adobe создан для «особенно плохих записей».
Программное обеспечение не способно анализировать и улучшать аудио с одновременной речью нескольких человек и пением, и предназначено для обработки файлов с чётко разделёнными по времени голосами. Будут ли возможности алгоритма расширены в будущем, не сообщается.
Другой инструмент в составе Adobe Podcast — Mic Check — также полагается на функции машинного обучения для анализа аудио. Инструмент проверяет записанный заранее сэмпл и сообщает его состояние: интенсивность эффекта близости, примерный уровень гейна при записи, количество фоновых шумов и артефактов. Полученные данные пользователи могут использовать для изменения настроек записи речи.
По словам Adobe, в ближайшее время платформа получит новые функции. В частности, сервис научится расшифровывать аудио в текст, редактировать записанные файлы и вести удалённую запись. Последнее предполагает возможность одновременной записи нескольких человек, находящихся в разных местах, с последующим объединением записанного в один файл. Компания также планирует добавить шаблоны проектов для быстрого создания подкастов.
Для работы с платформой Adobe Podcast требуется аккаунт в системе Adobe. Возможности сервиса предоставляются на бесплатной основе, однако для получения доступа требуется оставить заявку на тестирование. Получить больше подробностей, проверить возможности платформы и улучшить записанные аудиофайлы можно на этой странице.
Забавно, что русскую речь в плохих условиях записи воспринимает, как английскую (оно и понятно, почему). Но результат довольно потешный :)
Ссылка на фрагмент записи заседания с шумовика до и после обработки
https://disk.yandex.ru/d/taSQEem7V1shtg
в целом не так и плохо, хотя и не так хорошо, как хотелось бы)) видимо нужна такая же модель для нейронки, но натренированная на русской речи, чтобы всё получилось
Жаль, что настроек нет. Эффект помещения убирал бы отдельно, было бы поинтереснее. Там при тестировании микрофона 4 критерия, их бы включать/выключать.
Понятно. Спасибо за отклик.
Интересно, а записанный в неподготовленной комнате вокал хорошо обработает? Кто то пробовал?
Так говорят, с вокалом не работает, пение не умеет обрабатывать, только речь обычную
Давно я хотел интервью Летова 80-х годов отремастерить, надо попробовать. Качество ужасное, хочу протестировать сервис
И все записи заодно можно тоже (шутка)
а в чем проблема их почистить в том же RX от iZotope?
Записи настолько плохие, что изотоп вряд ли поможет. Они делались просто для журналистов, а не на широкую публику
Понятно. Поделитесь потом мнением, что получилось и как впечатления вообще у вас.
ок
Делюсь мнением. Самое некачественно записанное интервью сервис вообще не распознал, звука нет и скачать нельзя, ошибка. Проверил какую-то аудиокнигу, идеально записанную, так вот на выходе звук стал даже хуже)
Потому что с русской речью модель, на которой они тренировали свой алгоритм банально не знакома.
Вся эта адобовская система изначально создана под английский язык и разговор, там все более менее в порядке.
ясно
Тересно