Adobe разработали AI для генерации звуков голосом и текстом

Adobe Research и Северо-Западный университет разработали Sketch2Sound, систему искусственного интеллекта, которая превращает вокальные имитации и текстовые описания в профессиональные звуковые эффекты. Однако не было объявлено, когда или станет ли Sketch2Sound коммерческим продуктом. Они создали систему, которая может изменить работу звуковых дизайнеров. Sketch2Sound позволяет пользователям создавать профессиональный звук с помощью напевания, создания звуковых эффектов голосом и описания того, что они хотят, простым текстом. Система анализирует три ключевых элемента вокального ввода: громкость, тембр и высоту тона. Затем она комбинирует эти характеристики с текстовыми описаниями для генерации желаемых звуков.

Что делает Sketch2Sound интересной, так это её способность понимать контекст. Например, если кто-то вводит «лесная атмосфера» и издаёт короткие вокальные звуки, система автоматически распознаёт, что эти звуки должны стать птичьими криками, без необходимости в конкретных инструкциях. Такая же интеллектуальность применяется к музыке. При создании ударных паттернов пользователи могут ввести «малый барабан» и напевать ритм, используя низкие и высокие ноты. Система автоматически малые барабаны на высоких тонах.

Исследовательская группа встроила специальную технологию фильтрации, которая позволяет пользователям настраивать точность управления создаваемыми звуками. Звуковые дизайнеры могут выбирать между точным, детализированным управлением или более расслабленным подходом, в зависимости от их нужд. Эта гибкость может сделать Sketch2Sound особенно ценным для фоли-артистов — профессионалов, создающих звуковые эффекты для фильмов и телешоу. Вместо того чтобы манипулировать физическими объектами для создания звуков, они могли бы потенциально создавать эффекты быстрее с помощью голоса и текстовых описаний. Исследователи отмечают, что пространственные аудиохарактеристики входных записей иногда могут нежелательно влиять на создаваемый звук, но они работают над решением этой проблемы.

Источник