Вытеснит ли искусственный интеллект людей из мастеринга?

Процесс мастеринга композиции — это завершающая стадия создания музыки. Труд мастеринг-инженеров оплачивается, отдельная профессия существует уже давно, хотя выполняют они на первый взгляд тривиальный набор задач. Автоматизированный мастеринг существует не первый год, и в последнее время подобные алгоритмы всё чаще пытаются рекламировать как ИИ.

Сравнить результаты мастеринга человеком и машиной попытался блогер Бенн Джордан. Музыкант попросил почти полтысячи подписчиков оценить мастер одного и того же трека разными продуктами и людьми. Наивысшие оценки получили работы профессиональных мастеринг-инженеров.

На пути к слушателю музыкальная композиция проходит множество стадий.

Весь процесс требует хотя бы базового планирования. На самых ранних этапах выбираются инструменты, оценивается возможное оборудование для звукозаписи, сочиняются слова и мелодия. Затем записываются игра на инструментах и вокал. На стадии редактирования возможно выбрать нужные фрагменты из нескольких дублей, вычистить призвуки и исправить вокал автотюном.

Накопленный материал «сырой» и несбалансированный. Финальные штрихи вносят сведение и мастеринг.

Как следует из названия процесса, микширование или сведение — это получение из многодорожечной записи цельной итоговой композиции. Здесь также пытаются добиться сбалансированного звучания, чтобы ни один участник микса не перетягивал на себя внимание и не выскакивал вперёд. Инженер-микшер работает с эквалайзером и компрессором, но сильно звукозаписи не изменяет и не сжимает, чтобы не усложнять задачи мастеринг-инженеру.

Мастеринг — это финальные штрихи в сведённой композиции или её отдельных треках. Когда-то в задачи мастеринга входила просто подготовка аудиоматериала для записи на носитель — виниловую пластинку, магнитную ленту или компакт-диск. Сегодня звукорежиссёры во время мастеринга проводят дополнительную обработку эквалайзером, компрессором, максимайзерами, другими эффектами и процессорами.

Результат работы мастеринг-инженера звучит профессионально и сбалансированно. Композиция хорошо воспринимается при воспроизведении на любых платформах и устройствах.

Копия видеоролика «Metallica Death Magnetic — How to lose the Loudness War»

Оценить важность мастеринга легко по тем случаям, когда он был выполнен плохо.

Часто в пример приводят композиции альбома 2008 года Death Magnetic вокально-инструментального ансамбля Metallica. Версия этого альбома на компакт-диске подверглась критике фанатов за низкий динамический диапазон. Действительно, если послушать версии песен из игры Guitar Hero, а затем версии с компакт-диска, будет очевиден так называемый эффект кирпичной стены.

Сравнение в Audacity треков из Guitar Hero (сверху) и c компакт-диска. MusicRadar

Однако мастеринг-инженер альбома открестился и заявил, что он получил треки уже в таком состоянии и ничем помочь не мог. Хотя здесь дело не в стадии мастеринга, это лишь один из маленьких эпизодов «войны громкостей», в которой принято обвинять мастеринг-инженеров. Утверждается, что чрезмерную компрессию звука их заставляют выполнять насильно.

Труд этих подневольных диверсантов хорошо оплачивается. Как и инженеры сведения, мастеринг-инженеры обычно получают единоразовую фиксированную финансовую компенсацию. Мастеринг одного альбома может стоить сотни долларов. Хотя прав на роялти мастер-инженеры обычно не имеют, некоторым удаётся договориться на один пункт роялти (1 % отчислений мастер-записи) или даже больше.

Как отдельная профессия с окладом и должностными обязанностями мастеринг выделился далеко не сразу. Изначально процесс звукозаписи был полностью безмикрофонным. Музыканты располагались как можно ближе к огромному металлическому рупору, чтобы исполнить композицию для записи на восковой диск. Качество электромеханической записи оставляло желать лучшего: фиксировались частоты приблизительно от 250 Гц до 2,5 кГц.

Запись оркестра звукозаписывающей компании Victor в Камдене до 1925 года. Библиотека конгресса США

Тот же коллектив, но после 1925 года. Архивы AT&T, Audio Engineering Society

Внедрение микрофонов в 1925 году тоже не помогло появлению отдельной профессии мастеринг-инженера. Подавляющее большинство композиций так и писались прямо на диск.

Зарождение новой роли сотрудников связывают с разработкой кривой RIAA и развитием аудиозаписи на магнитную ленту. В 1948 году Ampex выпустила 200-ю серию магнитофонов, для переноса аудиозаписи с которых на винил требовался специальный инженер переноса [transfer engineer]. Изначально у этого предшественника мастеринг-инженера задач по творческому улучшению аудиозаписи не было.

Ampex 200A в Capitol Records. History of Recording

В обязанности таких специалистов входили технические правки. Например, они иногда применяли эквалайзеры на участках с больши́м объёмом низких частот, чтобы игла звукоснимателя не выпрыгивала из дорожки. Уже в пятидесятых появляются первые инженеры, которые грамотно обращаются с эквалайзером и компрессором для улучшения звучания мастер-записи. В шестидесятых основываются первые независимые студии мастеринга, к примеру Mastering Lab (1967).

В следующие десятилетия формируется и развивается полноценная профессия мастеринг-инженера. Наследственность никуда не уходит. При всём богатстве современных цифровых инструментов сегодня профессионал мастеринга всё равно может комбинировать их с аналоговым оборудованием конца прошлого века.

Цифровая звуковая рабочая станция Wavelab Pro. Steinberg

Однако относительно недавно начались серьёзные попытки заменить труд мастеринг-инженеров дешёвым алгоритмом.

Автоматизированный мастеринг известен уже десятилетие. Первым сервисом этого типа называет себя запущенный в 2014 году LANDR. За ним последовали многие другие: MasteringBOX (2015), CloudBounce (2016), eMastered (2016) и так далее — все эти компании не только когда-то запустились, но и существуют по сей день.

Недавний бум генеративных нейросетей сделал модной саму аббревиатуру ИИ. В последние два года пресс-релизы всё реже описывают мастеринг как автоматизированный, предпочитая говорить о мастеринге как о применении искусственного интеллекта. Сегодня за ИИ считается даже LANDR (1, 2, 3).

Некоторые восторженно отзываются про автоматизированный мастеринг. Так, статья издания Ars Technica от февраля 2024 года озаглавлена «ИИ теперь умеет проводить мастеринг вашей музыки — и получается шокирующе хорошо». Автор статьи протестировал несколько продуктов для автоматизированного мастеринга, остался доволен результатом и обрисовал радужное будущее, где за счёт генеративного ИИ (слова песен якобы будет писать ChatGPT) создание хорошей музыки доступно любому любителю.

Специализированные издания дают более сдержанные оценки. Статья из блога сервиса eMastered замечает, что даже при низкой цене и удобстве подобных инструментов ИИ оставить без работы специалистов-людей не сможет. Статья сравнивает автоматизированный и «человеческий» мастеринг с покупкой ширпотребного костюма и пошивом на заказ. Нужно напомнить, что eMastered — это сервис автоматизированного мастеринга, от которого легче ожидать чрезмерной похвалы технологии, чем критики.

Не удаётся найти научные статьи, где сравнивается мастеринг людей и от ИИ. Встречаются лишь обзорные публикации, которые не делают никаких громких заявлений (1, 2).

Сравнить мастеринг людей и машины попытался блогер Бенн Джордан. Он не стал полагаться только на собственное субъективное мнение опытного музыканта, а опросил сотни других людей. Результаты статистического исследования Бенн показал в видеоролике.

Копия видеоролика «We Proved It: AI Mastering Is A Waste Of Money» Бенна Джордана

Бенн ведёт активный видеоблог на YouTube. Темы его видеороликов варьируются, но так или иначе касаются звука. Иногда это видео с отбивкой Benn and Gear в начале, хотя около года назад Джордан захотел отказаться от рубрики обзоров аудиотехники. В других случаях блогер рассказывает про финансовую изнанку музыкальной индустрии, описывает программное обеспечение или просто говорит про звук как физическое явление. Лишь изредка Джордан отвлекается от аудио и высказывается про личные проблемы или любые иные технологии.

Активность Джордана финансируется не только через отчисления YouTube за рекламу, но и на Patreon. Эта краудфандинговая площадка допускает размещение контента, доступ к которому могут получить только подписчики. Также авторы могут публиковать посты, открытые для всех. 11 октября Бенн выложил именно такой пост, в котором попросил всех желающих поучаствовать в опросе.

В исследовании Джордана приняли участие 472 человека.

Каждый из участников опроса получал семь 256-килобитных файлов MP3. Чтобы исключить роль позиции треков в опроснике, их порядок в каждом случае был разным. Поскольку хороший мастер звучит хорошо везде, слушать файлы предлагалось на собственном оборудовании, каким бы оно ни было. Опрашиваемых не просили делать далекоидущие выводы о допустимости войны громкостей или передаче деталей, а лишь указать по десятибалльной шкале, какой из треков звучит субъективно лучше.

Для сравнения была выбрана композиция 2017 года Starlight исполнителя Flashbulb — творческого псевдонима самого Джордана, под которым он выпускает музыку с 1999 года. Выбор трека блогер объясняет разнообразием жанров, которое может смутить искусственный интеллект. Starlight тяжело категоризировать как просто EDM или рок-музыку, жанры в песне чередуются.

Для теста качества мастеринга Бенн собрал лучшие офлайновые плагины с ИИ и воспользовался онлайн-сервисами, а также нанял двух именитых мастеринг-инженеров.

Здесь также нужно рассказать про личное мнение Джордана о мастеринге. Бенн поясняет, что вполне понимает желание автоматизировать процесс. Как он признаётся, сам он в прошлом брал за мастеринг по $1500–$2500 за альбом. Хотя некоторые спокойно относятся к войне громкостей, Джордан называет глупостью желание сделать трек максимально громким в ущерб деталям. В качестве музыки с хорошим мастерингом блогер выделяет Give Life Back to Music коллектива Daft Punk: она и громкая, и не теряет звуки отдельных инструментов.

Джордан также хорошо знаком с использованием искусственного интеллекта для создания музыки. Его отношение к ИИ обычно скептическое. Бенн предупреждает, что чаще всего аббревиатура «ИИ» в названии продукта означает подписочный сервис, алгоритм которого основан на каком-нибудь проекте с открытым исходным кодом. Джордан — не просто очередной противник искусственного интеллекта: сам он входит в список сооснователей стартапа Voice-Swap для умной модификации вокала.

Всего в сравнении Джордана участвовали 12 как белковых, так и алгоритмических участников. При этом в опрос попали всего семь. Дело в том, что пять автоматизированных решений Бенн дисквалифицировал ещё на стадии отбора, поскольку результат мастеринга от них оказался неудовлетворительным:

• LANDR. Любопытно, что первое в истории решение для автоматизированного мастеринга из конкурса выбыло ещё на предварительной стадии.
• BandLab.
• Waves.
• Virtu.
• Mixea от DistroKid.

Точные результаты опроса или алгоритмы подсчёта голосов Бенн Джордан не приводит. Вероятно, он просто сложил оценки и на основе этого выстроил рейтинг.

Для полных новичков Джордан рекомендует умные функции мастеринга из Ozone 11 и Invigorate. Эти пакеты способны выдать некоторые базовые рекомендации, которые потом удобно подкрутить до нужного эффекта. «Сырая» выдача из Ozone 11 заняла последнее, седьмое место. Бенн никак не помогал программе, он лишь загнал в анализ несколько разных фрагментов песни и выбрал самый удачный результат.

Шестым по оценке слушателей оказался вариант композиции Starlight в обработке от сервиса Kits.ai. Пятое место занял собственный мастер от Джордана, который он выполнил на компрессоре Focusrite Compounder. Сам Бенн заявил, что до этого мастерингом на аппаратном устройстве Compounder не занимался, поэтому был рад хотя бы не оказаться на последнем месте.

Слушатели посчитали, что четвёртым по качеству оказался автоматизированный мастеринг от комбинации продуктов Ozone и Neutron. Но внимание человека здесь тоже потребовалось: Джордан тщательно оценил выдачу алгоритмов и позволил им провести нужные изменения. Как утверждает блогер, в итоге времени на эту связку он потратил больше, чем если бы сам повозился с эквалайзером своего обычного процесса мастеринга.

Неожиданно, но третью строчку рейтинга занял Matchering версии 2.0. Это бесплатный и свободный проект с открытым исходным кодом, он распространяется под лицензией GNU GPL третьей версии. Matchering 2.0 написал российский программист Сергей Гришаков. В прошлом году sergree вышел из «Песочницы» Хабра с рассказом о своём проекте.

Matchering 2.0 проводит референсный мастеринг. Соответственно, в дополнение к треку для обработки нужно предоставить референс-трек. Бенн Джордан для этих целей воспользовался той же композицией Give Life Back to Music от Daft Punk, но предупредил, что вообще-то на выбор референса тоже нужно много времени.

Интерфейс Matchering 2.0 — браузерное приложение. Matchering 2.0 распространяется как контейнер в Docker, библиотека для Python или компонент внутри ComfyUI. У технологически подкованного Джордана не возникло проблем с запуском приложения.

Как утверждает Бенн, многие сервисы автоматизированного мастеринга основаны на Matchering, но это никак не упоминают. Он призвал музыкантов не полагаться на многочисленные сервисы-обёртки для Matchering 2.0, а самостоятельно поэкспериментировать с инструментом внутри ComfyUI.

Наконец, в тесте участвовали два профессиональных мастеринг-инженера. Если верить результатам опроса, ни один ИИ не смог их превзойти.

Загадочный Эдвард под ником Edthesoundman обычно проводит несколько недель над треком. Джордан объясняет второе место мастера от этого инженера поджимающими сроками выхода видеоролика. Отрыв первой строчки рейтинга составил всего несколько голосов, и занял её Макс Хосинджер. У Макса много клиентов, в том числе группы Bastille, The 1975 и Years & Years — идеальный набор опыта, чтобы покрывать все комбинации жанров песни Starlight.

---

Джордан хвастается, что в последнее время щедрые рекламодатели предлагали ему положительно отозваться о неких инструментах создания музыки на ИИ. По сведениям блогера, вскоре на рынке появятся подписочные сервисы, в которые достаточно ввести текстовый запрос — большая языковая модель обработает промпт и самостоятельно задаст нужные параметры для мастеринга.

Подобный воркфлоу Бенн сравнивает со сборкой детского конструктора в боксёрских перчатках. Его посыл прост: даже любителям лучше рискнуть и попробовать провести мастеринг вручную или полусамостоятельно, а не полагаться на что-то с полной автоматизацией.

Как нетрудно догадаться по названию его видео, Бенн называет мастеринг с помощью ИИ пустой тратой денег. Тяжело спорить с vox populi, когда в двойном слепом тестировании участвуют 472 человека.