Альбом электроники, написанной реками — как я его выпустила?

Меня зовут Саша Сойфер — я физик‑океанолог, работала на обоих полюсах, жила на Шпицбергене, писала статьи, делала замеры в тропиках и в северных крошках‑озерах на моторке. В общем, много времени провела в любовном изучении природы.

Параллельно с этим я всю жизнь увлекалась музыкой, и, работая с измерениями рек, вдруг подумала, что будет круто выявить звук гидрологических данных. Почему именно их?

Уровень реки — первичная метрика её «силы», от которой будет зависеть её напор, перенос вещества и так далее. Во‑первых, обычно у уровня рек есть выраженная сезонность, и это яркая точка пересечения с акустикой, так как звук синтезируется через периодические гармоники. При этом важно, что уровень реки меняется сильно и достаточно быстро: помимо четкого годового хода, он реагирует на атмосферные условия. Это легко сложилось для меня в цельную историю: озвучив архивные данные, можно сравнить, как прошёл каждый год, какой тренд в целом в жизни реки и какие краткосрочные события с ней происходили.

Вдобавок, в России обширная сеть гидрологических постов — это даёт простор для построения художественного высказывания.

Уже проговорилась, что из доступных гидрологических параметров для создания звука я выбрала уровень рек. Чтобы не слить данные, я работала не с абсолютными значениями, а относительными и немного их аугментировала — так, что это не оказывает влияния на звук, но не позволяет восстановить точные значения. (; Для проекта я выбрала Енисейский бассейн.

Создание звука из данных называется сонификацией, и это довольно типовая задачка. Решить её — значит сконструировать правила, по которым данные будут переводиться в звук. Сообщество soundartist))) в ’14 году опубликовало манифест «Сонификация завершена»[1], где утверждается, что инструменты для сонификации слишком доступны, чтобы считать её самоценным искусством. Процитирую его первые строки:

С момента появления первого компьютера нам очевидно, что всё что угодно может быть оцифровано и переведено в данные. С момента появления программы DATADADA нам очевидно, что любые данные могут быть превращены в компьютерную графику (визуализированы) и звук (сонифицированы).

Всё, конечно же, так. И вместе с тем — именно в виде этого преобразования и кроется художественная работа.

В средах для работы со звуком представлены плагины для перевода численных таблиц в звук. На этапе ознакомления с сонификацией я попробовала несколько готовых решений и поняла, что они меня не устраивают, так как стандартизируют данные. Мне же было интересно наоборот сохранить и выявить индивидуальность каждой реки. Вкратце расскажу про то, какие готовые тулзы попробовала: в Ableton я задавала графиком уровня реки форму волны в нескольких синтезаторах. У меня получился синтетический звук с кучей крутилок, который от типа синтезатора и постпроцессинга зависел намного больше, чем от оригинальных данных. Мой друг пропустил речной сигнал через вокодер (примочка, синтезирующая звук, похожий на человеческую речь [2]). Результат аналогичный: постпроцессинга настолько много, что что ни подавай в вокодер, имитироваться человеческая речь будет примерно одинаково. Тогда я выбрала генерировать звук вручную в питоне.

Один из принципиальных нюансов сонификации состоит в том, что человек воспринимает «музыкальными» довольно узкий набор звуков. Для современного европейского уха это тональности, основанные на равномерном строе, когда в октаве 12 нот с одинаковым расстоянием друг между другом (до — до# — ре ‑… — си — до). В традиционных культурах существуют микротональные строи, в которых между нотами могут быть меньшие промежутки — четверть тона или любая другая доля. Но оставим обсуждение в рамках европейской традиции; пока заметим, что сложность в том, что данные часто почти непрерывны, а отразиться при этом они должны в удалённые друг от друга конкретные ноты.

Дискретность данных уровня рек — 0.1; дискретность нот — в первой октаве примерно 25 Гц (на самом деле от частоты первой ноты октавы, см. таблицу ниже). Получается, чтобы отображение данных в звук давало мелодию, нужно переводить высоко дискретный сигнал в низко дискретный. Технически это несложно: например, можно разбить шкалу данных на промежутки и сопоставить их с нотами. Условно все измерения, которые попадают в диапазон 0–5 отобразить в ноту ля первой октавы — 440 Гц; измерения из диапазона 5–10 — в ля диез (466 Гц) и так далее. Вот только при таком подходе теряется очень много информации из оригинального сигнала и снова поднимается вопрос — а где тут место рекам? Их ли это звук?

Ещё сильнее вопрос степени участия данных и человека поднимается при ассоциативном подборе параметров. Это наиболее широко распространенная техника сонификации, часто ее можно встретить в работе с космическими данными [3, 4]. В момент, когда курсор доходит до планеты или звезды, играет какой‑нибудь заранее подобранный синт; температура/яркость снимка ниже порогового значения — играем минорное трезвучие, выше — мажорное; формально все такие наборы ассоциаций — это по‑прежнему чёткое правило перевода данных в звук, но… слишком много человеческого композиторства, слишком потеряна суть природного процесса для той задачи, которую я себе ставлю.

Однако просто записать измерения уровня в wav как они есть — не лучшая стратегия из‑за описанных выше нюансов восприятия звука. Иногда она может сработать: бурные мелкие реки с большими перепадами уровня таким образом генерят красивые и характерные шумы (такие сэмплы включены в альбом, например, с Подкаменной Тунгуски и Шадата). Вдобавок, период полного колебания речного стока — год; чтобы высота звука была хотя бы на нижнем пороге чувствительности человеческого уха (20 Гц), нужно в 1 секунду звучания уложить 20 лет жизни реки, а в архиве гидропостов хранятся данные с 2002. То есть низкочастотные годовые колебания ограничивают звук в длительности. Ясно, что нужно искать другой путь — например, с помощью рек управлять звуком.

Здесь я отступлю и ещё раз обращу внимание, что синоптические колебания оказались информативны уже на этом этапе, и сильно раскрывали различия между реками. Поэтому для альбома я их подсветила: для тех рек, в поведении которых на фоне годового хода не удалось поймать яркие истории коротких колебаний, я сделала преобразование Фурье, вычла годовую частоту из сигнала и усилила обратное преобразование, сложив их с оригинальным сигналом. То есть просто усилила синоптические колебания, сохранив и годовые.

Разумеется, я попробовала напрямую послушать речные мелодии: использовать уровень реки как высоту звука в обычной синусоиде (, где  — уровень реки в момент t). Конечно, там хроматизмы (неинтересно!).

Думая, с какой ещё стороны подойти к данным, я обратилась к визуальной части объекта — а что, если рассмотреть реку как струну? И тут всё встало на свои места: если накодить простой осциллятор и синтезировать звук, который бы издавала струна, если бы двигалась по закону хода реки — я получу звук, легко воспринимаемый человеком и вместе с тем не включающий моего композиторского вмешательства в природный процесс. Дальше простая операция: в момент времени t звук генерируется по закону:

где  — уровень реки в момент времени t. Количество и номера гармоник определялись для каждой реки рандомно в момент генерации звука по её замерам. И основа звучания — амплитудная модуляция, что естественно для сигнала, ну, фактически амплитуды — готова.

На интерактивной карте вы можете послушать, как таким образом запели разные реки Енисейского бассейна. Код генерации для карты можно увидеть на github (но я не рекомендую: фронтэнд навайбкожен))).

Альбом «Речные песни» состоит из компиляции этих видов генераций по данным гидропостов Енисейского бассейна: от мелких горных рек мелодии втекают друг в друга в соответствии с тем, как и впадают друг в друга реки, и наслаиваются до Дудинки, где Енисей впадает в Северный Ледовитый Океан. Получилась авангардная электроника со звуком из 60-х.

Альбом можно послушать на бэндкэмпе и ютубе, в работе кассеты.

А в ноябре в галерее «Краснохолмская» (Москва) эта работа будет представлена в виде инсталляции: карты 50×70 см с фоторезисторами, которые по триггеру света от фонарика начнут звучать. Такое приключенческое путешествие в темноте по Сибири:). По сути это простой фотосинтезатор на raspberry pi — сможете сыграть на реках. Прототип в процессе:

2. Манифест «СОНИФИКАЦИЯ ЗАВЕРШЕНА» сообщества soundartist)))

3. Пример работы вокодера

4. Сонификация снимка галактики «Объект Хога»

5. Сонификация чёрной дыры Sagittarius A*