Создан музыкальный орга́н на базе GPU с ИИ-генератором музыки

Музыканты и аудиовизуальные художники Холли Херндон и Мэт Драйхерст создали «орга́н на основе графического процессора», который «воспроизводит музыку акустически, управляя частотой вращения каждого вентилятора».

Орган на основе графического процессора» питает свои трубы с помощью вентиляторов ПК и моделей искусственного интеллекта. На изображениях показан сам музыкальный инструмент со стеной вентиляторов, которые управляют потоком воздуха и, следовательно, его аудиовыходом. Подробностей об аппаратном обеспечении нет, однако на изображении не видно никаких графических процессоров. Скорее всего, для органа использовали обычные вентиляторы PWM.

Однако GPU могли применяться для генерации музыки. Создатели объяснили, что для обучения ИИ они составили сборник гимнов, вокальных упражнений и протокол записи, путешествуя с командой Serpentine Arts Technologies, чтобы записать пятнадцать общественных хоров по всей Великобритании. Пространственная аудиоинсталляция использует эти обученные модели для создания аудиоландшафта.

Херндон в соцсети Х раскрыл некоторые подробности об обучении. По его словам, музыка генерируется из модели диффузии, которая создаёт новые песни на основе данных обучения и «может генерировать бесконечные партитуры». Для интерактивности взаимодействия внедрили «новую полифоническую модель вызова и ответа, разработанную совместно с компанией Ircam, которая позволяет напевать мотив органу и получать в ответ сгенерированную партию». 

Орган презентовали на выставке The Call в Serpentine Galleries в Кенсингтоне. Он участвует в выставке, которая работает до февраля 2025 года.