Апскейл, который смог

Термин «апскейл» используется для обозначения процесса увеличения разрешения цифровых изображений с фокусом на создание иллюзии «настоящего» высокого разрешения. Правда, 90% таких продуктов — это барахло, больше намёк на перспективы, чем волшебство. Недавно мои ручки добрались до двух алгоритмов повышения чёткости, которые оказались настолько хороши, что появилась эта статья. Будут субъективные и объективные тесты алгоритма Real-ESRGAN для увеличения разрешения и алгоритма GFPGAN для детализации лиц.

Traffic_Warning: в статье демонстрируется множество примеров.

Методика тестирования

Обучение алгоритмов производится на относительно ограниченном наборе данных, и на практике рано или поздно встретятся изображения, которые будут неправильно обработаны. Невозможно заранее предсказать ценность алгоритма без тестирования в рамках конкретной задачи, отчётам разработчиков сложно доверять, ведь их задача — «продать» свою работу. Проверка алгоритма должна начинаться с тестирования на данных, которые повстречаются наиболее вероятно. Если первичные результаты удовлетворяют ожиданиям, следует оценить диапазон применимости, подбирая всё более маргинальные варианты. Для оценки качества работы алгоритмов тренированного глаза достаточно, но ради придания статье тончайшего налёта профессионального исследования, сравнение будет сопровождаться количественными оценками.

Алгоритм тестирования:

1. Уменьшить эталонное изображение обратно пропорционально коэффициенту увеличения алгоритма (2 или 4 раза).
2. «Заапскейлить» уменьшенное изображение тестируемым алгоритмом, а также Lancoz (базовая точка) и Topaz Gigapixel (предыдущий чемпион).
3. Проверить адекватность увеличения.
4. Проверить детали.
5. Вычислить «попугаи».

Cравнить исходное и увеличенное изображения можно разными методами, начиная с квадратичного среднего и заканчивая специализированными нейросетями. Вменяемым выбором был бы MSSIM, поскольку он одновременно самый устойчивый и соответствует человеческому пониманию одинаковости картинок. Но так как чёткость увеличенного изображения формируется за счёт имитации текстур (грубо говоря, подбираются и вырисовываются микрокусочки от других изображений), то MSSIM покажет сильное отличие. Согласитесь, вне научного применения предпочтение получит правдоподобное чёткое изображение, но не математически точное мыло. При обучении нейросетей правдоподобность измеряется выделенной нейросетью, которая умеет оценивать реалистичность и качество. Но демонстрация циферок от чёрных ящиков не вызовет доверия, если только это не какой-то стандарт. Из оценок такого типа общепризнанным является VMAF, которую использует Netflix для подбора оптимальных настроек передачи и хранения видеопотоков. Эта интегральная оценка учитывает степень сходства оригинального и изменённого изображения и набор показателей качества картинки.

Кроме того, будут использоваться следующие косвенные оценки:

1. «Резкость». Очень простая оценка, которая является аналогом второй производной. Чем более размыто изображение, тем меньше в нём резких переходов значений.
2. Энтропия текстур. Мутноватая штука, но если на пальцах, то это показатель сложности «раскраски» поверхностей (запомнить цвет покрашенной стены проще, чем узор обоев).
3. Размер файла PNG. Колхозная оценка общей энтропии изображения, чем больше размер файла, тем больше деталей в картинке.

Тестирование апскейла

В рамках проекта Real-ESRGAN доступно несколько предобученных моделей:

• RealESRGAN_x4plus — для общего применения, увеличение 4х
• RealESRNet_x4plus — устаревшая модель для общего применения, увеличение 4х
• RealESRGAN_x4plus_anime_6B — для рисованных изображений, увеличение 4х
• RealESRGAN_x2plus — для общего применения, увеличение 2х
• official ESRGAN_x4 — модель, использовавшаяся для публикации официальных результатов, увеличение 4х

Для тестирования подобраны изображения, которые представляют широкий диапазон того, что может пожелать заапскейлить среднестатистический землянин. Средний размер изображений после уменьшения в четыре раза составляет 350х250 пикселей. Бóльшая сторона исходных изображений имеет длину в диапазоне от 1200 до 2000 пикселей, приводить их целиком неуместно, поэтому только ссылки и уменьшенные версии.

Для проверки использована модель ESRGAN_SRx4_DF2KOST_official-ff704c30, которая субъективно превосходит прочие.

▍ Тестовое изображение «sample01»

Уменьшение 4x ➟ 300×200

• Оригинал 1200×800
• Интерполяция Lancoz 300×200 ➟ 1200×800
• Апскейл Gigapixel 300×200 ➟ 1200×800
• Апскейл RealESRGAN 300×200 ➟ 1200×800

После первого теста уже можно заподозрить, что RealESRGAN превосходит на голову существующие разработки. Если не знать, что изображение было увеличено, то заметить подвох сложно. Gigapixel демонстрирует неплохие результаты, но заметно, что это синтетика.

▍ Тестовое изображение «sample02»

Уменьшение 4x ➟ 350×231

• Оригинал 1400×922
• Интерполяция Lancoz 350×231 ➟ 1400×924
• Апскейл Gigapixel 350×231 ➟ 1400×924
• Апскейл RealESRGAN 350×231 ➟ 1400×924

На результате от RealESRGAN листья деревьев выглядят не только реалистично, но и более чётко чем в оригинале, что-то необычное.

▍ Тестовое изображение «sample03»

Уменьшение 4x ➟ 320×180

• Оригинал 1280×720
• Интерполяция Lancoz 320×180 ➟ 1280×720
• Апскейл Gigapixel 320×180 ➟ 1280×720
• Апскейл RealESRGAN 320×180 ➟ 1280×720

Настоящий дождь, чёткое лицо. Как? Пришлось перепроверять, уж слишком хорошо, чтобы это было правдой, но это действительно апскейл.

Далее будут таблицы с измерениями, но перед этим приведу примеры, которые наглядно продемонстрируют, как зависят значения от картинки.

❒ Чем ближе VMAF к 100, тем лучше. Остальные параметры абсолютны.

❒ RealESRGAN показывает самые высокие результаты, которые иногда превосходят показатели исходного изображения.

Интерпретируя оценку VMAF, следует помнить, что её значительную часть формирует буквальное соответствие оригиналу, что ведёт к формальному превосходству Lancoz, так как он ничего не сочиняет от себя. Сравнивать стоит оценки RealESRGAN и Gigapixel между собой. Cреднее значение VMAF 56,92 против 55,10 подтверждает превосходство RealESRGAN.

▍ Далее проверяем режим увеличения рисованных изображений

В качестве алгоритма для сравнения был выбран Waifu, который долгое время считался стандартом. Не имею дела с рисованной анимацией, поэтому могу только эмпирически предположить, что сейчас топовым алгоритмом является Anime4k. На примерах в интернете не наблюдается значительной разницы между Anime4k и RealESRGAN, поэтому в тестировании Anime4k не используется (нет смысла устанавливать ради нескольких картинок).

Уменьшение 4x ➟ 300×200

• Оригинал 1200×800
• Интерполяция Lancoz 300×200 ➟ 1200×800
• Апскейл Waifu 300×200 ➟ 1200×800
• Апскейл RealESRGAN 300×200 ➟ 1200×800

На целевом типе анимации RealESRGAN проявляет себя ожидаемо превосходно, собственно поэтому будет интересно протестировать разные типы графики.

Специально для простых смертных существует версия RealESRGAN, упакованная в один файл, которая не требует установки вспомогательных библиотек.

Ссылки под разные ОС:

• Win
• Ubuntu
• Mac

Портативная версия использует модели в своём формате, в комплекте есть следующие:

• realesrgan-x4plus (для общего применения)
• realesrnet-x4plus (устаревшая модель для общего применения)
• realesrgan-x4plus-anime (для рисованных изображений)

Самая мощная модель, аналогичная той, что использовалась в данном сравнении, лежит почему-то в другом месте:

• models-DF2K — это «official ESRGAN_x4»
• models-DF2K_JPEG — это та же модель, но способная переносить сильно сжатые JPEG. Пригодится, если на других моделях результат разваливается в мозаику.

Файлы моделей следует поместить в каталог ./models, переименовав по примеру содержимого.

Командная строка для запуска с дефолтной моделью realesrgan-x4plus:
realesrgan-ncnn-vulkan.exe -i dir_in -o dir_out -j 1:1:2

Для переключения модели нужно добавлять специальный ключ: «-n realesrgan-x4plus-anime»,
«-n df2k-x4»

GFPGAN

Решение GFPGAN предназначено для восстановления детализации лиц с изображений низкого разрешения.

Существуют две модели:

• GFPGANCleanv1-NoCE-C2 — упрощённая модель
• GFPGANv1 — сложная модель

Сложная модель рисует настоящее лицо с фотографической точностью. У неё есть три проблемы:

1. Требует дополнительной мороки с установкой.
2. Не подстраивается под освещение фотографии.
3. Почти всегда искажает цвет области вокруг лица, то есть нужно допиливать в фотошопе.

Простая модель соответственно не имеет таких проблем, но качество её работы заметно ниже.

Ради эксперимента проверим, что будет, если запустить алгоритм на хорошем разрешении.

Уменьшение 2x ➟ 512×512

• Оригинал 1024×1024
• Апскейл RealESRGAN 512×512 ➟ 2048×2048 -Lancoz➟ 1024×1024
• Улучшение GFPGAN модель cleanV1 512×512 ➟ 1024×1024
• Улучшение GFPGAN модель V1 512×512 ➟ 1024×1024
• Улучшение Remini 512×512 ➟ 1024×1024

Улучшения не только не происходит, но и есть сильная потеря деталей. Штош ?. Зато мы узнали, что можно пользоваться RealESRGAN вместо Remini, разница незначительна.

Теперь проверим: насколько малое изображение сможет восстановить алгоритм.

Похожесть на оригинал сохраняется на очень низком разрешении, соотношение 10 раз! А если хочется большего разрешения чем 512х512 (фиксированный размер на выходе генератора лиц), можно пропустить последовательно через RealESRGAN и Remini.

Теперь протестируем возможности восстановления лиц на чём-нибудь практически значимом.

Апскейл приводится как исходная точка. Сравнивать будем с работой MS restore, который был лучшим из открытых алгоритмов восстановления лиц.

• Улучшение MS restore ➟ Апскейл RealESRGAN 537×824 ➟ 1074×1648
• Улучшение GFPGAN модель cleanV1 537×824 ➟ 1074×1648
• Улучшение GFPGAN модель V1 537×824 ➟ 1074×1648

Бонусы

Для собственного удовольствия захотелось сделать цветные версии с помощью штуки из прошлой статьи. Пришлось сутки ждать пока она нагенерирует по 20 вариантов раскраски для каждой фотографии, выбирать удачные детали и стыковать в фотошопе.

Большие картинки по клику.

P.S.

Так вот к чему я это всё вёл: «Легко найти выключатель, если лампочка уже горит.» (Конфуций, VI в до н.э.) Проведя достаточное количество тестов, можно смело утверждать, что оба алгоритма офигеть какие крутые (и при этом, находятся в открытом доступе).