Исследователи Apple разработали PICO (Perceptual Image Codec) — нейросетевой кодек для сжатия изображений с учётом их содержимого. Система работает в 2-3 раза эффективнее обычных кодеков и быстрее конкурирующих систем на базе ML.
В отличие от стандартных кодеков, в которых алгоритмы сжатия прописан вручную, PICO относится к разряду обучаемых систем. В основе лежит нейросетевая модель для кодирования изображений. Она обучена понимать, какие детали на снимках человеческий глаз не замечает, и удалять их в первую очередь. Благодаря этому изображения удаётся эффективно сжимать с минимальной потерей качества.
По данным разработчиков, PICO выдаёт экономию битрейта в 2-3 раза по сравнению с AV1, AV2, VVC, ECM и JPEG AI при сопоставимом визуальном качестве. Если сравнивать с другими нейросетевым кодеками, то экономия битрейта составляет 20-40%. При этом Apple не сравнивает PICO с JPEG XL.
Отдельно компания обращает внимание на скорость работы. На iPhone 17 Pro Max PICO кодирует 12-мегапиксельное изображение примерно за 230 мс и декодирует его за 150 мс. Apple отмечает, что обычно ML-кодеки работают на GPU Nvidia V100, что значительно усложняет их перенос на мобильное железо.
Пока проект больше похож на исследовательскую работу, а о планах внедрить PICO в операционные системы Apple или iCloud пока неизвестно. Вероятно, подробностями компания поделится на WWDC в начале июня.
ссылка на оригинал статьи https://habr.com/ru/articles/1040118/