Релиз FastMesh — метода генерации мешей 3D-объектов

Исследователи из Наньянского технологического университета (Сингапур) представили FastMesh — метод быстрой генерации 3D-мешей. Добиться ускорения удалось благодаря разделению процесса компоновки сеток. Вместо создания треугольников система сперва генерирует вершины, а после восстанавливает по ним грани.

Авторы проекта отмечают, что во всех популярных методах генерации 3D-мешей есть одна и та же проблема: последовательное представление вершин переиспользуют множество раз. Это раздувает длин последовательности и замедляет генерацию. 

FastMesh меняет порядок действий во время генерации:

• Сперва модель создаёт вершины сетки с помощью авторегрессионной модели. Благодаря этому становится проще поддерживать их число.

• После этого двунаправленный трансформер за один шаг восстанавливает грани между вершинами. Его обучают на матрицах смежности, построенными на основе отношений между вершинами.

• На финальном этапе подключаются ещё два механизма: один уточняет расположение вершин для получения более естественных конфигураций, а второй — удаляет неудачные рёбра.

С инженерной точки зрения решение простое, но выгодное по скорости генерации и экономии вычислительных ресурсов. Вместо длинной и сложной авторегрессии по полигонам процесс сводят к более компактному этапу единовременного достраивания связей.

Если смотреть по бенчмаркам, то метод FastMesh ускоряет генерацию в более чем восемь раз, если сравнивать с SOTA-подходами. При этом растёт художественное качество статей. Также FastMesh надо на 23% меньше токенов по сравнению с самым компактным из существующих токенизаторов.

Исследователи планируют открыть код метода, но пока на GitHub есть только заглушка со списком задач на будущее. Позже появятся веса, код инференса, обучающий код и демо на Hugging Face. Для запуска требуется Python 3.10 и CUDA 11.8.