UltraTex: мультивидовой diffusion 2K для текстурирования 3D в ComfyUI

Текстурированные ассеты, созданные UltraTex из меша без текстуры и одного изображения-референса.

Что делает UltraTex

Дайте UltraTex меш без текстуры и одно изображение-референс, и он сгенерирует шесть текстурных видов 2048² (спереди, слева, сзади, справа, сверху, снизу), а затем запечёт их в UV-текстуру на меше. Основная мысль статьи в том, что плотность при 2K по большей части расходуется впустую.

Мультивидовой рендеринг с фокусом на объекте имеет два источника избыточности: фоновые пиксели, не несущие полезной текстурной информации, и разреженные взаимодействия между токенами переднего плана. UltraTex борется с обоими:

• Background Token Dropping (BTD) отбрасывает фоновые токены перед backbone DiT, но сохраняет исходные индексы RoPE, чтобы пространственные координаты и мультивидовой геометрический приор пережили прореживание.
• Block-Sparse Attention (BSA) применяет разреженное внимание top-k по оставшейся последовательности переднего плана вместо плотного внимания.
• Foreground-Aware VAE Decoding заменяет неденоизированный латентный фон на канонический фон из распределения и слегка дообучает декодер, благодаря чему реконструкция 2K остаётся свободной от артефактов, которые иначе внесло бы прореживание.

Пайплайн UltraTex: отбрасывание фоновых токенов, блочно-разреженное внимание и декодер с учётом переднего плана.

В качестве backbone используются FLUX.1-dev и FLUX.2-Klein (4B и 9B), поэтому генератор текстур наследует промпт и условия изображения общей модели изображений, а не специализированной сети текстурирования.

Откуда берётся скорость

На обычных сэмплах датасета G-buffer TexVerse опубликованная реализация сообщает об ускорении обучения от 20.6× до 91.1× и ускорении сквозного вывода от 22.3× до 74.6× по сравнению с плотным baseline при том же выходном разрешении 2K.

Ускорение обучения и вывода относительно плотного 2K-базлайна, со страницы проекта.

Качественные результаты текстурирования из статьи.

Что было выпущено

• Код и веса. Код для обучения и вывода находится в репозитории UltraTex, а чекпойнты опубликованы на ModelScope.
• Датасет. Датасет G-buffer TexVerse доступен на Hugging Face.
• Статья. SIGGRAPH Asia 2026, доступна как arXiv 2609.23169, с результатами и видео на странице проекта.

Запуск UltraTex в ComfyUI

Пакет узлов от сообщества visualbruno/ComfyUI-UltraTex оборачивает пайплайн в узлы ComfyUI: UltraTex Load LoRA, UltraTex Foreground VAE Decoder, UltraTex Prep (mesh + reference), UltraTex Sampler и UltraTex Bake Texture. Узел Load LoRA существует потому, что штатный узел Load LoRA не может прочитать эти чекпойнты (ключи PEFT lora_A.default для FLUX.2, ключи UNO processor.*_lora для FLUX.1), а Bake Texture обратно проецирует сгенерированные виды в UV-текстуру и возвращает GLB, который напрямую подключается к Preview 3D.

Модель диффузии, VAE и текстовый энкодер загружаются штатными загрузчиками ComfyUI, поэтому применимы веса fp8 и GGUF и выгрузка памяти ComfyUI. Узел Prep предлагает GPU UV-развёртку (comfy_gpu, около 6 с для 500 тыс. полигонов) или путь CPU xatlas (около 4.6 мин для того же меша).

Вместе с пакетом узлов поставляются четыре примера рабочих процессов:

Остальные два: PBR при 1024px и FLUX.1-dev.

Доступность

Официальный репозиторий поставляет код обучения и вывода на PyTorch с ядрами разреженного внимания Triton, а веса размещены на ModelScope. Путь через ComfyUI: это сторонний пакет узлов, приведённый выше, а не официальный релиз Comfy-Org, поэтому установка означает добавление пользовательского узла и загрузку UltraTex LoRA и декодера переднего плана с ModelScope.