TRELLIS.2 и Pixal3D: генерация 3D из изображений в ComfyUI

ComfyUI Wikinews

Ядро ComfyUI теперь поддерживает генерацию 3D из изображений TRELLIS.2 и Pixal3D: этапы формы и текстуры, глубина MoGe и постобработка сетки с официальными весами Comfy-Org.

TRELLIS.2 (Hugging Face | GitHub | страница проекта) и Pixal3D (Hugging Face | GitHub) генерация 3D из изображений теперь встроена непосредственно в ядро ComfyUI: PR интеграции (Comfy-Org/ComfyUI #14718) был объединен 22 августа 2026 года, поэтому пользовательский пакет узлов не требуется.

Обзор

TRELLIS.2 — это модель Microsoft для генерации 3D из изображений с 4 миллиардами параметров. Она использует разреженное воксельное представление O-Voxel (omni-voxel) с трансформером flow-matching для генерации высококачественных 3D-ассетов со сложной топологией, четкими деталями и полными PBR-материалами, включая прозрачность. Модель была выпущена в декабре 2025 года (см. наш предыдущий обзор) и не требует проходов рендеринга или оптимизации при конвертации.

Pixal3D — это модель SIGGRAPH 2026 от Tencent ARC Lab и Университета Цинхуа, построенная на базе TRELLIS.2. Она использует пиксель-выровненные признаки посредством обратной проекции для установления прямых соответствий «пиксель-3D», достигая точности, близкой к уровню реконструкции, с детальной геометрией и PBR-текстурами из одного изображения.

Пример текстурирования TRELLIS.2: The Forgotten Knight

Пример этапа текстурирования TRELLIS.2 (источник: microsoft/TRELLIS.2)

Результаты Pixal3D: генерация 3D из изображений

Результаты реконструкции Pixal3D из одного изображения (источник: страница проекта Pixal3D)

Нативная поддержка ComfyUI

PR интеграции добавляет реализацию обеих моделей и полную цепочку постобработки сетки без дополнительных зависимостей: всё переписано на PyTorch/scipy.

  • Узлы TRELLIS.2 — Trellis2ShapeStage, Trellis2TextureStage, Trellis2UpsampleStage, Trellis2Conditioning, EmptyTrellis2LatentStructure, а также выделенные VAE-декодеры формы и текстуры (VaeDecodeShapeTrellis, VaeDecodeTextureTrellis)
  • Узлы Pixal3D — Pixal3DConditioning вместе с общими этапами TRELLIS.2; обе модели используют одни и те же VAE и энкодер изображений DINOv3
  • Узлы метрической глубины MoGe — LoadMoGeModel, MoGeInference, MoGePanoramaInference, MoGePointMapToMesh, MoGeGeometryToFOV, MoGeRender для оценки камеры и угла обзора, а также создания геометрических условий
  • Постобработка сетки — RemeshMesh (ремешинг DC), DecimateMesh (децимация QEM), UnwrapMesh (развертка UV), ApplyTextureToMesh, BakeTextureFromVoxel, BakeAmbientOcclusion, BakeNormalMapFromMesh, FillHoles, WeldVertices, MeshSmoothNormals
  • Экспорт 3D — SaveGLB, Save3DAdvanced, SaveGaussianSplat, SavePointCloud, MeshToFile3D, а также утилиты MergeMeshes и RotateMesh
Рабочий процесс TRELLIS.2 / Pixal3D в ComfyUI

Тестовый рабочий процесс для Pixal3D в ComfyUI (источник: Comfy-Org/ComfyUI PR #14718)

Рабочий процесс

Официальный пример рабочего процесса, размещенный в репозитории Comfy-Org/Pixal3D, запускает полную цепочку от одного входного изображения до генерации формы, запекания текстур и экспорта сетки:

Скачать модели

Переупакованные веса Comfy-Org предоставляют готовые к использованию чекпойнты в точности bf16 и INT8 ConvRot:

📂 ComfyUI/models/
├── 📂 diffusion_models/
│   ├── trellis_2_bf16.safetensors          # or trellis_2_int8_convrot.safetensors
│   └── pixal3d_bf16.safetensors            # or pixal3d_int8_convrot.safetensors
├── 📂 clip_vision/
│   └── dino_v3_vit_l.safetensors           # Pixal3D uses dino_v3_L_naf_fp32.safetensors
└── 📂 vae/
    ├── trellis_2_shape_vae_bf16.safetensors
    └── trellis_2_texture_vae_bf16.safetensors

Ссылки

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
TRELLIS.2 и Pixal3D: генерация 3D из изображений в ComfyUI | ComfyUI Wiki