UltraTex: ComfyUI에서 3D 텍스처링을 위한 2K 멀티뷰 diffusion

텍스처 없는 메시와 참조 이미지로 UltraTex가 생성한 텍스처 에셋.

UltraTex가 하는 일

텍스처 없는 메시와 참조 이미지 하나를 UltraTex에 입력하면 6개의 2048² 텍스처 뷰(정면, 왼쪽, 뒷면, 오른쪽, 위, 아래)를 생성한 뒤 메시의 UV 텍스처로 베이킹합니다. 이 논문의 핵심은 2K에서의 밀도는 대부분 낭비된다는 점입니다.

오브젝트 중심 멀티뷰 렌더링에는 두 가지 중복 원천이 있습니다. 유용한 텍스처 정보를 담지 않는 배경 픽셀, 그리고 전경 토큰 사이의 희소한 상호작용입니다. UltraTex는 이 둘 모두를 공략합니다:

• **Background Token Dropping (BTD)**은 DiT 백본 이전에 배경 토큰을 버리지만 원본 RoPE 인덱스를 유지하므로, 공간 좌표와 멀티뷰 기하학적 사전 정보가 가지치기 후에도 살아남습니다.
• **Block-Sparse Attention (BSA)**은 남은 전경 시퀀스에 대해 밀집 어텐션 대신 top-k 희소 어텐션을 적용합니다.
• Foreground-Aware VAE Decoding은 디노이즈되지 않은 배경 잠재 데이터를 분포 내 캐노니컬 배경으로 대체하고 디코더를 가볍게 파인튜닝하여, 2K 재구성이 가지치기 때문에 생길 수 있는 아티팩트 없이 유지되도록 합니다.

UltraTex 파이프라인: 배경 토큰 드롭핑, 블록 희소 어텐션, 전경 인식 디코더.

백본은 FLUX.1-dev와 FLUX.2-Klein(4B 및 9B)이므로, 텍스처 생성기는 전용 텍스처링 네트워크가 아니라 일반 이미지 모델의 프롬프트 및 이미지 조건화를 그대로 물려받습니다.

속도는 어디에서 나오는가

G-buffer TexVerse 데이터셋의 일반 샘플에서 공개된 구현은 동일한 2K 출력 해상도 기준으로 밀집 베이스라인 대비 학습 속도 20.6배~91.1배, 엔드투엔드 추론 속도 22.3배~74.6배 향상을 보고합니다.

밀집 2K 베이스라인 대비 학습 및 추론 속도 향상 (프로젝트 페이지 기준).

논문의 정성적 텍스처링 결과.

공개된 것

• 코드와 가중치. 학습 및 추론 코드는 UltraTex 저장소에 있고, 체크포인트는 ModelScope에 공개되어 있습니다.
• 데이터셋. G-buffer TexVerse 데이터셋은 Hugging Face에 있습니다.
• 논문. SIGGRAPH Asia 2026, arXiv 2609.23169로 볼 수 있으며 결과와 비디오는 프로젝트 페이지에 있습니다.

ComfyUI에서 UltraTex 실행하기

커뮤니티 노드 팩 visualbruno/ComfyUI-UltraTex는 이 파이프라인을 ComfyUI 노드로 래핑합니다: UltraTex Load LoRA, UltraTex Foreground VAE Decoder, UltraTex Prep (mesh + reference), UltraTex Sampler, UltraTex Bake Texture. Load LoRA가 따로 있는 이유는 기본 Load LoRA 노드가 이 체크포인트를 읽지 못하기 때문이며(FLUX.2용 PEFT lora_A.default 키, FLUX.1용 UNO processor.*_lora 키), Bake Texture는 생성된 뷰를 UV 텍스처로 역투영하고 Preview 3D에 바로 연결되는 GLB를 반환합니다.

diffusion 모델, VAE, 텍스트 인코더는 기본 ComfyUI 로더로 로드되므로 fp8 및 GGUF 가중치와 ComfyUI의 메모리 오프로딩이 그대로 적용됩니다. Prep은 GPU UV 언랩(comfy_gpu, 50만 면 기준 약 6초) 또는 CPU xatlas 경로(같은 메시 기준 약 4.6분)를 제공합니다.

네 가지 예제 워크플로가 노드 팩과 함께 제공됩니다:

나머지 두 개는 1024px PBR과 FLUX.1-dev입니다.

사용 가능 여부

공식 저장소는 Triton 희소 어텐션 커널이 포함된 PyTorch 학습 및 추론 코드를 제공하며, 가중치는 ModelScope에 있습니다. ComfyUI 경로는 위의 서드파티 노드 팩이며 공식 Comfy-Org 릴리스가 아니므로, 설치하려면 커스텀 노드를 추가하고 ModelScope에서 UltraTex LoRA와 전경 디코더를 내려받아야 합니다.