VAE 없이 CPU와 Apple Silicon에서 실행되는 Iris-3B Turbo

Iris-3B는 Speridlabs에서 만든 3B 파라미터 디퓨전 트랜스포머로, RGB 픽셀을 직접 디노이즈합니다. VAE도, 잠재 공간도 없습니다. 네트워크의 마지막 블록들이 각 16×16 패치를 다시 픽셀로 변환하므로 마지막에 디코딩되는 것이 없습니다 (모델 카드 | 코드 | 논문).

참조 구현은 CUDA를 지원하는 NVIDIA GPU를 요구합니다. 이제 두 개의 독립적인 포트가 동일한 가중치를 대부분의 사람이 이미 보유한 하드웨어에서 실행합니다. FastSDCPU는 10월 18일 OpenVINO 경로에 4스텝 Turbo 체크포인트를 추가했고, Iris-3B Metal은 커스텀 Metal 커널과 네이티브 macOS 앱으로 Apple Silicon에서 이를 실행합니다.

아침 빛을 받은 고대 도시 페트라. Iris-3B의 기본 100스텝 설정으로 생성했습니다. 출처: speridlabs/iris-3b

모델 내부

아키텍처는 상당히 작은 디퓨전 트랜스포머입니다. 8개의 듀얼 스트림 블록과 16개의 싱글 스트림 블록이 있고, 이어서 입력의 각 16×16 패치를 픽셀로 다시 매핑하는 4블록 픽셀 헤드가 있습니다. 텍스트는 동결된 Qwen3-VL-4B-Instruct 인코더에서 나옵니다. 학습은 rectified flow 방식으로, 256에서 시작해 512, 다시 1024px로 이어지며 총 665K 스텝 동안 1024px에서 지도 미세 조정을 수행했습니다.

VAE를 건너뛰면 인코드와 디코드 단계가 사라지지만, 저자들은 픽셀 공간이 자동으로 더 저렴해지는 것은 아니라고 분명히 밝힙니다. 트랜스포머 자체는 동일한 파라미터 수의 잠재 데이터 모델보다 더 무거운 연산 비용을 가지며, 그래서 아래의 CPU 수치는 초가 아닌 분 단위로 측정됩니다.

동일한 백본은 아키텍처 변경 없이 두 가지 밀집 작업으로도 미세 조정됩니다. 단안 상대 깊이와 4× 이미지 복원입니다. 두 작업 모두 빈 프롬프트로 전체 모델을 단일 순방향 패스로 실행하므로 텍스트 인코더가 전혀 필요하지 않습니다.

Turbo: 4스텝, CFG 없음

Iris-3B Turbo는 같은 저장소의 turbo/ 폴더에 포함되어 있으며, Trajectory Distribution Matching으로 증류된 전체 3B 파라미터의 완전한 미세 조정 버전입니다. Classifier-free guidance가 가중치에 내장되어 있어 각 스텝이 단일 순방향 패스입니다. 모델 카드에 따르면 H100 한 대에서 배치 4 기준 1024×1024 이미지에 약 0.7초가 측정됩니다.

샘플링은 결정론적 flow-Euler 스텝을 사용하는 4스텝 스케줄(σ = 1, 0.938, 0.833, 0.625)로 고정되어 있어 --steps, --cfg-scale 및 네거티브 프롬프트는 더 이상 적용되지 않습니다. Turbo는 약 1메가픽셀을 중심으로 한 7가지 화면비 버킷에 걸쳐 증류되었으며, 여기에는 1024×1024, 752×1344, 896×1344, 896×1200과 그 전치 비율이 포함됩니다.

시드 6으로 H100에서 생성한 Iris-3B Turbo 결과. 출처: speridlabs/iris-3b

Turbo는 프롬프트 준수에서 베이스 모델보다 약간 앞서고, 긴 렌더링 텍스트와 OneIG-Bench에서는 뒤처지는데, 그 격차는 대부분 텍스트와 출력 다양성에서 발생합니다. 모델 카드는 또한 평면 벡터 스타일 배경의 그레인과 시드 간 변동 감소를 4스텝 스케줄의 알려진 트레이드오프로 명시합니다.

CPU에서 OpenVINO int8로

FastSDCPU는 10월 18일 릴리스 v1.0.0-beta.600에서 Iris-3B Turbo 지원을 출시했습니다. 트랜스포머와 Qwen3-VL 인코더를 int8 OpenVINO로 변환한 버전입니다 (가중치).

이 통합은 텍스트에서 이미지로만 지원합니다. 가이드 스케일, LoRA, ControlNet은 Iris 경로에서 효과가 없으며, README에는 CPU와 통합 GPU에서 테스트했다고 명시되어 있습니다.

Apple Silicon에서 Metal로

Iris-3B Metal은 자체 커널을 갖춘 독립적인 MPS 및 Metal 엔진으로, macOS 앱, CLI, Python API, 로컬 HTTP API를 함께 제공합니다. 버전 0.5.0은 자체 미세 조정 없이 공식 가중치를 실행합니다 (저장소).

Iris-3B로 이미지를 생성한 네이티브 macOS 앱. 출처: TKY-27/iris-3b-metal

24 GiB를 갖춘 기본형 M5 MacBook Pro에서 README는 Turbo 4스텝 기준 워밍 상태 12.07초, 원본 모델 10스텝 38.38초, 20스텝 76.04초를 보고하며, 최대 프로세스 메모리는 약 10 GiB입니다. 16 GB 머신은 테스트되지 않았습니다.

세 가지 프롬프트를 동일한 시드로 10, 20, 100스텝 실행한 결과: 구도는 유지되지만 세부 묘사는 계속 달라집니다. 출처: TKY-27/iris-3b-metal

깊이와 복원

두 밀집 작업 모두 별도의 비전 백본을 학습하는 대신 생성 사전 지식을 재사용합니다. Marigold V2 프로토콜에서 NYUv2, KITTI, ETH3D, ScanNet, DIODE 전반에 걸친 제로샷으로, 깊이 모델은 AbsRel 0.071과 δ1 0.946을 보고합니다. 깊이는 상대적이며 아핀 불변이고, 미터법이 아닙니다. 복원 및 업스케일링 모델은 DIV2K 검증에서 4× 기준 LPIPS 0.292와 PSNR 20.68을 보고하며, 큰 출력은 겹치는 1024×1024 창으로 타일링합니다.

사용 가능성

ComfyUI에는 아직 Iris-3B용 네이티브 로더가 없습니다. 텍스트에서 이미지로는 참조 Python 스크립트, 위의 두 포트, 또는 Turbo 데모 Space를 통해 실행할 수 있습니다. ComfyUI용 커뮤니티 노드 팩이 세 개 존재합니다: ScryptHunter/ComfyUI-iris, RealRebelAI/ComfyUI-Iris-3B, bani4kaskashka/Iris-3B-Comfy-Nodes. 모두 10월 초에 공개되었으며 아직 규모가 작습니다.