Iris-3B Turbo 无需 VAE 即可在 CPU 与 Apple Silicon 上运行

Iris-3B 是 Speridlabs 推出的 3B 参数扩散 Transformer，直接对 RGB 像素进行去噪。它没有 VAE，也没有 latent 空间：网络的最后几个块将每个 16×16 补丁还原为像素，因此末尾无需任何解码（模型卡 | 代码 | 论文）。

参考实现要求使用带 CUDA 的 NVIDIA GPU。现在已有两个独立移植版本，可在大多数人已有的硬件上运行同一套权重：FastSDCPU 于 10 月 18 日将 4 步 Turbo checkpoint 加入其 OpenVINO 路径，而 Iris-3B Metal 使用自定义 Metal kernel 和原生 macOS 应用在 Apple Silicon 上运行。

晨光中的古城佩特拉，由 Iris-3B 以其默认 100 步设置生成。来源：speridlabs/iris-3b

模型内部

架构是一个相当小巧的扩散 Transformer：8 个双流块和 16 个单流块，其后是一个 4 块像素头，将输入的每个 16×16 补丁映射回像素。文本来自冻结的 Qwen3-VL-4B-Instruct 编码器。训练采用 rectified flow，从零开始在 256、512，再到 1024 px 上训练，并在 1024 px 上进行监督微调，总计 665K 步。

跳过 VAE 省去了编码与解码阶段，但作者谨慎指出，像素空间并不会自动更便宜。Transformer 本身的计算开销高于同等参数量的 latent 模型，因此下文的 CPU 数据以分钟而非秒计。

同一骨干网络还在不做架构改动的情况下微调为两个密集任务：单目相对深度和 4× 图像恢复。两者都用空提示词以单次前向传播运行整个模型，因此完全不需要文本编码器。

Turbo：四步，无 CFG

Iris-3B Turbo 位于同一仓库的 turbo/ 文件夹中，是对全部 3B 参数使用 Trajectory Distribution Matching 蒸馏的完整微调。无分类器引导已固化进权重，因此每一步都是单次前向传播；模型卡测得在单张 H100、批处理为 4 时，1024×1024 图像约需 0.7 秒。

采样固定为 4 步调度（σ = 1、0.938、0.833、0.625），采用确定性 flow-Euler 步进，因此 --steps、--cfg-scale 和负面提示词不再适用。Turbo 在围绕一百万像素的七个宽高比桶上蒸馏，包括 1024×1024、752×1344、896×1344 和 896×1200 及其转置。

一张 Iris-3B Turbo 的生成结果，在 H100 上以 seed 6 生成。来源：speridlabs/iris-3b

Turbo 在提示词遵循上略优于基础模型，但在长文本渲染和 OneIG-Bench 上落后，差距主要来自文本和输出多样性。模型卡还列出：平坦矢量风格背景上的颗粒感，以及不同种子之间变化更少，都是 4 步调度的已知取舍。

在 CPU 上，通过 OpenVINO int8

FastSDCPU 于 10 月 18 日在 v1.0.0-beta.600 版本中发布了 Iris-3B Turbo 支持，形式为 transformer 和 Qwen3-VL 编码器的 int8 OpenVINO 转换（权重）。

该集成仅支持文本生成图像。引导缩放、LoRA 和 ControlNet 在 Iris 路径上没有效果，README 指出它已在 CPU 和集成 GPU 上测试。

在 Apple Silicon 上，通过 Metal

Iris-3B Metal 是一个独立的 MPS 与 Metal 引擎，拥有自己的 kernel，并提供 macOS 应用、CLI、Python API 和本地 HTTP API。0.5.0 版本运行官方权重，没有进行自己的微调（仓库）。

原生 macOS 应用，图中是由 Iris-3B 生成的图像。来源：TKY-27/iris-3b-metal

在配备 24 GiB 内存的基础款 M5 MacBook Pro 上，README 报告 Turbo 4 步预热后耗时 12.07 秒，原始模型 10 步为 38.38 秒、20 步为 76.04 秒，峰值进程内存约 10 GiB。16 GB 的机器尚未测试。

三组提示词在相同 seed、10、20 和 100 步下的结果：构图保持稳定，细节持续变化。来源：TKY-27/iris-3b-metal

深度与恢复

这两个密集任务都复用生成先验，而不是训练单独的视觉骨干。在 Marigold V2 协议下，跨 NYUv2、KITTI、ETH3D、ScanNet 和 DIODE 的零样本评测中，深度模型报告 AbsRel 0.071 和 δ1 0.946；该深度是相对且仿射不变的，而非度量深度。恢复与图像放大模型在 DIV2K 验证集的 4× 任务上报告 LPIPS 0.292 和 PSNR 20.68，并将大尺寸输出切分为重叠的 1024×1024 窗口。

可用性

ComfyUI 目前还没有 Iris-3B 的原生加载器。文本生成图像可通过参考 Python 脚本、上述两个移植版本或 Turbo 演示 Space 运行。ComfyUI 现有三个社区节点包：ScryptHunter/ComfyUI-iris、RealRebelAI/ComfyUI-Iris-3B 和 bani4kaskashka/Iris-3B-Comfy-Nodes，均于 10 月初发布，规模仍然很小。