Iris-3B Turbo работает на CPU и Apple Silicon без VAE

Iris-3B это 3B-трансформер диффузии от Speridlabs, который напрямую удаляет шум из RGB-пикселей. Здесь нет ни VAE, ни латентного пространства: последние блоки сети превращают каждый патч 16×16 обратно в пиксели, поэтому в конце ничего не декодируется (карточка модели | код | статья).

Референсная реализация требует GPU NVIDIA с CUDA. Два независимых порта теперь запускают те же веса на оборудовании, которое уже есть у большинства: FastSDCPU добавил 4-шаговый чекпойнт Turbo в свой путь OpenVINO 18 октября, а Iris-3B Metal запускает его на Apple Silicon с пользовательскими ядрами Metal и нативным приложением для macOS.

Древний город Петра в утреннем свете, сгенерировано Iris-3B с настройкой по умолчанию в 100 шагов. Источник: speridlabs/iris-3b

Внутри модели

Архитектура это довольно небольшой трансформер диффузии: 8 блоков с двумя потоками и 16 блоков с одним потоком, за которыми следует 4-блочная пиксельная голова, отображающая каждый патч 16×16 входа обратно в пиксели. Текст поступает от замороженного энкодера Qwen3-VL-4B-Instruct. Обучение идёт по методу rectified flow, с нуля при 256, затем 512 и 1024 px, с дообучением с учителем при 1024 px в течение 665K шагов в сумме.

Отказ от VAE убирает этапы кодирования и декодирования, но авторы специально отмечают, что пиксельное пространство не становится автоматически дешевле. Сам трансформер требует больших вычислительных затрат, чем латентная модель с тем же числом параметров, поэтому приведённые ниже показатели на CPU измеряются в минутах, а не в секундах.

Тот же бэкбон также дообучен, без изменений архитектуры, под две плотные задачи: монокулярная относительная глубина и восстановление изображений с увеличением 4×. Обе задачи выполняют всю модель за один прямой проход с пустым промптом, поэтому текстовый энкодер им вообще не нужен.

Turbo: четыре шага, без CFG

Iris-3B Turbo поставляется в папке turbo/ того же репозитория и представляет собой полное дообучение всех 3B параметров, дистиллированное с помощью Trajectory Distribution Matching. Classifier-free guidance зашит в веса, поэтому каждый шаг это один прямой проход; карточка модели указывает около 0,7 с для изображения 1024×1024 на одной H100 при пакете 4.

Выборка фиксирована на 4-шаговом расписании (σ = 1, 0.938, 0.833, 0.625) с детерминированными шагами flow-Euler, поэтому --steps, --cfg-scale и негативные промпты больше не действуют. Turbo дистиллировали на семи наборах соотношений сторон около одного мегапикселя, включая 1024×1024, 752×1344, 896×1344 и 896×1200 и их транспонированные варианты.

Результат Iris-3B Turbo, сгенерировано на H100 с seed 6. Источник: speridlabs/iris-3b

Turbo немного опережает базовую модель в следовании промпту и уступает ей в длинном отрендеренном тексте и в OneIG-Bench, где разрыв в основном связан с текстом и разнообразием выходов. Карточка модели также указывает зернистость на плоских фонах в векторном стиле и меньшую вариативность между seed как известные компромиссы 4-шагового расписания.

На CPU через OpenVINO int8

FastSDCPU добавил поддержку Iris-3B Turbo в релизе v1.0.0-beta.600 18 октября, в виде int8-конвертации трансформера и энкодера Qwen3-VL в OpenVINO (веса).

Интеграция поддерживает только текст в изображение. Guidance scale, LoRA и ControlNet не влияют на путь Iris, и README отмечает, что всё тестировалось на CPU и встроенных GPU.

На Apple Silicon через Metal

Iris-3B Metal это независимый движок MPS и Metal с собственными ядрами, а также приложение для macOS, CLI, Python API и локальный HTTP API. Версия 0.5.0 запускает официальные веса без собственного дообучения (репозиторий).

Нативное приложение для macOS с изображением, сгенерированным Iris-3B. Источник: TKY-27/iris-3b-metal

На базовом M5 MacBook Pro с 24 GiB README сообщает 12,07 с в тёплом режиме для Turbo при 4 шагах, 38,38 с для оригинальной модели при 10 шагах и 76,04 с при 20 шагах, при пиковой памяти процесса около 10 GiB. Машины с 16 GB не тестировались.

Три промпта с одним сидом при 10, 20 и 100 шагах: композиция сохраняется, мелкие детали продолжают меняться. Источник: TKY-27/iris-3b-metal

Глубина и восстановление

Обе плотные задачи переиспользуют генеративный приор вместо обучения отдельного vision-бэкбона. По протоколу Marigold V2, в режиме zero-shot на NYUv2, KITTI, ETH3D, ScanNet и DIODE, модель глубины показывает AbsRel 0.071 и δ1 0.946; глубина относительная и аффинно-инвариантная, а не метрическая. Модель восстановления и увеличения разрешения показывает LPIPS 0.292 и PSNR 20.68 на валидации DIV2K при 4×, а большие выходы разбивает на перекрывающиеся окна 1024×1024.

Доступность

В ComfyUI пока нет нативного загрузчика для Iris-3B. Текст в изображение запускается через референсные Python-скрипты, два порта выше или демо Space Turbo. Для ComfyUI существуют три пакета узлов от сообщества: ScryptHunter/ComfyUI-iris, RealRebelAI/ComfyUI-Iris-3B и bani4kaskashka/Iris-3B-Comfy-Nodes, все опубликованы в начале октября и пока небольшие.