NitroFusion2: Z-Image-Turbo за 1 шаг, с рабочими процессами ComfyUI

ComfyUI Wikinews

NitroFusion2 дистиллирует Z-Image-Turbo до 1-2 шагов: нативные воркфлоу ComfyUI, GGUF от 2,0 ГБ и int8 примерно в 1,7 раза быстрее на шаг.

<strong>NitroFusion2</strong> дистиллирует Z-Image-Turbo до одного и двух шагов; выпущен 3 ноября вместе с научной статьёй. В комплекте идут два официальных рабочих процесса ComfyUI, не требующих пользовательских нод, файлы GGUF от 2,0 ГБ до 7,2 ГБ и LoRA де-дистилляции для двухшагового режима.
NitroFusion2 за один и два шага в сравнении с Z-Image-Turbo

Один и тот же промпт и seed: Z-Image-Turbo против NitroFusion2 за один и два шага. Из карточки модели.

Что изменилось

Базовая модель уже работает за восемь шагов. NitroFusion2 доводит её до одного шага, перенося состязательную функцию потерь на текстовый поток MMDiT: к середине сети текстовые токены уже «прочитали» изображение и содержат сводку о том, что было сгенерировано, поэтому дискриминатор, обученный в этой точке, видит изображение с точки зрения самого промпта. На практике это значит, что типографика и мелкие детали лучше сохраняются за один шаг, чем обычно удаётся при простой дистилляции по числу шагов.

Как запустить

Три файла в стандартных папках ComfyUI, затем рабочий процесс:

  • nf2-bf16.safetensors (12,31 ГБ) в models/diffusion_models/
  • qwen_3_4b.safetensors в models/text_encoders/, загружается как lumina2
  • ae.safetensors в models/vae/

Один шаг работает на euler / simple, CFG 1, shift 3. Для двух шагов используется shift 6 и добавляется LoRA де-дистилляции со значением 0,5 только на первом шаге, затем 0,0 на втором; официальный двухшаговый рабочий процесс делает это за два прохода сэмплера.

Уровни GGUF для NitroFusion2 на одном промпте

Опубликованные уровни GGUF на одном промпте и seed, от высокой точности к низкой. Из карточки модели.

Меньшие файлы

В репозитории представлены GGUF от nf2-Q2_K_4XS (2,0 ГБ) до nf2-Q8_0 (7,2 ГБ), у каждого на странице модели есть свой рабочий процесс для одного и двух шагов. Сторонний набор ComfyUI добавляет нативные для ComfyUI квантования того же файла nf2-bf16, измеренные при 1024² на 4090 (PedroMarinhoDev/NitroFusion2-ComfyUI):

ФайлРазмер1 шаг, 4090Ошибка предсказания относительно bf16
bf1612,31 ГБ0,50 с0
int8 ConvRot6,18 ГБ0,29 с13,4%
W6A85,02 ГБ0,30 с17,5%
W4A83,49 ГБ0,29 с33,6%

Эта ошибка рассчитана относительно предсказания bf16 на 12 промптах x 4 образцах шума, и автор говорит, что почти вся она приходится на мелкую текстуру, а не на композицию, лица или текст. Воспринимайте её как сравнение трёх файлов между собой, а не как абсолютную оценку качества.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
NitroFusion2: Z-Image-Turbo за 1 шаг, с рабочими процессами ComfyUI | ComfyUI Wiki