P-H3-Image работает за 2 шага с LoRA pDMD в ComfyUI

ComfyUI Wikinews

LoRA pDMD на 2 шага сокращает P-H3-Image с 8 шагов до 2 при 8 МП: один файл, готовый рабочий процесс ComfyUI и никаких пользовательских нод, около 2,9 с на изображение.

<strong>P-H3-Image</strong> обычно сэмплит за 8 шагов. akhaliq упаковал LoRA pDMD 2-NFE для неё в один файл, так что модель может работать за 2 шага и при 2912 x 2912 примерно за 2,9 с на изображение на H200 или RTX PRO 6000. ComfyUI запускает её только встроенными нодами, а готовый рабочий процесс идёт в комплекте с весами.
Штатная P-H3-Image за 2 шагаP-H3-Image за 2 шага с LoRA pDMD
Штатная модель, 2 шагаС LoRA pDMD, 2 шага

Двенадцать промптов, 2 шага, shift 12, seed 3, рендер в 2912 x 2912 из репозитория автора. Без LoRA на 2 шагах модель всё ещё находится в середине денойзинга.

Как запустить

  1. Настройте P-H3-Image по P-H3-Image-Comfy и обновите ComfyUI до последней версии master.
  2. Скачайте LoRA в ComfyUI/models/loras/: 
    hf download akhaliq/p-h3-image-pdmd-2step minimax_h3_pdmd_2nfe_comfyui.safetensors --local-dir ComfyUI/models/loras
  3. Откройте рабочий процесс ниже. Два изменения относительно штатного графа на 8 шагов: Load LoRA (Загрузчик LoRA, Обход, Только модель) с силой 1.0 между Load Diffusion Model (Загрузить модель диффузии) и сэмплером, а также BasicScheduler (Основной scheduler) на simple с 2 шагами и flow shift 12 вместо сетки ManualSigmas на 8 шагов. Оставьте euler, Basic Guider (Основной гид) и без CFG.

Также есть демо в браузере для text-to-image и правки одного изображения при 2, 3 и 4 шагах.

2, 3 или 4 шага

ШагиРезультат
2Пригодно: резко и связно, но композиция уходит от базовой линии на 8 шагов, а графические промпты могут изобретать псевдотекст
3Безопасная средняя настройка
4Ближе всего к базовой линии, лучший выбор для текста в кавычках и плоской графики

LoRA представляет собой адаптер pDMD 2-NFE (rank 128, alpha 128 по тем же 312 модулям, bf16, без изменений из исходного релиза). Он был дистиллирован для видео-модели H3, а здесь вместо этого вливается в image transformer модели P-H3-Image.

Необязательный проход детализации

Рефайнер Regenerate-2K сверху добавляет настоящую детализацию: отрендерите черновик на 2 МП за 2 шага, увеличьте в 2 раза, затем перегенерируйте в 8 МП с LoRA-рефайнером при sigma 0.7 за 3 шага Euler. Автор замеряет около 7 с на изображение в сумме, примерно в 1,7 раза быстрее, чем чистая базовая линия на 8 шагов. Используйте 0.5 для портретов: так лучше сохраняются лица, но деталей меньше.

Черновик за 2 шага, уточнённый при sigma 0.7

Черновик за 2 шага плюс проход Regenerate-2K при sigma 0.7, те же двенадцать промптов.

Объём VRAM не меняется: LoRA вливается при загрузке, поэтому набор bf16 по-прежнему требует около 83 ГБ без апсемплера промптов или около 76 ГБ с выгрузкой компонентов ComfyUI.

Доступность

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
P-H3-Image работает за 2 шага с LoRA pDMD в ComfyUI | ComfyUI Wiki