SeedVR2-1.4B: 6-слойный апскейлер с поддержкой ComfyUI
Дистилляция SeedVR2-7B с 1,4B параметрами и 6 слоями обеспечивает одношаговое 4x/8x увеличение на машинах с малым объёмом VRAM, с готовым узлом ComfyUI и готовым workflow.
SeedVR2-1.4B это дистилляция знаний с 1,44B параметрами и 6 слоями от ByteDance-Seed/SeedVR2-7B (вариант sharp EMA). Это одношаговый диффузионный апскейлер изображений, который сокращает модель-учителя с 8,2B параметров / 15,35 ГБ до 1,44B параметров / 2,69 ГБ и поставляется с полной папкой поддержки ComfyUI, так что дистиллированная архитектура загружается из коробки.
Зачем дистиллировать до шести слоёв
36 трансформерных блоков SeedVR2-7B слишком тяжелы для многих машин: 15,35 ГБ весов fp16 и пиковые 14–16 ГБ не позволяют запускать модель на потребительских ноутбуках, встроенных GPU и телефонах. Студент с 1,4B сохраняет ту же одношаговую диффузионную формулировку, но использует только 6 трансформерных блоков, что сокращает и постоянно находящиеся в памяти веса, и рабочий набор активаций.
| SeedVR2-1.4B | SeedVR2-7B (учитель) | Преимущество | |
|---|---|---|---|
| Трансформерные слои | 6 | 36 | в 6 раз меньше |
| Параметры | 1 442 608 252 | 8 239 608 232 | в 5,7 раза меньше |
| Веса на диске (fp16) | 2,69 ГБ | 15,35 ГБ | в 5,7 раза меньше |
| 512→2048 (4×) | 20,2–22,5 с | 33,0–38,4 с | ≈в 1,6 раза быстрее |
| 512→2048 пиковый RAM | 4,6 ГБ | 14,2–16,4 ГБ | ≈в 3 раза легче |
| 512→4096 (8×) | 54,4–55,2 с | 257–307 с | в 4,7–5,6 раза быстрее |
Измерено на Apple M2 Ultra (64 ГБ) через MLX, включая загрузку модели.
При 4x студент почти не отстаёт от 36-слойного учителя по структуре и фактически даёт больше энергии на краях: изображения получаются чёткими и детализированными, а не мягкими. Если вы ограничены памятью, задержками или обрабатываете много изображений пакетами, это ваша модель.
Поддержка ComfyUI (папка drop-in)
ComfyUI поддерживает SeedVR2 нативно, но определяет архитектуру по содержимому checkpoint и распознаёт только blocks.31 (3B) и blocks.35 (7B). В модели 1.4B шесть блоков, поэтому она не загрузится, пока ComfyUI не узнает о ней. В репозитории есть папка поддержки drop-in, которая решает эту проблему без правки исходников ComfyUI:
- Скопируйте
comfyui/ComfyUI-SeedVR2-1.4B/вComfyUI/custom_nodes/и перезапустите - Используйте вариант checkpoint для ComfyUI:
seedvr2_distill_6L_1.4B_sharp_fp16_comfyui.safetensors(2,69 ГБ); он содержит тензорыpositive_conditioning/negative_conditioning, которые требует загрузчик ComfyUI - Добавьте VAE SeedVR2 (
ema_vae_fp16.safetensors, 0,47 ГБ) - Перетащите готовый workflow
seedvr2_1.4b_upscale_image.json: Load Image → Upscale Image (SeedVR2 1.4B) → Save Image, один шаг, без промпта
Опциональный дистиллированный декодер
В репозитории также есть опциональный дистиллированный VAE-декодер (ema_vae_distill_fp16.safetensors, 0,19 ГБ), который в 112 раз меньше и примерно в 13 раз быстрее декодирует, ценой лёгкого низкочастотного эффекта. Подключите его через папку ComfyUI-SeedVR2-1.4B-TinyVAE, если хотите максимально быстрое декодирование.
Доступность
- Модель: lvladikov/SeedVR2-1.4B (Apache-2.0)
- Учитель: ByteDance-Seed/SeedVR2-7B
- Эталонные веса ComfyUI: Comfy-Org/SeedVR2
- Апскейл не требует промпта: ни текстовый энкодер, ни конфиги скачивать не нужно, только трансформер и VAE
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.