MiniMax H3 Singularity V2: INT8-веса для ComfyUI
Как запустить MiniMax H3 Singularity V2 в ComfyUI: положите INT8-чекпойнт ref2va в models/diffusion_models и добавьте turbo LoRA на 4 шага для генерации видео по референсу.
Minimax-h3_Singularity_ref2va_v2_int8.safetensors был загружен в 12:02 UTC, а карточка модели получила раздел V2 позже в тот же день. На момент написания репозиторий имеет примерно 811 лайков и 669 000 загрузок.
Singularity это созданный сообществом fusion-файнтюн H3, о котором мы писали ранее в MiniMax H3 Singularity: объединение чекпойнтов H3 ref, fl и b25-49, которое проходит глубокий файнтюнинг, а затем три дня прунится для удаления артефактов обучения с большим числом шагов. V2 не меняет этот рецепт и четыре пайплайна, которые он обслуживает (текст-в-видео, изображение-в-видео, референс-в-видео и видео-в-видео). Это та же модель, переобученная с другим набором исправлений.
Кадр из демонстрационного клипа в репозитории релиза.
Что изменилось в V2
Карточка модели перечисляет четыре изменения по сравнению с V1: три из них исправления качества и одно исправление функциональной ошибки.
| Область | Изменение в V2 |
|---|---|
| Охват действий | Дополнительное обучение поверх V1 для более широкого диапазона экшен-сцен и более разнообразных последовательностей движения |
| Следование промпту | Более точное следование инструкциям по субъекту, действию, окружению и стилю; промпты РЕКОМЕНДУЕТСЯ держать около 5 000 символов |
| Аудио-референс | Исправлена проблема с заданием условия по аудио-референсу. Аудиоклип теперь можно использовать как референс для настройки цветового тона персонажа |
| Рендеринг стиля | Более сильные результаты, когда промпт называет целевой вид: фотореализм, восточноазиатский реализм, 3D CG или кинематографичный CG |
Исправление аудио-референса это единственное изменение, которое меняет то, что модель умеет делать, а не то, насколько хорошо она это делает. В V1 путь аудио-референса не задавал условие корректно, поэтому передача аудио вместе с референсом почти ничего не давала или приводила к неточному цвету; в V2 утверждается, что теперь этот путь работает для настройки тона. Всё остальное сохраняется: обучение с ориентацией на HDR против смазывания движения, восстановление удалённых лиц на средних и общих планах, сниженный блеск кожи, более выразительные движения в ближнем бою и фехтовании, фэнтезийные VFX, отклик на движение камеры и детализация выражений лица.
Промптинг для V2
Рекомендации для V2: описывать субъект, действие, окружение, движение камеры и желаемый стиль в одной согласованной инструкции, а также пропускать повторы и конфликтующие слова о стиле. Карточка также приводит наборы ключевых слов для каждого вида:
| Визуальный стиль | Ключевые слова для включения |
|---|---|
| Фотореализм | photorealistic, natural lighting, realistic textures |
| Восточноазиатский реализм | East Asian realism, realistic East Asian aesthetics, natural lighting |
| 3D CG | 3D CG, detailed materials, stylized 3D rendering |
| Кинематографичный CG | cinematic CG, cinematic lighting, film-quality rendering |
Цифра в 5 000 символов описана как верхний предел, а не как цель, поэтому короткий, хорошо структурированный промпт является предполагаемым вариантом по умолчанию для экшен-кадров.
Демонстрационный клип из репозитория, 1440×832 со звуком.
Ещё один демонстрационный клип из репозитория. Обложка это кадр из него.
Демонстрационный клип, имя файла которого обозначает проход с аудио-референсом, тот путь, который исправляет V2.
Файлы и настройка
V2 поставляется в трёх сборках, которые загружаются в тот же слот, что и стандартные INT8 веса H3:
| Файл | Размер | Примечания |
|---|---|---|
Minimax-h3_Singularity_ref2va_v2_int8.safetensors | 31.7 GB | Релиз V2 |
Minimax-h3_Singularity_ref2va_v2_pruned_int8.safetensors | 19.6 GB | Пруненная INT8 сборка V2 |
Minimax-h3_Singularity_ref2va_v2_bf16.safetensors | 61.7 GB | Полная bf16 сборка V2 |
Minimax-h3_Singularity_ref2va_v1.3_Pruned_w4a8.safetensors | 11.0 GB | Пруненная 4-битная сборка V1.3, без изменений |
Minimax-h3_Singularity_ref2va_Pruned_v1.3_int8.safetensors | 19.5 GB | Пруненная INT8 сборка V1.3, без изменений |
V2 добавляет пруненную INT8 и bf16 сборки к полноразмерной INT8 версии, но 4-битная сборка по-прежнему только у V1.3, поэтому на картах, которые запускали файл w4a8 на 11 GB, всё ещё придётся откатываться к чекпойнту V1.3. Карточка по-прежнему рекомендует minimax_h3_ref2v_turbo_4step_v0.1 в качестве ускоряющей LoRA для четырёхшагового вывода.
В репозитории также есть MiniMax_H3_Singularity_Prompt_Writing_Specification_Enhanced_EN.md, спецификация по написанию промптов, последнее обновление которой было в сентябре; она описывает структуру промпта, к чтению которой был обучен файнтюн.
Доступность
Скачайте чекпойнт V2 из репозитория Hugging Face, поместите его в ComfyUI/models/diffusion_models/ и загрузите там, где подключается диффузионная модель MiniMax H3. Карточка модели ссылается на рабочий процесс RunningHub для тестирования в браузере без локальной GPU, а пост сообщества в r/comfyui ссылается на рабочий процесс с двойной выборкой, построенный вокруг V2.
Комментарии
Войдите через GitHub, чтобы участвовать в обсуждении.