H3 Relay Hires: MiniMax H3 в 1080p за четверть времени

ComfyUI Wikinews

H3 Relay Hires рендерит кадр MiniMax H3 в 0,5 МП в ComfyUI, затем доводит его до 1920x1088 аниме-апскейлером и одним шагом DMAD: 119 с вместо 503 с на RTX 5090.

<strong>H3 Relay Hires</strong> рендерит дубль MiniMax H3 в небольшом размере, 0,5 МП, а затем доводит его до 1920x1088: аниме-апскейлер, обученный с нуля, плюс один шаг DMAD в целевом размере, при этом аудио первого прохода закреплено. На RTX 5090 клип длиной 5 с занимает 119 с против 503 с для нативного рендера в 1920, и это тот самый дубль, который вы уже видели в предпросмотре.
Нативный 1920, апскейл из 1 МП, Relay Hires и Relay Hires с Fast Tail

Верх: нативный рендер 1920. Низ: Relay Hires. Каждый маршрут рендерит собственный дубль, поэтому сравнивайте рисунок, а не позу.

То же сравнение со звуком, затем на половинной скорости.

Цифры

Клипы 5 с (124 кадра) в 1920x1088 на RTX 5090, от начала до конца:

клипнативный 19201 МП + латентный апскейл + рефайнRelay Hires+ Fast Tail
Удар в стиле Teen Titans492 с240 с116 с105 с
Бой на мечах503 с241 с118 с107 с
Ракета в стиле Edgerunners508 с245 с121 с109 с
Крупные планы мехи в стиле Re:Zero503 с241 с119 с108 с
Общий план, мелкие лица500 с239 с117 с106 с

Как это работает

  1. Проход 1 в 960x544 определяет компоновку, движение, актёрскую игру и аудио. Здесь проходит большая часть времени рендера: 60 с вместо 151 с при 1 МП.
  2. AnimeSR апскейлит декодированные кадры примерно за 2 с. H3 рисует контурные линии шириной около 2 px при любом разрешении, поэтому в кадре 0,5 МП линии вдвое толще, чем нужно для 1920, и этот апскейлер с 1,3 млн параметров обучен на 9 470 парах в стиле H3, чтобы это исправить.
  3. Один шаг при sigma 0.60 заново зашумливает кадры в 1920 и перерисовывает детали за единственный шаг DMAD, затем декодирует.

Настройки, которые измерил автор: sigma 0.60 (0.45 остаётся мягким, 0.75 перерисовывает лица), один шаг и оконное внимание 4 с якорями на каждом 8-м латентном кадре, что вдвое сокращает шаг 1920 на длинных клипах. H3 Fast Tail Sampler заменяет euler в проходе 1 и сокращает его примерно на 20%, не меняя дубль. Проход 1 с Pika H3 Flex самый быстрый маршрут, но рендерит собственный дубль.

Мелкие лица в общем плане: предпросмотр 0,5 МП, только AnimeSR, Relay Hires

Предпросмотр 0,5 МП | только AnimeSR | Relay Hires, кропы 1:1 в 1920.

Что это не исправляет

  • Контурные линии выходят 3,1-3,9 px против 2,2-3,0 px у нативного рендера.
  • Очень быстрое действие, которое уже «плывёт» в дубле 0,5 МП, останется смазанным. Сначала исправьте такие кадры рабочим процессом de-rope от автора, затем прогоняйте relay.
  • AnimeSR только для аниме. Подключите любую модель апскейла ComfyUI через вход upscale_model этой ноды для реалистичных или живописных клипов. В живописном тесте RealESRGAN x2plus сохранил детали кожи и карточки, которые AnimeSR превратил в cel-shading.
  • Если яркость пульсирует каждый 4-й кадр, дополнительный рабочий процесс Sol-H3 VAE исправит это вдвое дороже по энкодингу.
Драка на кулаках: проход 1, старый график de-rope, новый

Проход 1 | старый график de-rope | версия из 4 шагов от 0.8, сохраняющая кадрирование прохода 1.

Установка

Установите его как любой пакет узлов (ComfyUI Manager или клонируйте в custom_nodes/). Вам понадобятся MiniMax H3 в ComfyUI, turbo LoRA DMAD на 4 шага и загрузчик taeh3 для энкодинга. Веса AnimeSR идут вместе с репозиторием.

Двенадцать примеров рабочих процессов лежат в example_workflows/: только relay, затем Fast De-rope, FaceDetail и Anime Cadence, каждый также с вариантами Fast Tail Sampler и Pika. Некоторым из них нужны другие пакеты автора: FastDerope, FaceDetail, ResCascade и AnimeCadence, а также MAINodes.

Доступность

Пакет доступен на github.com/tazmannner/ComfyUI-H3-RelayHires (MIT, v0.3.0). Скрипты обучения для собственной AnimeSR (training/prep.py, training/train.py) занимают около 22 минут на RTX 5090.

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
H3 Relay Hires: MiniMax H3 в 1080p за четверть времени | ComfyUI Wiki