H3 Motion: ключевые кадры объекта для анимации в MiniMax H3

ComfyUI Wikinews

H3 Motion это локальное приложение для ComfyUI: выберите объект на фото с помощью SAM 3.1, задайте путь по ключевым кадрам, и MiniMax H3 отрендерит сцену со звуком.

<strong>H3 Motion</strong> это локальное React-приложение, которое управляет самостоятельно развёрнутым ComfyUI, чтобы анимировать один объект на фотографии или видео. Выберите объект на фото с помощью SAM 3.1, протащите его по пути из ключевых кадров, и MiniMax H3 отрендерит сцену со звуком. На видео нарисуйте маску, анимируйте её, и H3 перерисует только то, что находится внутри неё. Автор, PxTicks, создал приложение для открытого конкурса Higgsfield от Comfy и уже выпускает Vlo, редактор таймлайна, о котором сайт рассказывал в сентябре.
Фаза Move: у каждого объекта свой путь и ромбовидные ключи на общем таймлайне

Фаза Move. Каждый выбранный объект получает собственный цветной путь и ключи, а длина клипа подгоняется под сетку кадров H3.

Это не ещё один H3 Motion Context. Тот пакет узлов соединяет готовые клипы, чтобы движение продолжалось через склейку; H3 Motion работает с одним клипом и перемещает объект внутри него.

Фото: выбрать, вырезать, задать путь

1. Выбрать. Опишите объект по названию, и SAM 3.1 найдёт его. Клики уточняют маску: добавляйте или убирайте точки, пока в неё не попадёт только нужный объект. 2. Изолировать. Qwen3-VL описывает подтверждённый объект, Qwen Image 2.1 удаляет его, и приложение показывает чистый фон. Можно повторить попытку с новым seed или переписать инструкцию удаления. 3. Переместить. Перетаскивайте объект, чтобы записать путь, или прокручивайте таймлайн и перетаскивайте, чтобы расставить ключи по одному. Ключи также задают размер, поэтому объект может расти, уменьшаться или переворачиваться за край, имитируя поворот. 4. Генерировать. Приложение рендерит кадры с ключами и передаёт их в MiniMax H3 с Time-to-Move, который возвращает клип со звуком.

Длина клипа задаётся от 3,0 до 15,1 секунды шагами по 17 кадров, по той сетке, на которой делает выборку H3, а первый кадр всегда ваша оригинальная фотография. Пути сохраняются при повторной попытке с фоном, поэтому объект не нужно обводить заново после неудачной изоляции.

Фаза Select: объект выбран с помощью SAM 3.1 и уточнён кликами

Фаза Select. Промпт находит кандидата, а точки определяют итоговую маску.

Видео: анимируйте маску, а не кадр

Нарисуйте прямоугольник или эллипс поверх части клипа. Маску можно анимировать вручную теми же инструментами для путей или заставить следовать за объектом: SAM 3.1 сегментирует его на первом кадре, а базовый узел SAM3_VideoTrack распространяет маску, при этом приложение отбрасывает кадры, у которых резко меняются площадь или положение. Опишите, что должно появиться, и при желании добавьте референсное изображение: сгенерированное по описанию или созданное редактированием текущего кадра внутри маски. Модель ref2va в H3 перегенерирует область под маской за одну выборку, а приложение композит результат обратно с растушёванным краем, сохраняя, используя как референс или заменяя оригинальное аудио.

Демо-клип из веб-ассетов репозитория (1280×720, 4 секунды).

Запуск

Приложение распространяется только в виде исходников: клонируйте его, выполните npm install, npm run dev и откройте http://127.0.0.1:5180. Оно подключается к ComfyUI, который вы уже запустили на порту 8188, и само поднимает прокси API; оно никогда не запускает ComfyUI и не скачивает модели. Во втором терминале выполните npm run check-env, чтобы убедиться, что все узлы и файлы моделей на месте.

Вам нужны ComfyUI (README тестировался на v0.41.0-18), ComfyUI-vlo 0.3.0 или новее для узлов vloTimeToMove, vloSAM3RefineMask и vloMaskToLatentMask, Node 22.12 или новее, а также uv. Оба рабочих процесса H3 используют внимание Comfy Kitchen INT8, поэтому требуется GPU NVIDIA или AMD. README содержит точные строки hf download для одиннадцати файлов: SAM 3.1, Qwen Image 2.1 с его энкодером Qwen3-VL и VAE, диффузионные модели H3 fl2va и ref2va, текстовый энкодер H3 и оба VAE, а также LoRA Pika Flex.

Ограничения

  • Нативный Windows не тестировался; проверенный путь это WSL. Развёртывание с хостинговым Comfy API описано, но тоже не тестировалось.
  • Фотографии и видео должны быть в диапазоне от 1:4 до 4:1, так как всё, что шире 4:1, нельзя вывести в 768p.
  • Помеченных релизов пока нет, последний коммит был 3 ноября.

Доступность

Комментарии

Войдите через GitHub, чтобы участвовать в обсуждении.

Загрузка комментариев…
H3 Motion: ключевые кадры объекта для анимации в MiniMax H3 | ComfyUI Wiki