H3-World: Интерактивная модель мира с управлением с клавиатуры на MiniMax H3 для ComfyUI

H3-World генерирует видео, управляемое действиями, из одного начального кадра: движение персонажа на WASD, движение камеры на IJKL.

Модель мира поверх видео-модели

H3-World описывается его авторами из Tencent, Национального университета Сингапура и Гонконгского политехнического университета как первая интерактивная модель мира, построенная на базе MiniMax H3. Вместо генерации фиксированного клипа она принимает начальный кадр плюс управление с клавиатуры и производит видео, где персонаж идет, а камера движется согласно вашему вводу, при этом статья доступна на arXiv.

Секрет заключается в слое трансляции между игровым управлением и видео-моделью. H3-World преобразует каждое состояние клавиатуры в одну языковую инструкцию для каждого будущего latent видео, затем использует маршрутизацию направленного внимания для привязки каждой инструкции к соответствующему интервалу latent. Управление персонажем использует W, A, S, D; управление камерой использует I, J, K, L, с F для быстрого движения камеры. Пресеты включают статичное, вперед, назад, стрейф влево/вправо, наклон вверх/вниз и панорамирование влево/вправо, включая быстрое панорамирование.

Небольшой адаптер, большая основа

Обучение использует 8,000 геймплейных клипов из набора данных ABot-World-Explorer-500h. Результатом является ранг-32 LoRA на 65.6M параметров, всего 0.199% от основы MiniMax H3 на 33B, выпущенный как step-10000.safetensors под лицензией Apache 2.0.

Как запустить

Самого LoRA недостаточно: авторы явно указывают, что загрузка checkpoint через неизмененный pipeline MiniMax H3 не воспроизведет заявленное поведение. Выпущенный checkpoint требует базовых весов MiniMax H3 (около 135 ГБ) плюс официальный код репозитория H3-World, который применяет патч направленного внимания к закрепленной версии DiffSynth-Studio. Вывод принимает первый кадр и промпт сцены, затем сопоставляет пресет действия (или сырые состояния клавиш) с инструкциями на latent, генерируя по умолчанию клипы длительностью 5.2 секунды при разрешении 832x480.

Интерактивное демо-пространство доступно по адресу hugging-apps/h3-world-action-demo, если вы хотите увидеть цикл управления с клавиатуры ДО того, как приступать к скачиванию 135 ГБ.