TaoMate-H3-FL2VA: потоковая LoRA первого и последнего кадра

Команда TaoLive AIGC из Alibaba выпустила TaoMate-H3-FL2VA 15 октября. Это 3-шаговая LoRA, которая добавляет управление первым и последним кадром в потоковый рантайм TaoMate-H3 для MiniMax H3 (веса | код). Команда называет её «насколько нам известно, первой моделью реального времени для потоковой генерации аудио и видео из первого и последнего кадра (FL2VA)»: генерация по-прежнему поблочная и по-прежнему использует постоянный аудио-видео KV-кэш, но теперь клип должен не только начинаться с выбранного первого кадра, но и завершаться на выбранном последнем кадре.

Официальный предпросмотр примера FL2VA seated_001: 30-секундный потоковый клип, сгенерированный по первому и последнему ключевому кадру.

Ранее выпущенная версия T2AV генерировала только по промптам. FL2VA добавляет глобальный дедлайн конечной точки в тот же рантайм, поэтому блоки трёхшагового денойзинга должны достичь финального ключевого кадра, а речь, звуковые эффекты и видео остаются на одной синхронизированной временной шкале.

Официальное 30-секундное сравнение для seated_001: 770 кадров, сгенерированных в трёх непрерывных потоковых запросах.

Что было выпущено

• LoRA-адаптер FL2VA в TaoLiveAIGC/TaoMate-H3-FL2VA: rank 128, alpha 128, веса онлайн-генератора на шаге 300 сохранены в float32. Адаптер поставляется в том же трёхфайловом формате, что и релиз T2AV (config.json, adapter_config.json, adapter_model.safetensors), без состояния оптимизатора, EMA и моделей оценки, используемых только при обучении. Адаптер T2AV был EMA-чекпоинтом генератора на шаге 3000.
• Отдельный подпроект вывода FL2VA в src/taomate-fl2av в репозитории TaoMate-H3, с одним выполненным примером seated_001 (презентация в положении сидя в семейной гостиной).

Все три режима работают при 24 fps и разрешении 768x1376 с трёхшаговым денойзингом, окном из последних семи чистых AV-KV и одноразовым декодированием всего клипа. Задокументированный 30-секундный запуск использует LoRA онлайн-генератора на шаге 300, финальный блок из 85 кадров и замороженный учитель Base10 для аудио.

Пример поставляется с двумя ключевыми кадрами, поэтому входные условия являются частью измеренного запуска, а не описываются только в README:

Запуск в ComfyUI

Путь FL2VA уже существует в ядре ComfyUI. Узел MiniMax H3: изображение в видео принимает необязательные входы first_frame и last_frame вместе с промптом, шириной, высотой и длиной в кадрах и возвращает положительное условие плюс аудио-видео латент; он поддерживает как условия t2va, так и fl2va. Для локальной генерации с этим адаптером не нужны потоковый рантайм, stage-parallel лаунчер или конфигурация с несколькими GPU. Сам адаптер должен быть в формате ключей ComfyUI, и конвертации от сообщества появились в течение нескольких часов после релиза:

• Экспериментальный репозиторий Kijai MiniMax-H3-experimental содержит minimax_h3_taomate_fl2va_3step_avg_rank_19_bf16.safetensors (около 176 МБ), сборку с усреднением по рангу, размещённую рядом с другими экспериментальными LoRA для MiniMax H3.
• austinit/TaoMate-H3-FL2VA-ComfyUI публикует как полную BF16-сборку с рангом 128 (1.24 ГБ), так и BF16-сборку со средним рангом 19 (169 МБ). Автор загрузки рекомендует начинать с 3 шагов, CFG 1.0, силы LoRA 1.0 и сэмплера Euler и сообщает, что меньшая сборка нормально работает при тестировании.
• Robert1212star/TaoMate-H3-3Step-ComfyUI, репозиторий, где уже размещалась конвертация T2AV, добавил веса FL2VA в BF16 (около 1.24 ГБ) в тот же день.

Реакция сообщества

В обсуждении на r/StableDiffusion семейство TaoMate 3-step рассматривают как повседневный ускоритель MiniMax H3: один комментатор называет его основной LoRA для «99% генераций», а другой сообщает о более естественном движении после снижения силы LoRA до 0.6 и перехода на сэмплер BETA с er_sde. Другие предпочитают более ранний адаптер T2AV при использовании его в качестве прохода-уточнения. Быстрые крупные движения остаются известным слабым местом семейства: комментаторы сообщают об ухудшении качества танцев и динамичных сцен, что совпадает и с описанием T2AV. Один тестировщик отметил, что в карточке адаптера FL2VA указан optimizer_step: 300 против шага 3000 для релиза T2AV, поэтому новый адаптер является более коротким запуском, а не более длинным.

Доступность

Официальный рантайм работает только под Linux и ориентирован на GPU NVIDIA Hopper (SM90); в репозитории пример FL2VA задокументирован как запуск на одном узле с TP2 и SP4 параллелизмом по последовательности на восьми GPU, а также вывод на одном узле для конфигураций с 4 и 8 GPU. Пользователям ComfyUI нужна только базовая модель MiniMax H3 плюс одна из конвертаций LoRA выше. Веса reference-to-audio-video (Ref2AV) для того же семейства по-прежнему указаны как находящиеся в ожидании.