LTX-Best-Face-ID: LoRA сохранения личности для LTX-2 с loss ArcFace и TASS-RoPE

Alisson Pereira (@Alissonerdx) выпустил LTX-Best-Face-ID — LoRA сохранения личности для LTX-2 (22B). Достаточно предоставить эталонное фото и текстовый промпт, и она генерирует видео, сохраняющее личность человека — всё с одного изображения, без необходимости в белом фоне.

Одно фото + текстовый промпт → видео с сохранением личности. Никаких специальных фонов.

Примеры результатов

Что делает

LTX-Best-Face-ID выполняет генерацию «эталон → видео» (ref_t2v): одно эталонное изображение человека → видео того же человека, выполняющего описанное действие. Личность внедряется с помощью трёх совместно работающих техник:

Перекрывающееся кондиционирование эталона — скрытое представление эталона делит позицию сетки frame-0 с первым генерируемым кадром
Маркировка исходной фазы TASS-RoPE — отдельная фаза вращательного позиционного кодирования («исходная метка») позволяет модели отличать эталон от генерируемого контента
Loss ArcFace — во время обучения декодированное лицо сравнивается с эталонным внедрением в пространстве распознавания

Результат: согласованность личности без обычных уловок вроде чистого белого фона или многоракурсных эталонных листов.

Как работает TASS-RoPE

Техническая инновация — TASS-RoPE (Temporal-Adjacent Spatial-Shifted RoPE), из статьи ST-DRC Чена и др. (arXiv:2606.02441). Вместо простой конкатенации скрытое представление эталона получает мультипликативную фазовую метку RoPE:

phase[d] = source_id · phase_scale · θ^(−d/L)
целевые токены: source_id = 0 (без операции)
эталон:         source_id = 2 (отдельная вращательная «метка»)

Эта «исходная метка» позволяет механизму внимания разделять, кто есть кто в последовательности, значительно улучшая перенос личности. Поскольку метка позиционна, тот же механизм элегантно обрабатывает несколько эталонов (source_id 2, 3, 4...) для многоперсонажного кондиционирования.

Использование в ComfyUI

Требуются сопутствующие BFS Nodes: ComfyUI-BFSNodes

Установите ComfyUI-BFSNodes через ComfyUI Manager (зависимости устанавливаются автоматически)
Загрузите чекпоинт LTX-2 + текстовый энкодер Gemma-3 / CLIP как обычно
Добавьте узел LTX Identity Transfer (перекрытие + исходная фаза); подайте на него эталонное изображение
Загрузите LoRA LTX-Best-Face-ID на путь MODEL
Напишите промпт с префиксом ref_t2v: и поставьте в очередь

Советы по промптам

Всегда используйте префикс ref_t2v: — модель обучалась с этим форматом
Подробно описывайте действие, обстановку, кадрирование, камеру
Описание атрибутов личности (тон кожи, волосы, глаза, растительность на лице, очки) заметно улучшает результаты
Включённый воркфлоу имеет Prompt Enhancer, использующий Gemma-3 для автоматического обогащения промпта атрибутами личности

ref_t2v: Светлокожий мужчина с длинными тёмно-каштановыми волосами и узкими
прямоугольными очками в металлической оправе складывает одежду в прачечной, средний план.

Лучшее эталонное изображение

Эта модель обучалась на изображениях, сфокусированных на лице:

Крупный план / бюст — примерно от груди и выше, лицо крупное и хорошо видимое
Анфас или почти анфас (лёгкие углы 3/4 допустимы)
Один субъект, по центру
Белый фон не требуется, но чистый, хорошо освещённый кадр помогает

Детали обучения


Базовая модель	LTX-2 (22B)
Метод	LoRA (rank 128, alpha 128)
Кондиционирование	Перекрытие эталона + исходная фаза TASS-RoPE
Вспомогательный loss	ArcFace loss (+ временная согласованность)
Данные	Подмножество OpenS2V + HuMoSet (пары, сфокусированные на лице)
Совместимость	ComfyUI через BFS Nodes