Anima Control Pose Preview-2: нативное управление позами для ComfyUI

Вышел новый адаптер управления позами для модели изображений Anima v1.0 — Anima Control Pose Preview-2 добавляет управление на основе скелетных поз к Anima с помощью родных пользовательских узлов ComfyUI, поддержку нескольких разрешений и значительно улучшенную точность следования позе.

Что это даёт

Anima Control Pose — это channel-concat Control-LoRA, который управляет генерацией изображений Anima на основе карты скелетной позы. Задав фото для справки, узел ComfyUI определяет позу и отрисовывает скелет, которому модель следует во время генерации — это позволяет точно контролировать позиционирование персонажа, жесты и язык тела в AI-сгенерированных изображениях.

Preview-2 — это крупное обновление по сравнению с Preview-1, включающее:

Поддержка нескольких разрешений: 512, 768 и 1024 пикселей (Preview-1 работал только с 512)
Больший корпус для обучения — более чистая анатомия и устойчивые позы
Новый узел ComfyUI "Anima Pose Control" — автоматически определяет позу из ссылочного фото с несколькими стилями отрисовки скелета (тонкий, толстый, марионетка, тепловая карта, с/без рук и лица)
Body-PCK@0.1: ~0.83 при разрешении 1024 (против ~0.59 для Preview-1 при 512)

Метод

Адаптер управления использует инициализированный нулями ControlEmbedder, который создаёт управляющие токены, добавляемые к выходу замороженного базового патч-эмбеддера, а также низкоранговый адаптер ранга 16 на блоках трансформера. Базовая модель Anima, текстовый энкодер и VAE остаются замороженными.

При strength = 0 адаптер точно соответствует базовой модели — вклад управления растёт только по мере уменьшения функции потерь во время обучения.

Параметр	Значение
Разрешение	512 + 768 + 1024, с сегментированием по соотношению сторон
Ранг адаптера	16
Выпадение управления	0.1
Точность	bf16

Доступность

Anima Control Pose Preview-2 доступен на Hugging Face по некоммерческой лицензии:

HF Репозиторий: Claquasse/Anima-Control-Pose
Основной файл: anima_pose_preview2.safetensors (поместите в ComfyUI/models/loras/)
Пользовательские узлы: включены в репозиторий в папке comfyui/
Базовая модель: Anima v1.0 от Circlestone Labs (необходима)

Автор отмечает, что Preview-2 всё ещё экспериментален — хотя он значительно улучшен, он всё ещё может пропускать позы или создавать артефакты на сложных позах. Разрабатывается Preview-3 с упором на лучшее представление скелета и специально созданный детектор поз для аниме.

Использование в ComfyUI

Preview-2 использует два небольших пользовательских узла: Anima Control Apply (AnimaControlApply) применяет адаптер, а Anima Pose Control (AnimaPoseControl) определяет позу из фото и отрисовывает скелет.

Установка

Загрузите anima_pose_preview2.safetensors в ComfyUI/models/loras/.
Скопируйте обе папки из comfyui/ в репозитории HF в ComfyUI/custom_nodes/:
- anima_control_lora/
- ComfyUI-anima-pose-control/
Перезапустите ComfyUI. ComfyUI-Manager автоматически установит requirements.txt второго узла; в противном случае выполните:
```
pip install -r ComfyUI-anima-pose-control/requirements.txt
```
(rtmlib, opencv-python, onnxruntime, numpy; torch и Pillow уже входят в ComfyUI.)
Загрузите рабочий процесс из меню (см. ниже).

Файл safetensors содержит как низкоранговый адаптер (ключи lora.*), так и управляющий эмбеддер (ключи control_embedder.*). Один LoraLoaderModelOnly читает веса LoRA, а Anima Control Apply читает управляющий эмбеддер — оба указывают на один и тот же файл.

Рабочие процессы

В репозиторий HF включены четыре .json рабочих процесса:

pose_control_demo.json (самый простой) — управление и без управления рядом
pose_control.json — простой рабочий процесс для одиночной генерации
pose_control_edit.json — один узел с выбором стиля скелета
pose_control_compare.json — одна поза, отрисованная во всех стилях скелета сразу

Strength (Сила воздействия)

Значение 0.0 даёт базовую модель без управления; 1.0 строго следует скелету (диапазон 0–2). Более высокие значения точнее отслеживают позу, но могут снизить качество изображения.

Детектор поз (первый запуск)

Узлу Anima Pose Control требуется детектор поз (rtmlib). При первом использовании он загружает два ONNX-файла (~316 МБ всего) из папки detector/ в репозитории HF и кэширует их в ~/.cache/rtmlib/hub/checkpoints/; после этого работает офлайн.

Если вы видите urllib ... getaddrinfo failed, машина не смогла подключиться к серверу загрузки. Загрузите два ONNX-файла вручную со вкладки Files репозитория HF и поместите их в эту папку кэша (создайте её, если отсутствует), затем перезапустите ComfyUI:

detector/yolox_m_8xb8-300e_humanart-c2c7a14a.onnx
detector/rtmw-dw-x-l_simcc-cocktail14_270e-256x192_20231122.onnx