Anima Control Pose Preview-2: ComfyUI向けネイティブポーズ制御
Anima Control Pose Preview-2は、ポーズ制御による画像生成をAnimaにもたらします。ネイティブComfyUIカスタムノード、512/768/1024のマルチ解像度サポート、改善されたポーズ精度を備えています。
Anima v1.0画像モデル向けの新しいポーズ制御アダプタがリリースされました——Anima Control Pose Preview-2は、スケルトンベースのポーズ条件付けをAnimaにもたらし、ネイティブComfyUIカスタムノード、マルチ解像度サポート、大幅に改善されたポーズ追従精度を備えています。
機能
Anima Control Poseは、チャネル連結型のControl-LoRAで、Animaの画像生成をスケルトンポーズマップで条件付けます。参照写真からComfyUIノードがポーズを検出しスケルトンをレンダリングし、生成時にモデルがそれに追従します——これにより、AI生成画像におけるキャラクターの配置、ジェスチャー、ボディランゲージの精密な制御が可能になります。
Preview-2はPreview-1からの大幅なアップデートであり、以下の点が改善されています:
- マルチ解像度サポート:512、768、1024 px(Preview-1は512のみ)
- 大規模なトレーニングコーパス——よりクリーンな解剖学と安定したポーズ
- 新しいComfyUIノード「Anima Pose Control」——参照写真からポーズを自動検出し、複数のスケレトンレンダリングスタイル(細線、太線、パペット、ヒートマップ、手・顔の有無)に対応
- Body-PCK@0.1:1024解像度で約0.83(Preview-1の512解像度では約0.59)
方法
制御アダプタは、ゼロ初期化されたControlEmbedderを使用します。このControlEmbedderは、凍結されたベースパッチ埋め込み出力に追加される制御トークンを生成し、さらにトランスフォーマーブロックにランク16の低ランクアダプタを追加します。ベースのAnimaモデル、テキストエンコーダー、VAEは凍結されたままです。
strength = 0では、アダプタはベースモデルと完全に同一であり——制御の寄与は、トレーニング中に損失を獲得した分だけ増加します。
| 設定 | 値 |
|---|---|
| 解像度 | 512 + 768 + 1024、アスペクト比バケット方式 |
| アダプタランク | 16 |
| コントロールドロップアウト | 0.1 |
| 精度 | bf16 |
入手方法
Anima Control Pose Preview-2は、Hugging Faceで非商用ライセンスのもと公開されています:
- HFリポジトリ:Claquasse/Anima-Control-Pose
- メインファイル:
anima_pose_preview2.safetensors(ComfyUI/models/loras/に配置) - カスタムノード:リポジトリ内の
comfyui/に含まれています - ベースモデル:Circlestone LabsのAnima v1.0(必須)
ComfyUIでの使用方法
Preview-2は、2つの小さなカスタムノードを使用します:Anima Control Apply(AnimaControlApply)はアダプタを適用し、Anima Pose Control(AnimaPoseControl)は写真からポーズを検出してスケルトンをレンダリングします。
インストール
anima_pose_preview2.safetensorsをComfyUI/models/loras/にダウンロードします。- HFリポジトリの
comfyui/から両方のフォルダをComfyUI/custom_nodes/にコピーします:anima_control_lora/ComfyUI-anima-pose-control/
- ComfyUIを再起動します。ComfyUI-Managerが2つ目のノードの
requirements.txtを自動インストールします。それ以外の場合は手動で実行します:(rtmlib、opencv-python、onnxruntime、numpy。torchとPillowはComfyUIに付属しています。)pip install -r ComfyUI-anima-pose-control/requirements.txt - メニューからワークフローを読み込みます(以下を参照)。
safetensorsファイルには、低ランクアダプタ(lora.*キー)と制御エンベッダ(control_embedder.*キー)の両方が含まれています。LoraLoaderModelOnlyがLoRAの重みを読み込み、Anima Control Applyが制御エンベッダを読み込みます——どちらも同じファイルを参照します。
ワークフロー
4つの.jsonワークフローがHFリポジトリに含まれています:
pose_control_demo.json(最も簡単)——制御ありとなしの並列表示pose_control.json——シンプルな単一生成ワークフローpose_control_edit.json——スケレトンスタイル選択機能付きの単一ノードpose_control_compare.json——1つのポーズをすべてのスケレトンスタイルで同時にレンダリング
強度(Strength)
0.0は制御なしのベースモデルを生成し、1.0はスケルトンに追従します(範囲0〜2)。値が高いほどポーズにより厳密に追従しますが、画質が低下する可能性があります。
ポーズ検出器(初回実行時)
Anima Pose Controlノードにはポーズ検出器(rtmlib)が必要です。初回使用時にHFリポジトリのdetector/フォルダから2つのONNXファイル(合計約316 MB)をダウンロードし、~/.cache/rtmlib/hub/checkpoints/にキャッシュします。以降はオフラインで動作します。
urllib ... getaddrinfo failedが表示された場合、マシンがダウンロードホストに接続できなかったことを意味します。HFリポジトリのFilesタブから2つのONNXファイルを手動でダウンロードし、そのキャッシュフォルダに配置して(存在しない場合は作成)、ComfyUIを再起動してください:
detector/yolox_m_8xb8-300e_humanart-c2c7a14a.onnxdetector/rtmw-dw-x-l_simcc-cocktail14_270e-256x192_20231122.onnx
作者は、Preview-2はまだ実験的段階であると述べています——大幅に改善されていますが、複雑なポーズでは見逃しやアーティファクトが生じることがあります。Preview-3は開発中で、より優れたスケレトン表現と専用のアニメポーズ検出器に焦点を当てています。
コメント
GitHubでサインインしてディスカッションに参加しましょう。