Anima Control Pose Preview-2: ComfyUI向けネイティブポーズ制御

news

Anima Control Pose Preview-2は、ポーズ制御による画像生成をAnimaにもたらします。ネイティブComfyUIカスタムノード、512/768/1024のマルチ解像度サポート、改善されたポーズ精度を備えています。

Anima v1.0画像モデル向けの新しいポーズ制御アダプタがリリースされました——Anima Control Pose Preview-2は、スケルトンベースのポーズ条件付けをAnimaにもたらし、ネイティブComfyUIカスタムノード、マルチ解像度サポート、大幅に改善されたポーズ追従精度を備えています。

機能

Anima Control Poseは、チャネル連結型のControl-LoRAで、Animaの画像生成をスケルトンポーズマップで条件付けます。参照写真からComfyUIノードがポーズを検出しスケルトンをレンダリングし、生成時にモデルがそれに追従します——これにより、AI生成画像におけるキャラクターの配置、ジェスチャー、ボディランゲージの精密な制御が可能になります。

Preview-2はPreview-1からの大幅なアップデートであり、以下の点が改善されています:

  • マルチ解像度サポート:512、768、1024 px(Preview-1は512のみ)
  • 大規模なトレーニングコーパス——よりクリーンな解剖学と安定したポーズ
  • 新しいComfyUIノード「Anima Pose Control」——参照写真からポーズを自動検出し、複数のスケレトンレンダリングスタイル(細線、太線、パペット、ヒートマップ、手・顔の有無)に対応
  • Body-PCK@0.1:1024解像度で約0.83(Preview-1の512解像度では約0.59)

方法

制御アダプタは、ゼロ初期化されたControlEmbedderを使用します。このControlEmbedderは、凍結されたベースパッチ埋め込み出力に追加される制御トークンを生成し、さらにトランスフォーマーブロックにランク16の低ランクアダプタを追加します。ベースのAnimaモデル、テキストエンコーダー、VAEは凍結されたままです。

strength = 0では、アダプタはベースモデルと完全に同一であり——制御の寄与は、トレーニング中に損失を獲得した分だけ増加します。

設定
解像度512 + 768 + 1024、アスペクト比バケット方式
アダプタランク16
コントロールドロップアウト0.1
精度bf16

入手方法

Anima Control Pose Preview-2は、Hugging Faceで非商用ライセンスのもと公開されています:

  • HFリポジトリClaquasse/Anima-Control-Pose
  • メインファイルanima_pose_preview2.safetensorsComfyUI/models/loras/に配置)
  • カスタムノード:リポジトリ内のcomfyui/に含まれています
  • ベースモデル:Circlestone LabsのAnima v1.0(必須)

ComfyUIでの使用方法

Preview-2は、2つの小さなカスタムノードを使用します:Anima Control ApplyAnimaControlApply)はアダプタを適用し、Anima Pose ControlAnimaPoseControl)は写真からポーズを検出してスケルトンをレンダリングします。

インストール

  1. anima_pose_preview2.safetensorsComfyUI/models/loras/にダウンロードします。
  2. HFリポジトリのcomfyui/から両方のフォルダをComfyUI/custom_nodes/にコピーします:
    • anima_control_lora/
    • ComfyUI-anima-pose-control/
  3. ComfyUIを再起動します。ComfyUI-Managerが2つ目のノードのrequirements.txtを自動インストールします。それ以外の場合は手動で実行します:
    pip install -r ComfyUI-anima-pose-control/requirements.txt
    (rtmlib、opencv-python、onnxruntime、numpy。torchとPillowはComfyUIに付属しています。)
  4. メニューからワークフローを読み込みます(以下を参照)。

safetensorsファイルには、低ランクアダプタ(lora.*キー)と制御エンベッダ(control_embedder.*キー)の両方が含まれています。LoraLoaderModelOnlyがLoRAの重みを読み込み、Anima Control Applyが制御エンベッダを読み込みます——どちらも同じファイルを参照します。

ワークフロー

4つの.jsonワークフローがHFリポジトリに含まれています:

  • pose_control_demo.json(最も簡単)——制御ありとなしの並列表示
  • pose_control.json——シンプルな単一生成ワークフロー
  • pose_control_edit.json——スケレトンスタイル選択機能付きの単一ノード
  • pose_control_compare.json——1つのポーズをすべてのスケレトンスタイルで同時にレンダリング

強度(Strength)

0.0は制御なしのベースモデルを生成し、1.0はスケルトンに追従します(範囲0〜2)。値が高いほどポーズにより厳密に追従しますが、画質が低下する可能性があります。

ポーズ検出器(初回実行時)

Anima Pose Controlノードにはポーズ検出器(rtmlib)が必要です。初回使用時にHFリポジトリのdetector/フォルダから2つのONNXファイル(合計約316 MB)をダウンロードし、~/.cache/rtmlib/hub/checkpoints/にキャッシュします。以降はオフラインで動作します。

urllib ... getaddrinfo failedが表示された場合、マシンがダウンロードホストに接続できなかったことを意味します。HFリポジトリのFilesタブから2つのONNXファイルを手動でダウンロードし、そのキャッシュフォルダに配置して(存在しない場合は作成)、ComfyUIを再起動してください:

  • detector/yolox_m_8xb8-300e_humanart-c2c7a14a.onnx
  • detector/rtmw-dw-x-l_simcc-cocktail14_270e-256x192_20231122.onnx

作者は、Preview-2はまだ実験的段階であると述べています——大幅に改善されていますが、複雑なポーズでは見逃しやアーティファクトが生じることがあります。Preview-3は開発中で、より優れたスケレトン表現と専用のアニメポーズ検出器に焦点を当てています。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
Anima Control Pose Preview-2: ComfyUI向けネイティブポーズ制御 | ComfyUI Wiki