Anima Control Pose Preview-2: ComfyUI向けネイティブポーズ制御

news

Anima Control Pose Preview-2は、ポーズ制御による画像生成をAnimaにもたらします。ネイティブComfyUIカスタムノード、512/768/1024のマルチ解像度サポート、改善されたポーズ精度を備えています。

Anima v1.0画像モデル向けの新しいポーズ制御アダプタがリリースされました——Anima Control Pose Preview-2は、スケルトンベースのポーズ条件付けをAnimaにもたらし、ネイティブComfyUIカスタムノード、マルチ解像度サポート、大幅に改善されたポーズ追従精度を備えています。

機能

Anima Control Poseは、チャネル連結型のControl-LoRAで、Animaの画像生成をスケルトンポーズマップで条件付けます。参照写真からComfyUIノードがポーズを検出しスケルトンをレンダリングし、生成時にモデルがそれに追従します——これにより、AI生成画像におけるキャラクターの配置、ジェスチャー、ボディランゲージの精密な制御が可能になります。

Preview-2はPreview-1からの大幅なアップデートであり、以下の点が改善されています:

  • マルチ解像度サポート:512、768、1024 px(Preview-1は512のみ)
  • 大規模なトレーニングコーパス——よりクリーンな解剖学と安定したポーズ
  • 新しいComfyUIノード「Anima Pose Control」——参照写真からポーズを自動検出し、複数のスケレトンレンダリングスタイル(細線、太線、パペット、ヒートマップ、手・顔の有無)に対応
  • Body-PCK@0.1:1024解像度で約0.83(Preview-1の512解像度では約0.59)

方法

制御アダプタは、ゼロ初期化されたControlEmbedderを使用します。このControlEmbedderは、凍結されたベースパッチ埋め込み出力に追加される制御トークンを生成し、さらにトランスフォーマーブロックにランク16の低ランクアダプタを追加します。ベースのAnimaモデル、テキストエンコーダー、VAEは凍結されたままです。

strength = 0では、アダプタはベースモデルと完全に同一であり——制御の寄与は、トレーニング中に損失を獲得した分だけ増加します。

設定
解像度512 + 768 + 1024、アスペクト比バケット方式
アダプタランク16
コントロールドロップアウト0.1
精度bf16

ComfyUIでの使用方法

リリースには、シームレスなComfyUIエクスペリエンスに必要なすべてが含まれています:

  1. インストールanima_pose_preview2.safetensorsComfyUI/models/loras/に配置し、2つのカスタムノードフォルダ(anima_control_lora/ComfyUI-anima-pose-control/)をComfyUI/custom_nodes/にコピーします。
  2. ワークフロー:4つの.jsonワークフローが付属——デモ(制御あり/なしの並列表示)、シンプル、編集、比較(1つのポーズを全スケレトンスタイルで表示)。
  3. ポーズ検出:Anima Pose Controlノードは、初回使用時にDWPose ONNXモデル(約316 MB)を自動ダウンロードします。キャッシュ後はオフラインで動作します。

入手方法

Anima Control Pose Preview-2は、Hugging Faceで非商用ライセンスのもと公開されています:

  • HFリポジトリczxkck/Anima-Control-Pose
  • メインファイルanima_pose_preview2.safetensorsComfyUI/models/loras/に配置)
  • カスタムノード:リポジトリ内のcomfyui/に含まれています
  • ベースモデル:Circlestone LabsのAnima v1.0(必須)

作者は、Preview-2はまだ実験的段階であると述べています——大幅に改善されていますが、複雑なポーズでは見逃しやアーティファクトが生じることがあります。Preview-3は開発中で、より優れたスケレトン表現と専用のアニメポーズ検出器に焦点を当てています。

コメント

GitHubでサインインしてディスカッションに参加しましょう。

コメントを読み込み中…
Anima Control Pose Preview-2: ComfyUI向けネイティブポーズ制御 | ComfyUI Wiki