FramePack: 動画生成のための効率的な次フレーム予測モデル
2025/04/17
VAST-AIと清華大学がUniRigをオープンソース化:あらゆる3Dモデルの自動スケルトンリギングフレームワーク
VAST-AI(Tripo)と清華大学の共同研究チームは最近、3Dモデルの自動スケルトンリギングに革新をもたらすことを目的としたフレームワーク「UniRig」をオープンソース化しました。この技術はコンピュータグラフィックス分野における重要なブレークスルーであり、大規模自己回帰モデルの強力な能力を活用して、多様な3Dモデル向けの高品質スケルトン構造とスキニングウェイトを生成し、アニメーションワークフローで最も困難な側面の一つを解決します。
3Dコンテンツ制作の核となるボトルネックの解決
メタバース、ゲーム開発、デジタルコンテンツ制作の繁栄により、3Dモデルの需要は爆発的に増加しています。しかし、静的モデルをスケルトンリギングによってアニメーション可能なキャラクターに変換するプロセスは依然として大きなボトルネックであり、時間だけでなく専門的なスキルも必要とします。
プロのキャラクターリガーは複雑なモデルのスケルトン階層を作成するために何時間、場合によっては何日もかけ、自然な変形を確保するために重みを細かく調整する必要があります。初心者にとって、このプロセスは急な学習曲線があり、専門家にとっても、ワークフローの中で最も時間のかかる側面の一つです。
既存の自動リギングツールは主に2つのカテゴリに分類されます:
- テンプレートベースの方法:標準的な人型キャラクターに対しては比較的信頼性がありますが、新しい形態(多足生物、機械構造、ファンタジー生物など)に直面すると失敗することが多い
- テンプレートフリーの方法:より柔軟ですが、生成されたスケルトントポロジはアーティストの期待に応えないことが多く、制御精度も限られています
UniRig:すべてをリギングする統一モデル
UniRigは、大規模言語モデル(LLM)の概念を適用することで、自動スケルトンリギングに新しいパラダイムをもたらします。研究チームはスケルトン構造を特別な「言語」として扱い、モデルが様々な生物や物体の固有の骨格論理を「理解」し「生成」できるようにしています。
UniRigの革新点は以下の通りです:
1. 革新的なスケルトンツリートークン化メカニズム
スケルトンツリートークン化はUniRigの中核的な革新であり、複雑な階層関係を持つスケルトン構造を線形シーケンスにエンコードするという課題を解決します。このスキームは次のものをインテリジェントにエンコードします:
- ジョイント座標:幾何学的精度のために空間位置を離散化形式で表現
- 階層構造:有効なスケルトンツリーを確保するために親子関係を明確に定義
- セマンティック情報:専門化されたトークンを通じて異なるタイプの骨を識別(主要骨、IKコントローラー、補助物理骨など)
この設計は従来の方法と比較してシーケンスの長さを約30%削減し、モデルの効率と生成品質を大幅に向上させます。
2. 高品質の結果を確保する2段階アーキテクチャ
UniRigは慎重に設計された2段階アーキテクチャを採用しています:
-
スケルトン生成段階:GPTベースのTransformerが自己回帰によって一つずつジョイントを生成し、完全なスケルトン階層を形成します。このプロセスはグローバルとローカルの両方の幾何学的特徴を考慮し、スケルトンが3Dモデルの形状に密接に一致することを保証します。
-
スキニングウェイト予測段階:革新的な「骨-点交差注意」メカニズムを通じて、UniRigはモデルの各頂点が周囲の骨にどのように影響されるかを正確に計算し、自然でスムーズなスキニングウェイトを生成します。システムは特殊な骨(物理骨のばね係数など)の物理パラメータを予測することもでき、高度なアニメーション効果をサポートします。
Rig-XLデータセット:多様性による汎用性の促進
UniRigのトレーニングをサポートするために、研究チームは現在最大のスケルトンリギングデータセットであるRig-XLを構築しました。このデータセットには14,000以上の多様なリギング済み3Dモデルが含まれており、以下をカバーしています:
- 人型キャラクター(リアルスタイルとカートゥーンスタイル)
- 四足動物(家畜、野生動物、ファンタジー生物)
- 鳥類と飛行生物
- 昆虫と節足動物
- 機械構造と非有機的オブジェクト
- アニメスタイルのキャラクター(物理的なばね骨を含む)
このような多様なデータでトレーニングすることにより、UniRigは様々な未知のモデル形状を処理できる強力な汎用能力を獲得しました。
制作における性能上の利点
複数の比較テストにおいて、UniRigは既存の商業的・学術的ソリューションを大幅に上回りました:
- バインディング精度が215%向上:骨の位置と階層構造がプロのアーティストの期待により適合
- アニメーション品質が194%向上:生成されたウェイトがアニメーション中により自然で流動的な変形を生成
- 処理能力が大幅に拡張:単純なものから極めて複雑なもの(多足昆虫や多肢ファンタジーキャラクターなど)までの形状を成功裏に処理
- 高効率:ほとんどのモデルが1〜5秒で処理され、プロのリガーが必要とする時間をはるかに下回る
ComfyUIワークフローとの潜在的な統合
TripoSGやTripleSFなどの生成AIモデルがComfyUIに適用されるようになり、高品質な3Dモデルの生成が可能になりました。しかし、生成されたモデルには通常スケルトン構造が欠けており、アニメーションへの応用が制限されています。
UniRigはComfyUIの3D生成ワークフローとシームレスに統合する可能性を持ち、創造的コンセプトからアニメーション可能なキャラクターまでのエンドツーエンドプロセスを実現します:
- テキストまたは画像プロンプトを使用して3Dモデルを生成
- UniRigを通じて自動的にスケルトン構造を追加
- スケルタルアニメーションをサポートする任意のソフトウェアまたはゲームエンジンにエクスポート
さらに、昨日リリースされたHoloPart技術と組み合わせることで、モデルのコンポーネントレベルの編集とスケルトン生成が可能になり、クリエイターに前例のない柔軟性を提供します。
現在のオープンソース状況
VAST-AIはUniRigの様々なコンポーネントを段階的にオープンソース化し始めています:
- ✅ 既にオープンソース化:スケルトン予測モデル(Articulation-XL2.0でトレーニング済み)
- ⏳ 近日公開予定:スキニングウェイト予測モデル
- ⏳ 近日公開予定:Rig-XLおよびVRoidデータセット
- ⏳ 近日公開予定:Rig-XL/VRoidでトレーニングされた完全なUniRigモデルチェックポイント
クリエイターのフィードバックとオープンソースコミュニティの参加
UniRigを早期にテストした独立3Dアーティストたちは、この技術が「創作プロセスを大幅に変えた」、「非専門のリガーにアニメーション制作の扉を開いた」と述べています。あるゲーム開発者はこう評しています:「UniRigは以前は何時間もかかっていた作業を数秒で完了でき、しかも品質はさらに良い。」
VAST-AIはオープンソースコミュニティにUniRigのさらなる開発への参加を呼びかけています。特に以下の分野で:
- 特定タイプのモデル向けの専門的な微調整
- 既存の3D制作ソフトウェアとのプラグイン統合
- 小型デバイス向けに最適化された軽量モデル
関連リンク
VAST-AIは最近、本日紹介したUniRigをはじめ、HoloPart、TripleSF、さらに単一画像から三次元複合シーンをエンドツーエンドで生成するMIDIやMV-Adapterなど、複数の3D創作関連プロジェクトを頻繁にオープンソース化しており、3D生成技術の方向性を継続的にリードし、クリエイティブコミュニティにより強力なツールを提供しています。