IndexTTS 1.5リリース：高品質中国語・英語音声合成モデル
2025/05/23
StepFunがStep1X-3D高精度3Dアセット生成フレームワークをオープンソース化
StepFunは、高精度3Dアセット生成のための包括的フレームワークであるStep1X-3Dを正式にオープンソース化しました。このフレームワークは単一画像から精細な幾何構造と多様なテクスチャを持つ3Dモデルを生成でき、2D制御技術の3D生成への直接転移を初めて実現しています。
主要機能
Step1X-3Dは、3D生成プロセスをジオメトリ生成とテクスチャ合成という2つの独立しながらも協調的な段階に分解する革新的な2段階生成アーキテクチャを採用しています。フレームワークは以下の中核機能を備えています：
高品質データ処理パイプライン
チームは500万以上の元の3Dアセットから厳格なデータクリーニングとフィルタリングプロセスを通じて、200万件の高品質3Dアセットからなる訓練データセットを構築しました。このデータセットは幾何精度、テクスチャ品質、トポロジー完全性において高い基準を達成しています。
先進的なジオメトリ生成技術
ジオメトリ生成モジュールは、水密な切断符号距離関数（TSDF）表現を生成できるハイブリッドVAE-DiTアーキテクチャを採用しています。パーセプター符号化とシャープエッジサンプリング技術により、システムは効果的に幾何詳細を保持し、トポロジー的に堅牢な3Dメッシュを生成します。
精密なテクスチャ合成
テクスチャ合成モジュールはStable Diffusion XLをベースにファインチューニングされ、法線マップと位置マップを通じて幾何ガイダンスを提供し、生成されたテクスチャと3Dジオメトリの精密な位置合わせを確保します。システムはマルチビュー一貫性をサポートし、高解像度テクスチャマップを生成できます。
柔軟な制御メカニズム
Step1X-3DはLoRAなどのパラメータ効率的なファインチューニング技術をサポートし、ユーザーがタグを通じてオブジェクトの対称性、幾何詳細レベル、その他の属性を制御できます。これによりユーザーにより多くの創造的制御オプションを提供します。
技術的優位性
既存のオープンソースソリューションと比較して、Step1X-3Dは複数の側面で優れています：
生成品質：ベンチマークテストにおいて、Step1X-3Dのジオメトリとテクスチャ生成品質は既存のオープンソースベースラインを上回り、特定の指標では商用ソリューションに匹敵する性能を達成しています。
完全オープンソース：モデル重みのみをリリースする多くのプロジェクトとは異なり、Step1X-3Dは完全な訓練コード、データ処理パイプライン、適応モジュールを提供し、研究者による再現と改善を促進します。
エコシステム互換性：2D制御技術の3Dへの転移をサポートすることで、Step1X-3Dは既存の画像生成エコシステムとの良好な互換性を形成しています。
オープンソース内容
このオープンソースリリースには以下が含まれます：
- モデル重み：ジオメトリ生成モデル（13億パラメータ）とテクスチャ合成モデル（35億パラメータ）を含む
- 訓練コード：VAE、拡散モデル、マルチビュー生成の完全な訓練コード
- データセット：80万件の高品質3DアセットのUIDリスト
- オンラインデモ：HuggingFace Spacesでのインタラクティブデモンストレーション
- 適応ツール：LoRAファインチューニングをサポートする適応モジュール
使用ケース
Step1X-3Dは様々なアプリケーションシナリオに適用できます：
コンテンツ制作：ゲーム開発、映画制作などの分野での迅速な3Dアセット生成 製品設計：コンセプト画像に基づく迅速な3Dプロトタイプ生成 教育・訓練：3Dモデリングとデザイン教育のための補助ツール 研究開発：3D生成アルゴリズム研究のための基盤プラットフォーム
技術詳細
ジオメトリ生成パイプライン
システムはまず3D形状変分オートエンコーダーを使用してポイントクラウドを潜在空間に圧縮し、その後FLUX inspired拡散トランスフォーマーを通じてジオメトリ生成を行います。このプロセスはシャープエッジサンプリングとデュアルクロスアテンションメカニズムを採用して幾何詳細の保持を強化します。
テクスチャ合成パイプライン
テクスチャ生成はマルチステージパイプラインを使用します：まずジオメトリを後処理してトポロジー一貫性を確保し、次にマルチビュー画像生成モデルを通じてテクスチャを作成し、最後にUVベーキングと修復を通じてテクスチャマッピングを完成させます。
性能結果
ユーザー研究において、Step1X-3Dは幾何的合理性、テクスチャの明瞭性、全体的品質において高いスコアを達成し、実用アプリケーションへの可能性を示しています。
コミュニティの反応
リリース以来、Step1X-3Dはオープンソースコミュニティで広範囲な注目を集めています。プロジェクトはGitHubで開発者から大きな注目を集め、HuggingFaceのオンラインデモンストレーションも多くのユーザーが体験しています。
多くの研究者がStep1X-3Dの完全オープンソース戦略は3D生成分野の研究に貴重なリソースを提供し、分野全体の発展を促進すると述べています。
今後の計画
プロジェクトロードマップによると、チームは将来的により多くの機能をリリースする予定です：
- マルチビュー、バウンディングボックス、スケルトンなどの追加制御条件のサポート
- ComfyUIワークフロー統合サポート
- より多くの制御可能な生成モデル
- 性能最適化と推論加速