SplArt: Articulation Estimation and Part-Level Reconstruction with 3D Gaussian Splatting

要約

毎日の環境で一般的な明確なオブジェクトの再構築は、拡張/仮想現実とロボット工学のアプリケーションにとって重要です。
ただし、既存の方法は、スケーラビリティの制限（3Dの監督または費用のかかる注釈が必要）、堅牢性の問題（ローカルオプティマの影響を受けやすい）、およびレンダリングの欠点（速度またはフォトリアリズムの欠如）に直面しています。
3Dガウススプラッティング（3DG）を活用して関節を再構築し、さまざまな関節状態でキャプチャされた2セットのポーズRGB画像から運動学を推測する自己監督のカテゴリに依存しないフレームワークであるSplartを紹介します。
Splartは、ガウスあたりの微分可能なモビリティパラメーターで3DGを増強し、洗練された部分セグメンテーションを達成します。
複数段階の最適化戦略が採用され、再構築、部分セグメンテーション、および関節の推定を徐々に処理し、堅牢性と精度を大幅に向上させます。
Splartは、幾何学的な自己監視を活用し、3Dアノテーションやカテゴリ固有の事前には必要なく、挑戦的なシナリオに効果的に対処します。
確立され、新しく提案されたベンチマークに関する評価は、ハンドヘルドRGBカメラを使用した実際のシナリオへのアプリケーションで、Splartの最先端のパフォーマンスと実世界の実用性を示しています。
コードはhttps://github.com/ripl/splartで公開されています。

要約(オリジナル)

Reconstructing articulated objects prevalent in daily environments is crucial for applications in augmented/virtual reality and robotics. However, existing methods face scalability limitations (requiring 3D supervision or costly annotations), robustness issues (being susceptible to local optima), and rendering shortcomings (lacking speed or photorealism). We introduce SplArt, a self-supervised, category-agnostic framework that leverages 3D Gaussian Splatting (3DGS) to reconstruct articulated objects and infer kinematics from two sets of posed RGB images captured at different articulation states, enabling real-time photorealistic rendering for novel viewpoints and articulations. SplArt augments 3DGS with a differentiable mobility parameter per Gaussian, achieving refined part segmentation. A multi-stage optimization strategy is employed to progressively handle reconstruction, part segmentation, and articulation estimation, significantly enhancing robustness and accuracy. SplArt exploits geometric self-supervision, effectively addressing challenging scenarios without requiring 3D annotations or category-specific priors. Evaluations on established and newly proposed benchmarks, along with applications to real-world scenarios using a handheld RGB camera, demonstrate SplArt’s state-of-the-art performance and real-world practicality. Code is publicly available at https://github.com/ripl/splart.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google