ArtGS: Building Interactable Replicas of Complex Articulated Objects via Gaussian Splatting

要約

明確なオブジェクトを構築することは、コンピュータービジョンの重要な課題です。
既存の方法は、異なるオブジェクト状態にわたって情報を効果的に統合することができず、特に複雑なマルチパートの明確なオブジェクトのパートメッシュ再構成とパートダイナミクスモデリングの精度を制限します。
ARTGSを紹介します。これは、これらの問題に対処するための柔軟で効率的な表現として3Dガウスを活用する斬新なアプローチです。
私たちの方法には、異なるオブジェクト状態にわたって明確なパーツ情報を調整するための粗から洗練された初期化と更新を備えた標準ガウス人を組み込み、スキニングにインスパイアされたパーツダイナミクスモデリングモジュールを採用して、パートメッシュの再構成と明確化学習の両方を改善します。
複雑なマルチパートオブジェクトの新しいベンチマークを含む合成データセットと現実世界の両方のデータセットでの広範な実験は、ARTGSがジョイントパラメーター推定と部分メッシュ再構成で最新のパフォーマンスを達成することを示しています。
私たちのアプローチは、特にマルチパートの明確なオブジェクトの再構築品質と効率を大幅に改善します。
さらに、設計の選択の包括的な分析を提供し、各コンポーネントの有効性を検証して、将来の改善のための潜在的な領域を強調します。
私たちの作品は、https：//articulate-gs.github.ioで公開されています。

要約(オリジナル)

Building articulated objects is a key challenge in computer vision. Existing methods often fail to effectively integrate information across different object states, limiting the accuracy of part-mesh reconstruction and part dynamics modeling, particularly for complex multi-part articulated objects. We introduce ArtGS, a novel approach that leverages 3D Gaussians as a flexible and efficient representation to address these issues. Our method incorporates canonical Gaussians with coarse-to-fine initialization and updates for aligning articulated part information across different object states, and employs a skinning-inspired part dynamics modeling module to improve both part-mesh reconstruction and articulation learning. Extensive experiments on both synthetic and real-world datasets, including a new benchmark for complex multi-part objects, demonstrate that ArtGS achieves state-of-the-art performance in joint parameter estimation and part mesh reconstruction. Our approach significantly improves reconstruction quality and efficiency, especially for multi-part articulated objects. Additionally, we provide comprehensive analyses of our design choices, validating the effectiveness of each component to highlight potential areas for future improvement. Our work is made publicly available at: https://articulate-gs.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google