GSGTrack: Gaussian Splatting-Guided Object Pose Tracking from RGB Videos

要約

単眼RGBビデオシーケンスにおける未知の物体の6DoFポーズの追跡は、ロボット操作にとって極めて重要である。しかし、既存のアプローチは、一般的に正確な深度情報に依存しており、これは実世界のシナリオで得ることは非自明である。深度推定アルゴリズムを採用することもできるが、幾何学的な不正確さはRGBDベースのポーズトラッキング手法の失敗につながる。この課題を解決するために、我々は幾何学とポーズを共同で最適化する新しいRGBベースのポーズトラッキングフレームワークであるGSGTrackを紹介する。具体的には、最適化可能な3D表現を作成するために3Dガウススプラッティングを採用し、グラフベースのジオメトリ最適化と同時に学習することで、オブジェクトの外観特徴を捉え、ジオメトリを洗練させる。しかし、合同最適化プロセスは、ノイズの多いポーズや形状データによる摂動の影響を受けやすい。そこで我々は、トラッキング中にピクセル単位の損失がポーズノイズの影響を受けすぎるという問題に対処するために、オブジェクトシルエット損失を提案する。不正確な奥行き情報によって引き起こされる幾何学的な曖昧さを緩和するために、信頼性の低いペアをフィルタリングし、ロバストな幾何学的最適化を保証する、ジオメトリ一貫性のある画像ペア選択戦略を提案する。OnePoseデータセットとHO3Dデータセットを用いた広範な実験により、6DoFポーズトラッキングと物体再構成の両方におけるGSGTrackの有効性が実証された。

要約(オリジナル)

Tracking the 6DoF pose of unknown objects in monocular RGB video sequences is crucial for robotic manipulation. However, existing approaches typically rely on accurate depth information, which is non-trivial to obtain in real-world scenarios. Although depth estimation algorithms can be employed, geometric inaccuracy can lead to failures in RGBD-based pose tracking methods. To address this challenge, we introduce GSGTrack, a novel RGB-based pose tracking framework that jointly optimizes geometry and pose. Specifically, we adopt 3D Gaussian Splatting to create an optimizable 3D representation, which is learned simultaneously with a graph-based geometry optimization to capture the object’s appearance features and refine its geometry. However, the joint optimization process is susceptible to perturbations from noisy pose and geometry data. Thus, we propose an object silhouette loss to address the issue of pixel-wise loss being overly sensitive to pose noise during tracking. To mitigate the geometric ambiguities caused by inaccurate depth information, we propose a geometry-consistent image pair selection strategy, which filters out low-confidence pairs and ensures robust geometric optimization. Extensive experiments on the OnePose and HO3D datasets demonstrate the effectiveness of GSGTrack in both 6DoF pose tracking and object reconstruction.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL