Object-centric Reconstruction and Tracking of Dynamic Unknown Objects using 3D Gaussian Splatting

要約

一般化可能な知覚は、宇宙ロボット工学における高度な自律性の柱の 1 つです。
動的環境における未知の物体の構造と運動を推定することは、このような自律システムの基礎です。
従来、ソリューションは、ターゲット オブジェクト、複数の異種表現、またはロボット操作には不向きな忠実度の低い出力に関する事前知識に依存していました。
この研究は、統一された表現 (形状と外観を記述する 3D ガウス ブロブのセット) を使用して、動的な未知の物体を段階的に再構築および追跡する新しいアプローチを提案します。
微分可能な 3D ガウス スプラッティング フレームワークは、動的なオブジェクト中心の設定に適応されています。
パイプラインへの入力は、RGB-D イメージの連続セットです。
3D 再構築および 6-DoF 姿勢追跡タスクは、一次勾配ベースの最適化を使用して取り組みます。
定式化は単純で、事前トレーニングを必要とせず、オブジェクトやその動作についての事前知識を前提としていないため、オンライン アプリケーションに適しています。
提案されたアプローチは、任意の相対運動の下で、さまざまな形状とテクスチャを持つ 10 機の未知の宇宙船のデータセットで検証されます。
この実験では、短期間から中程度の継続時間にわたる近接操作で、3D 再構成とターゲット オブジェクトの正確な 6-DoF 追跡が成功したことを実証します。
トラッキング ドリフトの原因について説明し、考えられる解決策について概説します。

要約(オリジナル)

Generalizable perception is one of the pillars of high-level autonomy in space robotics. Estimating the structure and motion of unknown objects in dynamic environments is fundamental for such autonomous systems. Traditionally, the solutions have relied on prior knowledge of target objects, multiple disparate representations, or low-fidelity outputs unsuitable for robotic operations. This work proposes a novel approach to incrementally reconstruct and track a dynamic unknown object using a unified representation — a set of 3D Gaussian blobs that describe its geometry and appearance. The differentiable 3D Gaussian Splatting framework is adapted to a dynamic object-centric setting. The input to the pipeline is a sequential set of RGB-D images. 3D reconstruction and 6-DoF pose tracking tasks are tackled using first-order gradient-based optimization. The formulation is simple, requires no pre-training, assumes no prior knowledge of the object or its motion, and is suitable for online applications. The proposed approach is validated on a dataset of 10 unknown spacecraft of diverse geometry and texture under arbitrary relative motion. The experiments demonstrate successful 3D reconstruction and accurate 6-DoF tracking of the target object in proximity operations over a short to medium duration. The causes of tracking drift are discussed and potential solutions are outlined.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google