UniQuadric: A SLAM Backend for Unknown Rigid Object 3D Tracking and Light-Weight Modeling

要約

環境内の未知の剛体オブジェクトの追跡とモデリングは、自律型無人システムや仮想現実の対話型アプリケーションにおいて重要な役割を果たします。
しかし、既存の多くの同時位置特定、マッピング、移動物体追跡 (SLAMMOT) 手法は、特定の物体の姿勢を推定することのみに焦点を当てており、物体のスケールの推定が欠けており、未知の物体を効果的に追跡することができません。
この論文では、共同最適化フレームワーク内で自我運動追跡、剛体運動追跡、およびモデリングを統合する新しい SLAM バックエンドを提案します。
認識部分では、セグメント エニシング モデル (SAM) と DeAOT に基づいてピクセル レベルの非同期オブジェクト トラッカー (AOT) を設計しました。これにより、トラッカーは、事前定義されたさまざまなタスクやプロンプトに従ってターゲットの未知のオブジェクトを効果的に追跡できるようになります。
モデリング部分では、静的および動的オブジェクトの初期化と最適化の両方を統合する、新しいオブジェクト中心の 2 次パラメータ化を紹介します。
続いて、物体の状態推定の部分で、結合推定のための新しいデュアル スライディング ウィンドウ最適化フレームワークにハイブリッド制約を組み込んだ、物体の姿勢とスケールの推定のための密結合最適化モデルを提案します。
私たちの知る限りでは、オブジェクトの姿勢追跡と、二次関数を使用した動的オブジェクトと静的オブジェクトの軽量モデリングを緊密に結合した最初の企業です。
私たちはシミュレーション データセットと現実世界のデータセットに対して定性的および定量的な実験を実施し、動きの推定とモデリングにおける最先端の堅牢性と精度を実証します。
私たちのシステムは、複雑な動的シーンにおける物体認識の潜在的な応用例を示しています。

要約(オリジナル)

Tracking and modeling unknown rigid objects in the environment play a crucial role in autonomous unmanned systems and virtual-real interactive applications. However, many existing Simultaneous Localization, Mapping and Moving Object Tracking (SLAMMOT) methods focus solely on estimating specific object poses and lack estimation of object scales and are unable to effectively track unknown objects. In this paper, we propose a novel SLAM backend that unifies ego-motion tracking, rigid object motion tracking, and modeling within a joint optimization framework. In the perception part, we designed a pixel-level asynchronous object tracker (AOT) based on the Segment Anything Model (SAM) and DeAOT, enabling the tracker to effectively track target unknown objects guided by various predefined tasks and prompts. In the modeling part, we present a novel object-centric quadric parameterization to unify both static and dynamic object initialization and optimization. Subsequently, in the part of object state estimation, we propose a tightly coupled optimization model for object pose and scale estimation, incorporating hybrids constraints into a novel dual sliding window optimization framework for joint estimation. To our knowledge, we are the first to tightly couple object pose tracking with light-weight modeling of dynamic and static objects using quadric. We conduct qualitative and quantitative experiments on simulation datasets and real-world datasets, demonstrating the state-of-the-art robustness and accuracy in motion estimation and modeling. Our system showcases the potential application of object perception in complex dynamic scenes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google