Novel Object 6D Pose Estimation with a Single Reference View

要約

既存の新規オブジェクト6Dポーズ推定方法は、通常、CADモデルまたは密な参照ビューに依存していますが、どちらも取得が困難です。
単一の参照ビューのみを使用する方がスケーラブルですが、大きなポーズの不一致と限られた幾何学的および空間情報のために挑戦的です。
これらの問題に対処するために、単一参照ベースの新規オブジェクト6D（SINREF-6D）ポーズ推定方法を提案します。
私たちの重要なアイデアは、状態空間モデル（SSM）に基づいて、カメラ座標系でポイントごとのアライメントを繰り返し確立することです。
具体的には、反復的なカメラ空間点でのアライメントは、大規模なポーズの不一致を効果的に処理できますが、提案されているRGBとポイントSSMは、単一ビューから長距離依存関係と空間情報をキャプチャし、線形の複雑さと優れた空間モデリング機能を提供できます。
合成データで事前に訓練されたら、SINREF-6Dは、再訓練またはCADモデルを必要とせずに、単一の参照ビューのみを使用して、新しいオブジェクトの6Dポーズを推定できます。
6つの人気のあるデータセットと実際のロボットシーンでの広範な実験は、より困難な単一の参照設定で動作しているにもかかわらず、CADベースの参照ビューベースの方法でパフォーマンスを実現することを示しています。
コードはhttps://github.com/cnjianliu/sinref-6dでリリースされます。

要約(オリジナル)

Existing novel object 6D pose estimation methods typically rely on CAD models or dense reference views, which are both difficult to acquire. Using only a single reference view is more scalable, but challenging due to large pose discrepancies and limited geometric and spatial information. To address these issues, we propose a Single-Reference-based novel object 6D (SinRef-6D) pose estimation method. Our key idea is to iteratively establish point-wise alignment in the camera coordinate system based on state space models (SSMs). Specifically, iterative camera-space point-wise alignment can effectively handle large pose discrepancies, while our proposed RGB and Points SSMs can capture long-range dependencies and spatial information from a single view, offering linear complexity and superior spatial modeling capability. Once pre-trained on synthetic data, SinRef-6D can estimate the 6D pose of a novel object using only a single reference view, without requiring retraining or a CAD model. Extensive experiments on six popular datasets and real-world robotic scenes demonstrate that we achieve on-par performance with CAD-based and dense reference view-based methods, despite operating in the more challenging single reference setting. Code will be released at https://github.com/CNJianLiu/SinRef-6D.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google