Towards Real-World Aerial Vision Guidance with Categorical 6D Pose Tracker

要約

オブジェクトの 6-DoF ポーズを追跡することは、さまざまな下流のロボット タスクや現実世界のアプリケーションにとって非常に重要です。
この論文では、カテゴリレベルの 6-DoF 姿勢追跡を利用して、航空ロボット操作のための空中視覚誘導という現実世界のロボットタスクを調査します。
上空の状況では、ピッチやロールの急速な視点変更など、特別な課題が必然的に発生します。
このタスクと課題をサポートするために、まず堅牢なカテゴリレベルの 6-DoF ポーズ トラッカー (Robust6DoF) を導入します。
このトラッカーは、形状と時間的な事前知識を活用して、粗い方法から細かい方法でアプリオリな構造適応監視の下で生成された最適なフレーム間キーポイントのペアを探索します。
特に、Robust6DoF は時空間拡張モジュールを採用し、時間動的フィルタリングと形状類似性フィルタリングの両方を通じてフレーム間差異とクラス内形状変動の問題に対処します。
さらに、最終的な空中ビジョン ガイダンス タスクを実装するためのデカップリング アプローチとして機能する、ポーズ認識ディスクリート サーボ戦略 (PAD サーボ) を提案します。
これには、航空ロボット操作の構造特性に適切に対応するための 2 つのサーボ アクション ポリシーが含まれています。
4 つのよく知られた公開ベンチマークでの徹底的な実験により、Robust6DoF の優位性が実証されました。
現実世界のテストでは、当社の Robust6DoF と PAD-Servo が現実世界の航空ロボット アプリケーションで容易に使用できることが直接検証されています。

要約(オリジナル)

Tracking the object 6-DoF pose is crucial for various downstream robot tasks and real-world applications. In this paper, we investigate the real-world robot task of aerial vision guidance for aerial robotics manipulation, utilizing category-level 6-DoF pose tracking. Aerial conditions inevitably introduce special challenges, such as rapid viewpoint changes in pitch and roll. To support this task and challenge, we firstly introduce a robust category-level 6-DoF pose tracker (Robust6DoF). This tracker leverages shape and temporal prior knowledge to explore optimal inter-frame keypoint pairs, generated under a priori structural adaptive supervision in a coarse-to-fine manner. Notably, our Robust6DoF employs a Spatial-Temporal Augmentation module to deal with the problems of the inter-frame differences and intra-class shape variations through both temporal dynamic filtering and shape-similarity filtering. We further present a Pose-Aware Discrete Servo strategy (PAD-Servo), serving as a decoupling approach to implement the final aerial vision guidance task. It contains two servo action policies to better accommodate the structural properties of aerial robotics manipulation. Exhaustive experiments on four well-known public benchmarks demonstrate the superiority of our Robust6DoF. Real-world tests directly verify that our Robust6DoF along with PAD-Servo can be readily used in real-world aerial robotic applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google