Towards Aerial Collaborative Stereo: Real-Time Cross-Camera Feature Association and Relative Pose Estimation for UAVs

要約

複数の無人航空機 (UAV) の共同視覚認識は、ますます研究のホットスポットになっています。
短いベースラインのステレオ カメラを搭載した単一の UAV と比較して、複数の UAV の共同ビジョンは幅広く可変のベースラインを提供し、柔軟で大規模な奥行き知覚に潜在的な利点をもたらします。
この論文では、重複する FOV を共有する 2 台の UAV に左右のカメラが搭載された協調ステレオ カメラの概念を提案します。
現実世界での 2 台の UAV の動的飛行を考慮すると、左右のカメラの FOV と相対的な姿勢は継続的に変化します。
固定ベースラインのステレオ カメラと比較すると、この空中協調ステレオ システムには 2 つの課題があります。1 つは動的なクロスカメラ ステレオ特徴の関連付けと、左右のカメラの相対姿勢推定に対する高度なリアルタイム性の要件です。
これらの課題に対処するために、我々はまず、誘導予測構造を備えたリアルタイムのデュアルチャネル特徴関連付けアルゴリズムを提案します。
次に、共視覚特徴と UAV の視覚慣性オドメトリ (VIO) を融合することで相対姿勢を推定する相対マルチステート制約カルマン フィルター (Rel-MSCKF) アルゴリズムを提案します。
人気のオンボード コンピューター NVIDIA NX で広範な実験が行われています。
リソースに制約のあるプラットフォームでの結果は、デュアルチャネル機能関連付けのリアルタイム パフォーマンスが従来の方法よりも大幅に優れていることを示しています。
Rel-MSCKF の収束は、さまざまな初期ベースライン誤差の下で評価されます。
最後に、都市シナリオにおける障害物をリモート マッピングするための空中協調ステレオの潜在的なアプリケーションを紹介します。
私たちは、この研究が、より多くの複数の UAV による共同ビジョン研究の基礎研究として役立つことを願っています。
オンラインビデオ: https://youtu.be/avxMuOf5Qcw

要約(オリジナル)

The collaborative visual perception of multiple Unmanned Aerial Vehicles (UAVs) has increasingly become a research hotspot. Compared to a single UAV equipped with a short-baseline stereo camera, multi-UAV collaborative vision offers a wide and variable baseline, providing potential benefits in flexible and large-scale depth perception. In this paper, we propose the concept of a collaborative stereo camera, where the left and right cameras are mounted on two UAVs that share an overlapping FOV. Considering the dynamic flight of two UAVs in the real world, the FOV and relative pose of the left and right cameras are continuously changing. Compared to fixed-baseline stereo cameras, this aerial collaborative stereo system introduces two challenges, which are highly real-time requirements for dynamic cross-camera stereo feature association and relative pose estimation of left and right cameras. To address these challenges, we first propose a real-time dual-channel feature association algorithm with a guidance-prediction structure. Then, we propose a Relative Multi-State Constrained Kalman Filter (Rel-MSCKF) algorithm to estimate the relative pose by fusing co-visual features and UAVs’ visual-inertial odometry (VIO). Extensive experiments are performed on the popular onboard computer NVIDIA NX. Results on the resource-constrained platform show that the real-time performance of the dual-channel feature association is significantly superior to traditional methods. The convergence of Rel-MSCKF is assessed under different initial baseline errors. In the end, we present a potential application of aerial collaborative stereo for remote mapping obstacles in urban scenarios. We hope this work can serve as a foundational study for more multi-UAV collaborative vision research. Online video: https://youtu.be/avxMuOf5Qcw

arxiv情報

提供元, 利用サービス

arxiv.jp, Google