Real-Time Estimation of Relative Pose for UAVs Using a Dual-Channel Feature Association

要約

無人航空機 (UAV) の複数のカメラを活用して、共同認識のための可変ベースライン ステレオ カメラを形成することは、非常に有望です。
重要なステップには、高速のクロスカメラ特徴関連付けと、複数の UAV のフレームレート相対姿勢推定が含まれます。
特徴関連付けレートを加速してフレーム レートに一致させるために、時間のかかる特徴検出と照合を高速画像ストリームから切り離すデュアル チャネル構造を提案します。
周期的なガイダンスと高速予測の新しい設計は、各画像フレームを効果的に利用して、フレームレート特徴の関連付けを実現します。
実際の実験は、NVIDIA NX 8G プラットフォーム上の SuperPoint と SuperGlue を使用し、30 Hz の画像ストリームで実行されます。
シングルチャネル SuperPoint および SuperGlue を使用すると、13 Hz の機能関連付けしか実現できません。
提案されたデュアルチャネル方法は、特徴の関連付けのレートを 13 Hz から 30 Hz に向上させることができ、フレーム レート要件をサポートします。
提案された特徴の関連付けに対応するために、2 台の UAV からのローカル オドメトリと共通の特徴の測定値を融合することにより、バックエンドでマルチステート制約付きカルマン フィルター (MSCKF) ベースの相対姿勢推定器を開発します。
実験によると、デュアルチャネル特徴の関連付けにより、既存の方法と比較して目視観察の速度が向上し、バックエンド推定器のリアルタイム パフォーマンスが向上します。
ビデオ – https://youtu.be/UBAR1iP0GPk 補足ビデオ – https://youtu.be/nPq8EpVzJZM

要約(オリジナル)

Leveraging multiple cameras on Unmanned Aerial Vehicles (UAVs) to form a variable-baseline stereo camera for collaborative perception is highly promising. The critical steps include high-rate cross-camera feature association and frame-rate relative pose estimation of multiple UAVs. To accelerate the feature association rate to match the frame rate, we propose a dual-channel structure to decouple the time-consuming feature detection and match from the high-rate image stream. The novel design of periodic guidance and fast prediction effectively utilizes each image frame to achieve a frame-rate feature association. Real-world experiments are executed using SuperPoint and SuperGlue on the NVIDIA NX 8G platform with a 30 Hz image stream. Using single-channel SuperPoint and SuperGlue can only achieve 13 Hz feature association. The proposed dual-channel method can improve the rate of feature association from 13 Hz to 30 Hz, supporting the frame-rate requirement. To accommodate the proposed feature association, we develop a Multi-State Constrained Kalman Filter (MSCKF)-based relative pose estimator in the back-end by fusing the local odometry from two UAVs together with the measurements of common features. Experiments show that the dual-channel feature association improves the rate of visual observation and enhances the real-time performance of back-end estimator compared to the existing methods. Video – https://youtu.be/UBAR1iP0GPk Supplementary video – https://youtu.be/nPq8EpVzJZM

arxiv情報

提供元, 利用サービス

arxiv.jp, Google