2D-3D Pose Tracking with Multi-View Constraints

要約

3D LiDAR マップにおけるカメラの位置特定は、視覚のみの位置特定方法の限界を超え、複雑なシナリオを処理できる可能性が期待できるため、ますます注目を集めています。
しかし、既存の方法はクロスモーダルギャップに対処することに主に焦点を当てており、隣接するフレーム間の関係を考慮せずにフレームごとにカメラポーズを推定するため、ポーズ追跡が不安定になります。
これを軽減するために、2D-2D 特徴マッチングを使用して隣接するフレーム間の 2D-3D 対応を結合し、複数のカメラのポーズを同時に推定するためのマルチビューの幾何学的制約を確立することを提案します。
具体的には、我々は新しい 2D-3D 姿勢追跡フレームワークを提案します。このフレームワークは、連続フレーム用のフロントエンドのハイブリッド フロー推定ネットワークとバックエンドの姿勢最適化モジュールで構成されます。
さらに、トレーニングと推論プロセス中にマルチビュー制約を組み込むために、クロスモーダル一貫性ベースの損失を設計します。
私たちは、KITTI と Argoverse データセットで提案したフレームワークを評価します。
実験結果は、既存のフレームごとの 2D-3D 姿勢追跡方法や最先端の​​視覚のみの姿勢追跡アルゴリズムと比較して、その優れたパフォーマンスを示しています。
その他のオンライン ポーズ追跡ビデオは \url{https://youtu.be/yfBRdg7gw5M} でご覧いただけます。

要約(オリジナル)

Camera localization in 3D LiDAR maps has gained increasing attention due to its promising ability to handle complex scenarios, surpassing the limitations of visual-only localization methods. However, existing methods mostly focus on addressing the cross-modal gaps, estimating camera poses frame by frame without considering the relationship between adjacent frames, which makes the pose tracking unstable. To alleviate this, we propose to couple the 2D-3D correspondences between adjacent frames using the 2D-2D feature matching, establishing the multi-view geometrical constraints for simultaneously estimating multiple camera poses. Specifically, we propose a new 2D-3D pose tracking framework, which consists: a front-end hybrid flow estimation network for consecutive frames and a back-end pose optimization module. We further design a cross-modal consistency-based loss to incorporate the multi-view constraints during the training and inference process. We evaluate our proposed framework on the KITTI and Argoverse datasets. Experimental results demonstrate its superior performance compared to existing frame-by-frame 2D-3D pose tracking methods and state-of-the-art vision-only pose tracking algorithms. More online pose tracking videos are available at \url{https://youtu.be/yfBRdg7gw5M}

arxiv情報

提供元, 利用サービス

arxiv.jp, Google