Poses as Queries: Image-to-LiDAR Map Localization with Transformers

要約

タイトル：ポーズをクエリとして：トランスフォーマーを用いた画像からLiDARマップへのローカライゼーション

要約：
– 高い自律走行タスクのための高精度車両ローカライゼーションは重要な技術
– リダー・マップ内の単眼カメラによるローカライゼーションは、コストと精度のバランスが取れた新しいアプローチであるが、交差モーダルセンサーデータ間の対応関係を見つけてポーズを推定することは困難であり、それによってローカライゼーション精度が低下する
– 本論文では、トランスフォーマーベースのニューラルネットワークを提案し、ポーズをクエリとして2D画像を3D LiDARマップに登録する方法をエンドツーエンドで扱うことで、この問題に対処する
– ポーズは、Pose Estimator Transformer (POET)モジュールで、関連情報を抽出することによって相互作用することで更新される
– さらに、ネットワークの不確実性を軽減するために、複数のランダムに初期化されたポーズクエリに対して並列最適化を実行して最終ポーズを推定する複数の仮説集約方法を適用する
– 公開ベンチマークでの包括的な分析と実験結果は、提案された画像からLiDARマップへのローカライゼーションネットワークが、難しい交差モーダルローカライゼーションタスクで最新の性能を発揮することを示している。

要約(オリジナル)

High-precision vehicle localization with commercial setups is a crucial technique for high-level autonomous driving tasks. Localization with a monocular camera in LiDAR map is a newly emerged approach that achieves promising balance between cost and accuracy, but estimating pose by finding correspondences between such cross-modal sensor data is challenging, thereby damaging the localization accuracy. In this paper, we address the problem by proposing a novel Transformer-based neural network to register 2D images into 3D LiDAR map in an end-to-end manner. Poses are implicitly represented as high-dimensional feature vectors called pose queries and can be iteratively updated by interacting with the retrieved relevant information from cross-model features using attention mechanism in a proposed POse Estimator Transformer (POET) module. Moreover, we apply a multiple hypotheses aggregation method that estimates the final poses by performing parallel optimization on multiple randomly initialized pose queries to reduce the network uncertainty. Comprehensive analysis and experimental results on public benchmark conclude that the proposed image-to-LiDAR map localization network could achieve state-of-the-art performances in challenging cross-modal localization tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI