Pixel to Elevation: Learning to Predict Elevation Maps at Long Range using Images for Autonomous Offroad Navigation

要約

長距離での地形トポロジーを理解することは、オフロードロボットミッション、特に高速で航行する場合の成功に不可欠です。
現在、幾何学的マッピングに大きく依存している LiDAR センサーは、より離れた距離でマッピングするとまばらな測定値を提供します。
この課題に対処するために、オンボードの自己中心画像のみをリアルタイムで使用して、長距離の地形標高図を予測できる新しい学習ベースのアプローチを提案します。
私たちが提案する手法は 3 つの主要な要素で構成されます。
まず、自己中心的なビューと以前の鳥瞰図標高図予測との間のビュー間の関連性を学習するトランスフォーマー ベースのエンコーダーが導入されます。
第 2 に、方向を意識した位置エンコーディングが提案され、マルチビューの視覚画像特徴を備えた複雑な非構造化地形上の 3D 車両姿勢情報が組み込まれます。
最後に、標高地図予測間の時間的一貫性を向上させ、下流のナビゲーション タスクを容易にするために、履歴拡張学習可能地図埋め込みが提案されています。
私たちは、実世界のオフロード走行データを使用して、複雑で構造化されていない地形における自律的なオフロードロボットナビゲーションに対する提案したアプローチの適用可能性を実験的に検証します。
さらに、この方法は現在の最先端の方法と定性的および定量的に比較されます。
広範な現場実験により、私たちの方法が地形の標高を正確に予測しながら、長距離で地形全体のトポロジーを効果的に捕捉する点でベースライン モデルを上回ることが実証されました。
最後に、提案されたアプローチの主要なコンポーネントの効果を強調して理解し、オフロードロボットナビゲーション能力を向上させるためのそれらの適合性を検証するために、アブレーション研究が実施されます。

要約(オリジナル)

Understanding terrain topology at long-range is crucial for the success of off-road robotic missions, especially when navigating at high-speeds. LiDAR sensors, which are currently heavily relied upon for geometric mapping, provide sparse measurements when mapping at greater distances. To address this challenge, we present a novel learning-based approach capable of predicting terrain elevation maps at long-range using only onboard egocentric images in real-time. Our proposed method is comprised of three main elements. First, a transformer-based encoder is introduced that learns cross-view associations between the egocentric views and prior bird-eye-view elevation map predictions. Second, an orientation-aware positional encoding is proposed to incorporate the 3D vehicle pose information over complex unstructured terrain with multi-view visual image features. Lastly, a history-augmented learn-able map embedding is proposed to achieve better temporal consistency between elevation map predictions to facilitate the downstream navigational tasks. We experimentally validate the applicability of our proposed approach for autonomous offroad robotic navigation in complex and unstructured terrain using real-world offroad driving data. Furthermore, the method is qualitatively and quantitatively compared against the current state-of-the-art methods. Extensive field experiments demonstrate that our method surpasses baseline models in accurately predicting terrain elevation while effectively capturing the overall terrain topology at long-ranges. Finally, ablation studies are conducted to highlight and understand the effect of key components of the proposed approach and validate their suitability to improve offroad robotic navigation capabilities.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google