TerrainNet: Visual Modeling of Complex Terrain for High-speed, Off-road Navigation

要約

カメラベースのビジョン システムを効果的に使用することは、自動オフロード運転、特に高速領域での堅牢なパフォーマンスに不可欠です。
構造化された路上設定では成功しているにもかかわらず、シーン予測のための現在のエンドツーエンドのアプローチは、複雑な屋外の地形にはまだうまく適応していません。
この目的を達成するために、アグレッシブなオフロード ナビゲーションのためのセマンティックおよび幾何学的地形予測のためのビジョンベースの地形認識システムである TerrainNet を紹介します。
このアプローチは、信頼性の高い地形モデリングを実現するためのいくつかの重要な洞察と実践的な考慮事項に基づいています。
ネットワークには、通過可能性の推定に必要な細粒度および粗粒度の地形特徴をキャプチャするためのマルチヘッド出力表現が含まれています。
正確な深度推定は、マルチビュー RGB およびステレオ入力による自己監視型深度補完を使用して実現されます。
リアルタイム パフォーマンスと高速推論速度の要件は、学習された効率的な画像特徴投影を使用して満たされます。
さらに、このモデルは、さまざまな屋外環境で収集された大規模な現実世界のオフロード データセットでトレーニングされています。
TerrainNet がコストマップ予測にもどのように使用できるかを示し、計画モジュールに統合するための詳細なフレームワークを提供します。
カメラのみのシーン予測の現在の最先端のベースラインとの広範な比較を通じて、TerrainNet のパフォーマンスを実証します。
最後に、困難なオフロード シナリオで実世界の車両テストを実施することにより、完全な自動運転スタック内に TerrainNet を統合することの有効性を示します。

要約(オリジナル)

Effective use of camera-based vision systems is essential for robust performance in autonomous off-road driving, particularly in the high-speed regime. Despite success in structured, on-road settings, current end-to-end approaches for scene prediction have yet to be successfully adapted for complex outdoor terrain. To this end, we present TerrainNet, a vision-based terrain perception system for semantic and geometric terrain prediction for aggressive, off-road navigation. The approach relies on several key insights and practical considerations for achieving reliable terrain modeling. The network includes a multi-headed output representation to capture fine- and coarse-grained terrain features necessary for estimating traversability. Accurate depth estimation is achieved using self-supervised depth completion with multi-view RGB and stereo inputs. Requirements for real-time performance and fast inference speeds are met using efficient, learned image feature projections. Furthermore, the model is trained on a large-scale, real-world off-road dataset collected across a variety of diverse outdoor environments. We show how TerrainNet can also be used for costmap prediction and provide a detailed framework for integration into a planning module. We demonstrate the performance of TerrainNet through extensive comparison to current state-of-the-art baselines for camera-only scene prediction. Finally, we showcase the effectiveness of integrating TerrainNet within a complete autonomous-driving stack by conducting a real-world vehicle test in a challenging off-road scenario.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google