V-STRONG: Visual Self-Supervised Traversability Learning for Off-road Navigation

要約

地形の通過可能性を信頼性高く推定することは、野生の屋外環境で自律システムをうまく展開するために重要です。
オフロードナビゲーション用の大規模な注釈付きデータセットが不足していることを考慮すると、厳密に監視された学習アプローチの一般化能力は依然として限られています。
この目的を達成するために、配布外のパフォーマンスを向上させるために最先端のビジョン基盤モデルを活用した、トラバーサビリティ予測のための新しい画像ベースの自己教師あり学習方法を導入します。
私たちの方法では、トレーニング中に人間の運転データとインスタンスベースのセグメンテーション マスクの両方を使用した対照表現学習を採用しています。
私たちは、このシンプルでありながら効果的な手法が、トレイル上とオフトレイルの両方の運転シナリオの通過可能性を予測する際に、最近の方法よりも大幅に優れていることを示します。
私たちは、多様な屋外環境とさまざまな地形タイプをカバーする共通のベンチマークと独自のデータセットの両方で、私たちの手法を最近のベースラインと比較します。
また、結果として得られるコストマップ予測とモデル予測コントローラーとの互換性も示します。
最後に、ゼロショットおよび数ショットのタスクに対するアプローチを評価し、新しい環境への一般化において前例のないパフォーマンスを実証しました。
ビデオと追加資料は、\url{https://sites.google.com/view/visual-traversability-learning} でご覧いただけます。

要約(オリジナル)

Reliable estimation of terrain traversability is critical for the successful deployment of autonomous systems in wild, outdoor environments. Given the lack of large-scale annotated datasets for off-road navigation, strictly-supervised learning approaches remain limited in their generalization ability. To this end, we introduce a novel, image-based self-supervised learning method for traversability prediction, leveraging a state-of-the-art vision foundation model for improved out-of-distribution performance. Our method employs contrastive representation learning using both human driving data and instance-based segmentation masks during training. We show that this simple, yet effective, technique drastically outperforms recent methods in predicting traversability for both on- and off-trail driving scenarios. We compare our method with recent baselines on both a common benchmark as well as our own datasets, covering a diverse range of outdoor environments and varied terrain types. We also demonstrate the compatibility of resulting costmap predictions with a model-predictive controller. Finally, we evaluate our approach on zero- and few-shot tasks, demonstrating unprecedented performance for generalization to new environments. Videos and additional material can be found here: \url{https://sites.google.com/view/visual-traversability-learning}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google