STERLING: Self-Supervised Terrain Representation Learning from Unconstrained Robot Experience

要約

地形認識、つまりさまざまな種類の地形を識別し区別する能力は、ロボットがオフロードで自律走行を成功させるために必要な重要な能力です。
ロボットにこの認識を提供する現在のアプローチは、収集に費用がかかるラベル付きデータ、一般化できない可能性のある工学的な特徴とコスト関数、または利用できない可能性のある専門家による人間のデモンストレーションに依存しています。
これらの制限のない地形認識をロボットに与えるために、私たちは、収集が容易で、制約がなく (たとえば、専門家以外)、ラベルのない地形表現のみに依存する、地形表現を学習するための新しいアプローチである自己教師あり TERrain Representation LearnING (STERLING) を導入します。
データ収集に追加の制約を課すことなく、ロボットのエクスペリエンスを実現します。
STERLING は、非対比表現学習による新しいマルチモーダル自己監視目標を採用し、地形認識ナビゲーションに関連する地形表現を学習します。
オフロード環境での物理的なロボット実験を通じて、嗜好に合わせた視覚ナビゲーションのタスクに関する STERLING の機能を評価し、STERLING の機能が完全に監視されたアプローチと同等のパフォーマンスを発揮し、嗜好に関して他の最先端の方法を上回るパフォーマンスを発揮することを発見しました。
アライメント。
さらに、長さ 3 マイルのトレイルを自律的にハイキングする大規模な実験を行いました。STERLING は、わずか 2 回の手動介入でこの実験を成功裏に完了し、実際のオフロード条件に対する堅牢性を実証しました。

要約(オリジナル)

Terrain awareness, i.e., the ability to identify and distinguish different types of terrain, is a critical ability that robots must have to succeed at autonomous off-road navigation. Current approaches that provide robots with this awareness either rely on labeled data which is expensive to collect, engineered features and cost functions that may not generalize, or expert human demonstrations which may not be available. Towards endowing robots with terrain awareness without these limitations, we introduce Self-supervised TErrain Representation LearnING (STERLING), a novel approach for learning terrain representations that relies solely on easy-to-collect, unconstrained (e.g., non-expert), and unlabelled robot experience, with no additional constraints on data collection. STERLING employs a novel multi-modal self-supervision objective through non-contrastive representation learning to learn relevant terrain representations for terrain-aware navigation. Through physical robot experiments in off-road environments, we evaluate STERLING features on the task of preference-aligned visual navigation and find that STERLING features perform on par with fully supervised approaches and outperform other state-of-the-art methods with respect to preference alignment. Additionally, we perform a large-scale experiment of autonomously hiking a 3-mile long trail which STERLING completes successfully with only two manual interventions, demonstrating its robustness to real-world off-road conditions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google