Watch Your STEPP: Semantic Traversability Estimation using Pose Projected Features

要約

地形の移動性を理解することは、特に自然の景観などの構造化されていない環境では、自律的なロボットナビゲーションに不可欠です。
占有マッピングなどの従来の方法は基本的なフレームワークを提供しますが、レギュドロボットなどの一部のプラットフォームの複雑なモビリティ機能を説明できないことがよくあります。
この作業では、人間のウォーキングのデモンストレーションから学ぶことにより、地形の通過性を推定する方法を提案します。
私たちのアプローチは、Encoder-Decoder MLPアーキテクチャを介して処理されて地形セグメントを分析するために、Dinov2 Vision Transformerモデルを使用して生成された密集したピクセルごとの特徴の埋め込みを活用します。
関心のあるマスク領域から抽出された平均的な機能ベクトルは、再構築ベースのフレームワークでモデルを訓練するために使用されます。
再構成損失を最小限に抑えることにより、ネットワークは、馴染みのある地形を再構成エラーが低いことと、馴染みのない地形または危険な地形をより高い再構成エラーで区別します。
このアプローチは、異常の検出を容易にし、脚のあるロボットが挑戦的な地形を通じてより効果的にナビゲートできるようにします。
提案された方法を証明するために、屋内と屋外の両方で、Anymal Legged Robotで実際の実験を実施します。
コードはオープンソースですが、ビデオデモンストレーションは当社のWebサイトhttps://rpl-cs-ucl.github.io/steppにあります。

要約(オリジナル)

Understanding the traversability of terrain is essential for autonomous robot navigation, particularly in unstructured environments such as natural landscapes. Although traditional methods, such as occupancy mapping, provide a basic framework, they often fail to account for the complex mobility capabilities of some platforms such as legged robots. In this work, we propose a method for estimating terrain traversability by learning from demonstrations of human walking. Our approach leverages dense, pixel-wise feature embeddings generated using the DINOv2 vision Transformer model, which are processed through an encoder-decoder MLP architecture to analyze terrain segments. The averaged feature vectors, extracted from the masked regions of interest, are used to train the model in a reconstruction-based framework. By minimizing reconstruction loss, the network distinguishes between familiar terrain with a low reconstruction error and unfamiliar or hazardous terrain with a higher reconstruction error. This approach facilitates the detection of anomalies, allowing a legged robot to navigate more effectively through challenging terrain. We run real-world experiments on the ANYmal legged robot both indoor and outdoor to prove our proposed method. The code is open-source, while video demonstrations can be found on our website: https://rpl-cs-ucl.github.io/STEPP

arxiv情報

提供元, 利用サービス

arxiv.jp, Google