Identifying Terrain Physical Parameters from Vision — Towards Physical-Parameter-Aware Locomotion and Navigation

要約

周囲環境の物理的特性を特定することは、滑りやすい地形や変形しやすい地形などの非幾何学的危険に対処するロボットの移動やナビゲーションにとって不可欠です。
ロボットにとって、接触前にこれらの極端な物理的特性を予測できれば非常に有益です。
ただし、視覚から環境の物理パラメータを推定することはまだ未解決の課題です。
動物は、見たものとそれをどう感じたかについてのこれまでの経験と知識を利用することで、これを達成できます。
この研究では、将来の物理特性を認識した移動とナビゲーションへの道を開く、視覚ベースの環境物理パラメータ推定のためのクロスモーダル自己教師あり学習フレームワークを提案します。
私たちは、シミュレーションで訓練された既存のポリシーと、視覚からの物理的な地形パラメータの特定との間のギャップを埋めます。
マルチモーダル入力から摩擦と剛性を予測するために、シミュレーションで物理デコーダーをトレーニングすることを提案します。
トレーニングされたネットワークにより、自己監視型の方法で現実世界の画像に物理パラメータをラベル付けして、展開中にビジュアル ネットワークをさらにトレーニングすることができ、画像データから摩擦と剛性を緻密に予測できます。
四足歩行の ANYmal ロボットを使用して、シミュレーションと現実世界で物理デコーダを検証し、既存のベースライン手法を上回りました。
私たちのビジュアル ネットワークは、屋内および屋外の実験で物理的特性を予測しながら、新しい環境への迅速な適応を可能にすることを示します。

要約(オリジナル)

Identifying the physical properties of the surrounding environment is essential for robotic locomotion and navigation to deal with non-geometric hazards, such as slippery and deformable terrains. It would be of great benefit for robots to anticipate these extreme physical properties before contact; however, estimating environmental physical parameters from vision is still an open challenge. Animals can achieve this by using their prior experience and knowledge of what they have seen and how it felt. In this work, we propose a cross-modal self-supervised learning framework for vision-based environmental physical parameter estimation, which paves the way for future physical-property-aware locomotion and navigation. We bridge the gap between existing policies trained in simulation and identification of physical terrain parameters from vision. We propose to train a physical decoder in simulation to predict friction and stiffness from multi-modal input. The trained network allows the labeling of real-world images with physical parameters in a self-supervised manner to further train a visual network during deployment, which can densely predict the friction and stiffness from image data. We validate our physical decoder in simulation and the real world using a quadruped ANYmal robot, outperforming an existing baseline method. We show that our visual network can predict the physical properties in indoor and outdoor experiments while allowing fast adaptation to new environments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google