Learning to See Physical Properties with Active Sensing Motor Policies

要約

カラー画像から推測される地形の物理的特性の知識は、効率的なロボットの移動計画の作成に役立ちます。
ただし、画像分類とは異なり、人間が画像パッチに物理的特性をラベル付けすることは直観的ではありません。
ラベル付きデータがなければ、観察された地形を入力として受け取り、物理的特性を予測するビジョン システムを構築することは依然として困難です。
我々は、シミュレーションで訓練された物理特性推定器を使用して、現実世界の横断中にロボットによってキャプチャされた画像の自己教師付きラベル付けによって、この課題を克服する方法を提案します。
正確なラベル付けを保証するために、アクティブ センシング モーター ポリシー (ASMP) を導入します。これは、物理パラメーターの推定精度を高める移動動作を調査するようにトレーニングされています。
たとえば、四足ロボットは、足を地面にスワイプして摩擦係数を正確に推定する方法を学習します。
少量の実世界の横断データを使用してトレーニングされた視覚システムが物理パラメーターを正確に予測することを示します。
訓練されたシステムは堅牢で、地上を歩く四足ロボットに取り付けられたカメラによって収集されたデータに基づいて訓練されているにもかかわらず、ドローンによって撮影された頭上画像でも機能します。

要約(オリジナル)

Knowledge of terrain’s physical properties inferred from color images can aid in making efficient robotic locomotion plans. However, unlike image classification, it is unintuitive for humans to label image patches with physical properties. Without labeled data, building a vision system that takes as input the observed terrain and predicts physical properties remains challenging. We present a method that overcomes this challenge by self-supervised labeling of images captured by robots during real-world traversal with physical property estimators trained in simulation. To ensure accurate labeling, we introduce Active Sensing Motor Policies (ASMP), which are trained to explore locomotion behaviors that increase the accuracy of estimating physical parameters. For instance, the quadruped robot learns to swipe its foot against the ground to estimate the friction coefficient accurately. We show that the visual system trained with a small amount of real-world traversal data accurately predicts physical parameters. The trained system is robust and works even with overhead images captured by a drone despite being trained on data collected by cameras attached to a quadruped robot walking on the ground.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google