The Treachery of Images: Bayesian Scene Keypoints for Deep Policy Learning in Robotic Manipulation

要約

ロボット操作のためのポリシー学習では、サンプル効率が最も重要です。
したがって、カメラ観察からよりコンパクトな表現を学習して抽出することは、有望な手段となります。
しかし、現在の方法は多くの場合、シーンの完全な可観測性を前提としており、スケールの不変性と格闘しています。
多くのタスクや設定では、シーン内のオブジェクトが遮られたり、カメラの視野の外に存在したりすることが多く、その位置に関してカメラの観察が曖昧になるため、この仮定は当てはまりません。
この問題に取り組むために、時間の経過とともにスケール不変のキーポイントを追跡するためのベイジアン アプローチである BASK を紹介します。
私たちのアプローチは、画像に固有のあいまいさをうまく解決し、対称オブジェクトや遮蔽されて視界の外にあるオブジェクトのキーポイント追跡を可能にします。
私たちは、リストカメラ観察から困難な複数オブジェクトのロボット操作タスクを学習するために私たちの方法を採用し、他の表現学習手法と比較してポリシー学習に対する優れた有用性を実証します。
さらに、クラッター、オクルージョン、ノイズの多い深度測定などの外乱に対する優れたロバスト性、およびシミュレーションと現実世界のロボット実験の両方で、目に見えないオブジェクトに対する一般化を示します。

要約(オリジナル)

In policy learning for robotic manipulation, sample efficiency is of paramount importance. Thus, learning and extracting more compact representations from camera observations is a promising avenue. However, current methods often assume full observability of the scene and struggle with scale invariance. In many tasks and settings, this assumption does not hold as objects in the scene are often occluded or lie outside the field of view of the camera, rendering the camera observation ambiguous with regard to their location. To tackle this problem, we present BASK, a Bayesian approach to tracking scale-invariant keypoints over time. Our approach successfully resolves inherent ambiguities in images, enabling keypoint tracking on symmetrical objects and occluded and out-of-view objects. We employ our method to learn challenging multi-object robot manipulation tasks from wrist camera observations and demonstrate superior utility for policy learning compared to other representation learning techniques. Furthermore, we show outstanding robustness towards disturbances such as clutter, occlusions, and noisy depth measurements, as well as generalization to unseen objects both in simulation and real-world robotic experiments.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google