One-shot Imitation Learning via Interaction Warping

要約

オープンエンドのアプリケーションでは、少数のデモンストレーションからロボット ポリシーを模倣学習することが重要です。
我々は、単一のデモンストレーションから SE(3) ロボット操作ポリシーを学習するための新しい方法、インタラクション ワーピングを提案します。
オブジェクト インスタンス全体で点群を整列させる手法であるシェイプ ワーピングを使用して、環境内の各オブジェクトの 3D メッシュを推測します。
次に、操作アクションをオブジェクト上のキーポイントとして表現し、オブジェクトの形状に合わせてワープさせることができます。
3 つのシミュレートされた現実世界のオブジェクトの再配置タスクで成功したワンショット模倣学習を示します。
また、実際のオブジェクトのメッシュとロボットの把握を予測するこの方法の機能も実証します。

要約(オリジナル)

Imitation learning of robot policies from few demonstrations is crucial in open-ended applications. We propose a new method, Interaction Warping, for learning SE(3) robotic manipulation policies from a single demonstration. We infer the 3D mesh of each object in the environment using shape warping, a technique for aligning point clouds across object instances. Then, we represent manipulation actions as keypoints on objects, which can be warped with the shape of the object. We show successful one-shot imitation learning on three simulated and real-world object re-arrangement tasks. We also demonstrate the ability of our method to predict object meshes and robot grasps in the wild.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google