TAX-Pose: Task-Specific Cross-Pose Estimation for Robot Manipulation

要約

目に見えない物体を効率的に操作し、デモンストレーションに基づいて関連スキルを伝達する能力をロボットにどのように吹き込むのでしょうか?
エンドツーエンドの学習方法は、新しいオブジェクトや目に見えない構成に一般化できないことがよくあります。
代わりに、相互作用するオブジェクトの関連部分間のタスク固有のポーズ関係に焦点を当てます。
この関係は、同じカテゴリ内の新しいオブジェクトに転送できる操作タスクの一般化可能な概念であると推測します。
例としては、オーブンに対する鍋の姿勢や、マグカップ ラックに対するマグカップの姿勢の関係が挙げられます。
このタスク固有のポーズ関係を「クロスポーズ」と呼び、この概念の数学的定義を提供します。
我々は、学習されたオブジェクト間の対応関係を使用して、特定の操作タスクについて 2 つのオブジェクト間のクロスポーズを推定することを学習するビジョンベースのシステムを提案します。
次に、推定されたクロスポーズを使用して、下流のモーション プランナーがオブジェクトを操作して目的の姿勢関係になるようにガイドします (鍋をオーブンに入れるか、マグカップをマグラックに置きます)。
場合によっては、現実世界でわずか 10 回のデモン​​ストレーションでトレーニングした後、目に見えないオブジェクトに一般化するメソッドの機能を実証します。
結果は、私たちのシステムが多くのタスクにわたるシミュレーション実験と現実世界の実験の両方で最先端のパフォーマンスを達成していることを示しています。
補足情報とビデオは、https://sites.google.com/view/tax-pose/home でご覧いただけます。

要約(オリジナル)

How do we imbue robots with the ability to efficiently manipulate unseen objects and transfer relevant skills based on demonstrations? End-to-end learning methods often fail to generalize to novel objects or unseen configurations. Instead, we focus on the task-specific pose relationship between relevant parts of interacting objects. We conjecture that this relationship is a generalizable notion of a manipulation task that can transfer to new objects in the same category; examples include the relationship between the pose of a pan relative to an oven or the pose of a mug relative to a mug rack. We call this task-specific pose relationship ‘cross-pose’ and provide a mathematical definition of this concept. We propose a vision-based system that learns to estimate the cross-pose between two objects for a given manipulation task using learned cross-object correspondences. The estimated cross-pose is then used to guide a downstream motion planner to manipulate the objects into the desired pose relationship (placing a pan into the oven or the mug onto the mug rack). We demonstrate our method’s capability to generalize to unseen objects, in some cases after training on only 10 demonstrations in the real world. Results show that our system achieves state-of-the-art performance in both simulated and real-world experiments across a number of tasks. Supplementary information and videos can be found at https://sites.google.com/view/tax-pose/home.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google