Affordance-Centric Policy Learning: Sample Efficient and Generalisable Robot Policy Learning using Affordance-Centric Task Frames

要約

アフォーダンスはロボット操作の中心であり、ほとんどのタスクはオブジェクト上のタスク固有の領域との相互作用に単純化できます。
これらの重要な領域に焦点を当てることで、タスクに無関係な情報を抽象化し、学習プロセスを簡素化し、一般化を強化することができます。
この論文では、これらのアフォーダンス領域に \textit{タスク フレーム} を集中させて適切に \textit{方向付け}、\textbf{カテゴリ内不変性} の両方を達成できる、アフォーダンス中心の政策学習アプローチを提案します。
ポリシーは、同じオブジェクト カテゴリ内の異なるインスタンス間で一般化でき、\textbf{空間的不変性} — これにより、環境内のオブジェクトの配置に関係なく、一貫したパフォーマンスが可能になります。
我々は、既存のジェネラリストラージビジョンモデルを活用してこれらのアフォーダンスフレームを抽出して追跡する方法を提案し、このアプローチがわずか10のデモンストレーションから動作クローンを使用して操作タスクを学習でき、305で訓練された画像ベースのポリシーと同等の一般化ができることを実証します。
デモ。
プロジェクト サイト https://affordance-policy.github.io でビデオ デモンストレーションを提供しています。

要約(オリジナル)

Affordances are central to robotic manipulation, where most tasks can be simplified to interactions with task-specific regions on objects. By focusing on these key regions, we can abstract away task-irrelevant information, simplifying the learning process, and enhancing generalisation. In this paper, we propose an affordance-centric policy-learning approach that centres and appropriately \textit{orients} a \textit{task frame} on these affordance regions allowing us to achieve both \textbf{intra-category invariance} — where policies can generalise across different instances within the same object category — and \textbf{spatial invariance} — which enables consistent performance regardless of object placement in the environment. We propose a method to leverage existing generalist large vision models to extract and track these affordance frames, and demonstrate that our approach can learn manipulation tasks using behaviour cloning from as little as 10 demonstrations, with equivalent generalisation to an image-based policy trained on 305 demonstrations. We provide video demonstrations on our project site: https://affordance-policy.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google