RT-Affordance: Affordances are Versatile Intermediate Representations for Robot Manipulation

要約

操作タスクの実行方法に関するガイダンスを提供することで、中間ポリシー表現がどのように一般化を促進できるかを調査します。
言語、目標イメージ、軌跡のスケッチなどの既存の表現は役立つことが示されていますが、これらの表現は十分なコンテキストを提供しないか、過度に指定されたコンテキストを提供して堅牢性の低いポリシーを生成します。
私たちは、タスクの主要な段階でロボットの姿勢を捉えるアフォーダンスに関する条件付けポリシーを提案します。
アフォーダンスは表現力豊かでありながら軽量な抽象化を提供し、ユーザーが簡単に指定でき、大規模なインターネット データセットから知識を転送することで効率的な学習を促進します。
私たちの手法である RT-Affordance は、最初にタスク言語を指定してアフォーダンス プランを提案し、次に操作を実行するためにこのアフォーダンス プランに基づいてポリシーを条件付ける階層モデルです。
私たちのモデルは、大規模な Web データセットやロボットの軌跡など、異種の監視ソースを柔軟に橋渡しできます。
さらに、安価に収集できるドメイン内のアフォーダンス画像でモデルをトレーニングすることで、追加のコストのかかるロボットの軌跡を収集せずに新しいタスクを学習できるようにします。
私たちは、さまざまな新しいタスクのセットで、RT アフォーダンスが既存の手法のパフォーマンスを 50% 以上上回ることを示し、アフォーダンスが新しい設定に対して堅牢であることを経験的に示します。
ビデオは https://snasiriany.me/rt-affordance でご覧いただけます

要約(オリジナル)

We explore how intermediate policy representations can facilitate generalization by providing guidance on how to perform manipulation tasks. Existing representations such as language, goal images, and trajectory sketches have been shown to be helpful, but these representations either do not provide enough context or provide over-specified context that yields less robust policies. We propose conditioning policies on affordances, which capture the pose of the robot at key stages of the task. Affordances offer expressive yet lightweight abstractions, are easy for users to specify, and facilitate efficient learning by transferring knowledge from large internet datasets. Our method, RT-Affordance, is a hierarchical model that first proposes an affordance plan given the task language, and then conditions the policy on this affordance plan to perform manipulation. Our model can flexibly bridge heterogeneous sources of supervision including large web datasets and robot trajectories. We additionally train our model on cheap-to-collect in-domain affordance images, allowing us to learn new tasks without collecting any additional costly robot trajectories. We show on a diverse set of novel tasks how RT-Affordance exceeds the performance of existing methods by over 50%, and we empirically demonstrate that affordances are robust to novel settings. Videos available at https://snasiriany.me/rt-affordance

arxiv情報

提供元, 利用サービス

arxiv.jp, Google