P3-PO: Prescriptive Point Priors for Visuo-Spatial Generalization of Robot Policies

要約

さまざまな環境条件やオブジェクト インスタンスを堅牢に処理できる一般化可能なロボット ポリシーを開発することは、ロボット学習における基本的な課題のままです。
大規模なロボット データセットの収集と、そのようなデータから学習するためのポリシー アーキテクチャの開発に多大な努力が注がれてきましたが、視覚的な入力から単純に学習すると、トレーニング データを超えて転送できない脆弱なポリシーが生成されることがよくあります。
この研究では、ロボット操作の分布外汎化の改善を達成するために、コンピューター ビジョンとロボット学習の最近の進歩を活用して、環境の一意の状態表現を構築する新しいフレームワークである、ポリシーの規範的ポイント事前確率 (P3-PO) を紹介します。
この表現は 2 つのステップを経て得られます。
まず、ヒューマン アノテーターは、単一のデモンストレーション フレーム上に意味的に意味のあるポイントのセットを規定します。
これらのポイントは、既製のビジョン モデルを使用してデータセット全体に伝播されます。
導出されたポイントは、ポリシー学習のための最先端のポリシー アーキテクチャへの入力として機能します。
4 つの現実世界のタスクにわたる実験では、トレーニングと同じ設定で評価した場合、以前の方法と比較して全体で 43% の絶対的な改善が実証されました。
さらに、P3-PO は、新しいオブジェクト インスタンスとより乱雑な環境のタスク全体で、それぞれ 58% と 80% の向上を示しました。
ロボットのパフォーマンスを説明するビデオは、point-priors.github.io で見るのが最適です。

要約(オリジナル)

Developing generalizable robot policies that can robustly handle varied environmental conditions and object instances remains a fundamental challenge in robot learning. While considerable efforts have focused on collecting large robot datasets and developing policy architectures to learn from such data, naively learning from visual inputs often results in brittle policies that fail to transfer beyond the training data. This work presents Prescriptive Point Priors for Policies or P3-PO, a novel framework that constructs a unique state representation of the environment leveraging recent advances in computer vision and robot learning to achieve improved out-of-distribution generalization for robot manipulation. This representation is obtained through two steps. First, a human annotator prescribes a set of semantically meaningful points on a single demonstration frame. These points are then propagated through the dataset using off-the-shelf vision models. The derived points serve as an input to state-of-the-art policy architectures for policy learning. Our experiments across four real-world tasks demonstrate an overall 43% absolute improvement over prior methods when evaluated in identical settings as training. Further, P3-PO exhibits 58% and 80% gains across tasks for new object instances and more cluttered environments respectively. Videos illustrating the robot’s performance are best viewed at point-priors.github.io.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google