Point Policy: Unifying Observations and Actions with Key Points for Robot Manipulation

要約

多様な環境とオブジェクトタイプを越えて動作できるロボットエージェントの構築は、依然として大きな課題であり、多くの場合、広範なデータ収集が必要です。
これは、各データポイントを現実の世界で物理的に実行する必要があるロボット工学では特に制限されています。
したがって、そのようなデータからの学習を可能にするロボット工学とフレームワークの代替データソースが重要な必要性があります。
この作業では、ポイントポリシーを提示します。これは、オフラインの人間のデモンストレーションビデオからのみロボットポリシーを学習するための新しい方法であり、テレオ操作データなしです。
ポイントポリシーは、最先端のビジョンモデルとポリシーアーキテクチャを活用して、人間のハンドポーズをロボットポーズに変換し、意味的に意味のあるキーポイントを通じてオブジェクト状態をキャプチャします。
このアプローチは、効果的な政策学習を促進する形態と存在の表現を生成します。
8つの現実世界のタスクでの実験は、トレーニングと同一の設定で評価された場合、以前の作業よりも全体的に75％の絶対的な改善を示しています。
さらに、ポイントポリシーは、新しいオブジェクトインスタンスのタスク全体で74％の増加を示し、重要なバックグラウンドクラッターに対して堅牢です。
ロボットのビデオは、https：//point-policy.github.io/で最もよく見ることができます。

要約(オリジナル)

Building robotic agents capable of operating across diverse environments and object types remains a significant challenge, often requiring extensive data collection. This is particularly restrictive in robotics, where each data point must be physically executed in the real world. Consequently, there is a critical need for alternative data sources for robotics and frameworks that enable learning from such data. In this work, we present Point Policy, a new method for learning robot policies exclusively from offline human demonstration videos and without any teleoperation data. Point Policy leverages state-of-the-art vision models and policy architectures to translate human hand poses into robot poses while capturing object states through semantically meaningful key points. This approach yields a morphology-agnostic representation that facilitates effective policy learning. Our experiments on 8 real-world tasks demonstrate an overall 75% absolute improvement over prior works when evaluated in identical settings as training. Further, Point Policy exhibits a 74% gain across tasks for novel object instances and is robust to significant background clutter. Videos of the robot are best viewed at https://point-policy.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google