HAND Me the Data: Fast Robot Adaptation via Hand Path Retrieval

要約

私たちは、人間の手のデモンストレーションを通してロボットを教えるためのシンプルで時間効率の良い方法であるコミュニティハンドを渡します。
手動で収集されたタスク固有のロボットデモンストレーションに依存する代わりに、ハンドは簡単にプロビッドできる手のデモンストレーションを使用して、タスクに依存しないロボット再生データから関連する行動を取得します。
視覚的な追跡パイプラインを使用して、手の手の動きを手で抽出し、2つの段階でロボットのサブトリューションを取得します。最初に視覚的類似性によるフィルタリング、次に同様の動作を持つ軌跡を取得します。
検索されたデータに関するポリシーを微調整すると、キャリブレーションされたカメラや詳細なハンドポーズの推定を必要とせずに、4分以内にタスクのリアルタイム学習を可能にします。
また、実験は、実際のロボットでの平均タスク成功率で、ハンドアウトパフォーマンスの検索ベースラインが2倍以上であることを示しています。
ビデオは、プロジェクトWebサイトhttps：//liralab.usc.edu/handretrieval/にあります。

要約(オリジナル)

We hand the community HAND, a simple and time-efficient method for teaching robots new manipulation tasks through human hand demonstrations. Instead of relying on task-specific robot demonstrations collected via teleoperation, HAND uses easy-to-provide hand demonstrations to retrieve relevant behaviors from task-agnostic robot play data. Using a visual tracking pipeline, HAND extracts the motion of the human hand from the hand demonstration and retrieves robot sub-trajectories in two stages: first filtering by visual similarity, then retrieving trajectories with similar behaviors to the hand. Fine-tuning a policy on the retrieved data enables real-time learning of tasks in under four minutes, without requiring calibrated cameras or detailed hand pose estimation. Experiments also show that HAND outperforms retrieval baselines by over 2x in average task success rates on real robots. Videos can be found at our project website: https://liralab.usc.edu/handretrieval/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google