Learning Human-to-Robot Handovers from Point Clouds

要約

人間とロボットの相互作用の重要なタスクであるビジョンベースの人間からロボットへのハンドオーバーの制御ポリシーを学習するための最初のフレームワークを提案します。
エンボディド AI の研究は、シミュレートされた環境でのロボット エージェントのトレーニングにおいて大きな進歩を遂げましたが、人間をシミュレートすることの難しさのために、人間との対話は依然として困難です。
幸いなことに、最近の研究により、人間からロボットへの引き継ぎのための現実的なシミュレーション環境が開発されました。
この結果を活用して、モーションと把握の計画、強化学習、および自己監督を使用する 2 段階の教師と生徒のフレームワークを介して、ヒューマン イン ザ ループでトレーニングされる方法を紹介します。
シミュレーション ベンチマーク、sim-to-sim 転送、sim-to-real 転送で、ベースラインを超える大幅なパフォーマンスの向上を示しています。

要約(オリジナル)

We propose the first framework to learn control policies for vision-based human-to-robot handovers, a critical task for human-robot interaction. While research in Embodied AI has made significant progress in training robot agents in simulated environments, interacting with humans remains challenging due to the difficulties of simulating humans. Fortunately, recent research has developed realistic simulated environments for human-to-robot handovers. Leveraging this result, we introduce a method that is trained with a human-in-the-loop via a two-stage teacher-student framework that uses motion and grasp planning, reinforcement learning, and self-supervision. We show significant performance gains over baselines on a simulation benchmark, sim-to-sim transfer and sim-to-real transfer.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google