SynH2R: Synthesizing Hand-Object Motions for Learning Human-to-Robot Handovers

要約

視覚ベースの人間からロボットへのハンドオーバーは、人間とロボットのインタラクションにおいて重要かつ困難なタスクです。
最近の研究では、シミュレートされた環境で動的仮想人間と対話することによってロボット ポリシーをトレーニングし、後でポリシーを現実世界に転送することが試みられています。
ただし、大きなボトルネックは人間のモーション キャプチャ データに依存していることです。このデータは取得に費用がかかり、任意のオブジェクトや人間の掴み動作に合わせて拡張するのが困難です。
本稿では、ロボットの訓練に適した、もっともらしい人間の掴み動作を生成できるフレームワークを紹介します。
これを達成するために、人間と同様のハンドオーバーフレンドリーなモーションを生成するように設計されたハンドオブジェクト合成手法を提案します。
これにより、以前の作業より 100 倍のオブジェクトを含む合成トレーニング データとテスト データを生成できるようになりました。
私たちの実験では、純粋に合成データを使用してトレーニングされた私たちの方法が、シミュレーションと実際のシステムの両方で実際の人間の動作データに依存する最先端の方法と競合できることを示しました。
また、従来の研究に比べて大規模な評価を行うことができます。
新しく導入したテスト セットを使用すると、ベースラインと比較して、モデルがさまざまな目に見えない物体や人間の動きに対してより適切にスケーリングできることがわかります。
プロジェクトページ: https://eth-ait.github.io/synthetic-handovers/

要約(オリジナル)

Vision-based human-to-robot handover is an important and challenging task in human-robot interaction. Recent work has attempted to train robot policies by interacting with dynamic virtual humans in simulated environments, where the policies can later be transferred to the real world. However, a major bottleneck is the reliance on human motion capture data, which is expensive to acquire and difficult to scale to arbitrary objects and human grasping motions. In this paper, we introduce a framework that can generate plausible human grasping motions suitable for training the robot. To achieve this, we propose a hand-object synthesis method that is designed to generate handover-friendly motions similar to humans. This allows us to generate synthetic training and testing data with 100x more objects than previous work. In our experiments, we show that our method trained purely with synthetic data is competitive with state-of-the-art methods that rely on real human motion data both in simulation and on a real system. In addition, we can perform evaluations on a larger scale compared to prior work. With our newly introduced test set, we show that our model can better scale to a large variety of unseen objects and human motions compared to the baselines. Project page: https://eth-ait.github.io/synthetic-handovers/

arxiv情報

提供元, 利用サービス

arxiv.jp, Google