Learning Human-to-Humanoid Real-Time Whole-Body Teleoperation

要約

我々は、RGB カメラのみを備えたフルサイズのヒューマノイド ロボットのリアルタイム全身遠隔操作を可能にする強化学習 (RL) ベースのフレームワークである Human to Humanoid (H2O) を紹介します。
ヒューマノイドロボットのための人間の動きの大規模なリターゲットモーションデータセットを作成するために、特権モーションイミテーターを使用して実行可能なモーションをフィルタリングして選択するスケーラブルな「sim-to-data」プロセスを提案します。
その後、これらの洗練されたモーションを使用して、堅牢なリアルタイム ヒューマノイド モーション イミテーターをシミュレーションでトレーニングし、それをゼロショット方式で実際のヒューマノイド ロボットに転送します。
私たちは、歩く、後ろ跳び、蹴る、回転する、手を振る、押す、ボクシングなどを含む、現実世界のシナリオにおける動的な全身動作の遠隔操作を実現することに成功しました。私たちの知る限り、これは学習を達成した最初のデモンストレーションです。
リアルタイム全身ヒューマノイド遠隔操作に基づいています。

要約(オリジナル)

We present Human to Humanoid (H2O), a reinforcement learning (RL) based framework that enables real-time whole-body teleoperation of a full-sized humanoid robot with only an RGB camera. To create a large-scale retargeted motion dataset of human movements for humanoid robots, we propose a scalable ‘sim-to-data’ process to filter and pick feasible motions using a privileged motion imitator. Afterwards, we train a robust real-time humanoid motion imitator in simulation using these refined motions and transfer it to the real humanoid robot in a zero-shot manner. We successfully achieve teleoperation of dynamic whole-body motions in real-world scenarios, including walking, back jumping, kicking, turning, waving, pushing, boxing, etc. To the best of our knowledge, this is the first demonstration to achieve learning-based real-time whole-body humanoid teleoperation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google