OmniH2O: Universal and Dexterous Human-to-Humanoid Whole-Body Teleoperation and Learning

要約

私たちは、全身ヒューマノイドの遠隔操作と自律性のための学習ベースのシステムである OmniH2O (Omni Human-to-Humanoid) を紹介します。
OmniH2O は、ユニバーサル コントロール インターフェイスとして運動学的ポーズを使用し、VR ヘッドセット、口頭指示、RGB カメラによるリアルタイム遠隔操作の使用など、人間が器用な手でフルサイズのヒューマノイドを制御するためのさまざまな方法を可能にします。
OmniH2O は、遠隔操作のデモンストレーションから学習したり、GPT-4 などの最先端モデルと統合したりすることで、完全な自律性も実現します。
OmniH2O は、複数のスポーツのプレイ、物体の移動と操作、人間との対話など、遠隔操作または自律性を通じて現実世界のさまざまな全身タスクで多用途性と器用性を実証します。
私たちは、RL ベースの sim-to-real パイプラインを開発します。これには、人間のモーション データセットの大規模なリターゲティングと拡張、特権教師ポリシーを模倣したまばらなセンサー入力による現実世界の展開可能なポリシーの学習、および堅牢性を強化するための報酬設計が含まれます。
そして安定性。
私たちは、6 つの日常タスクを含む初のヒューマノイド全身制御データセット OmniH2O-6 をリリースし、遠隔操作データセットからのヒューマノイド全身スキル学習を実証します。

要約(オリジナル)

We present OmniH2O (Omni Human-to-Humanoid), a learning-based system for whole-body humanoid teleoperation and autonomy. Using kinematic pose as a universal control interface, OmniH2O enables various ways for a human to control a full-sized humanoid with dexterous hands, including using real-time teleoperation through VR headset, verbal instruction, and RGB camera. OmniH2O also enables full autonomy by learning from teleoperated demonstrations or integrating with frontier models such as GPT-4. OmniH2O demonstrates versatility and dexterity in various real-world whole-body tasks through teleoperation or autonomy, such as playing multiple sports, moving and manipulating objects, and interacting with humans. We develop an RL-based sim-to-real pipeline, which involves large-scale retargeting and augmentation of human motion datasets, learning a real-world deployable policy with sparse sensor input by imitating a privileged teacher policy, and reward designs to enhance robustness and stability. We release the first humanoid whole-body control dataset, OmniH2O-6, containing six everyday tasks, and demonstrate humanoid whole-body skill learning from teleoperated datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google