HOMIE: Humanoid Loco-Manipulation with Isomorphic Exoskeleton Cockpit

要約

現在のヒューマノイドテレオ操作システムは、信頼性の高い低レベルの制御ポリシーがないか、正確な全身制御コマンドを取得するのに苦労しているため、局所操作タスクのヒューマノイドを操作することが困難です。
これらの問題を解決するために、斬新なヒューマノイドテレオタイズコックピットであるHomieが、ヒューマノイド局所操作ポリシーと低コストの外骨格ベースのハードウェアシステムを統合するHomieを提案します。
このポリシーにより、ヒューマノイドロボットは、任意の上半身のポーズに対応しながら、特定の高さまで歩いてしゃがむことができます。
これは、モーションプライアーに依存することなく、上半身のポーズカリキュラム、高さ追跡報酬、および対称性の利用を組み込んだ、斬新な強化学習ベースのトレーニングフレームワークを通じて達成されます。
ポリシーを補完するハードウェアシステムは、同型外骨格アーム、一対のモーション注目グローブ、およびペダルを統合し、単一のオペレーターがヒューマノイドロボットの完全な制御を実現できるようにします。
私たちの実験では、コックピットがより安定した、迅速で正確なヒューマノイド操作のテレオ操作を促進し、タスクの完了を促進し、逆運動学ベースの方法と比較してリターゲティングエラーを排除することが示されています。
また、コックピットによって収集されたデータの有効性を模倣学習のために検証します。
私たちのプロジェクトは完全にオープンソーシングされており、デモとコードはhttps://homietele.github.io/にあります。

要約(オリジナル)

Current humanoid teleoperation systems either lack reliable low-level control policies, or struggle to acquire accurate whole-body control commands, making it difficult to teleoperate humanoids for loco-manipulation tasks. To solve these issues, we propose HOMIE, a novel humanoid teleoperation cockpit integrates a humanoid loco-manipulation policy and a low-cost exoskeleton-based hardware system. The policy enables humanoid robots to walk and squat to specific heights while accommodating arbitrary upper-body poses. This is achieved through our novel reinforcement learning-based training framework that incorporates upper-body pose curriculum, height-tracking reward, and symmetry utilization, without relying on any motion priors. Complementing the policy, the hardware system integrates isomorphic exoskeleton arms, a pair of motion-sensing gloves, and a pedal, allowing a single operator to achieve full control of the humanoid robot. Our experiments show our cockpit facilitates more stable, rapid, and precise humanoid loco-manipulation teleoperation, accelerating task completion and eliminating retargeting errors compared to inverse kinematics-based methods. We also validate the effectiveness of the data collected by our cockpit for imitation learning. Our project is fully open-sourced, demos and code can be found in https://homietele.github.io/.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google