H2-COMPACT: Human-Humanoid Co-Manipulation via Adaptive Contact Trajectory Policies

要約

脚のあるヒューマノイドが、意図の推論のために触覚的な手がかりのみを使用して、人間のパートナーと拡張された負荷を協力的に運ぶことができる階層的な政策学習フレームワークを提示します。
上部層では、軽量の動作クローニングネットワークは、デュアルリストマウントセンサーから6軸の力/トルクストリームを消費し、リーダーの応用力をキャプチャする全身平面速度コマンドを出力します。
下層層では、Isaacジムのランダム化ペイロード（0〜3 kg）および摩擦条件の下で訓練され、ムジョコで検証された摩擦条件と実際のUnitree G1で、これらのハイレベルのひねりを安定した荷積みの関節軌道にマッピングします。
脚のある移動（速度 – >ジョイント）からの意図解釈（力 – >速度）を切り離すことにより、私たちの方法は、人間の入力に対する直感的な応答性と堅牢で負荷適応的なウォーキングと組み合わされます。
モーションキャプチャまたはマーカーなしでトレーニングデータを収集します。SAM2とWHAMを使用して3Dヒトポーズと速度を抽出し、同期したRGBビデオとF/T測定値のみを収集します。
現実世界の試験では、ヒューマノイドは、目隠しされたヒトフォロワーベースラインと同等に、協力的なキャリーアンドモーブのパフォーマンス（完了時間、軌道逸脱、速度同期、およびフォロワーフォース）を達成します。
この作業は、液体ヒトとヒューマノイドの共操作のための全身脚のコントロールと融合した学習された触覚ガイダンスを実証する最初の作業です。
コードとビデオは、H2-Compact Webサイトで入手できます。

要約(オリジナル)

We present a hierarchical policy-learning framework that enables a legged humanoid to cooperatively carry extended loads with a human partner using only haptic cues for intent inference. At the upper tier, a lightweight behavior-cloning network consumes six-axis force/torque streams from dual wrist-mounted sensors and outputs whole-body planar velocity commands that capture the leader’s applied forces. At the lower tier, a deep-reinforcement-learning policy, trained under randomized payloads (0-3 kg) and friction conditions in Isaac Gym and validated in MuJoCo and on a real Unitree G1, maps these high-level twists to stable, under-load joint trajectories. By decoupling intent interpretation (force -> velocity) from legged locomotion (velocity -> joints), our method combines intuitive responsiveness to human inputs with robust, load-adaptive walking. We collect training data without motion-capture or markers, only synchronized RGB video and F/T readings, employing SAM2 and WHAM to extract 3D human pose and velocity. In real-world trials, our humanoid achieves cooperative carry-and-move performance (completion time, trajectory deviation, velocity synchrony, and follower-force) on par with a blindfolded human-follower baseline. This work is the first to demonstrate learned haptic guidance fused with full-body legged control for fluid human-humanoid co-manipulation. Code and videos are available on the H2-COMPACT website.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google