Opt2Skill: Imitating Dynamically-feasible Whole-Body Trajectories for Versatile Humanoid Loco-Manipulation

要約

ヒューマノイドロボットは、多様な局所操作タスクを実行するように設計されています。
しかし、彼らは、彼らの高次元的で不安定なダイナミクスと、タスクの複雑な接触豊富な性質のために課題に直面しています。
モデルベースの最適制御方法は、正確な動きを定義する柔軟性を提供しますが、高い計算の複雑さと正確な接触センシングによって制限されます。
一方、強化学習（RL）は、強い堅牢性を持つ高次元空間を処理しますが、非効率的な学習、不自然な動き、SIMからリアルのギャップに苦しんでいます。
これらの課題に対処するために、モデルベースの軌跡の最適化とRLを組み合わせて堅牢な全身操作を実現するエンドツーエンドのパイプラインであるOpt2Skillを紹介します。
Opt2skillは、微分動的プログラミング（DDP）とTrains RLポリシーを使用して、これらの最適な軌跡を追跡するために、Digit Humanoid Robotの動的に実行可能な連絡可能な参照モーションを生成します。
我々の結果は、Opt2skillが、モーショントラッキングとタスクの成功率の両方で、人間のデモと逆運動学ベースの参照に依存するベースラインを上回ることを示しています。
さらに、軌跡をトルク情報に組み込むことで、テーブルの拭き取りなどの接触装備タスクの接触力追跡が改善されることを示します。
現実世界のアプリケーションへのアプローチを正常に転送しました。

要約(オリジナル)

Humanoid robots are designed to perform diverse loco-manipulation tasks. However, they face challenges due to their high-dimensional and unstable dynamics, as well as the complex contact-rich nature of the tasks. Model-based optimal control methods offer flexibility to define precise motion but are limited by high computational complexity and accurate contact sensing. On the other hand, reinforcement learning (RL) handles high-dimensional spaces with strong robustness but suffers from inefficient learning, unnatural motion, and sim-to-real gaps. To address these challenges, we introduce Opt2Skill, an end-to-end pipeline that combines model-based trajectory optimization with RL to achieve robust whole-body loco-manipulation. Opt2Skill generates dynamic feasible and contact-consistent reference motions for the Digit humanoid robot using differential dynamic programming (DDP) and trains RL policies to track these optimal trajectories. Our results demonstrate that Opt2Skill outperforms baselines that rely on human demonstrations and inverse kinematics-based references, both in motion tracking and task success rates. Furthermore, we show that incorporating trajectories with torque information improves contact force tracking in contact-involved tasks, such as wiping a table. We have successfully transferred our approach to real-world applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google