RL-augmented MPC Framework for Agile and Robust Bipedal Footstep Locomotion Planning and Control

要約

この論文では、モデル予測制御 (MPC) と強化学習 (RL) を組み合わせて機敏でロバストな二足歩行を実現するオンライン二足歩行計画戦略を提案します。
MPC ベースの足配置コントローラーは動的移動の実現に有効であることが実証されていますが、そのパフォーマンスは単純化されたモデルや仮定の使用によって制限されることがよくあります。
この課題に対処するために、私たちは、学習されたポリシーを活用して、単純化されたモデルの使用とより複雑なフルオーダー ロボット システムの使用の間のギャップを埋める、新しい足配置コントローラーを開発しました。
具体的には、私たちのアプローチでは、次善的な足跡計画のための ALIP ベースの MPC 足置きコントローラーと、足跡調整を調整するための学習済みポリシーの独自の組み合わせを採用し、結果として得られる足跡ポリシーがロボットの全身ダイナミクスを効果的にキャプチャできるようにします。
この統合により、MPC の予測機能と RL の柔軟性および適応性が相乗効果を発揮します。
私たちは、全身ヒューマノイド ロボット DRACO 3 を使用した一連の実験を通じてフレームワークの有効性を検証します。その結果は、広範囲の歩行速度の追跡の向上など、動的移動性能の大幅な向上を示し、困難な地形でも信頼性の高い旋回と横断を可能にします。
ベースラインの ALIP ベースの MPC アプローチと比較して、歩行の堅牢性と安定性を維持しながら。

要約(オリジナル)

This paper proposes an online bipedal footstep planning strategy that combines model predictive control (MPC) and reinforcement learning (RL) to achieve agile and robust bipedal maneuvers. While MPC-based foot placement controllers have demonstrated their effectiveness in achieving dynamic locomotion, their performance is often limited by the use of simplified models and assumptions. To address this challenge, we develop a novel foot placement controller that leverages a learned policy to bridge the gap between the use of a simplified model and the more complex full-order robot system. Specifically, our approach employs a unique combination of an ALIP-based MPC foot placement controller for sub-optimal footstep planning and the learned policy for refining footstep adjustments, enabling the resulting footstep policy to capture the robot’s whole-body dynamics effectively. This integration synergizes the predictive capability of MPC with the flexibility and adaptability of RL. We validate the effectiveness of our framework through a series of experiments using the full-body humanoid robot DRACO 3. The results demonstrate significant improvements in dynamic locomotion performance, including better tracking of a wide range of walking speeds, enabling reliable turning and traversing challenging terrains while preserving the robustness and stability of the walking gaits compared to the baseline ALIP-based MPC approach.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google