Hierarchical Learning Framework for Whole-Body Model Predictive Control of a Real Humanoid Robot

要約

シミュレーションと現実のギャップの問題と全身モデル予測制御 (全身 MPC) の高い計算負荷は、実際のヒューマノイド ロボットに全身 MPC を使用してさまざまな動きを生成する際に依然として課題をもたらしています。
この論文では、前述の問題に対する潜在的な解決策として、生物学にヒントを得た階層型学習フレームワークを紹介します。
提案された 3 層の階層フレームワークにより、全身 MPC の低頻度ポリシー更新でも、マルチコンタクトの動的な動作の生成が可能になります。
上位層は、分析モデルと実際のシステムの間の矛盾を減らすことを目的として、正確なダイナミクス モデルを学習する責任があります。
これにより、全身 MPC を使用した効果的な制御ポリシーの計算が可能になります。
続いて、中間層と下位層は、高周波数の制御入力を生成するための追加のポリシーを学習するタスクを負います。
上位層で正確なダイナミクスモデルを学習するために、深層残差ネットワークを使用した拡張モデルを確率的全身MPCによるモデルベースの強化学習によってトレーニングします。
提案されたフレームワークは、平らな面でのジョギングや曲面でのスケートなど、10 の異なる動作学習シナリオで評価されました。
結果は、提案したフレームワークによる学習を通じて、全身 MPC を使用して実際の人型ロボット上でさまざまな動作を正常に生成できることを示しています。

要約(オリジナル)

The simulation-to-real gap problem and the high computational burden of whole-body Model Predictive Control (whole-body MPC) continue to present challenges in generating a wide variety of movements using whole-body MPC for real humanoid robots. This paper presents a biologically-inspired hierarchical learning framework as a potential solution to the aforementioned problems. The proposed three-layer hierarchical framework enables the generation of multi-contact, dynamic behaviours even with low-frequency policy updates of whole-body MPC. The upper layer is responsible for learning an accurate dynamics model with the objective of reducing the discrepancy between the analytical model and the real system. This enables the computation of effective control policies using whole-body MPC. Subsequently, the middle and lower layers are tasked with learning additional policies to generate high-frequency control inputs. In order to learn an accurate dynamics model in the upper layer, an augmented model using a deep residual network is trained by model-based reinforcement learning with stochastic whole-body MPC. The proposed framework was evaluated in 10 distinct motion learning scenarios, including jogging on a flat surface and skating on curved surfaces. The results demonstrate that a wide variety of motions can be successfully generated on a real humanoid robot using whole-body MPC through learning with the proposed framework.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google