Goal-Conditioned Terminal Value Estimation for Real-time and Multi-task Model Predictive Control

要約

MPCはタイムステップごとに最適な制御問題を解くことで非線形フィードバック制御を実現しますが、計算負荷が非常に大きくなる傾向があり、制御周期内で政策を最適化することが困難です。
この問題に対処するために、考えられるアプローチの 1 つは、最終値学習を利用して計算コストを削減することです。
ただし、元の MPC セットアップでタスクが動的に変更される状況では、学習した値を他のタスクに使用することはできません。
この研究では、計算時間を削減しながらマルチタスク ポリシーの最適化を達成するために、目標条件付き最終値学習を備えた MPC フレームワークを開発します。
さらに、上位レベルの軌道プランナーが適切な目標条件付き軌道を出力できるようにする階層制御構造を使用することで、ロボット モデルが多様な動作を生成できることを実証します。
二足倒立振子ロボットモデルで提案手法を評価し、目標条件付き最終値学習と上位レベルの軌道プランナーを組み合わせることでリアルタイム制御が可能になることを確認します。
したがって、ロボットは傾斜地でもターゲットの軌道をうまく追跡します。

要約(オリジナル)

While MPC enables nonlinear feedback control by solving an optimal control problem at each timestep, the computational burden tends to be significantly large, making it difficult to optimize a policy within the control period. To address this issue, one possible approach is to utilize terminal value learning to reduce computational costs. However, the learned value cannot be used for other tasks in situations where the task dynamically changes in the original MPC setup. In this study, we develop an MPC framework with goal-conditioned terminal value learning to achieve multitask policy optimization while reducing computational time. Furthermore, by using a hierarchical control structure that allows the upper-level trajectory planner to output appropriate goal-conditioned trajectories, we demonstrate that a robot model is able to generate diverse motions. We evaluate the proposed method on a bipedal inverted pendulum robot model and confirm that combining goal-conditioned terminal value learning with an upper-level trajectory planner enables real-time control; thus, the robot successfully tracks a target trajectory on sloped terrain.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google