Actor-Critic Model Predictive Control: Differentiable Optimization meets Reinforcement Learning

要約

ロボット工学における未解決の研究課題は、強力なタスク パフォーマンスと一般的な報酬定式化の最適化における柔軟性で知られるモデルフリー強化学習 (RL) の利点と、モデル予測制御の堅牢性およびオンライン再計画機能をどのように組み合わせるかです (
MPC）。
この論文では、Actor-Critic Model Predictive Control と呼ばれる新しいフレームワークを導入することで、その答えを提供します。
重要なアイデアは、アクター批判的な RL フレームワーク内に微分可能な MPC を組み込むことです。
この統合により、RL を活用して長期にわたるエンドツーエンドの学習と探索を行いながら、MPC を介した制御アクションの短期的な予測最適化が可能になります。
さまざまなアブレーション研究を通じて、提案されたアプローチの利点を明らかにします。それは、分布外挙動の改善、ダイナミクスの変化に対するロバスト性の向上、およびサンプル効率の向上です。
さらに、批評家の学習価値関数と微分可能 MPC のコスト関数との関係を明らかにする実証分析を実行し、批評家の価値と MPC コスト関数の間の相互作用についてのより深い理解を提供します。
最後に、シミュレーションと現実世界の両方で、さまざまなトラックでのドローン レース タスクでの方法を検証します。
私たちの手法は、最先端のモデルフリー RL と同じ超人的なパフォーマンスを達成し、最大 21 m/s の速度を示します。
提案したアーキテクチャがリアルタイム制御パフォーマンスを達成し、試行錯誤を通じて複雑な動作を学習し、MPC の予測特性を保持して分布外の動作をより適切に処理できることを示します。

要約(オリジナル)

An open research question in robotics is how to combine the benefits of model-free reinforcement learning (RL) — known for its strong task performance and flexibility in optimizing general reward formulations — with the robustness and online replanning capabilities of model predictive control (MPC). This paper provides an answer by introducing a new framework called Actor-Critic Model Predictive Control. The key idea is to embed a differentiable MPC within an actor-critic RL framework. This integration allows for short-term predictive optimization of control actions through MPC, while leveraging RL for end-to-end learning and exploration over longer horizons. Through various ablation studies, we expose the benefits of the proposed approach: it achieves better out-of-distribution behaviour, better robustness to changes in the dynamics and improved sample efficiency. Additionally, we conduct an empirical analysis that reveals a relationship between the critic’s learned value function and the cost function of the differentiable MPC, providing a deeper understanding of the interplay between the critic’s value and the MPC cost functions. Finally, we validate our method in the drone racing task in various tracks, in both simulation and the real world. Our method achieves the same superhuman performance as state-of-the-art model-free RL, showcasing speeds of up to 21 m/s. We show that the proposed architecture can achieve real-time control performance, learn complex behaviors via trial and error, and retain the predictive properties of the MPC to better handle out of distribution behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google