CusADi: A GPU Parallelization Framework for Symbolic Expressions and Optimal Control

要約

GPU によってもたらされる並列処理は、強化学習 (RL) によるコントローラーのトレーニングに大きな利点をもたらします。
ただし、数千のインスタンスにわたる最適化問題の定式化と解決が複雑であるため、モデルベースの最適化をこのプロセスに統合することは依然として困難です。
この研究では、CUDA を使用した GPU 上の任意の閉じた形式の式の並列化をサポートする CasADi シンボリック フレームワークの拡張機能である CusADi を紹介します。
また、一般的な最適制御問題を解くための閉形式近似を定式化し、MPC コントローラーの大規模並列化と評価を可能にします。
私たちの結果は、CPU 上の同様の MPC 実装と比較して 10 倍の高速化を示し、並列シミュレーション、パラメーター スイープ、ポリシー トレーニングなどのさまざまなアプリケーションでの CusADi の使用を示しています。

要約(オリジナル)

The parallelism afforded by GPUs presents significant advantages in training controllers through reinforcement learning (RL). However, integrating model-based optimization into this process remains challenging due to the complexity of formulating and solving optimization problems across thousands of instances. In this work, we present CusADi, an extension of the CasADi symbolic framework to support the parallelization of arbitrary closed-form expressions on GPUs with CUDA. We also formulate a closed-form approximation for solving general optimal control problems, enabling large-scale parallelization and evaluation of MPC controllers. Our results show a ten-fold speedup relative to similar MPC implementation on the CPU, and we demonstrate the use of CusADi for various applications, including parallel simulation, parameter sweeps, and policy training.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google