Finite Time Lyapunov Exponent Analysis of Model Predictive Control and Reinforcement Learning

要約

有限時間リアプノフ指数 (FTLE) は、非定常流体流れ場における不変多様体の時間変化するアナログを計算するための強力なアプローチを提供します。
これらの多様体は、流れとともに移流するパッシブトレーサーの輸送メカニズムを視覚化するのに役立ちます。
しかし、多くの車両やモバイルセンサーは受動的ではなく、何らかのインテリジェントな軌道計画や制御法則に従って作動します。
たとえば、モデル予測制御と強化学習は、動的に変化するバックグラウンド フローでエネルギー効率の高い軌道を設計するためによく使用されます。
この研究では、既知の非定常流れでのナビゲーションに最適な輸送ルートについての洞察を得るために、このような制御されたエージェントでの FTLE の使用を調査します。
これらの制御された FTLE (cFTLE) コヒーレント構造は、目標位置までの輸送コストが同様の異なる領域に流れ場を分離することがわかりました。
これらの分離値は、最適化の期間や作動コストなど、計画アルゴリズムのハイパーパラメーターの関数です。
動的流れ場におけるアクティブ エージェント ダイナミクスの不変集合と多様体を計算することは、ロバスト モーション コントロール、ハイパーパラメータ調整、自律システムの安全で衝突のない軌道の決定に役立ちます。
さらに、これらの cFTLE 構造は、海洋または大気を横断するための作動およびエネルギー制約のあるモバイル エージェントの効果的な展開場所に関する洞察を提供します。

要約(オリジナル)

Finite-time Lyapunov exponents (FTLEs) provide a powerful approach to compute time-varying analogs of invariant manifolds in unsteady fluid flow fields. These manifolds are useful to visualize the transport mechanisms of passive tracers advecting with the flow. However, many vehicles and mobile sensors are not passive, but are instead actuated according to some intelligent trajectory planning or control law; for example, model predictive control and reinforcement learning are often used to design energy-efficient trajectories in a dynamically changing background flow. In this work, we investigate the use of FTLE on such controlled agents to gain insight into optimal transport routes for navigation in known unsteady flows. We find that these controlled FTLE (cFTLE) coherent structures separate the flow field into different regions with similar costs of transport to the goal location. These separatrices are functions of the planning algorithm’s hyper-parameters, such as the optimization time horizon and the cost of actuation. Computing the invariant sets and manifolds of active agent dynamics in dynamic flow fields is useful in the context of robust motion control, hyperparameter tuning, and determining safe and collision-free trajectories for autonomous systems. Moreover, these cFTLE structures provide insight into effective deployment locations for mobile agents with actuation and energy constraints to traverse the ocean or atmosphere.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google