Pontryagin Neural Operator for Solving Parametric General-Sum Differential Games

要約

二人対戦の一般和微分ゲームの値は、ハミルトン-ヤコビ-アイザック（HJI）方程式の粘性解である。このようなゲームの値や政策の近似は次元の呪い(CoD)に悩まされる．物理情報ニューラルネットワーク（PINN）によるCoDの緩和は、状態制約のために大きなリプシッツ定数を持つ微分可能な値が存在する場合に収束の問題に遭遇する。これらの課題に加え、情報が不完全な場合のゲームパラメータ推論などでは、パラメトリックなゲーム空間全体で一般化可能な値や方針を学習する必要がある場合が多い。このような課題に対処するため、本稿では、パラメトリックな状態制約を持つゲーム全体における安全性能において、現在の最先端のハイブリッドPINNモデルを凌駕するポントリャギンモードニューラルオペレータを提案する。我々の重要な貢献は、前方と後方のコステートロールアウト間の不一致で定義されるコステート損失を導入したことである。ハイブリッドPINNモデルで提案されているような、人手による教師付きデータを必要とすることなく、状態制約違反を反映することができるコステートダイナミクスが、大きなリプシッツ定数を持つ微分可能な値の学習を効果的に可能にすることを示す。さらに重要な点として、コステートとポリシーの密接な関係により、一般化可能な安全性能を持つフィードバック制御ポリシーを学習する上で、前者が重要であることを示す。

要約(オリジナル)

The values of two-player general-sum differential games are viscosity solutions to Hamilton-Jacobi-Isaacs (HJI) equations. Value and policy approximations for such games suffer from the curse of dimensionality (CoD). Alleviating CoD through physics-informed neural networks (PINN) encounters convergence issues when differentiable values with large Lipschitz constants are present due to state constraints. On top of these challenges, it is often necessary to learn generalizable values and policies across a parametric space of games, e.g., for game parameter inference when information is incomplete. To address these challenges, we propose in this paper a Pontryagin-mode neural operator that outperforms the current state-of-the-art hybrid PINN model on safety performance across games with parametric state constraints. Our key contribution is the introduction of a costate loss defined on the discrepancy between forward and backward costate rollouts, which are computationally cheap. We show that the costate dynamics, which can reflect state constraint violation, effectively enables the learning of differentiable values with large Lipschitz constants, without requiring manually supervised data as suggested by the hybrid PINN model. More importantly, we show that the close relationship between costates and policies makes the former critical in learning feedback control policies with generalizable safety performance.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL