Approximate Feedback Nash Equilibria with Sparse Inter-Agent Dependencies

要約

マルチエージェントダイナミックゲームのフィードバックNASH平衡戦略には、制御アクションを計算するためにすべてのプレイヤーの状態情報を可用性にする必要があります。
ただし、実際のシナリオでは、エージェント間のセンシングとコミュニケーションの制限により、完全な状態フィードバックが高価または非現実的になり、他のエージェントからの状態情報が不正確な場合、そのような戦略は脆弱になります。
この目的のために、ダイナミックゲームのエージェントのサブセットの状態に選択的に依存するまばらなフィードバックポリシーを見つけるための正規化された動的プログラミングアプローチを提案します。
提案されたアプローチは、凸型の適応グループのラッソの問題を解決して、ナッシュ平衡ソリューションを近似するまばらなポリシーを計算します。
Linear-Quadratic（LQ）ゲームにおけるNash均衡政策の近隣への正規化されたソリューションの漸近収束を証明します。
さらに、提案されたアプローチは、一般的なアルゴリズムを介して一般的な非LQゲームに拡張します。
マルチロボット相互作用シナリオのシミュレーション結果は、提案されたアプローチがさまざまなスパースレベルのフィードバックポリシーを効果的に計算することを示しています。
エージェントが他のエージェントの状態を騒々しい観察している場合、シミュレーションの結果は、提案された正規化されたポリシーが、他のエージェントの状態とコストが組み合わされているすべての相互作用エージェントについて、標準のナッシュ平衡ポリシーよりも一貫して低コストを最大77％達成することを示しています。

要約(オリジナル)

Feedback Nash equilibrium strategies in multi-agent dynamic games require availability of all players’ state information to compute control actions. However, in real-world scenarios, sensing and communication limitations between agents make full state feedback expensive or impractical, and such strategies can become fragile when state information from other agents is inaccurate. To this end, we propose a regularized dynamic programming approach for finding sparse feedback policies that selectively depend on the states of a subset of agents in dynamic games. The proposed approach solves convex adaptive group Lasso problems to compute sparse policies approximating Nash equilibrium solutions. We prove the regularized solutions’ asymptotic convergence to a neighborhood of Nash equilibrium policies in linear-quadratic (LQ) games. Further, we extend the proposed approach to general non-LQ games via an iterative algorithm. Simulation results in multi-robot interaction scenarios show that the proposed approach effectively computes feedback policies with varying sparsity levels. When agents have noisy observations of other agents’ states, simulation results indicate that the proposed regularized policies consistently achieve lower costs than standard Nash equilibrium policies by up to 77% for all interacting agents whose costs are coupled with other agents’ states.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google