Model-Free Learning and Optimal Policy Design in Multi-Agent MDPs Under Probabilistic Agent Dropout

要約

タイトル：確率的エージェントドロップアウト下におけるマルチエージェントMDPにおけるモデルフリー学習と最適ポリシー設計

要約：

– 多エージェントマルコフ決定過程（MDP）において、エージェントのドロップアウトが発生する可能性がある問題を取り扱う。
– 処理前のシステムを制御およびサンプリングして、ポストドロップアウトシステムのポリシーを計算することを目的とした最適ポリシーを探索する。
– 特定のドロップアウトシナリオの最適ポリシーを見つけることは、この問題の特別な場合である。
– 移行の独立性および報酬の分離構造を持つMDPに対して、前提条件を設けて、システムからエージェントを削除することができる。
– 削除されたエージェントをマージする遷移ダイナミクスを持つ、残りのエージェントで構成された新しいMDPが形成される。
– 削除されたエージェントに独立した報酬が与えられ、期待されるポストドロップアウトシステムの価値がシングルMDPで表現できる。
– モデルフリーの状態で、robust MDPの値を前ドロップアウトシステムで生成されたサンプルで推定できることが示された。
– これは、ドロップアウトが発生する前にrobustポリシーを見つけることができることを意味する。
– このアプローチの有効性がシミュレーションで検証され、エージェントドロップアウトの構造的な特性がコントローラーがドロップアウトが発生する前に適切なポストドロップアウトポリシーを見つけるのを助けることが示された。

要約(オリジナル)

This work studies a multi-agent Markov decision process (MDP) that can undergo agent dropout and the computation of policies for the post-dropout system based on control and sampling of the pre-dropout system. The controller’s objective is to find an optimal policy that maximizes the value of the expected system given a priori knowledge of the agents’ dropout probabilities. Finding an optimal policy for any specific dropout realization is a special case of this problem. For MDPs with a certain transition independence and reward separability structure, we assume that removing agents from the system forms a new MDP comprised of the remaining agents with new state and action spaces, transition dynamics that marginalize the removed agents, and rewards that are independent of the removed agents. We first show that under these assumptions, the value of the expected post-dropout system can be represented by a single MDP; this ‘robust MDP’ eliminates the need to evaluate all $2^N$ realizations of the system, where $N$ denotes the number of agents. More significantly, in a model-free context, it is shown that the robust MDP value can be estimated with samples generated by the pre-dropout system, meaning that robust policies can be found before dropout occurs. This fact is used to propose a policy importance sampling (IS) routine that performs policy evaluation for dropout scenarios while controlling the existing system with good pre-dropout policies. The policy IS routine produces value estimates for both the robust MDP and specific post-dropout system realizations and is justified with exponential confidence bounds. Finally, the utility of this approach is verified in simulation, showing how structural properties of agent dropout can help a controller find good post-dropout policies before dropout occurs.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI