Dynamic Deep Factor Graph for Multi-Agent Reinforcement Learning

要約

この研究では、\textit{Dynamic Deep Factor Graphs} (DDFG) と呼ばれる新しい値分解アルゴリズムを導入しています。
従来のコーディネーション グラフとは異なり、DDFG はファクター グラフを活用して価値関数の分解を明確にし、複雑な価値関数構造に対する柔軟性と適応性を強化します。
DDFG の中心となるのは、ファクター グラフ構造をオンザフライで革新的に生成し、エージェント間の動的なコラボレーション要件に効果的に対処するグラフ構造生成ポリシーです。
DDFG は、値関数の集約に伴う計算オーバーヘッドと、その完全な分解に固有のパフォーマンス低下との間で最適なバランスをとります。
DDFG は、max-sum アルゴリズムの適用を通じて、最適なポリシーを効率的に特定します。
私たちは、高次の捕食者-被食者タスクや StarCraft II マルチエージェント チャレンジ (SMAC) などの複雑なシナリオにおける DDFG の有効性を経験的に検証し、既存の値分解アルゴリズムが直面する制限を克服する DDFG の能力を強調しています。
DDFG は、動的なエージェントのコラボレーションの微妙な理解と促進を必要とする MARL の課題に対する堅牢なソリューションとして登場します。
DDFG の実装は一般に公開されており、ソース コードは \url{https://github.com/SICC-Group/DDFG} で入手できます。

要約(オリジナル)

This work introduces a novel value decomposition algorithm, termed \textit{Dynamic Deep Factor Graphs} (DDFG). Unlike traditional coordination graphs, DDFG leverages factor graphs to articulate the decomposition of value functions, offering enhanced flexibility and adaptability to complex value function structures. Central to DDFG is a graph structure generation policy that innovatively generates factor graph structures on-the-fly, effectively addressing the dynamic collaboration requirements among agents. DDFG strikes an optimal balance between the computational overhead associated with aggregating value functions and the performance degradation inherent in their complete decomposition. Through the application of the max-sum algorithm, DDFG efficiently identifies optimal policies. We empirically validate DDFG’s efficacy in complex scenarios, including higher-order predator-prey tasks and the StarCraft II Multi-agent Challenge (SMAC), thus underscoring its capability to surmount the limitations faced by existing value decomposition algorithms. DDFG emerges as a robust solution for MARL challenges that demand nuanced understanding and facilitation of dynamic agent collaboration. The implementation of DDFG is made publicly accessible, with the source code available at \url{https://github.com/SICC-Group/DDFG}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google