Offline Multi-Agent Reinforcement Learning with Implicit Global-to-Local Value Regularization

要約

オフライン強化学習 (RL) は、環境との相互作用なしにオフライン データセットからポリシーを学習できる魅力的な機能により、近年かなりの注目を集めています。
シングルエージェント設定ではある程度の成功はあったものの、オフラインマルチエージェント RL (MARL) には依然として課題が残されています。
大規模な共同状態アクション空間と結合されたマルチエージェントの動作により、オフライン ポリシーの最適化には余分な複雑さが生じます。
既存のオフライン MARL 研究のほとんどは、グローバル レベルでのマルチエージェント システムを十分に考慮せずに、個々のエージェントにオフライン データ関連の正則化を適用するだけです。
この研究では、グローバル値からローカル値への暗黙的な正則化を備えた新しいオフライン マルチエージェント RL アルゴリズムである OMIGA を紹介します。
OMIGA は、グローバル レベルの値の正則化を同等の暗黙的なローカル値の正則化に変換する原則に基づいたフレームワークを提供し、同時にサンプル内学習を有効にすることで、マルチエージェントの値の分解とポリシー学習をオフラインの正則化でエレガントに橋渡しします。
オフライン マルチエージェント MuJoCo および StarCraft II マイクロ管理タスクに関する包括的な実験に基づいて、OMIGA がほぼすべてのタスクにおいて最先端のオフライン MARL 手法よりも優れたパフォーマンスを達成することを示します。

要約(オリジナル)

Offline reinforcement learning (RL) has received considerable attention in recent years due to its attractive capability of learning policies from offline datasets without environmental interactions. Despite some success in the single-agent setting, offline multi-agent RL (MARL) remains to be a challenge. The large joint state-action space and the coupled multi-agent behaviors pose extra complexities for offline policy optimization. Most existing offline MARL studies simply apply offline data-related regularizations on individual agents, without fully considering the multi-agent system at the global level. In this work, we present OMIGA, a new offline m ulti-agent RL algorithm with implicit global-to-local v alue regularization. OMIGA provides a principled framework to convert global-level value regularization into equivalent implicit local value regularizations and simultaneously enables in-sample learning, thus elegantly bridging multi-agent value decomposition and policy learning with offline regularizations. Based on comprehensive experiments on the offline multi-agent MuJoCo and StarCraft II micro-management tasks, we show that OMIGA achieves superior performance over the state-of-the-art offline MARL methods in almost all tasks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google