Experience-replay Innovative Dynamics

要約

画期的な成功にもかかわらず、マルチエージェント強化学習 (MARL) は依然として不安定性と非定常性に悩まされています。
進化的ゲーム理論 (EGT) の最もよく知られたモデルであるレプリケーター ダイナミクスは、軌道をナッシュ均衡に収束させるための理論的枠組みを提供し、その結果、安定したゲーム環境における MARL アルゴリズムの正式な保証を保証するために使用されてきました。
。
ただし、他の設定では逆の動作を示すため、確実に収束させるための代替手段を見つけるという問題が生じます。
対照的に、ブラウン・フォン・ノイマン・ナッシュ (BNN) やスミスなどの革新的なダイナミクスは、ナッシュ均衡に近似する可能性のある周期的な軌道をもたらします。
しかし、これらのダイナミクスに基づく MARL アルゴリズムは提案されていません。
この課題に応えて、私たちは調整可能なハイパーパラメータとしてリビジョン プロトコルを組み込んだ、新しいエクスペリエンス リプレイ ベースの MARL アルゴリズムを開発しました。
改訂プロトコルを適切に調整することにより、アルゴリズムの動作がこれらのダイナミクスから生じる軌跡を反映していることを示します。
重要なのは、私たちの貢献は、レプリケーターのダイナミクスを超えて MARL アルゴリズムの理論的保証を拡張できるフレームワークを提供することです。
最後に、理論的発見を実証結果で裏付けます。

要約(オリジナル)

Despite its groundbreaking success, multi-agent reinforcement learning (MARL) still suffers from instability and nonstationarity. Replicator dynamics, the most well-known model from evolutionary game theory (EGT), provide a theoretical framework for the convergence of the trajectories to Nash equilibria and, as a result, have been used to ensure formal guarantees for MARL algorithms in stable game settings. However, they exhibit the opposite behavior in other settings, which poses the problem of finding alternatives to ensure convergence. In contrast, innovative dynamics, such as the Brown-von Neumann-Nash (BNN) or Smith, result in periodic trajectories with the potential to approximate Nash equilibria. Yet, no MARL algorithms based on these dynamics have been proposed. In response to this challenge, we develop a novel experience replay-based MARL algorithm that incorporates revision protocols as tunable hyperparameters. We demonstrate, by appropriately adjusting the revision protocols, that the behavior of our algorithm mirrors the trajectories resulting from these dynamics. Importantly, our contribution provides a framework capable of extending the theoretical guarantees of MARL algorithms beyond replicator dynamics. Finally, we corroborate our theoretical findings with empirical results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google