Controlling Behavioral Diversity in Multi-Agent Reinforcement Learning

要約

マルチエージェント強化学習 (MARL) における行動の多様性の研究は、初期段階ではありますが、有望な分野です。
これに関連して、本研究は、マルチエージェント システムの多様性をどのように制御するかという問題を扱います。
多様性を設定値に制御する既存のアプローチがないため、現在のソリューションは、固有の報酬や追加の損失関数によって盲目的に多様性を促進することに焦点を当てており、学習目標を効果的に変更し、そのための原則的な尺度が欠如しています。
これに対処するために、ダイバーシティ コントロール (DiCo) を導入します。これは、パラメータ共有コンポーネントと動的にスケーリングされるエージェントごとのコンポーネントの合計としてポリシーを表すことによって、特定のメトリックの正確な値に多様性を制御できる方法です。
DiCo は制約をポリシー アーキテクチャに直接適用することで学習目標を変更せず、アクター批判的な MARL アルゴリズムに適用できるようにします。
我々は、DiCo が望ましい多様性を達成することを理論的に証明し、協調タスクと競合タスクの両方で、MARL のパフォーマンスとサンプル効率を向上させる新しいパラダイムとして DiCo をどのように利用できるかを示すいくつかの実験を提供します。
マルチメディアの結果は、同紙の Web サイト (https://sites.google.com/view/dico-marl) でご覧いただけます。

要約(オリジナル)

The study of behavioral diversity in Multi-Agent Reinforcement Learning (MARL) is a nascent yet promising field. In this context, the present work deals with the question of how to control the diversity of a multi-agent system. With no existing approaches to control diversity to a set value, current solutions focus on blindly promoting it via intrinsic rewards or additional loss functions, effectively changing the learning objective and lacking a principled measure for it. To address this, we introduce Diversity Control (DiCo), a method able to control diversity to an exact value of a given metric by representing policies as the sum of a parameter-shared component and dynamically scaled per-agent components. By applying constraints directly to the policy architecture, DiCo leaves the learning objective unchanged, enabling its applicability to any actor-critic MARL algorithm. We theoretically prove that DiCo achieves the desired diversity, and we provide several experiments, both in cooperative and competitive tasks, that show how DiCo can be employed as a novel paradigm to increase performance and sample efficiency in MARL. Multimedia results are available on the paper’s website: https://sites.google.com/view/dico-marl.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google