Diversity Induced Environment Design via Self-Play

要約

環境の適切な分散を設計するための最近の研究では、効果的で一般的に有能なエージェントを訓練することが期待できることが示されています。
その成功の一部は、エージェントの能力の最前線で環境インスタンス (またはレベル) を生成する、適応型カリキュラム学習の形式によるものです。
ただし、このような環境設計フレームワークは、困難な設計空間で効果的なレベルを見つけるのに苦労することが多く、環境とのコストのかかる相互作用が必要になります。
このペーパーでは、教師なし環境設計 (UED) フレームワークに多様性を導入することを目的としています。
具体的には、特定のレベルを表す観察された/隠れた状態を識別するタスクに依存しない方法を提案します。
この方法の結果は、2 つのレベル間の多様性を特徴付けるために利用されます。これは、効果的なパフォーマンスにとって重要であることがわかります。
さらに、サンプリング効率を向上させるために、環境ジェネレーターがトレーニング エージェントにとって大きなメリットとなる環境を自動的に生成できるようにするセルフプレイ手法を組み込みました。
定量的には、私たちのアプローチであるセルフプレイによる多様性誘発環境設計 (DivSP) は、既存の手法を上回る説得力のあるパフォーマンスを示しています。

要約(オリジナル)

Recent work on designing an appropriate distribution of environments has shown promise for training effective generally capable agents. Its success is partly because of a form of adaptive curriculum learning that generates environment instances (or levels) at the frontier of the agent’s capabilities. However, such an environment design framework often struggles to find effective levels in challenging design spaces and requires costly interactions with the environment. In this paper, we aim to introduce diversity in the Unsupervised Environment Design (UED) framework. Specifically, we propose a task-agnostic method to identify observed/hidden states that are representative of a given level. The outcome of this method is then utilized to characterize the diversity between two levels, which as we show can be crucial to effective performance. In addition, to improve sampling efficiency, we incorporate the self-play technique that allows the environment generator to automatically generate environments that are of great benefit to the training agent. Quantitatively, our approach, Diversity-induced Environment Design via Self-Play (DivSP), shows compelling performance over existing methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google