Putting Data at the Centre of Offline Multi-Agent Reinforcement Learning

要約

オフライン マルチエージェント強化学習 (MARL) は、静的データセットを使用してマルチエージェント システムに最適な制御ポリシーを見つける興味深い研究方向です。
この分野は定義上データ主導型ですが、これまでのところ、最先端の結果を達成するための取り組みにおいてデータは無視されてきました。
私たちはまず文献を調査することでこの主張を実証し、大多数の研究が一貫した方法論を持たずに独自のデータセットを生成し、これらのデータセットの特性に関する情報がまばらであることを示します。
次に、アルゴリズムのパフォーマンスが使用されるデータセットとどのように密接に結びついており、現場での実験に共通の基盤が必要であるかを示す顕著な例を通じて、データの性質を無視することがなぜ問題なのかを示します。
これに応えて、私たちはオフライン MARL でのデータ使用とデータ認識の向上に向けて大きな一歩を踏み出し、次の 3 つの主要な貢献を行います。(1) 新しいデータセットを生成するための明確なガイドライン。
(2) 一貫したストレージ形式と使いやすい API を使用して、公開されているリポジトリでホストされる 80 を超える既存のデータセットの標準化。
(3) これらのデータセットをより深く理解し、さらなる開発を支援する一連の分析ツール。

要約(オリジナル)

Offline multi-agent reinforcement learning (MARL) is an exciting direction of research that uses static datasets to find optimal control policies for multi-agent systems. Though the field is by definition data-driven, efforts have thus far neglected data in their drive to achieve state-of-the-art results. We first substantiate this claim by surveying the literature, showing how the majority of works generate their own datasets without consistent methodology and provide sparse information about the characteristics of these datasets. We then show why neglecting the nature of the data is problematic, through salient examples of how tightly algorithmic performance is coupled to the dataset used, necessitating a common foundation for experiments in the field. In response, we take a big step towards improving data usage and data awareness in offline MARL, with three key contributions: (1) a clear guideline for generating novel datasets; (2) a standardisation of over 80 existing datasets, hosted in a publicly available repository, using a consistent storage format and easy-to-use API; and (3) a suite of analysis tools that allow us to understand these datasets better, aiding further development.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google