How much can change in a year? Revisiting Evaluation in Multi-Agent Reinforcement Learning

要約

健全な実験基準と厳密さを確立することは、成長する研究分野において重要です。
ディープ マルチエージェント強化学習 (MARL) は、そのような初期の分野の 1 つです。
MARL は興味深い進歩を遂げてきましたが、最近、再現性の問題と、特に協力的な環境における標準化された評価手法の欠如により厳しい監視の対象となっています。
この問題を軽減するためにプロトコルが提案されていますが、現場の健全性を積極的に監視することが依然として重要です。
この研究では、高評価の会議からの MARL 出版物のメタデータを含めることによって以前に公開された評価方法論のデータベースを拡張し、この更新されたデータベースから抽出された結果を研究で特定された傾向と比較します。
私たちの分析では、パフォーマンスレポートにおける懸念すべき傾向の多くが依然として残っていることがわかりました。
これには、不確実性の定量化の省略、関連する評価の詳細をすべて報告しないこと、およびアルゴリズム開発クラスの絞り込みが含まれます。
有望なことに、SMAC-v1 ではより困難なシナリオに向かう傾向が観察されており、これが SMAC-v2 に継続されると、新しいアルゴリズムの開発が促進されるでしょう。
私たちのデータは、私たちがエキサイティングな新境地に向かって進む中で、現場での信頼を確保するために、MARL コミュニティが複製可能性に対してより積極的に取り組む必要があることを示しています。

要約(オリジナル)

Establishing sound experimental standards and rigour is important in any growing field of research. Deep Multi-Agent Reinforcement Learning (MARL) is one such nascent field. Although exciting progress has been made, MARL has recently come under scrutiny for replicability issues and a lack of standardised evaluation methodology, specifically in the cooperative setting. Although protocols have been proposed to help alleviate the issue, it remains important to actively monitor the health of the field. In this work, we extend the database of evaluation methodology previously published by containing meta-data on MARL publications from top-rated conferences and compare the findings extracted from this updated database to the trends identified in their work. Our analysis shows that many of the worrying trends in performance reporting remain. This includes the omission of uncertainty quantification, not reporting all relevant evaluation details and a narrowing of algorithmic development classes. Promisingly, we do observe a trend towards more difficult scenarios in SMAC-v1, which if continued into SMAC-v2 will encourage novel algorithmic development. Our data indicate that replicability needs to be approached more proactively by the MARL community to ensure trust in the field as we move towards exciting new frontiers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google