Understanding Iterative Combinatorial Auction Designs via Multi-Agent Reinforcement Learning

要約

反復組み合わせオークションは、スペクトル オークションなどの一か八かの設定で広く使用されています。
このようなオークションは分析的に理解するのが難しい場合があり、入札者がどのように行動するかを決定したり、デザイナーがオークション ルールを最適化して高収益や福利厚生などの望ましい結果を確保したりすることが困難になります。
この論文では、マルチエージェント強化学習 (MARL) アルゴリズムが最近他のいくつかの領域で経験的に成功を示していることを考慮して、反復組み合わせオークションを理解するためにマルチエージェント強化学習 (MARL) アルゴリズムを使用できるかどうかを調査します。
MARL は確かにオークション分析に有益ですが、効果的に導入するのは簡単ではないことがわかりました。
まず、不完全な情報や入札者間の非対称性などの重要な機能を犠牲にすることなく、結果として得られるゲームを扱いやすく保つモデリングの決定について説明します。
また、さまざまな MARL アルゴリズムの落とし穴を回避する方法、収束を検証する際の課題を克服する方法、複数の均衡を生成して解釈する方法についても説明します。
私たちは、時計オークションに対する特定のルール変更を評価するためにこのアプローチを使用し、入札者の行動の複雑な変化によって実質的に異なるオークション結果を発見することによって、結果として得られるアプローチの有望性を説明します。

要約(オリジナル)

Iterative combinatorial auctions are widely used in high stakes settings such as spectrum auctions. Such auctions can be hard to understand analytically, making it difficult for bidders to determine how to behave and for designers to optimize auction rules to ensure desirable outcomes such as high revenue or welfare. In this paper, we investigate whether multi-agent reinforcement learning (MARL) algorithms can be used to understand iterative combinatorial auctions, given that these algorithms have recently shown empirical success in several other domains. We find that MARL can indeed benefit auction analysis, but that deploying it effectively is nontrivial. We begin by describing modelling decisions that keep the resulting game tractable without sacrificing important features such as imperfect information or asymmetry between bidders. We also discuss how to navigate pitfalls of various MARL algorithms, how to overcome challenges in verifying convergence, and how to generate and interpret multiple equilibria. We illustrate the promise of our resulting approach by using it to evaluate a specific rule change to a clock auction, finding substantially different auction outcomes due to complex changes in bidders’ behavior.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google