Tacit algorithmic collusion in deep reinforcement learning guided price competition: A study using EV charge pricing game

要約

複雑な構造を持つゲームの価格設定を行うプレーヤーは、利益を最大化するための価格決定を行うために、人工知能 (AI) 支援学習アルゴリズムを採用することが増えています。
AI の使用の実践により、独立したプレーヤー間の暗黙のアルゴリズムによる共謀が促進される可能性があるため、これは独占禁止当局の懸念を引き起こしています。
正規形式のゲームに関する最近の研究では、AI 誘導型プレイヤー間での暗黙の共謀がまったく存在しないものから高レベルの暗黙の共謀が存在するものまで、対照的な主張が示されています。
本稿では、EV充電ハブが価格を動的に変動させて競争する実際のゲームを考察することで、暗黙の共謀に対する懸念を検証する。
あらゆる交通分野でEVの導入が進むにつれ、近い将来、このようなゲームは一般的になる可能性が高い。
ハブは、社内の蓄電池システムだけでなく、前日 (DA) およびリアルタイム (RT) 電力市場からも電力を供給します。
彼らの目標は、価格設定と電力使用コストの効率的な管理を通じて利益を最大化することです。
調査を支援するために、私たちは 2 段階のデータ駆動型の方法論を開発しました。
最初のステップでは、確率モデルを解くことによって DA コミットメントを取得します。
2 番目のステップでは、マルチエージェント深層強化学習 (MADRL) フレームワークを使用して競争力のあるマルコフ意思決定プロセス モデルを解くことで、価格設定戦略を生成します。
私たちは、暗黙のアルゴリズムによる共謀のレベルの指標を使用して、結果として得られる価格戦略を評価します。
インデックス値 0 は共謀がない (完全な競争) ことを示し、1 は完全な共謀 (独占的動作) を示します。
数値ケーススタディの結果では、0.14 ～ 0.45 の共謀指数値が得られ、低レベルから中程度のレベルの共謀が示唆されています。

要約(オリジナル)

Players in pricing games with complex structures are increasingly adopting artificial intelligence (AI) aided learning algorithms to make pricing decisions for maximizing profits. This is raising concern for the antitrust agencies as the practice of using AI may promote tacit algorithmic collusion among otherwise independent players. Recent studies of games in canonical forms have shown contrasting claims ranging from none to a high level of tacit collusion among AI-guided players. In this paper, we examine the concern for tacit collusion by considering a practical game where EV charging hubs compete by dynamically varying their prices. Such a game is likely to be commonplace in the near future as EV adoption grows in all sectors of transportation. The hubs source power from the day-ahead (DA) and real-time (RT) electricity markets as well as from in-house battery storage systems. Their goal is to maximize profits via pricing and efficiently managing the cost of power usage. To aid our examination, we develop a two-step data-driven methodology. The first step obtains the DA commitment by solving a stochastic model. The second step generates the pricing strategies by solving a competitive Markov decision process model using a multi-agent deep reinforcement learning (MADRL) framework. We evaluate the resulting pricing strategies using an index for the level of tacit algorithmic collusion. An index value of zero indicates no collusion (perfect competition) and one indicates full collusion (monopolistic behavior). Results from our numerical case study yield collusion index values between 0.14 and 0.45, suggesting a low to moderate level of collusion.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google