Learning to Beat ByteRL: Exploitability of Collectible Card Game Agents

要約

ゲームの一種としてのポーカーは過去数十年にわたり広範囲に研究されてきましたが、収集可能なカード ゲームは比較的注目されていません。
最も人気のある収集用カード ゲームの 1 つであるハースストーンで、プロの人間のプレイヤーと競争できるエージェントが登場したのはつい最近のことです。
人工エージェントはこれらのジャンルの両方で不完全な情報を処理できなければなりませんが、収集可能なカード ゲームには別の一連の明確な課題が生じます。
多くのポーカーの変種とは異なり、エージェントは非常に広大な状態空間を扱わなければならないため、エージェントの信念と一致するすべての状態を列挙することさえ困難であり、現在の検索方法が使用できなくなり、エージェントは他の手法を選択する必要があります。
この論文では、このクラスのゲームにおけるそのようなテクニックの強さを調査します。
つまり、Legends of Code and Magic および Hearthstone の最先端エージェントである ByteRL の予備的な分析結果を紹介します。
ByteRL は中国のトップ 10 ハースストーン プレイヤーを破りましたが、レジェンド オブ コード アンド マジックにおける ByteRL のプレイは非常に悪用可能であることがわかりました。

要約(オリジナル)

While Poker, as a family of games, has been studied extensively in the last decades, collectible card games have seen relatively little attention. Only recently have we seen an agent that can compete with professional human players in Hearthstone, one of the most popular collectible card games. Although artificial agents must be able to work with imperfect information in both of these genres, collectible card games pose another set of distinct challenges. Unlike in many poker variants, agents must deal with state space so vast that even enumerating all states consistent with the agent’s beliefs is intractable, rendering the current search methods unusable and requiring the agents to opt for other techniques. In this paper, we investigate the strength of such techniques for this class of games. Namely, we present preliminary analysis results of ByteRL, the state-of-the-art agent in Legends of Code and Magic and Hearthstone. Although ByteRL beat a top-10 Hearthstone player from China, we show that its play in Legends of Code and Magic is highly exploitable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google