History Filtering in Imperfect Information Games: Algorithms and Complexity

要約

歴史的には完全情報ゲームのみに適用されてきたが、値関数による深さ制限検索は、不完全情報ゲームにおける最近の AI の進歩の鍵となっている。
強力な理論的保証を持つ最も著名なアプローチでは、サブゲームの分解、つまり公開情報とプレイヤーの信念からサブゲームを計算するプロセスが必要です。
ただし、サブゲームの分解自体は重要な計算を必要とする場合があり、その扱いやすさは、サブゲームのルートを形成する履歴の完全な列挙または生成のための効率的なアルゴリズムの存在に依存します。
それにもかかわらず、このような計算の扱いやすさに関する正式な分析はこれまでの研究では確立されておらず、アプリケーション ドメインは多くの場合、ポーカーなどのゲームで構成されており、現代のハードウェアでは列挙するのが簡単です。
これらのアイデアをより複雑なドメインに適用するには、そのコストを理解する必要があります。
この研究では、サブゲーム分解のための履歴のフィルタリングの計算的側面と扱いやすさを紹介し、分析します。
サブゲームのルートから単一の歴史を構築するのは一般に困難であることを示し、効率的な列挙のための必要十分条件を提供します。
また、トリックテイキング カード ゲーム (列挙には法外に高価なことが多い分野) 向けの新しいマルコフ連鎖モンテカルロ ベースの生成アルゴリズムも導入します。
私たちの実験では、トリックテイキング カード ゲーム Oh Hell での拡張性の向上を実証しました。
これらの貢献により、サブゲーム分解による深さ制限検索が、いつ、どのようにして、不完全な情報設定における逐次的な意思決定に効果的なツールとなり得るかが明らかになりました。

要約(オリジナル)

Historically applied exclusively to perfect information games, depth-limited search with value functions has been key to recent advances in AI for imperfect information games. Most prominent approaches with strong theoretical guarantees require subgame decomposition – a process in which a subgame is computed from public information and player beliefs. However, subgame decomposition can itself require non-trivial computations, and its tractability depends on the existence of efficient algorithms for either full enumeration or generation of the histories that form the root of the subgame. Despite this, no formal analysis of the tractability of such computations has been established in prior work, and application domains have often consisted of games, such as poker, for which enumeration is trivial on modern hardware. Applying these ideas to more complex domains requires understanding their cost. In this work, we introduce and analyze the computational aspects and tractability of filtering histories for subgame decomposition. We show that constructing a single history from the root of the subgame is generally intractable, and then provide a necessary and sufficient condition for efficient enumeration. We also introduce a novel Markov Chain Monte Carlo-based generation algorithm for trick-taking card games – a domain where enumeration is often prohibitively expensive. Our experiments demonstrate its improved scalability in the trick-taking card game Oh Hell. These contributions clarify when and how depth-limited search via subgame decomposition can be an effective tool for sequential decision-making in imperfect information settings.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google