Spatial State-Action Features for General Games

要約

タイトル：一般ゲームのための空間状態行動特徴

要約：
– ボードゲームや抽象的なゲームにおいて、AIエージェントを導くための特徴としてパターンが使用されてきた。
– これらのパターンは、駒や空白の位置の特定の構成などを表し、ゲームの戦略に関係する場合がある。
– この論文では、一般ゲームに対して空間状態行動特徴の設計と効率的な実装を提案している。
– これらは、アクション変数の周辺の局所領域内の状態の変数に一致するかどうかに基づいてアクションの動機付けや動機喪失をトレーニングすることができるパターンである。
– 多様なボードジオメトリや他のグラフを使用するさまざまなゲームをサポートするために、多くの設計と実装の選択肢について詳細に説明している。
– また、任意の特徴セットに対してアクティブな特徴を評価するための効率的なアプローチも提案している。
– これにより、評価順序の最適化や余分な評価の削減を行うことができる。この手法は、SATなどの問題で使用されるヒューリスティックからインスピレーションを得ており、非常に一般的で抽象的な説明に基づいているため、ボードゲーム以外の問題にも興味深いものとなっている。
– Ludii一般ゲームシステムの33種類のゲームでの実験評価により、この手法の効率性が単純なベースラインや接頭辞木ベースのベースラインと比較して優れていることが示され、特徴を使って検索をガイドするエージェントのプレイ強度が大幅に向上することも示された。

要約(オリジナル)

In many board games and other abstract games, patterns have been used as features that can guide automated game-playing agents. Such patterns or features often represent particular configurations of pieces, empty positions, etc., which may be relevant for a game’s strategies. Their use has been particularly prevalent in the game of Go, but also many other games used as benchmarks for AI research. In this paper, we formulate a design and efficient implementation of spatial state-action features for general games. These are patterns that can be trained to incentivise or disincentivise actions based on whether or not they match variables of the state in a local area around action variables. We provide extensive details on several design and implementation choices, with a primary focus on achieving a high degree of generality to support a wide variety of different games using different board geometries or other graphs. Secondly, we propose an efficient approach for evaluating active features for any given set of features. In this approach, we take inspiration from heuristics used in problems such as SAT to optimise the order in which parts of patterns are matched and prune unnecessary evaluations. This approach is defined for a highly general and abstract description of the problem — phrased as optimising the order in which propositions of formulas in disjunctive normal form are evaluated — and may therefore also be of interest to other types of problems than board games. An empirical evaluation on 33 distinct games in the Ludii general game system demonstrates the efficiency of this approach in comparison to a naive baseline, as well as a baseline based on prefix trees, and demonstrates that the additional efficiency significantly improves the playing strength of agents using the features to guide search.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI