Closed Drafting as a Case Study for First-Principle Interpretability, Memory, and Generalizability in Deep Reinforcement Learning

要約

クローズド ドラフトまたは「ピック アンド パス」は、各ラウンドのプレーヤーが手札からカードまたはその他のプレイ可能な要素を選択し、残りを次のプレーヤーに渡す人気のゲーム メカニズムです。
この論文では、クローズド ドラフティング ゲームをプレイする Deep Q-Network (DQN) モデルの解釈可能性、一般化可能性、および記憶を研究するための第一原理手法を確立します。
特に、「Sushi Go Party」と呼ばれる人気のクローズド ドラフト ゲーム ファミリを使用しており、最先端のパフォーマンスを実現しています。
私たちは、訓練された DRL エージェントの意思決定戦略を、さまざまな種類の人間のプレーヤーのランキング設定と比較することによって解釈するための意思決定ルールを適合させます。
Sushi Go Party は、プレイ中のカードのセットに基づいて密接に関連したゲームのセットとして表現できるため、さまざまなカードのセットでトレーニングされた DRL モデルの一般化可能性を定量化し、環境の関数としてエージェントのパフォーマンスをベンチマークする方法を確立します。
不慣れさ。
クローズド ドラフティング ゲームで他のプレイヤーの手の明示的に計算可能な記憶を使用して、DRL モデルの記憶学習能力の尺度を作成します。

要約(オリジナル)

Closed drafting or ‘pick and pass’ is a popular game mechanic where each round players select a card or other playable element from their hand and pass the rest to the next player. In this paper, we establish first-principle methods for studying the interpretability, generalizability, and memory of Deep Q-Network (DQN) models playing closed drafting games. In particular, we use a popular family of closed drafting games called ‘Sushi Go Party’, in which we achieve state-of-the-art performance. We fit decision rules to interpret the decision-making strategy of trained DRL agents by comparing them to the ranking preferences of different types of human players. As Sushi Go Party can be expressed as a set of closely-related games based on the set of cards in play, we quantify the generalizability of DRL models trained on various sets of cards, establishing a method to benchmark agent performance as a function of environment unfamiliarity. Using the explicitly calculable memory of other player’s hands in closed drafting games, we create measures of the ability of DRL models to learn memory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google