From Images to Connections: Can DQN with GNNs learn the Strategic Game of Hex?

要約

チェス、囲碁、ヘックスなどの戦略的ボード ゲームのゲームプレイは、多くの場合、単なる画像ではなく、組み合わせ的で関係的な構造、つまり明確な相互作用や非局所的なパターンをキャプチャすることによって特徴付けられます。
それにもかかわらず、最も一般的なセルフプレイ強化学習 (RL) は、畳み込みニューラル ネットワーク (CNN) を使用してポリシーと値関数を単純に近似するアプローチです。
CNN の重要な特徴は、局所性と並進不変性に対する関係帰納的バイアスです。
対照的に、グラフ ニューラル ネットワーク (GNN) は、より複雑で明確なリレーショナル構造をエンコードできます。
そこで、私たちは重要な疑問を調査します。複雑な接続をエンコードする機能を持つ GNN は、自己再生強化学習において CNN に取って代わることができるでしょうか?
この目的を達成するために、実験的なプラットフォームとして機能する Hex (抽象的でありながら戦略性に富んだボード ゲーム) との比較を行います。
私たちの調査結果では、GNN はゲーム状態における長距離依存関係の状況への対処に優れており、過剰学習の傾向が少ない一方で、局所的なパターンを識別する能力が低下していることも明らかになりました。
これは潜在的なパラダイムシフトを示唆しており、セルフプレイ強化学習を再形成するためにゲーム固有の構造を使用することを示しています。

要約(オリジナル)

The gameplay of strategic board games such as chess, Go and Hex is often characterized by combinatorial, relational structures — capturing distinct interactions and non-local patterns — and not just images. Nonetheless, most common self-play reinforcement learning (RL) approaches simply approximate policy and value functions using convolutional neural networks (CNN). A key feature of CNNs is their relational inductive bias towards locality and translational invariance. In contrast, graph neural networks (GNN) can encode more complicated and distinct relational structures. Hence, we investigate the crucial question: Can GNNs, with their ability to encode complex connections, replace CNNs in self-play reinforcement learning? To this end, we do a comparison with Hex — an abstract yet strategically rich board game — serving as our experimental platform. Our findings reveal that GNNs excel at dealing with long range dependency situations in game states and are less prone to overfitting, but also showing a reduced proficiency in discerning local patterns. This suggests a potential paradigm shift, signaling the use of game-specific structures to reshape self-play reinforcement learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google