Symbolic Relational Deep Reinforcement Learning based on Graph Neural Networks and Autoregressive Policy Decomposition

要約

私たちは、オブジェクト、その関係、オブジェクト中心のアクションに関して自然に定義される関係問題における強化学習 (RL) に焦点を当てています。
これらの問題は、可変の状態空間とアクション空間によって特徴付けられ、ほとんどの既存の RL 手法で必要とされる固定長表現を見つけることは、不可能ではないにしても困難です。
私たちは、これらの問題に自然に対処し、完全にドメインに依存しない、グラフ ニューラル ネットワークと自己回帰ポリシー分解に基づいた深い RL フレームワークを紹介します。
私たちは、3 つの異なる領域におけるフレームワークの幅広い適用性を実証し、さまざまな問題サイズに対する印象的なゼロショット一般化を示します。

要約(オリジナル)

We focus on reinforcement learning (RL) in relational problems that are naturally defined in terms of objects, their relations, and object-centric actions. These problems are characterized by variable state and action spaces, and finding a fixed-length representation, required by most existing RL methods, is difficult, if not impossible. We present a deep RL framework based on graph neural networks and auto-regressive policy decomposition that naturally works with these problems and is completely domain-independent. We demonstrate the framework’s broad applicability in three distinct domains and show impressive zero-shot generalization over different problem sizes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google