Feature-Attending Recurrent Modules for Generalization in Reinforcement Learning

要約

多くの重要なタスクはオブジェクトで定義されている。これらのタスクを汎化するために、強化学習（RL）エージェントはオブジェクトが引き起こす構造を利用する必要がある。先行研究では、オブジェクト中心の特徴をハードコードするか、複雑なオブジェクト中心の生成モデルを使用するか、局所的な空間特徴を使用して状態を更新してきた。しかし、これらのアプローチでは、一般的なRLエージェントの実現には限界があった。このことに動機づけられ、我々は、空間的・時間的規則性を捕捉するための単純で広く適用可能な帰納的バイアスに依存する状態表現を学習するためのアーキテクチャである「特徴適応型リカレントモジュール（Feature-Attending Recurrent Modules：FARM）」を紹介する。FARMは、表現力豊かな特徴注目メカニズムにより、時空間特徴にそれぞれ注目する複数のモジュールに分散された状態表現を学習する。これにより、RLエージェントがオブジェクト中心のタスクを横断して汎化する能力が向上することを示す。我々は、2Dと3Dの両方の環境におけるタスクスイートを研究し、注意や複数のモジュールを活用する競合アーキテクチャと比較して、FARMがより良く汎化することを見出す。

要約(オリジナル)

Many important tasks are defined in terms of object. To generalize across these tasks, a reinforcement learning (RL) agent needs to exploit the structure that the objects induce. Prior work has either hard-coded object-centric features, used complex object-centric generative models, or updated state using local spatial features. However, these approaches have had limited success in enabling general RL agents. Motivated by this, we introduce ‘Feature-Attending Recurrent Modules’ (FARM), an architecture for learning state representations that relies on simple, broadly applicable inductive biases for capturing spatial and temporal regularities. FARM learns a state representation that is distributed across multiple modules that each attend to spatiotemporal features with an expressive feature attention mechanism. We show that this improves an RL agent’s ability to generalize across object-centric tasks. We study task suites in both 2D and 3D environments and find that FARM better generalizes compared to competing architectures that leverage attention or multiple modules.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL