A Survey on Transformers in Reinforcement Learning

要約

Transformer は、主に教師付き設定の下で、NLP および CV において支配的なニューラル アーキテクチャであると考えられてきました。
最近、強化学習 (RL) の分野でも同様のトランスフォーマーの使用が急増していますが、RL の性質によってもたらされる独自の設計の選択と課題に直面しています。
しかし、RLにおけるトランスフォーマーの進化はまだよく解明されていません。
この論文では、RL でトランスフォーマーを使用する動機と進捗状況を体系的にレビューし、既存の作品の分類を提供し、各サブフィールドについて説明し、将来の見通しを要約することを目指しています。

要約(オリジナル)

Transformer has been considered the dominating neural architecture in NLP and CV, mostly under supervised settings. Recently, a similar surge of using Transformers has appeared in the domain of reinforcement learning (RL), but it is faced with unique design choices and challenges brought by the nature of RL. However, the evolution of Transformers in RL has not yet been well unraveled. In this paper, we seek to systematically review motivations and progress on using Transformers in RL, provide a taxonomy on existing works, discuss each sub-field, and summarize future prospects.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google