When Do Transformers Shine in RL? Decoupling Memory from Credit Assignment

要約

強化学習（RL）アルゴリズムは、2つの異なる課題に直面している：過去と現在の観測の効果的な表現を学習することと、行動が将来のリターンにどのように影響するかを決定することである。どちらの課題も、長期的な依存関係をモデル化することを含んでいる。Transformerアーキテクチャは、RL領域を含め、長期的な依存関係を含む問題を解決するのに非常に成功している。しかし、TransformerベースのRL手法が高い性能を発揮する根本的な理由はまだ不明である。それは、Transformerが効果的な記憶を学習するからなのか、効果的な信用割り当てを行うからなのか？メモリの長さとクレジット割り当ての長さの正式な定義を紹介した後、これらの異なる量を測定するための簡単な設定可能なタスクを設計する。我々の実証結果から、TransformersはRLアルゴリズムの記憶能力を向上させ、1500$ステップ前のオブザベーションを記憶する必要があるタスクまでスケールアップできることが明らかになった。しかし、Transformersは長期的な信用割り当てを改善しない。要約すると、我々の結果は、RLにおけるTransformersの成功の説明を提供すると同時に、将来の研究とベンチマーク設計のための重要な領域を強調している。我々のコードは https://github.com/twni2016/Memory-RL でオープンソース化されている。

要約(オリジナル)

Reinforcement learning (RL) algorithms face two distinct challenges: learning effective representations of past and present observations, and determining how actions influence future returns. Both challenges involve modeling long-term dependencies. The Transformer architecture has been very successful to solve problems that involve long-term dependencies, including in the RL domain. However, the underlying reason for the strong performance of Transformer-based RL methods remains unclear: is it because they learn effective memory, or because they perform effective credit assignment? After introducing formal definitions of memory length and credit assignment length, we design simple configurable tasks to measure these distinct quantities. Our empirical results reveal that Transformers can enhance the memory capability of RL algorithms, scaling up to tasks that require memorizing observations $1500$ steps ago. However, Transformers do not improve long-term credit assignment. In summary, our results provide an explanation for the success of Transformers in RL, while also highlighting an important area for future research and benchmark design. Our code is open-sourced at https://github.com/twni2016/Memory-RL

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL