Optimizing Sensory Neurons: Nonlinear Attention Mechanisms for Accelerated Convergence in Permutation-Invariant Neural Networks for Reinforcement Learning

要約

トレーニング強化学習（RL）エージェントには、多くの場合、重要な計算リソースと延長トレーニング時間が必要です。
これに対処するために、Google Brainの感覚ニューロンによって築かれた基礎の上に構築され、感覚ニューロンシステムの順列化内容を維持する強化学習タスクのための新しいニューラルアーキテクチャを導入しました。
ベースラインモデルは、従来のアプローチよりも大幅なパフォーマンスの改善を示しましたが、学習プロセスの効率をさらに向上させる機会を特定しました。
マッピング関数を使用して、キーベクトル（k）の非線形変換を組み込んだ修正された注意メカニズムを提案し、新しいキーベクトル（k ‘）のセットになります。
この非線形マッピングは、注意メカニズムの表現能力を高め、モデルがより複雑な特徴の相互作用をエンコードし、パフォーマンスを損なうことなく収束を加速させることができます。
強化されたモデルは、学習効率の大幅な改善を示しており、強化学習アルゴリズムを進める際の非線形注意メカニズムの可能性を示しています。

要約(オリジナル)

Training reinforcement learning (RL) agents often requires significant computational resources and extended training times. To address this, we build upon the foundation laid by Google Brain’s Sensory Neuron, which introduced a novel neural architecture for reinforcement learning tasks that maintained permutation in-variance in the sensory neuron system. While the baseline model demonstrated significant performance improvements over traditional approaches, we identified opportunities to enhance the efficiency of the learning process further. We propose a modified attention mechanism incorporating a non-linear transformation of the key vectors (K) using a mapping function, resulting in a new set of key vectors (K’). This non-linear mapping enhances the representational capacity of the attention mechanism, allowing the model to encode more complex feature interactions and accelerating convergence without compromising performance. Our enhanced model demonstrates significant improvements in learning efficiency, showcasing the potential for non-linear attention mechanisms in advancing reinforcement learning algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google