Attention Schema in Neural Agents

要約

注意力は深層学習アーキテクチャの共通の要素となっています。
これは、重みによってサポートされる情報の静的な選択に加えて、情報の動的な選択を追加します。
同様に、注意の上に構築された高次の情報フィルター、つまり注意スキーマ (AS)、つまり注意の記述的および予測モデルを想像できます。
認知神経科学では、注意スキーマ理論 (AST) が、注意を AS から区別するというこの考えをサポートしています。
この理論の強力な予測は、エージェントが自身の AS を使用して他のエージェントの注意の状態を推測することもでき、その結果他のエージェントとの連携を強化できるというものです。
そのため、マルチエージェント強化学習は、AST の有効性を実験的にテストするのに理想的な環境となります。
私たちは、注意と AS が相互作用するさまざまな方法を調査します。
私たちの暫定的な結果は、AS を反復的な内部統制として実装するエージェントが最高のパフォーマンスを達成することを示しています。
一般に、これらの探索的実験は、人工エージェントに注意モデルを装備させることで社会的知性を強化できることを示唆しています。

要約(オリジナル)

Attention has become a common ingredient in deep learning architectures. It adds a dynamical selection of information on top of the static selection of information supported by weights. In the same way, we can imagine a higher-order informational filter built on top of attention: an Attention Schema (AS), namely, a descriptive and predictive model of attention. In cognitive neuroscience, Attention Schema Theory (AST) supports this idea of distinguishing attention from AS. A strong prediction of this theory is that an agent can use its own AS to also infer the states of other agents’ attention and consequently enhance coordination with other agents. As such, multi-agent reinforcement learning would be an ideal setting to experimentally test the validity of AST. We explore different ways in which attention and AS interact with each other. Our preliminary results indicate that agents that implement the AS as a recurrent internal control achieve the best performance. In general, these exploratory experiments suggest that equipping artificial agents with a model of attention can enhance their social intelligence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google