Intra-neuronal attention within language models Relationships between activation and semantics

要約

この研究では、言語モデルにおけるパーセプトロン型ニューロンの能力を調査して、神経内の注意を喚起します。
つまり、特に反応するトークンの特定の活性化ゾーンのセグメンテーションに基づいて、エンコードする合成思想カテゴリ内の異なる均質なカテゴリセグメントを識別するためです。
したがって、この作業の目的は、正式なニューロンが活性化ベースとカテゴリのセグメンテーションの間に同型の関係を確立できる程度を決定することです。
結果は、非常に高い活性化レベルを持つトークンのレベルでのみ、そのような関係の存在を示唆しています。
その後、この神経内の注意は、次の層のニューロンのレベルでカテゴリの再構築プロセスを可能にし、それによって高レベルのカテゴリー抽象化の進行性形成に貢献します。

要約(オリジナル)

This study investigates the ability of perceptron-type neurons in language models to perform intra-neuronal attention; that is, to identify different homogeneous categorical segments within the synthetic thought category they encode, based on a segmentation of specific activation zones for the tokens to which they are particularly responsive. The objective of this work is therefore to determine to what extent formal neurons can establish a homomorphic relationship between activation-based and categorical segmentations. The results suggest the existence of such a relationship, albeit tenuous, only at the level of tokens with very high activation levels. This intra-neuronal attention subsequently enables categorical restructuring processes at the level of neurons in the following layer, thereby contributing to the progressive formation of high-level categorical abstractions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google