Self-attention as an attractor network: transient memories without backpropagation

要約

トランスフォーマーは、最新のニューラル ネットワークの最も成功したアーキテクチャの 1 つです。
その中心には、いわゆるアテンション メカニズムがあります。これは、特定の場合にエネルギー関数の導関数として記述できるため、最近物理学界の関心を集めています。一方、クロス アテンション層を最新のホップフィールド ネットワークとして記述することも可能です。
同様のことは、GPT アーキテクチャや他の自己回帰モデルで使用される自己注意では不可能です。
この研究では、擬似尤度に似た局所エネルギー項の導関数として自己注意層を取得できることを示します。
擬似尤度の類似性を利用して、逆伝播なしでトレーニングできるリカレント モデルを設計します。ダイナミクスは、トレーニング例とテスト例の両方に強く相関する過渡状態を示します。
全体として、我々は自己注意をアトラクターネットワークとして解釈するための新しいフレームワークを提示し、トランスを理解するための物理学からインスピレーションを得た新しい理論的アプローチへの道を開く可能性があります。

要約(オリジナル)

Transformers are one of the most successful architectures of modern neural networks. At their core there is the so-called attention mechanism, which recently interested the physics community as it can be written as the derivative of an energy function in certain cases: while it is possible to write the cross-attention layer as a modern Hopfield network, the same is not possible for the self-attention, which is used in the GPT architectures and other autoregressive models. In this work we show that it is possible to obtain the self-attention layer as the derivative of local energy terms, which resemble a pseudo-likelihood. We leverage the analogy with pseudo-likelihood to design a recurrent model that can be trained without backpropagation: the dynamics shows transient states that are strongly correlated with both train and test examples. Overall we present a novel framework to interpret self-attention as an attractor network, potentially paving the way for new theoretical approaches inspired from physics to understand transformers.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google