In-context denoising with one-layer transformers: connections between attention and associative memory retrieval

要約

現代のホップフィールドネットワークとしても知られる、注意ベースのアーキテクチャと密集した連想メモリ（DAM）ネットワークとの関係を改良するタスクであるコンテキスト内除去を紹介します。
ベイジアンフレームワークを使用して、理論的および経験的に、特定の制限された除去の問題は、単一層トランスによっても最適に解決できることを示します。
訓練された注意層が、コンテキストトークンが連想記憶として機能し、クエリトークンが初期状態として機能するコンテキストを意識するダムエネルギーの風景で単一の勾配降下更新を実行することにより、各除去プロンプトを処理することを実証します。
このワンステップアップデートは、コンテキストトークンまたはスプリアスローカル最小のいずれかの正確な検索よりも優れたソリューションを生成し、標準の検索パラダイムを超えて拡張されるダムネットワークの具体的な例を提供します。
全体として、この作業は、Ramsauer et al。によって最初に特定された連想記憶と注意メカニズムの間のリンクを固め、コンテキスト学習の研究における連想記憶モデルの関連性を示しています。

要約(オリジナル)

We introduce in-context denoising, a task that refines the connection between attention-based architectures and dense associative memory (DAM) networks, also known as modern Hopfield networks. Using a Bayesian framework, we show theoretically and empirically that certain restricted denoising problems can be solved optimally even by a single-layer transformer. We demonstrate that a trained attention layer processes each denoising prompt by performing a single gradient descent update on a context-aware DAM energy landscape, where context tokens serve as associative memories and the query token acts as an initial state. This one-step update yields better solutions than exact retrieval of either a context token or a spurious local minimum, providing a concrete example of DAM networks extending beyond the standard retrieval paradigm. Overall, this work solidifies the link between associative memory and attention mechanisms first identified by Ramsauer et al., and demonstrates the relevance of associative memory models in the study of in-context learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google