Modern Hopfield Networks with Continuous-Time Memories

要約

最近の研究により、近代的なホップフィールドネットワーク（HNS）とトランスの注意ヘッドとの関係が確立され、指数ストレージ容量が保証されています。
ただし、これらのモデルは依然としてストレージのスケーリングを効率的にスケーリングする課題に直面しています。
ワーキングメモリにおける継続的な神経資源の割り当ての心理的理論に触発されて、私たちは、大きな個別のホップフィールドの記憶を小さく連続した時間の記憶に圧縮するアプローチを提案します。
連続的な注意を引く新しいエネルギー関数は、HNSの更新ルールを変更し、従来のソフトマックスベースの確率質量関数を連続メモリ上の確率密度に置き換えます。
この定式化は、人間の実行機能に関する最新の視点と一致し、作業メモリのアトラクタダイナミクスとリソース効率の高いメモリ割り当ての間の原則的なリンクを提供します。
私たちのフレームワークは、圧縮されたメモリを活用しながら、HNSでの競争力のあるパフォーマンスを維持し、合成およびビデオデータセット全体の計算コストを削減します。

要約(オリジナル)

Recent research has established a connection between modern Hopfield networks (HNs) and transformer attention heads, with guarantees of exponential storage capacity. However, these models still face challenges scaling storage efficiently. Inspired by psychological theories of continuous neural resource allocation in working memory, we propose an approach that compresses large discrete Hopfield memories into smaller, continuous-time memories. Leveraging continuous attention, our new energy function modifies the update rule of HNs, replacing the traditional softmax-based probability mass function with a probability density, over the continuous memory. This formulation aligns with modern perspectives on human executive function, offering a principled link between attractor dynamics in working memory and resource-efficient memory allocation. Our framework maintains competitive performance with HNs while leveraging a compressed memory, reducing computational costs across synthetic and video datasets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google