In search of dispersed memories: Generative diffusion models are associative memory networks

要約

ホップフィールド ネットワークは、生物学的連想記憶の単純化された理論モデルとして神経科学で広く使用されています。
オリジナルのホップフィールド ネットワークは、バイナリ関連付けのパターンをエンコードすることによって記憶を保存し、その結果、ヘビアン学習ルールとして知られるシナプス学習メカニズムが生まれます。
最新のホップフィールド ネットワークは、高度に非線形なエネルギー関数を使用することで、指数関数的な容量拡張を実現できます。
ただし、これらの新しいモデルのエネルギー関数は、バイナリ シナプス結合に直接圧縮することができず、新しいシナプス学習ルールを直接提供するものではありません。
この研究では、生成拡散モデルがエネルギーベースのモデルとして解釈できること、および離散パターンでトレーニングされた場合、そのエネルギー関数が現代のホップフィールド ネットワークのエネルギー関数と同等であることを示します。
この等価性により、拡散モデルの教師ありトレーニングを、ディープ ニューラル ネットワークの重み構造で現代のホップフィールド ネットワークの連合ダイナミクスをエンコードするシナプス学習プロセスとして解釈することができます。
したがって、私たちの実験では、連続的な最新のホップフィールド ネットワークの記憶容量が拡散モデルの容量と同一であることを示しました。
私たちの結果は、生成モデリングと記憶の理論的神経科学との間に強いつながりを確立し、記憶の再構成理論に強力な計算基盤を提供し、創造的な生成と記憶の想起を統一された連続体の一部として見ることができます。

要約(オリジナル)

Hopfield networks are widely used in neuroscience as simplified theoretical models of biological associative memory. The original Hopfield networks store memories by encoding patterns of binary associations, which result in a synaptic learning mechanism known as Hebbian learning rule. Modern Hopfield networks can achieve exponential capacity scaling by using highly non-linear energy functions. However, the energy function of these newer models cannot be straightforwardly compressed into binary synaptic couplings and it does not directly provide new synaptic learning rules. In this work we show that generative diffusion models can be interpreted as energy-based models and that, when trained on discrete patterns, their energy function is equivalent to that of modern Hopfield networks. This equivalence allows us to interpret the supervised training of diffusion models as a synaptic learning process that encodes the associative dynamics of a modern Hopfield network in the weight structure of a deep neural network. Accordingly, in our experiments we show that the storage capacity of a continuous modern Hopfield network is identical to the capacity of a diffusion model. Our results establish a strong link between generative modeling and the theoretical neuroscience of memory, which provide a powerful computational foundation for the reconstructive theory of memory, where creative generation and memory recall can be seen as parts of a unified continuum.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google