Dense Associative Memory Through the Lens of Random Features

要約

高密度連想メモリは、ホップフィールド ネットワークの高記憶容量バリアントであり、特定のサイズのネットワークの重みに多数のメモリ パターンを保存できます。
通常、それらの一般的な定式化では、各パターンを別個のシナプス ウェイトのセットに保存する必要があるため、新しいパターンが導入されるとシナプス ウェイトの数が増加します。
この研究では、カーネル メソッドで一般的に使用されるランダム特徴を使用した、このクラスのモデルの代替定式化を提案します。
この定式化では、ネットワークのパラメータの数は固定されたままになります。
同時に、既存の重みを変更することで、新しいメモリをネットワークに追加できます。
我々は、この新しいネットワークが従来の高密度連想記憶のエネルギー関数とダイナミクスを厳密に近似しており、それらの望ましい計算特性を共有していることを示します。

要約(オリジナル)

Dense Associative Memories are high storage capacity variants of the Hopfield networks that are capable of storing a large number of memory patterns in the weights of the network of a given size. Their common formulations typically require storing each pattern in a separate set of synaptic weights, which leads to the increase of the number of synaptic weights when new patterns are introduced. In this work we propose an alternative formulation of this class of models using random features, commonly used in kernel methods. In this formulation the number of network’s parameters remains fixed. At the same time, new memories can be added to the network by modifying existing weights. We show that this novel network closely approximates the energy function and dynamics of conventional Dense Associative Memories and shares their desirable computational properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google