Thermodynamics of bidirectional associative memories

要約

この論文では、双方向連想メモリ（BAM）の平衡特性を調査します。
1988 年に Kosko によって導入されたホップフィールド モデルの 2 部構造への一般化として、最も単純なアーキテクチャは 2 層のニューロンによって定義され、異なる層のユニット間にのみシナプス接続があり、各層内の内部接続がなくても、情報の保存と検索が行われます。
ある層から別の層に渡される神経活動の反響を通じて、まだ可能です。
統計物理学の厳密な手法を適用することにより、熱力学的極限におけるこのモデルの確率的拡張の計算能力を特徴付けます。
レプリカ対称レベルでの状態図の詳細図が、有限温度とノイズのない領域の両方で提供されます。
後者についても、レプリカ対称性の破れの 1 ステップまで、臨界負荷がさらに調査されます。
制御パラメーター (ノイズ、負荷、および 2 つの層サイズ間の非対称性) が調整されると、遷移曲線 (つまり、マシンのさまざまな動作モードを分割する重要な線) の分析および数値検査が実行されます。
特に、2 つのレイヤー間に有限の非対称性がある場合、固定数のパターンをエンコードするために必要なパラメーターが少なくて済むため、BAM がホップフィールド モデルよりも効率的に情報を格納できることが示されています。
神経ダイナミクスの数値シミュレーションとの比較が行われます。
最後に、低負荷解析を実行して、2 つの相互作用するホップフィールド モデルとの類推によって BAM の検索メカニズムを説明します。
結合された 2 つの制限付きボルトザン マシンとの潜在的な同等性についても説明します。

要約(オリジナル)

In this paper we investigate the equilibrium properties of bidirectional associative memories (BAMs). Introduced by Kosko in 1988 as a generalization of the Hopfield model to a bipartite structure, the simplest architecture is defined by two layers of neurons, with synaptic connections only between units of different layers: even without internal connections within each layer, information storage and retrieval are still possible through the reverberation of neural activities passing from one layer to another. We characterize the computational capabilities of a stochastic extension of this model in the thermodynamic limit, by applying rigorous techniques from statistical physics. A detailed picture of the phase diagram at the replica symmetric level is provided, both at finite temperature and in the noiseless regimes. Also for the latter, the critical load is further investigated up to one step of replica symmetry breaking. An analytical and numerical inspection of the transition curves (namely critical lines splitting the various modes of operation of the machine) is carried out as the control parameters – noise, load and asymmetry between the two layer sizes – are tuned. In particular, with a finite asymmetry between the two layers, it is shown how the BAM can store information more efficiently than the Hopfield model by requiring less parameters to encode a fixed number of patterns. Comparisons are made with numerical simulations of neural dynamics. Finally, a low-load analysis is carried out to explain the retrieval mechanism in the BAM by analogy with two interacting Hopfield models. A potential equivalence with two coupled Restricted Boltmzann Machines is also discussed.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google