The Hidden-Manifold Hopfield Model and a learning phase transition

要約

ホップフィールド モデルは、理論が利用できる数少ないニューラル ネットワークの 1 つであり、統計物理学において長年の伝統があります。
相関データのホップフィールド モデルの理論を拡張すると、たとえば、データから特徴を抽出する方法を説明するなど、ディープ ニューラル ネットワークの成功を理解するのに役立つ可能性があります。
これに動機付けられて、隠れ多様体ホップフィールド モデルと名付けた一般化されたホップフィールド モデルを提案し、調査します。$D=\alpha_D の非線形変換を使用して、ヘッブ ルールで $P=\alpha N$ の例からカップリングを生成します。
因子と呼ばれる N$ ランダム ベクトル。$N$ はニューロンの数です。
レプリカ法を使用して、例に隠された要因がダイナミクスのアトラクターになる相転移を示すモデルの相図を取得します。
このフェーズは、臨界値 $\alpha$ より上で、臨界値 $\alpha_D$ より下に存在します。
これを行動学習遷移と呼びます。

要約(オリジナル)

The Hopfield model has a long-standing tradition in statistical physics, being one of the few neural networks for which a theory is available. Extending the theory of Hopfield models for correlated data could help understand the success of deep neural networks, for instance describing how they extract features from data. Motivated by this, we propose and investigate a generalized Hopfield model that we name Hidden-Manifold Hopfield Model: we generate the couplings from $P=\alpha N$ examples with the Hebb rule using a non-linear transformation of $D=\alpha_D N$ random vectors that we call factors, with $N$ the number of neurons. Using the replica method, we obtain a phase diagram for the model that shows a phase transition where the factors hidden in the examples become attractors of the dynamics; this phase exists above a critical value of $\alpha$ and below a critical value of $\alpha_D$. We call this behaviour learning transition.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google