Storage and Learning phase transitions in the Random-Features Hopfield Model

要約

【タイトル】ランダム特徴ホップフィールドモデルにおけるストレージと学習フェーズの相転移

【要約】
・ホップフィールドモデルは、統計物理学、神経科学、機械学習のコミュニティで何十年も分析されてきた神経ネットワークの典型的なモデルである。
・機械学習におけるマニフォールド仮説に影響を受け、通常の設定の一般化であるランダム特徴ホップフィールドモデルを提案し、調査した。
・ここでは、長さNのバイナリパターンPを生成するために、D次元の潜在空間でサンプリングされたガウスベクトルにランダム投影と非線形を適用する。
・統計物理学からのレプリカ法を使用して、固定された比率α=P/NおよびαD=D/Nで$P$、$N$、$D$を無限大に近づけた場合のモデルの位相図を導出した結果、通常の回復フェーズのほかに、投影を特徴づける特徴を回復できる新しいフェーズが明らかになった。
・特徴は明示的にモデルに与えられるのではなく、教師なしの方法でパターンから推定されるため、この現象を学習フェーズ転移と呼んでいる。

要約(オリジナル)

The Hopfield model is a paradigmatic model of neural networks that has been analyzed for many decades in the statistical physics, neuroscience, and machine learning communities. Inspired by the manifold hypothesis in machine learning, we propose and investigate a generalization of the standard setting that we name Random-Features Hopfield Model. Here $P$ binary patterns of length $N$ are generated by applying to Gaussian vectors sampled in a latent space of dimension $D$ a random projection followed by a non-linearity. Using the replica method from statistical physics, we derive the phase diagram of the model in the limit $P,N,D\to\infty$ with fixed ratios $\alpha=P/N$ and $\alpha_D=D/N$. Besides the usual retrieval phase, where the patterns can be dynamically recovered from some initial corruption, we uncover a new phase where the features characterizing the projection can be recovered instead. We call this phenomena the learning phase transition, as the features are not explicitly given to the model but rather are inferred from the patterns in an unsupervised fashion.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI