Hopfield model with planted patterns: a teacher-student self-supervised learning model

要約

ホップフィールド ネットワークはメモリの保存と取得のパラダイム モデルとして知られていますが、現代の人工知能システムは主に機械学習パラダイムに基づいています。
構造化パターンを使用したホップフィールド モデルの適切な一般化の観点から、ボルツマン マシンを使用した教師と生徒の自己教師あり学習問題を定式化できることを示します。ここで、スピン変数はマシンの重みであり、パターンはトレーニング セットの例に対応します。
。
トレーニング セットのサイズ、データセットのノイズ、推論温度 (つまり、重みの正則化) の観点からフェーズ ダイアグラムを調べることにより、学習パフォーマンスを分析します。
小さいながらも有益なデータセットを使用すると、マシンは記憶することで学習できます。
ノイズの多いデータセットでは、臨界しきい値を超える膨大な数のサンプルが必要になります。
この領域では、システムのメモリ記憶域の制限が、システムが一般化できる学習領域を発生させる機会になります。

要約(オリジナル)

While Hopfield networks are known as paradigmatic models for memory storage and retrieval, modern artificial intelligence systems mainly stand on the machine learning paradigm. We show that it is possible to formulate a teacher-student self-supervised learning problem with Boltzmann machines in terms of a suitable generalization of the Hopfield model with structured patterns, where the spin variables are the machine weights and patterns correspond to the training set’s examples. We analyze the learning performance by studying the phase diagram in terms of the training set size, the dataset noise and the inference temperature (i.e. the weight regularization). With a small but informative dataset the machine can learn by memorization. With a noisy dataset, an extensive number of examples above a critical threshold is needed. In this regime the memory storage limits of the system becomes an opportunity for the occurrence of a learning regime in which the system can generalize.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google