Kernel Ridge Regression for Efficient Learning of High-Capacity Hopfield Networks

要約

ヘッブ学習を用いたホップフィールドネットワークは、記憶容量の制限に悩まされている。線形ロジスティック回帰(LLR)のような教師あり手法はある程度の改善をもたらすが、カーネル・ロジスティック回帰(KLR)のようなカーネル手法は、容量とノイズ・ロバスト性を大幅に向上させる。しかし、KLRは計算コストの高い反復学習を必要とする。我々は、高容量のホップフィールドネットワークを学習するための効率的なカーネルベースの代替法として、カーネルリッジ回帰（KRR）を提案する。KRRはカーネルトリックを利用し、回帰によって双極状態を予測し、デュアル変数の学習のための非反復的な閉形式解を提供することが重要である。我々はKRRを評価し、その性能をHebbian、LLR、KLRと比較する。我々の結果は、KRRがKLRに匹敵する最先端の記憶容量（$beta$=1.5に達する）とノイズ頑健性を達成することを示す。特に重要なことは、KRRは学習時間を劇的に短縮し、LLRより桁違いに速く、特に記憶負荷が高い場合にはKLRより有意に速いことである。これにより、KRRは高性能連想メモリを構築するための強力で高効率な手法として確立され、KLRに匹敵する性能と大幅なトレーニング速度の利点を提供します。本研究は、ホップフィールドネットワーク学習の文脈におけるKRRとKLRの最初の実証的比較を提供する。

要約(オリジナル)

Hopfield networks using Hebbian learning suffer from limited storage capacity. While supervised methods like Linear Logistic Regression (LLR) offer some improvement, kernel methods like Kernel Logistic Regression (KLR) significantly enhance capacity and noise robustness. However, KLR requires computationally expensive iterative learning. We propose Kernel Ridge Regression (KRR) as an efficient kernel-based alternative for learning high-capacity Hopfield networks. KRR utilizes the kernel trick and predicts bipolar states via regression, crucially offering a non-iterative, closed-form solution for learning dual variables. We evaluate KRR and compare its performance against Hebbian, LLR, and KLR. Our results demonstrate that KRR achieves state-of-the-art storage capacity (reaching $\beta$=1.5) and noise robustness, comparable to KLR. Crucially, KRR drastically reduces training time, being orders of magnitude faster than LLR and significantly faster than KLR, especially at higher storage loads. This establishes KRR as a potent and highly efficient method for building high-performance associative memories, providing comparable performance to KLR with substantial training speed advantages. This work provides the first empirical comparison between KRR and KLR in the context of Hopfield network learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL