Kernel Ridge Regression for Efficient Learning of High-Capacity Hopfield Networks

要約

Hebbian Learningを使用したHopfieldネットワークは、限られたストレージ容量に苦しんでいます。
線形ロジスティック回帰（LLR）などの教師された方法はいくらかの改善を提供しますが、カーネルロジスティック回帰（KLR）などのカーネルメソッドは容量とノイズの堅牢性を大幅に向上させます。
ただし、KLRには計算上の高価な反復学習が必要です。
大容量のホップフィールドネットワークを学習するための効率的なカーネルベースの代替品として、カーネルリッジ回帰（KRR）を提案します。
KRRはカーネルトリックを利用し、回帰を介して双極状態を予測し、デュアル変数を学習するための非適格で閉じたソリューションを決定的に提供します。
KRRを評価し、そのパフォーマンスをヘビアン、LLR、およびKLRと比較します。
我々の結果は、KRRがKLRに匹敵する最先端のストレージ容量（$ \ beta $ = 1.5に達する）とノイズの堅牢性を達成することを示しています。
重要なことに、KRRはトレーニング時間を大幅に短縮し、特により高いストレージ負荷で、LLRよりも程度速く、KLRよりも大幅に速くなります。
これにより、KRRは高性能の連想記憶を構築するための強力で非常に効率的な方法として確立され、KLRに匹敵するパフォーマンスを実質的なトレーニング速度の利点で提供します。
この作業は、Hopfield Network LearningのコンテキストでのKRRとKLRの最初の経験的比較を提供します。

要約(オリジナル)

Hopfield networks using Hebbian learning suffer from limited storage capacity. While supervised methods like Linear Logistic Regression (LLR) offer some improvement, kernel methods like Kernel Logistic Regression (KLR) significantly enhance capacity and noise robustness. However, KLR requires computationally expensive iterative learning. We propose Kernel Ridge Regression (KRR) as an efficient kernel-based alternative for learning high-capacity Hopfield networks. KRR utilizes the kernel trick and predicts bipolar states via regression, crucially offering a non-iterative, closed-form solution for learning dual variables. We evaluate KRR and compare its performance against Hebbian, LLR, and KLR. Our results demonstrate that KRR achieves state-of-the-art storage capacity (reaching $\beta$=1.5) and noise robustness, comparable to KLR. Crucially, KRR drastically reduces training time, being orders of magnitude faster than LLR and significantly faster than KLR, especially at higher storage loads. This establishes KRR as a potent and highly efficient method for building high-performance associative memories, providing comparable performance to KLR with substantial training speed advantages. This work provides the first empirical comparison between KRR and KLR in the context of Hopfield network learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google