Accelerating Hopfield Network Dynamics: Beyond Synchronous Updates and Forward Euler

要約

ホップフィールド ネットワークは、機械学習における基本的なエネルギー ベースのモデルとして機能し、常微分方程式 (ODE) を通じてメモリ検索ダイナミクスをキャプチャします。
モデルの出力、つまり ODE の平衡点は、従来、フォワード オイラー法を使用した同期更新によって計算されます。
この文書は、このアプローチの欠点のいくつかを克服することを目的としています。
私たちは、ホップフィールド ネットワークを深層平衡モデル (DEQ) のインスタンスとして見るという概念の転換を提案します。
DEQ フレームワークは、特殊なソルバーの使用を可能にするだけでなく、「偶数-奇数分割」と呼ぶ経験的推論手法に関する新しい洞察にもつながります。
この方法の理論的分析により、従来の同期更新の約 2 倍の速度で収束する、並列化可能な非同期更新スキームが明らかになりました。
経験的評価によりこれらの発見が検証され、ホップフィールド ネットワークにおけるエネルギー最小化をデジタル的にシミュレーションする際の DEQ フレームワークと偶数-奇数分割の両方の利点が示されています。
コードは https://github.com/cgoemaere/hopdeq で入手できます。

要約(オリジナル)

The Hopfield network serves as a fundamental energy-based model in machine learning, capturing memory retrieval dynamics through an ordinary differential equation (ODE). The model’s output, the equilibrium point of the ODE, is traditionally computed via synchronous updates using the forward Euler method. This paper aims to overcome some of the disadvantages of this approach. We propose a conceptual shift, viewing Hopfield networks as instances of Deep Equilibrium Models (DEQs). The DEQ framework not only allows for the use of specialized solvers, but also leads to new insights on an empirical inference technique that we will refer to as ‘even-odd splitting’. Our theoretical analysis of the method uncovers a parallelizable asynchronous update scheme, which should converge roughly twice as fast as the conventional synchronous updates. Empirical evaluations validate these findings, showcasing the advantages of both the DEQ framework and even-odd splitting in digitally simulating energy minimization in Hopfield networks. The code is available at https://github.com/cgoemaere/hopdeq

arxiv情報

提供元, 利用サービス

arxiv.jp, Google