Inferring effective couplings with Restricted Boltzmann Machines

要約

生成モデルは、複雑なデータをモデル化する直接的な方法を提供します。
その中で、エネルギーベースのモデルは、データ内で観察されるすべての統計的相関をモデルのボルツマン重みのレベルで正確に再現することを目的としたニューラル ネットワーク モデルを提供します。
ただし、1 つの課題は、そのようなモデルの物理的解釈を理解することです。
この研究では、拘束ボルツマンマシンのエネルギー関数とスピン間の高次相互作用を含む有効イジングスピンハミルトニアンの間の直接マッピングを実装することにより、単純な解決策を提案します。
このマッピングには、考えられるすべての次数の相互作用が含まれており、逆イジング手法で通常考慮される従来のペアごとの相互作用を超え、複雑なデータセットの記述が可能になります。
以前の研究ではこの目標を達成しようとしましたが、提案されたマッピングは問題の複雑さを適切に処理していないか、実用化のための直接の処方箋が含まれていませんでした。
私たちの方法を検証するために、さまざまな低次元トポロジーにおける局所的な外部場、二体および三体の相互作用を含む事前定義モデルの平衡サンプルを使用して RBM をトレーニングするいくつかの制御された数値実験を実行しました。
この結果は、正しい相互作用ネットワークを学習する上で私たちが提案したアプローチの有効性を実証し、興味深いデータセットのモデル化にその応用への道を開くものです。
また、さまざまなトレーニング方法に基づいて、推論されたモデルの品質も評価します。

要約(オリジナル)

Generative models offer a direct way to model complex data. Among them, energy-based models provide us with a neural network model that aims to accurately reproduce all statistical correlations observed in the data at the level of the Boltzmann weight of the model. However, one challenge is to understand the physical interpretation of such models. In this study, we propose a simple solution by implementing a direct mapping between the energy function of the Restricted Boltzmann Machine and an effective Ising spin Hamiltonian that includes high-order interactions between spins. This mapping includes interactions of all possible orders, going beyond the conventional pairwise interactions typically considered in the inverse Ising approach, and allowing the description of complex datasets. Earlier works attempted to achieve this goal, but the proposed mappings did not do properly treat the complexity of the problem or did not contain direct prescriptions for practical application. To validate our method, we performed several controlled numerical experiments where we trained the RBMs using equilibrium samples of predefined models containing local external fields, two-body and three-body interactions in various low-dimensional topologies. The results demonstrate the effectiveness of our proposed approach in learning the correct interaction network and pave the way for its application in modeling interesting datasets. We also evaluate the quality of the inferred model based on different training methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google