A theoretical framework for overfitting in energy-based modeling

要約

相互作用ネットワークを特定することを目的とした逆問題のペアワイズエネルギーベースのモデルのトレーニングに対する限られたデータの影響を調査します。
ガウスモデルをテストベッドとして利用して、カップリングマトリックスの固有ベシス全体のトレーニング軌跡を分析し、固有モードの独立した進化を活用し、学習タイムスケールが経験的共和性マトリックスのスペクトル分解に結び付けられていることを明らかにします。
これらのタイムスケールとトレーニングの初期条件との間の相互作用から、早期停止に最適なポイントが生じることがわかります。
さらに、有限データ補正は、漸近ランダムマトリックス理論計算を通じて正確にモデル化され、エネルギーベースのモデルコンテキストで一般化された交差検証の対応物を提供できることを示します。
分析フレームワークは、最小限のバリエーションを備えたバイナリ変数最大エントロピーペアワイズモデルに拡張されます。
これらの調査結果は、経験的収縮補正を通じて離散変数モデルの過剰適合を制御する戦略を提供し、エネルギーベースの生成モデルにおける過剰適合の管理を改善します。
最後に、スコアマッチングアルゴリズムの下でスコア関数の神経接線カーネルダイナミクスを導出することにより、任意のエネルギーベースのモデルへの一般化を提案します。

要約(オリジナル)

We investigate the impact of limited data on training pairwise energy-based models for inverse problems aimed at identifying interaction networks. Utilizing the Gaussian model as testbed, we dissect training trajectories across the eigenbasis of the coupling matrix, exploiting the independent evolution of eigenmodes and revealing that the learning timescales are tied to the spectral decomposition of the empirical covariance matrix. We see that optimal points for early stopping arise from the interplay between these timescales and the initial conditions of training. Moreover, we show that finite data corrections can be accurately modeled through asymptotic random matrix theory calculations and provide the counterpart of generalized cross-validation in the energy based model context. Our analytical framework extends to binary-variable maximum-entropy pairwise models with minimal variations. These findings offer strategies to control overfitting in discrete-variable models through empirical shrinkage corrections, improving the management of overfitting in energy-based generative models. Finally, we propose a generalization to arbitrary energy-based models by deriving the neural tangent kernel dynamics of the score function under the score-matching algorithm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google