A Kaczmarz-inspired approach to accelerate the optimization of neural network wavefunctions

要約

変分モンテカルロ法を使用して最適化されたニューラル ネットワークの波動関数は、原子や小分子の電子構造について高精度の結果を生成することが示されていますが、このような波動関数の最適化にはコストがかかるため、より大規模なシステムへの適用は妨げられています。
このボトルネックを軽減するために、サブサンプル投影増分自然勾配降下法 (SPRING) オプティマイザーを提案します。
SPRING は、最近導入された最小ステップ確率的再構成オプティマイザー (MinSR) と、線形最小二乗問題を解決するための古典的なランダム化 Kaczmarz 法のアイデアを組み合わせています。
すべての手法の学習率が最適に調整されていることを前提として、SPRING が多数の小さな原子および分子にわたって MinSR と一般的なクロネッカー因子近似曲率法 (KFAC) の両方を上回るパフォーマンスを発揮することを実証します。
たとえば、酸素原子の場合、SPRING は 4 万回のトレーニング反復後に化学的精度を達成しますが、MinSR と KFAC は両方とも 10 万回の反復後でも化学的精度を達成できません。

要約(オリジナル)

Neural network wavefunctions optimized using the variational Monte Carlo method have been shown to produce highly accurate results for the electronic structure of atoms and small molecules, but the high cost of optimizing such wavefunctions prevents their application to larger systems. We propose the Subsampled Projected-Increment Natural Gradient Descent (SPRING) optimizer to reduce this bottleneck. SPRING combines ideas from the recently introduced minimum-step stochastic reconfiguration optimizer (MinSR) and the classical randomized Kaczmarz method for solving linear least-squares problems. We demonstrate that SPRING outperforms both MinSR and the popular Kronecker-Factored Approximate Curvature method (KFAC) across a number of small atoms and molecules, given that the learning rates of all methods are optimally tuned. For example, on the oxygen atom, SPRING attains chemical accuracy after forty thousand training iterations, whereas both MinSR and KFAC fail to do so even after one hundred thousand iterations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google