Learning from Linear Algebra: A Graph Neural Network Approach to Preconditioner Design for Conjugate Gradient Solvers

要約

大規模な線形システムは、現代の計算科学と計算工学のいたるところに存在します。
これらを解決するための主なレシピは、適切に設計された前提条件を備えたクリロフ部分空間反復法を使用することです。
深層学習モデルは、共役勾配 (CG) 法などの線形ソルバーの反復中に非線形前提条件として使用できます。
ニューラル ネットワーク モデルをこの設定で適切に近似するには、膨大な数のパラメーターが必要です。
もう 1 つのアプローチは、スモール グラフ ニューラル ネットワーク (GNN) を利用して、事前定義されたスパース パターンを使用してプリコンディショナーを構築することです。
最近、GNN は、古典的な線形代数手法よりも効率的に構築することで、反復法の全体的な計算コストを削減するプリコンディショナーを設計するための有望なツールであることが示されました。
ただし、これらのアプローチで設計されたプリコンディショナーは、CG での反復回数の点で、従来の方法で設計されたプリコンディショナーよりも優れたパフォーマンスを発揮することはできません。
私たちの研究では、線形代数から確立された前処理を思い出し、それを GNN をトレーニングする出発点として使用して、システムの条件数をより大幅に削減する前処理を取得します。
数値実験により、重要なクラスのパラメトリック偏微分方程式に対して、私たちのアプローチが古典的手法とニューラル ネットワーク ベースの手法の両方よりも優れていることが示されています。
また、使用される損失関数のヒューリスティックな正当化を提供し、この損失関数を使用して学習することによって得られるプリコンディショナーが CG にとってより望ましい方法で条件数を削減することを示します。

要約(オリジナル)

Large linear systems are ubiquitous in modern computational science and engineering. The main recipe for solving them is the use of Krylov subspace iterative methods with well-designed preconditioners. Deep learning models can be used as nonlinear preconditioners during the iteration of linear solvers such as the conjugate gradient (CG) method. Neural network models require an enormous number of parameters to approximate well in this setup. Another approach is to take advantage of small graph neural networks (GNNs) to construct preconditioners with predefined sparsity patterns. Recently, GNNs have been shown to be a promising tool for designing preconditioners to reduce the overall computational cost of iterative methods by constructing them more efficiently than with classical linear algebra techniques. However, preconditioners designed with these approaches cannot outperform those designed with classical methods in terms of the number of iterations in CG. In our work, we recall well-established preconditioners from linear algebra and use them as a starting point for training the GNN to obtain preconditioners that reduce the condition number of the system more significantly. Numerical experiments show that our approach outperforms both classical and neural network-based methods for an important class of parametric partial differential equations. We also provide a heuristic justification for the loss function used and show that preconditioners obtained by learning with this loss function reduce the condition number in a more desirable way for CG.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google