Learning incomplete factorization preconditioners for GMRES

要約

この論文では、大規模な疎行列の不完全な LU 分解を生成するデータ駆動型アプローチを開発します。
学習された近似因数分解は、GMRES メソッドの対応する線形方程式系の前提条件として利用されます。
不完全因数分解法は、疎線形方程式系に最も一般的に適用される代数的前提条件の 1 つであり、クリロフ部分空間法の収束を高速化できます。
ただし、これらはハイパーパラメータの影響を受けやすいため、適切に適用しないと数値的故障が発生したり、収束が遅くなったりする可能性があります。
通常手作業で設計されたアルゴリズムを、近似因数分解を予測するためにデータに対してトレーニングされたグラフ ニューラル ネットワーク ベースのアプローチに置き換えます。
これにより、特定の問題の分布に合わせて調整された前提条件を学習できるようになります。
さまざまな損失関数を分析および経験的に評価して、学習されたプリコンディショナーをトレーニングし、GMRES 反復回数を減らし、合成データセットのスペクトル特性を改善するためのその有効性を示します。
コードは https://github.com/paulhausner/neural-incomplete-factorization で入手できます。

要約(オリジナル)

In this paper, we develop a data-driven approach to generate incomplete LU factorizations of large-scale sparse matrices. The learned approximate factorization is utilized as a preconditioner for the corresponding linear equation system in the GMRES method. Incomplete factorization methods are one of the most commonly applied algebraic preconditioners for sparse linear equation systems and are able to speed up the convergence of Krylov subspace methods. However, they are sensitive to hyper-parameters and might suffer from numerical breakdown or lead to slow convergence when not properly applied. We replace the typically hand-engineered algorithms with a graph neural network based approach that is trained against data to predict an approximate factorization. This allows us to learn preconditioners tailored for a specific problem distribution. We analyze and empirically evaluate different loss functions to train the learned preconditioners and show their effectiveness to decrease the number of GMRES iterations and improve the spectral properties on our synthetic dataset. The code is available at https://github.com/paulhausner/neural-incomplete-factorization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google