Learning to Relax: Setting Solver Parameters Across a Sequence of Linear System Instances

要約

連立一次方程式$Ax=b$の解法は科学計算の基本であり、数多くのソルバーやプリコンディショナーが開発されている。これらのソルバーやプリコンディショナーには、最適値が解かれる系に依存するパラメータが付属しており、それを特定することはしばしば不可能であったり、コストがかかりすぎたりする。我々は、例えば1回の数値シミュレーションの間に、多くの関連する線形システムを解く必要があるという一般的な設定を考える。このような場合、余分な行列計算をすることなく、全体の反復回数がほぼ最適になるようなパラメータを逐次選択できるだろうか？パラメータ$omega$が実行時間に強く影響する標準的なソルバーであるSuccessive Over-Relaxation(SOR)について、肯定的に答える。この方法に対して、バンディット・オンライン学習アルゴリズム（フィードバックとして反復回数のみを用いる）が、シーケンスの長さが長くなるにつれて、全体のコストが最適な固定$omega$のそれに近づくように、一連のインスタンスのパラメータを選択できることを証明する。さらに、追加的な構造情報が与えられたとき、文脈バンディット法が、各インスタンスに対して最適な$omega$を選択するインスタンス最適政策の性能を漸近的に達成することを示す。我々の研究は、高精度線形システムソルバーの初の学習理論的取り扱いと、データ駆動型科学計算の初のエンドツーエンド保証を提供し、よく理解された学習アルゴリズムを用いた数値計算手法の高速化の可能性を理論的に示す。

要約(オリジナル)

Solving a linear system $Ax=b$ is a fundamental scientific computing primitive for which numerous solvers and preconditioners have been developed. These come with parameters whose optimal values depend on the system being solved and are often impossible or too expensive to identify; thus in practice sub-optimal heuristics are used. We consider the common setting in which many related linear systems need to be solved, e.g. during a single numerical simulation. In this scenario, can we sequentially choose parameters that attain a near-optimal overall number of iterations, without extra matrix computations? We answer in the affirmative for Successive Over-Relaxation (SOR), a standard solver whose parameter $\omega$ has a strong impact on its runtime. For this method, we prove that a bandit online learning algorithm — using only the number of iterations as feedback — can select parameters for a sequence of instances such that the overall cost approaches that of the best fixed $\omega$ as the sequence length increases. Furthermore, when given additional structural information, we show that a contextual bandit method asymptotically achieves the performance of the instance-optimal policy, which selects the best $\omega$ for each instance. Our work provides the first learning-theoretic treatment of high-precision linear system solvers and the first end-to-end guarantees for data-driven scientific computing, demonstrating theoretically the potential to speed up numerical methods using well-understood learning algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL