Learning to Warm-Start Fixed-Point Optimization Algorithms

要約

固定小数点最適化アルゴリズムをウォームスタートするための機械学習フレームワークを導入します。
私たちのアーキテクチャは、問題パラメータをウォーム スタートにマッピングするニューラル ネットワークと、それに続く事前定義された数の固定小数点反復で構成されます。
固定小数点残差またはグラウンド トゥルース ソリューションまでの距離を最小化するように設計された 2 つの損失関数を提案します。
このように、ニューラル ネットワークは、下流の損失を最小限に抑えるというエンドツーエンドの目標を持ったウォーム スタートを予測します。
私たちのアーキテクチャの重要な特徴は、トレーニングされたステップ数に制限されることなく、任意のステップ数で実行される固定小数点アルゴリズムのウォーム スタートを予測できるという柔軟性です。
固定小数点演算子の一般的なクラス (収縮、線形収束、平均) に対して、目に見えないデータに対する PAC ベイズ一般化限界を提供します。
このフレームワークを制御、統計、信号処理のよく知られたアプリケーションに適用すると、学習されたウォーム スタートによって、これらの問題を解決するために必要な反復回数と解決時間が大幅に削減されることがわかります。

要約(オリジナル)

We introduce a machine-learning framework to warm-start fixed-point optimization algorithms. Our architecture consists of a neural network mapping problem parameters to warm starts, followed by a predefined number of fixed-point iterations. We propose two loss functions designed to either minimize the fixed-point residual or the distance to a ground truth solution. In this way, the neural network predicts warm starts with the end-to-end goal of minimizing the downstream loss. An important feature of our architecture is its flexibility, in that it can predict a warm start for fixed-point algorithms run for any number of steps, without being limited to the number of steps it has been trained on. We provide PAC-Bayes generalization bounds on unseen data for common classes of fixed-point operators: contractive, linearly convergent, and averaged. Applying this framework to well-known applications in control, statistics, and signal processing, we observe a significant reduction in the number of iterations and solution time required to solve these problems, through learned warm starts.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google