Self-Supervised Learning of Iterative Solvers for Constrained Optimization

要約

制約付き最適化問題の解をパラメータの関数として取得することは、制御や計画などの多くのアプリケーションにおいて非常に重要です。
このようなパラメトリック最適化問題をリアルタイムで解くことは、特に高精度の解または解のバッチを取得する必要がある場合に、重大な課題を引き起こす可能性があります。
これらの課題を解決するために、特定のパラメトリック最適化問題に合わせてソルバーをカスタマイズすることで、非常に高速かつ正確な解を得ることができる、制約付き最適化のための学習ベースの反復ソルバーを提案します。
制約付き最適化問題の特定のパラメーター セットに対して、妥当な精度の主双対解を出力するニューラル ネットワーク予測子を使用した最初のステップを提案します。
この主双対解は、ニューラル ネットワークの形式で学習された反復ソルバーによって第 2 ステップで非常に高い精度まで改善されます。
Karush-Kuhn-Tucker の最適条件に基づく新しい損失関数が導入され、オプティマイザ ソリューションの事前サンプリングを必要とせずに、両方のニューラル ネットワークの完全な自己教師ありトレーニングが可能になります。
さまざまな 2 次および非線形パラメトリック テスト問題の評価により、最適解を近似するための予測子だけでも、最近の自己教師ありスキームとすでに競合できることが実証されています。
私たちが提案する学習ベースの反復制約付きオプティマイザーの 2 番目のステップは、他の学習ベースのアプローチよりも桁違いに高い精度でソリューションを実現すると同時に、最先端のソルバーよりも評価が速く、GPU 並列化をネイティブに可能にします。

要約(オリジナル)

Obtaining the solution of constrained optimization problems as a function of parameters is very important in a multitude of applications, such as control and planning. Solving such parametric optimization problems in real time can present significant challenges, particularly when it is necessary to obtain highly accurate solutions or batches of solutions. To solve these challenges, we propose a learning-based iterative solver for constrained optimization which can obtain very fast and accurate solutions by customizing the solver to a specific parametric optimization problem. For a given set of parameters of the constrained optimization problem, we propose a first step with a neural network predictor that outputs primal-dual solutions of a reasonable degree of accuracy. This primal-dual solution is then improved to a very high degree of accuracy in a second step by a learned iterative solver in the form of a neural network. A novel loss function based on the Karush-Kuhn-Tucker conditions of optimality is introduced, enabling fully self-supervised training of both neural networks without the necessity of prior sampling of optimizer solutions. The evaluation of a variety of quadratic and nonlinear parametric test problems demonstrates that the predictor alone is already competitive with recent self-supervised schemes for approximating optimal solutions. The second step of our proposed learning-based iterative constrained optimizer achieves solutions with orders of magnitude better accuracy than other learning-based approaches, while being faster to evaluate than state-of-the-art solvers and natively allowing for GPU parallelization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google