SurCo: Learning Linear Surrogates For Combinatorial Nonlinear Optimization Problems

要約

非線形のコスト関数と組み合わせ制約を伴う最適化問題は、多くの実世界のアプリケーションに現れますが、線形の対応物と比較して効率的に解決するのは依然として困難です。
このギャップを埋めるために、既存の $\underline{\text{Co}}$mbinatorial ソルバーで使用できる線形 $\underline{\text{Sur}}$rogate コストを学習する $\textbf{SurCo}$ を提案します。
元の非線形組み合わせ最適化問題に対する適切な解を出力します。
サロゲート コストは、勾配ベースの手法の柔軟性と線形組み合わせ最適化の構造を組み合わせて、線形サロゲート ソルバーを通じて微分することにより、非線形損失を含めてエンドツーエンドで学習されます。
$\texttt{SurCo}$ の 3 つのバリアントを提案します。個々の非線形問題には $\texttt{SurCo}-\texttt{zero}$、問題分布には $\texttt{SurCo}-\texttt{prior}$、そして $\
texttt{SurCo}-\texttt{hybrid}$ は、分布と問題固有の情報の両方を結合します。
$\texttt{SurCo}$ を動機付ける理論的な直観を与え、それを経験的に評価します。
実験の結果、$\texttt{SurCo}$ は、埋め込みテーブル シャーディング、逆フォトニック デザイン、非線形ルート プランニングなどの現実世界の最適化問題において、最先端の分野専門家によるアプローチよりも迅速に優れた解決策を見つけることができました。

要約(オリジナル)

Optimization problems with nonlinear cost functions and combinatorial constraints appear in many real-world applications but remain challenging to solve efficiently compared to their linear counterparts. To bridge this gap, we propose $\textbf{SurCo}$ that learns linear $\underline{\text{Sur}}$rogate costs which can be used in existing $\underline{\text{Co}}$mbinatorial solvers to output good solutions to the original nonlinear combinatorial optimization problem. The surrogate costs are learned end-to-end with nonlinear loss by differentiating through the linear surrogate solver, combining the flexibility of gradient-based methods with the structure of linear combinatorial optimization. We propose three $\texttt{SurCo}$ variants: $\texttt{SurCo}-\texttt{zero}$ for individual nonlinear problems, $\texttt{SurCo}-\texttt{prior}$ for problem distributions, and $\texttt{SurCo}-\texttt{hybrid}$ to combine both distribution and problem-specific information. We give theoretical intuition motivating $\texttt{SurCo}$, and evaluate it empirically. Experiments show that $\texttt{SurCo}$ finds better solutions faster than state-of-the-art and domain expert approaches in real-world optimization problems such as embedding table sharding, inverse photonic design, and nonlinear route planning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google