LLMs for Cold-Start Cutting Plane Separator Configuration

要約

混合整数線形計画法 (MILP) ソルバーには、最適化の専門家以外のすべてのユーザーにとって、アプリオリに選択するのが難しい膨大な数のパラメーターが付属していますが、MILP ソルバーのパフォーマンスに多大な影響を与える可能性があります。
ソルバーを構成する既存の機械学習 (ML) アプローチでは、関連する数千の MILP インスタンスを解決して ML モデルをトレーニングする必要があり、新しい問題サイズへの一般化が不十分であり、多くの場合、既存の最適化ワークフローに統合するのが難しい複雑な ML パイプラインとカスタム ソルバー インターフェイスの実装が必要です。
。
このペーパーでは、問題の自然言語記述や関連する問題など、インスタンスの特性に基づいたトレーニング データをほとんどまたはまったく使用せずに、特定の MILP 問題にどの切断面セパレーターを使用するかを構成する、新しい LLM ベースのフレームワークを紹介します。
ラテックス配合。
これらの LLM には、セパレータに関する既存の研究文献を要約することによって、特定のソルバーで利用可能な切断面セパレータの説明が追加されています。
個々のソルバー構成のパフォーマンスには大きなばらつきがありますが、構成をクラスター化および集約して、高性能構成の小さなポートフォリオを作成する新しいアンサンブル戦略を提案します。
当社の LLM ベースの方法論では、カスタム ソルバー インターフェイスは必要なく、少数の MILP のみを解決することで高パフォーマンスの構成を見つけることができ、1 秒以内に実行される単純な API 呼び出しで構成を生成できます。
数値結果は、私たちのアプローチが、一連の古典的な組み合わせ最適化問題や実世界のデータセットにおいて、トレーニング データと計算時間のほんの一部で既存の構成アプローチと競合できることを示しています。

要約(オリジナル)

Mixed integer linear programming (MILP) solvers ship with a staggering number of parameters that are challenging to select a priori for all but expert optimization users, but can have an outsized impact on the performance of the MILP solver. Existing machine learning (ML) approaches to configure solvers require training ML models by solving thousands of related MILP instances, generalize poorly to new problem sizes, and often require implementing complex ML pipelines and custom solver interfaces that can be difficult to integrate into existing optimization workflows. In this paper, we introduce a new LLM-based framework to configure which cutting plane separators to use for a given MILP problem with little to no training data based on characteristics of the instance, such as a natural language description of the problem and the associated LaTeX formulation. We augment these LLMs with descriptions of cutting plane separators available in a given solver, grounded by summarizing the existing research literature on separators. While individual solver configurations have a large variance in performance, we present a novel ensembling strategy that clusters and aggregates configurations to create a small portfolio of high-performing configurations. Our LLM-based methodology requires no custom solver interface, can find a high-performing configuration by solving only a small number of MILPs, and can generate the configuration with simple API calls that run in under a second. Numerical results show our approach is competitive with existing configuration approaches on a suite of classic combinatorial optimization problems and real-world datasets with only a fraction of the training data and computation time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google