Towards Foundation Models for Mixed Integer Linear Programming

要約

混合整数線形プログラミング（MILP）は、複雑な意思決定の問題をモデル化するために不可欠ですが、計算の扱いやすさの課題に直面しており、専門家の定式化が必要です。
MILPの現在の深い学習アプローチは、特定の問題クラスに焦点を当てており、目に見えないクラスに一般化しません。
この欠点に対処するために、ファンデーションモデルトレーニングアプローチを採用しています。ここでは、MILP問題の多様なセットに関する単一の深い学習モデルをトレーニングして、問題クラス全体で一般化します。
MILPの既存のデータセットには多様性とボリュームがないため、無制限のインスタンスで多様なMILPクラスの大規模なセットを生成できる新しいLLMベースの進化フレームワークであるMILP-EVOLVEを紹介します。
MILPの多様な側面をキャプチャする3つの重要な学習タスクに関する方法論を研究します。（1）積分ギャップ予測、（2）分岐の学習、および（3）MILPインスタンスを自然言語の説明と整列させる新しいタスク。
私たちの経験的結果は、MILP-EVOLVEによって生成されたデータでトレーニングされたモデルが、Miplibベンチマークを含む目に見えない問題について大幅な改善を達成することを示しています。
私たちの研究は、幅広いMILPアプリケーションに一般化できるMILPの基礎モデルアプローチに移行する可能性を強調しています。
私たちのコードとデータは、https://github.com/microsoft/optiguideで公開されています。

要約(オリジナル)

Mixed Integer Linear Programming (MILP) is essential for modeling complex decision-making problems but faces challenges in computational tractability and requires expert formulation. Current deep learning approaches for MILP focus on specific problem classes and do not generalize to unseen classes. To address this shortcoming, we take a foundation model training approach, where we train a single deep learning model on a diverse set of MILP problems to generalize across problem classes. As existing datasets for MILP lack diversity and volume, we introduce MILP-Evolve, a novel LLM-based evolutionary framework that is capable of generating a large set of diverse MILP classes with an unlimited amount of instances. We study our methodology on three key learning tasks that capture diverse aspects of MILP: (1) integrality gap prediction, (2) learning to branch, and (3) a new task of aligning MILP instances with natural language descriptions. Our empirical results show that models trained on the data generated by MILP-Evolve achieve significant improvements on unseen problems, including MIPLIB benchmarks. Our work highlights the potential of moving towards a foundation model approach for MILP that can generalize to a broad range of MILP applications. Our code and data are publicly available at https://github.com/microsoft/OptiGuide.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google