Toward TransfORmers: Revolutionizing the Solution of Mixed Integer Programs with Transformers

要約

この研究では、特に容量付きロットサイジング問題 (CLSP) に焦点を当て、混合整数プログラムの課題に対処するために変換器モデルを採用した革新的な深層学習フレームワークを紹介します。
私たちの知る限り、私たちのアプローチは、混合整数計画法 (MIP) 問題の 2 値変数を予測するために変換器を利用した最初のものです。
具体的には、私たちのアプローチは、エンコーダー デコーダー トランスフォーマーのシーケンシャル データ処理機能を活用し、CLSP の各期間における生産セットアップの決定を示すバイナリ変数の予測に適しています。
この問題は本質的に動的であり、制約の下で逐次的な意思決定を処理する必要があります。
CLSP ソリューションがトランスフォーマー ニューラル ネットワークを通じて学習される効率的なアルゴリズムを紹介します。
提案された後処理されたトランスフォーマー アルゴリズムは、テストされた 240,000 のベンチマーク CLSP インスタンスにわたる解析時間、最適なギャップ、および実行不可能性のパーセントにおいて、最先端のソルバーである CPLEX および Long Short-Term Memory (LSTM) を上回っています。
ML モデルがトレーニングされた後、モデル上で推論を実行すると、MIP が線形プログラム (LP) に縮小されます。
これにより、LP ソルバーと組み合わせた ML ベースのアルゴリズムが多項式時間近似アルゴリズムに変換され、よく知られた NP ハード問題をほぼ完璧な解の品質で解決します。

要約(オリジナル)

In this study, we introduce an innovative deep learning framework that employs a transformer model to address the challenges of mixed-integer programs, specifically focusing on the Capacitated Lot Sizing Problem (CLSP). Our approach, to our knowledge, is the first to utilize transformers to predict the binary variables of a mixed-integer programming (MIP) problem. Specifically, our approach harnesses the encoder decoder transformer’s ability to process sequential data, making it well-suited for predicting binary variables indicating production setup decisions in each period of the CLSP. This problem is inherently dynamic, and we need to handle sequential decision making under constraints. We present an efficient algorithm in which CLSP solutions are learned through a transformer neural network. The proposed post-processed transformer algorithm surpasses the state-of-the-art solver, CPLEX and Long Short-Term Memory (LSTM) in solution time, optimal gap, and percent infeasibility over 240K benchmark CLSP instances tested. After the ML model is trained, conducting inference on the model, reduces the MIP into a linear program (LP). This transforms the ML-based algorithm, combined with an LP solver, into a polynomial-time approximation algorithm to solve a well-known NP-Hard problem, with almost perfect solution quality.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google