Benchmarking PtO and PnO Methods in the Predictive Combinatorial Optimization Regime

要約

予測的組み合わせ最適化は、意思決定時点では組み合わせ最適化 (CO) のパラメーターが不明であり、エネルギーコストを意識したスケジューリングや広告への予算割り当てなど、多くの実世界のアプリケーションを正確にモデリングします。
このような問題に取り組むには、通常、予測モデルと CO ソルバーが必要になります。
これら 2 つのモジュールは、2 つの設計原則に従って予測 CO パイプラインに統合されています。「Predict-then-Optimize (PtO)」では、教師ありトレーニングによって予測を学習し、その後、予測係数を使用して CO を解決します。もう 1 つは、「Predict-and-Optimize」という名前です。
「最適化 (PnO)」は、最終的な意思決定の品質に向けて直接最適化し、従来の PtO アプローチよりも優れた意思決定をもたらすと主張しています。
ただし、モジュール レベルでの具体的な設計の選択や、代表的な現実世界のシナリオをカバーする評価データセットなど、両方のアプローチの体系的なベンチマークが不足しています。
この目的を達成するために、私たちは、リリースされる予定の組み合わせ広告用の新しい産業データセットを含む、8 つの問題に関して 11 の既存の PtO/PnO 手法をベンチマークするためのモジュール式フレームワークを開発しました。
私たちの調査では、8 つのベンチマークのうち 7 つで PnO アプローチが PtO よりも優れていることが示されていますが、PnO の特定の設計選択に対する特効薬は見つかりません。
現在のアプローチの包括的な分類と典型的なシナリオの統合が、統一されたベンチマークの下で提供されます。
したがって、このペーパーは将来の PnO アプローチ開発の包括的なベンチマークとして機能し、アプリケーション中心の開発のための迅速なプロトタイピングも提供する可能性があります。
コードは https://github.com/Thinklab-SJTU/PredictiveCO-Benchmark で入手できます。

要約(オリジナル)

Predictive combinatorial optimization, where the parameters of combinatorial optimization (CO) are unknown at the decision-making time, is the precise modeling of many real-world applications, including energy cost-aware scheduling and budget allocation on advertising. Tackling such a problem usually involves a prediction model and a CO solver. These two modules are integrated into the predictive CO pipeline following two design principles: ‘Predict-then-Optimize (PtO)’, which learns predictions by supervised training and subsequently solves CO using predicted coefficients, while the other, named ‘Predict-and-Optimize (PnO)’, directly optimizes towards the ultimate decision quality and claims to yield better decisions than traditional PtO approaches. However, there lacks a systematic benchmark of both approaches, including the specific design choices at the module level, as well as an evaluation dataset that covers representative real-world scenarios. To this end, we develop a modular framework to benchmark 11 existing PtO/PnO methods on 8 problems, including a new industrial dataset for combinatorial advertising that will be released. Our study shows that PnO approaches are better than PtO on 7 out of 8 benchmarks, but there is no silver bullet found for the specific design choices of PnO. A comprehensive categorization of current approaches and integration of typical scenarios are provided under a unified benchmark. Therefore, this paper could serve as a comprehensive benchmark for future PnO approach development and also offer fast prototyping for application-focused development. The code is available at https://github.com/Thinklab-SJTU/PredictiveCO-Benchmark.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google