It’s All in the Mix: Wasserstein Machine Learning with Mixed Features

要約

問題定義: 運用管理のさまざまな分野にわたるデータ主導型のエンドツーエンドの意思決定の最近の出現により、機械学習による予測モデルとオペレーションズ リサーチによる最適化モデルがますます緊密に統合されています。
この文脈における重要な課題は、予測モデルに推定誤差が存在することです。この推定誤差は、後続の最適化モデルによって増幅される傾向があります。この現象は、しばしば「オプティマイザーの呪い」または「最適化の誤差最大化効果」と呼ばれます。
方法論/結果: このような推定誤差に対処する現代的なアプローチは、すべてのデータ生成分布が過去のサンプルから導出された経験的分布に近いとみなす、分布的に堅牢な問題定式化によって提供されます。ここで、「近さ」はワッサーシュタイン距離によって決まります。
これらの手法は、すべての入力特徴が連続である問題では非常に有望ですが、バイナリ特徴やカテゴリ特徴が存在する場合には指数関数的に拡張されます。
この論文は、このような混合特徴問題が実際に多項式時間で解決できることを実証します。
私たちは、混合特徴問題を解決するための実用的に効率的なアルゴリズムを提示し、標準ベンチマーク インスタンスで理論的および経験的に、私たちの方法を代替手法と比較します。
管理への影響: データ駆動型の運用管理の問題には、離散的な特徴を持つ予測モデルが関係することがよくあります。
私たちは、離散特徴の存在を忠実に考慮する方法論を開発および分析し、理論的にも標準ベンチマーク インスタンス全体でも、私たちのアプローチが離散特徴の存在に依存しない既存の手法よりも大幅に優れていることを実証しました。

要約(オリジナル)

Problem definition: The recent advent of data-driven and end-to-end decision-making across different areas of operations management has led to an ever closer integration of prediction models from machine learning and optimization models from operations research. A key challenge in this context is the presence of estimation errors in the prediction models, which tend to be amplified by the subsequent optimization model — a phenomenon that is often referred to as the Optimizer’s Curse or the Error-Maximization Effect of Optimization. Methodology/results: A contemporary approach to combat such estimation errors is offered by distributionally robust problem formulations that consider all data-generating distributions close to the empirical distribution derived from historical samples, where `closeness’ is determined by the Wasserstein distance. While those techniques show significant promise in problems where all input features are continuous, they scale exponentially when binary and/or categorical features are present. This paper demonstrates that such mixed-feature problems can indeed be solved in polynomial time. We present a practically efficient algorithm to solve mixed-feature problems, and we compare our method against alternative techniques both theoretically and empirically on standard benchmark instances. Managerial implications: Data-driven operations management problems often involve prediction models with discrete features. We develop and analyze a methodology that faithfully accounts for the presence of discrete features, and we demonstrate that our approach can significantly outperform existing methods that are agnostic to the presence of discrete features, both theoretically and across standard benchmark instances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google