End-to-End Conformal Calibration for Optimization Under Uncertainty

要約

機械学習は、幅広い領域における不確実性の下での意思決定のパフォーマンスを大幅に向上させることができます。
ただし、堅牢性の保証を確保するには、適切に調整された不確実性の推定が必要ですが、ディープ ニューラル ネットワークなどの大容量予測モデルではこれを達成するのが困難な場合があります。
さらに、高次元の設定では、有効な不確実性の推定値が多数存在する可能性があり、それぞれが独自のパフォーマンスプロファイルを持っています。つまり、すべての不確実性が下流の意思決定にとって同等に価値があるわけではありません。
この問題に対処するために、この論文では、等角予測によって提供されるロバスト性とキャリブレーション保証を備えた、条件付きロバスト最適化のための不確実性推定を学習するためのエンドツーエンドのフレームワークを開発します。
さらに、フレームワークの一部として学習される部分入力凸ニューラル ネットワークを使用して、任意の凸不確実性セットを表現することを提案します。
当社のアプローチは、エネルギー貯蔵裁定取引とポートフォリオ最適化における具体的なアプリケーションでの 2 段階の見積もりと最適化のベースラインを一貫して改善しています。

要約(オリジナル)

Machine learning can significantly improve performance for decision-making under uncertainty in a wide range of domains. However, ensuring robustness guarantees requires well-calibrated uncertainty estimates, which can be difficult to achieve in high-capacity prediction models such as deep neural networks. Moreover, in high-dimensional settings, there may be many valid uncertainty estimates, each with their own performance profile – i.e., not all uncertainty is equally valuable for downstream decision-making. To address this problem, this paper develops an end-to-end framework to learn the uncertainty estimates for conditional robust optimization, with robustness and calibration guarantees provided by conformal prediction. In addition, we propose to represent arbitrary convex uncertainty sets with partially input-convex neural networks, which are learned as part of our framework. Our approach consistently improves upon two-stage estimate-then-optimize baselines on concrete applications in energy storage arbitrage and portfolio optimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google