Efficient End-to-End Learning for Decision-Making: A Meta-Optimization Approach

要約

エンドツーエンドの学習は、下流の意思決定タスクへの影響を認識するために、予測MLモデルをトレーニングする際に広く適用可能であり、研究された問題になりました。
これらのエンドツーエンドモデルは、トレーニングを最適化から分離する従来の方法よりも優れていることが多く、予測エラーに近視的に焦点を当てています。
ただし、エンドツーエンドのフレームワークの計算の複雑さは、特に大規模な問題について、重要な課題をもたらします。
勾配降下を使用してMLモデルをトレーニングしている間、勾配を計算する必要があるたびに、高価な最適化問題を解決する必要があります。
最適化の問題を近似する効率的なアルゴリズムを学習するメタ最適化方法を提示し、意思決定問題を解決する計算オーバーヘッドを劇的に削減します。
私たちのアプローチでは、最適化の問題をほぼ最適に解決しながら、代替予測を通じて実現可能性の制約を確保するニューラルネットワークアーキテクチャを紹介します。
学習方法の指数関数的収束、近似保証、および一般化の境界を証明します。
この方法は、優れた計算効率を提供し、既存の手法と比較して問題サイズで高品質の近似をより速く、スケーリングします。
私たちのアプローチは、決定論的、単一ステージ、2段階の確率的最適化の問題を含む、幅広い最適化の問題に適用されます。
提案された方法が、（1）13州全体で電力の動きを調整する電力ルーティング会社からの実際のデータを使用した発電の問題にどのように適用されるかを説明します。

要約(オリジナル)

End-to-end learning has become a widely applicable and studied problem in training predictive ML models to be aware of their impact on downstream decision-making tasks. These end-to-end models often outperform traditional methods that separate training from the optimization and only myopically focus on prediction error. However, the computational complexity of end-to-end frameworks poses a significant challenge, particularly for large-scale problems. While training an ML model using gradient descent, each time we need to compute a gradient we must solve an expensive optimization problem. We present a meta-optimization method that learns efficient algorithms to approximate optimization problems, dramatically reducing computational overhead of solving the decision problem in general, an aspect we leverage in the training within the end-to-end framework. Our approach introduces a neural network architecture that near-optimally solves optimization problems while ensuring feasibility constraints through alternate projections. We prove exponential convergence, approximation guarantees, and generalization bounds for our learning method. This method offers superior computational efficiency, producing high-quality approximations faster and scaling better with problem size compared to existing techniques. Our approach applies to a wide range of optimization problems including deterministic, single-stage as well as two-stage stochastic optimization problems. We illustrate how our proposed method applies to (1) an electricity generation problem using real data from an electricity routing company coordinating the movement of electricity throughout 13 states, (2) a shortest path problem with a computer vision task of predicting edge costs from terrain maps, (3) a two-stage multi-warehouse cross-fulfillment newsvendor problem, as well as a variety of other newsvendor-like problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google