Robust Losses for Decision-Focused Learning

要約

離散的な意思決定を行うために使用される最適化モデルには、コンテキストに依存し、予測によって推定される不確実なパラメーターが含まれることがよくあります。
予測に基づいて行われた意思決定の質を考慮するため、意思決定中心の学習 (エンドツーエンドの予測してから最適化) は、予測モデルをトレーニングして後悔、つまり最適ではない意思決定を行うことによって被る損失を最小限に抑えることを目的としています。
。
この損失関数はおそらく非凸であり、一般に微分不可能であるという課題にもかかわらず、経験的な損失を代用として使用して、予想される損失を最小限に抑えるための効果的な勾配ベースの学習アプローチが提案されています。
ただし、最適化モデルの不確実性により、経験的後悔が期待における予想される後悔と等しくないため、経験的後悔は非効率的な代用となる可能性があります。
この不等式の影響を説明するために、代理としての経験的後悔の精度に対する偶然的および認識的不確実性の影響を評価します。
次に、予想される後悔をより厳密に近似する 3 つの堅牢な損失関数を提案します。
実験結果は、ロバストリグレス損失を使用して 2 つの最先端の意思決定に焦点を当てた学習アプローチをトレーニングすると、トレーニング エポック数と比較して計算時間を同等に保ちながら、テストサンプルの経験的リグアロングが全​​体的に改善されることを示しています。

要約(オリジナル)

Optimization models used to make discrete decisions often contain uncertain parameters that are context-dependent and are estimated through prediction. To account for the quality of the decision made based on the prediction, decision-focused learning (end-to-end predict-then-optimize) aims at training the predictive model to minimize regret, i.e., the loss incurred by making a suboptimal decision. Despite the challenge of this loss function being possibly non-convex and in general non-differentiable, effective gradient-based learning approaches have been proposed to minimize the expected loss, using the empirical loss as a surrogate. However, empirical regret can be an ineffective surrogate because the uncertainty in the optimization model makes the empirical regret unequal to the expected regret in expectation. To illustrate the impact of this inequality, we evaluate the effect of aleatoric and epistemic uncertainty on the accuracy of empirical regret as a surrogate. Next, we propose three robust loss functions that more closely approximate expected regret. Experimental results show that training two state-of-the-art decision-focused learning approaches using robust regret losses improves test-sample empirical regret in general while keeping computational time equivalent relative to the number of training epochs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google