When No-Rejection Learning is Consistent for Regression with Rejection

要約

拒絶反応を伴う学習は、予測タスクにおける人間と AI の相互作用を研究するための典型的なモデルです。
サンプル インスタンスが到着すると、モデルはまず拒否機能を使用して、AI 予測機能を受け入れて予測を行うか、拒否してサンプルを人間に委ねるかを決定します。
このようなモデルを学習すると、元の損失関数の構造が変化し、多くの場合、望ましくない非凸性や不整合の問題が発生します。
棄却問題を伴う分類では、いくつかの研究で、予測子と棄却子の共同学習に対する一貫した代理損失が開発されていますが、回帰の対応物に関する研究はほとんどありません。
この論文では、拒否付き回帰 (RwR) 問題を研究し、すべてのデータを使用して予測変数を学習する非拒否学習戦略を調査します。
我々はまず、実現可能性が弱い条件下でそのような戦略の一貫性を確立します。
次に、弱い実現可能性がない場合、過剰なリスクも予測誤差と校正誤差の 2 つの部分の合計で上限を設定できることを示します。
最後に、このように提案された学習戦略の利点を経験的証拠とともに実証します。

要約(オリジナル)

Learning with rejection has been a prototypical model for studying the human-AI interaction on prediction tasks. Upon the arrival of a sample instance, the model first uses a rejector to decide whether to accept and use the AI predictor to make a prediction or reject and defer the sample to humans. Learning such a model changes the structure of the original loss function and often results in undesirable non-convexity and inconsistency issues. For the classification with rejection problem, several works develop consistent surrogate losses for the joint learning of the predictor and the rejector, while there have been fewer works for the regression counterpart. This paper studies the regression with rejection (RwR) problem and investigates a no-rejection learning strategy that uses all the data to learn the predictor. We first establish the consistency for such a strategy under the weak realizability condition. Then for the case without the weak realizability, we show that the excessive risk can also be upper bounded with the sum of two parts: prediction error and calibration error. Lastly, we demonstrate the advantage of such a proposed learning strategy with empirical evidence.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google