Regression with Multi-Expert Deferral

要約

複数の専門家による延期の学習は、学習者が複数の専門家に予測を延期することを選択できるフレームワークです。
この問題は分類の文脈では大きな注目を集めていますが、ラベル空間の無限かつ連続的な性質により、回帰においては独特の課題が生じます。
この研究では、複数の専門家に予測を延期する、延期付き回帰の新しいフレームワークを導入します。
予測子と遅延関数を同時に学習する単一段階のシナリオと、学習済みの遅延関数を備えた事前学習済みの予測子を含む 2 段階のシナリオの両方について、包括的な分析を示します。
両方のシナリオに新しい代理損失関数を導入し、それらが $H$ 整合性の境界によってサポートされていることを証明します。
これらの境界は、非漸近的で仮説セット固有であるため、ベイズ整合性よりも強力な整合性保証を提供します。
私たちのフレームワークは多用途であり、複数の専門家に適用し、あらゆる有限回帰損失に対応し、インスタンス依存とラベル依存のコストの両方に対処し、単一段階と二段階の両方の方法をサポートします。
副産物として、私たちの一段階定式化には、特別なケースとして棄権フレームワークによる最近の回帰 (Cheng et al., 2023) が含まれており、ここでは 1 人の専門家のみ、二乗損失、およびラベルに依存しないコストが考慮されます。
私たちが提案した損失関数を最小化することは、延期を伴う回帰のための新しいアルゴリズムに直接つながります。
私たちは、提案したアルゴリズムの有効性を示す広範な実験の結果を報告します。

要約(オリジナル)

Learning to defer with multiple experts is a framework where the learner can choose to defer the prediction to several experts. While this problem has received significant attention in classification contexts, it presents unique challenges in regression due to the infinite and continuous nature of the label space. In this work, we introduce a novel framework of regression with deferral, which involves deferring the prediction to multiple experts. We present a comprehensive analysis for both the single-stage scenario, where there is simultaneous learning of predictor and deferral functions, and the two-stage scenario, which involves a pre-trained predictor with a learned deferral function. We introduce new surrogate loss functions for both scenarios and prove that they are supported by $H$-consistency bounds. These bounds provide consistency guarantees that are stronger than Bayes consistency, as they are non-asymptotic and hypothesis set-specific. Our framework is versatile, applying to multiple experts, accommodating any bounded regression losses, addressing both instance-dependent and label-dependent costs, and supporting both single-stage and two-stage methods. A by-product is that our single-stage formulation includes the recent regression with abstention framework (Cheng et al., 2023) as a special case, where only a single expert, the squared loss and a label-independent cost are considered. Minimizing our proposed loss functions directly leads to novel algorithms for regression with deferral. We report the results of extensive experiments showing the effectiveness of our proposed algorithms.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google