Realizable $H$-Consistent and Bayes-Consistent Loss Functions for Learning to Defer

要約

延期することを学習するための代理損失関数の包括的な研究を紹介します。
非増加関数 $\Psi$ でパラメータ化された幅広い代用損失群を導入し、穏やかな条件下で実現可能な $H$ の一貫性を確立します。
分類誤差に基づくコスト関数の場合、仮説セットが対称的かつ完全である場合、これらの損失は $H$ 整合性の限界を許容すること、つまり一般的なニューラル ネットワークと線形関数の仮説セットが満たす特性であることをさらに示します。
私たちの結果はまた、特定のサロゲート損失の実現可能な $H$ 一貫性とベイズ一貫性を証明することにより、以前の研究 (Mozannar et al., 2023) で提起された未解決の問題も解決します。
さらに、一般的なコスト関数に対して $H$ 一貫性のある代理損失をもたらす $\Psi$ の選択を特定し、ベイズ一貫性、実現可能な $H$ 一貫性、および $H$ 一貫性限界を同時に達成します。
また、$H$-consistency 境界と、延期することを学習する際の実現可能な $H$-consistency の関係も調査し、標準分類との重要な違いを明らかにします。
最後に、提案した代理損失を経験的に評価し、既存のベースラインと比較します。

要約(オリジナル)

We present a comprehensive study of surrogate loss functions for learning to defer. We introduce a broad family of surrogate losses, parameterized by a non-increasing function $\Psi$, and establish their realizable $H$-consistency under mild conditions. For cost functions based on classification error, we further show that these losses admit $H$-consistency bounds when the hypothesis set is symmetric and complete, a property satisfied by common neural network and linear function hypothesis sets. Our results also resolve an open question raised in previous work (Mozannar et al., 2023) by proving the realizable $H$-consistency and Bayes-consistency of a specific surrogate loss. Furthermore, we identify choices of $\Psi$ that lead to $H$-consistent surrogate losses for any general cost function, thus achieving Bayes-consistency, realizable $H$-consistency, and $H$-consistency bounds simultaneously. We also investigate the relationship between $H$-consistency bounds and realizable $H$-consistency in learning to defer, highlighting key differences from standard classification. Finally, we empirically evaluate our proposed surrogate losses and compare them with existing baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google