Enhanced $H$-Consistency Bounds

要約

最近の研究では、代理損失の $H$ 一貫性限界という重要な概念が導入されました。
これらの境界は有限サンプル保証を提供し、特定の仮説セットのゼロ 1 推定誤差 (または他のターゲット損失) と代理損失推定誤差の間の関係を定量化します。
ただし、以前の限界は、サロゲート損失の条件付きリグレアの下限が、予測子または入力インスタンスに依存する非定数因子なしで、ターゲットの条件付きリグレアの凸関数として与えられるという条件の下で導出されました。
より細かく、より有利な $H$ 一貫性限界を導き出すことはできるでしょうか?
この研究では、この条件を緩和し、条件付き後悔に関連するより一般的な不等式に基づいて強化された $H$ 一貫性限界を確立するための一般的な枠組みを提示します。
私たちの定理は、既存の結果を特別な場合として包含するだけでなく、さまざまなシナリオでより有利な限界を導出することも可能にします。
これらには、標準のマルチクラス分類、Tsybakov ノイズ条件下でのバイナリおよびマルチクラス分類、および 2 部ランキングが含まれます。

要約(オリジナル)

Recent research has introduced a key notion of $H$-consistency bounds for surrogate losses. These bounds offer finite-sample guarantees, quantifying the relationship between the zero-one estimation error (or other target loss) and the surrogate loss estimation error for a specific hypothesis set. However, previous bounds were derived under the condition that a lower bound of the surrogate loss conditional regret is given as a convex function of the target conditional regret, without non-constant factors depending on the predictor or input instance. Can we derive finer and more favorable $H$-consistency bounds? In this work, we relax this condition and present a general framework for establishing enhanced $H$-consistency bounds based on more general inequalities relating conditional regrets. Our theorems not only subsume existing results as special cases but also enable the derivation of more favorable bounds in various scenarios. These include standard multi-class classification, binary and multi-class classification under Tsybakov noise conditions, and bipartite ranking.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google