A Universal Growth Rate for Learning with Smooth Surrogate Losses

要約

この論文は、分類に使用されるさまざまな代理損失に対する $H$ 一貫性限界 (および超過誤差限界) の増加率の包括的な分析を示しています。
穏やかな仮定の下で上限と下限の両方を提供し、バイナリ分類におけるスムーズなマージンベースの代理損失に対する平方根増加率がゼロに近いことを証明します。
この結果は、超過誤差限界にも変換されます。
私たちの下限には、超過誤差限界について以前の研究よりも弱い条件が必要ですが、上限はまったく新しいものです。
さらに、この分析を一連の新しい結果でマルチクラス分類に拡張し、スムーズなコンプサムと制約付き損失のための普遍的な平方根成長率を実証し、マルチクラス分類でニューラル ネットワークをトレーニングするための一般的な選択肢をカバーします。
この普遍的なレートを考慮して、さまざまな代理損失の中から選択するという問題に移ります。
まず、$H$-consistency 境界がクラスの数に基づいてサロゲート間でどのように変化するかを調べます。
次に、定数を無視し、ゼロに近い動作に焦点を当てて、これらの境界における重要な差別化要因として最小化可能性のギャップを特定します。
したがって、私たちはこれらのギャップを徹底的に分析し、代理損失の選択をガイドし、さまざまな補償合計損失間の比較、ギャップがゼロになる条件、および小さなギャップにつながる一般的な条件をカバーします。
さらに、超過誤差限界と $H$-consistency 限界を比較する際の最小化可能性ギャップの重要な役割を実証します。

要約(オリジナル)

This paper presents a comprehensive analysis of the growth rate of $H$-consistency bounds (and excess error bounds) for various surrogate losses used in classification. We prove a square-root growth rate near zero for smooth margin-based surrogate losses in binary classification, providing both upper and lower bounds under mild assumptions. This result also translates to excess error bounds. Our lower bound requires weaker conditions than those in previous work for excess error bounds, and our upper bound is entirely novel. Moreover, we extend this analysis to multi-class classification with a series of novel results, demonstrating a universal square-root growth rate for smooth comp-sum and constrained losses, covering common choices for training neural networks in multi-class classification. Given this universal rate, we turn to the question of choosing among different surrogate losses. We first examine how $H$-consistency bounds vary across surrogates based on the number of classes. Next, ignoring constants and focusing on behavior near zero, we identify minimizability gaps as the key differentiating factor in these bounds. Thus, we thoroughly analyze these gaps, to guide surrogate loss selection, covering: comparisons across different comp-sum losses, conditions where gaps become zero, and general conditions leading to small gaps. Additionally, we demonstrate the key role of minimizability gaps in comparing excess error bounds and $H$-consistency bounds.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google