Establishing Linear Surrogate Regret Bounds for Convex Smooth Losses via Convolutional Fenche-Young Losses

要約

代理の後悔の境界は、サロゲート損失の収束率とターゲット損失の間のギャップを橋渡しします。
特に、効率的な推定と最適化により、凸状の滑らかなサロゲート損失は魅力的ですが、滑らかさと線形後悔の拘束力の間のトレードオフの存在は、コミュニティで信じられています。
そうは言っても、凸滑らかなサロゲート損失のより良い最適化と推定特性は、ターゲット損失への後悔の転送を受けた後、必然的に悪化する可能性があります。
凸状の滑らかな代理損失を構築することにより、任意の離散ターゲット損失のこのジレンマを克服します。
この構造は、一般化されたネグレントピーとターゲットベイズリスクの任意の畳み込みに相当する、畳み込み負の畳み込みによって生成されるフェンチェルヨンの損失に基づいています。
その結果、INFIMALの畳み込みにより、代理の後悔の縛られた線形を維持しながら、スムーズな損失を導き出すことができます。
さらに、INFIMAL畳み込みの恩恵を受けて、基礎となるクラスの確率の一貫した推定器を持つことができます。
私たちの結果は、全体的に、凸分析が最適化とリスク最小化の統計的効率にどのように浸透するかを示す新しいデモンストレーションです。

要約(オリジナル)

Surrogate regret bounds bridge the gap between the convergence rates of surrogate and target losses, with linear bounds favorable for their lossless regret transfer. While convex smooth surrogate losses are appealing in particular due to the efficient estimation and optimization, the existence of a trade-off between the smoothness and linear regret bound has been believed in the community. That being said, the better optimization and estimation properties of convex smooth surrogate losses may inevitably deteriorate after undergoing the regret transfer onto a target loss. We overcome this dilemma for arbitrary discrete target losses by constructing a convex smooth surrogate loss, which entails a linear surrogate regret bound composed with a tailored prediction link. The construction is based on Fenchel-Young losses generated by the convolutional negentropy, which are equivalent to the infimal convolution of a generalized negentropy and the target Bayes risk. Consequently, the infimal convolution enables us to derive a smooth loss while maintaining the surrogate regret bound linear. We additionally benefit from the infimal convolution to have a consistent estimator of the underlying class probability. Our results are overall a novel demonstration of how convex analysis penetrates into optimization and statistical efficiency in risk minimization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google