$H$-Consistency Guarantees for Regression

要約

回帰の $H$ 一貫性限界の詳細な研究を紹介します。
まず、$H$-consistency 境界を確立するために以前に与えられたツールを一般化する新しい定理を提示します。
この一般化は、回帰に特有の $H$-consistency 境界を分析するのに不可欠であることがわかります。
次に、対称分布と有界仮説セットの仮定の下で、二乗損失の代理損失関数に対する一連の新しい $H$ 一貫性限界を証明します。
これには、Huber 損失、すべての $\ell_p$ 損失、$p \geq 1$、$\epsilon$ に依存しない損失の 2 乗に対する正の結果と、で使用される $\epsilon$ に依存しない損失に対する負の結果が含まれます。
二乗サポート ベクトル回帰 (SVR)。
回帰に対する $H$ の一貫性の分析をさらに活用し、敵対的回帰に対する原則に基づいた代理損失を導き出します (セクション 5)。
これにより、敵対的回帰のための新しいアルゴリズムが容易に確立され、セクション 6 で好ましい実験結果を報告します。

要約(オリジナル)

We present a detailed study of $H$-consistency bounds for regression. We first present new theorems that generalize the tools previously given to establish $H$-consistency bounds. This generalization proves essential for analyzing $H$-consistency bounds specific to regression. Next, we prove a series of novel $H$-consistency bounds for surrogate loss functions of the squared loss, under the assumption of a symmetric distribution and a bounded hypothesis set. This includes positive results for the Huber loss, all $\ell_p$ losses, $p \geq 1$, the squared $\epsilon$-insensitive loss, as well as a negative result for the $\epsilon$-insensitive loss used in squared Support Vector Regression (SVR). We further leverage our analysis of $H$-consistency for regression and derive principled surrogate losses for adversarial regression (Section 5). This readily establishes novel algorithms for adversarial regression, for which we report favorable experimental results in Section 6.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google