Black-Box Uniform Stability for Non-Euclidean Empirical Risk Minimization

要約

$p$-norm、$p \geq 1$ に関して凸で滑らかな経験的リスク最小化 (ERM) 問題に対して一様に安定な一次アルゴリズムを研究します。
我々は、一様凸正則化子の特性を利用することにより、以前の滑らかな凸損失の最適化アルゴリズムを、超過リスクに対する最適な統計的リスク限界を有する一様に安定した学習アルゴリズムに変えるブラックボックス削減手法を提案します。
$p$ に応じた係数。
一様安定性のためのブラックボックス削減の達成は、ユークリッドの場合 $p=2$ を解決した (Attia and Koren, 2022) によって未解決の問題として提起されました。
私たちは、二項分類問題に対処する際に非ユークリッド幾何学を活用するアプリケーションを探索します。

要約(オリジナル)

We study first-order algorithms that are uniformly stable for empirical risk minimization (ERM) problems that are convex and smooth with respect to $p$-norms, $p \geq 1$. We propose a black-box reduction method that, by employing properties of uniformly convex regularizers, turns an optimization algorithm for H\’older smooth convex losses into a uniformly stable learning algorithm with optimal statistical risk bounds on the excess risk, up to a constant factor depending on $p$. Achieving a black-box reduction for uniform stability was posed as an open question by (Attia and Koren, 2022), which had solved the Euclidean case $p=2$. We explore applications that leverage non-Euclidean geometry in addressing binary classification problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google