Universal Rates of Empirical Risk Minimization

要約

よく知られている経験的リスク最小化（ERM）の原則は、広く使用されている多くの機械学習アルゴリズムの基礎であり、古典的なPAC理論で重要な役割を果たします。
学習アルゴリズムのパフォーマンスの一般的な説明は、いわゆる「学習曲線」、つまり、入力サンプルサイズの関数としての予想エラーの減衰です。
PACモデルが学習曲線の動作を説明できないため、最近の研究は代替の普遍的な学習モデルを調査し、最終的に最適な普遍的学習率と均一な学習率の区別を明らかにしました（Bousquet et al。、2021）。
ただし、ERMの原則に特に焦点を当てたこのような違いの基本的な理解はまだ開発されていません。
この論文では、実現可能なケースにおけるERMによる普遍的な学習の問題を検討し、普遍的なレートの可能性を研究します。
私たちの主な結果は基本的な四量体切開術です。ERMによる普遍的な学習率は4つしかありません。つまり、ERM Decayが学習できる任意の概念クラスの学習曲線は、$ e^{-n} $、$ 1/n $、$ \で学習できます。
log（n）/n $、または任意の遅いレート。
さらに、新しい複雑さ構造を介して、これらの各カテゴリに分類される概念クラスが完全な特性評価を提供します。
また、可能な限り、これらのレートに縮めた縮小的に検証された一定の要因を供給する新しい組み合わせ寸法も開発します。

要約(オリジナル)

The well-known empirical risk minimization (ERM) principle is the basis of many widely used machine learning algorithms, and plays an essential role in the classical PAC theory. A common description of a learning algorithm’s performance is its so-called ‘learning curve’, that is, the decay of the expected error as a function of the input sample size. As the PAC model fails to explain the behavior of learning curves, recent research has explored an alternative universal learning model and has ultimately revealed a distinction between optimal universal and uniform learning rates (Bousquet et al., 2021). However, a basic understanding of such differences with a particular focus on the ERM principle has yet to be developed. In this paper, we consider the problem of universal learning by ERM in the realizable case and study the possible universal rates. Our main result is a fundamental tetrachotomy: there are only four possible universal learning rates by ERM, namely, the learning curves of any concept class learnable by ERM decay either at $e^{-n}$, $1/n$, $\log(n)/n$, or arbitrarily slow rates. Moreover, we provide a complete characterization of which concept classes fall into each of these categories, via new complexity structures. We also develop new combinatorial dimensions which supply sharp asymptotically-valid constant factors for these rates, whenever possible.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google