Prediction, Learning, Uniform Convergence, and Scale-sensitive Dimensions

要約

タイトル：予測、学習、一様収束、およびスケール感受的次元
要約：
– $[0,1]$-値関数のクラスの学習に関する新しい汎用アルゴリズムを提案する。
– このアルゴリズムの期待絶対誤差に関する一般的な上界を、Alon、Ben-David、Cesa-Bianchi、Hausslerによって提案されたVapnik次元のスケール感受的一般化を用いて証明する。
– 我々は、一般に定数倍でしか上界を改善できないことを示す下界を与える。
– HausslerおよびBenedekとItaiによる技術とともに、このスケール感受的次元に関する新しいパッキング数の上界を得る。
– 異なる技術を用いて、KearnsとSchapireのfat-shattering関数に関する新しい上界を得る。
– 両方のパッキング上界を適用して認識学習のサンプル複雑度の改善された一般上界を得る。
– $\epsilon>0$の場合、$[0,1]$-値関数のクラスが$\epsilon$以内に理解可能であるための十分条件と必要条件、および$\epsilon$一様Glivenko-Cantelliクラスであるための強い必要条件と弱い十分条件を確立する。
– この論文は、修正とともにJCSSによって受け付けられた原稿である。

要約(オリジナル)

We present a new general-purpose algorithm for learning classes of $[0,1]$-valued functions in a generalization of the prediction model, and prove a general upper bound on the expected absolute error of this algorithm in terms of a scale-sensitive generalization of the Vapnik dimension proposed by Alon, Ben-David, Cesa-Bianchi and Haussler. We give lower bounds implying that our upper bounds cannot be improved by more than a constant factor in general. We apply this result, together with techniques due to Haussler and to Benedek and Itai, to obtain new upper bounds on packing numbers in terms of this scale-sensitive notion of dimension. Using a different technique, we obtain new bounds on packing numbers in terms of Kearns and Schapire’s fat-shattering function. We show how to apply both packing bounds to obtain improved general bounds on the sample complexity of agnostic learning. For each $\epsilon > 0$, we establish weaker sufficient and stronger necessary conditions for a class of $[0,1]$-valued functions to be agnostically learnable to within $\epsilon$, and to be an $\epsilon$-uniform Glivenko-Cantelli class. This is a manuscript that was accepted by JCSS, together with a correction.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI