Distribution-free Deviation Bounds of Learning via Model Selection with Cross-validation Risk Estimation

要約

リスク推定とモデル選択のための交差検証手法は、統計と機械学習で広く使用されています。
ただし、交差検証リスク推定によるモデル選択による学習の理論的特性の理解は、その広範な使用に直面して非常に低いです。
これに関連して、この論文では、古典的な統計学習理論内の一般的な体系的な学習フレームワークとして、交差検証リスク推定を使用したモデル選択による学習を提示し、VC 次元に関して分布のない偏差限界を確立し、結果の詳細な証明を提供し、両方を考慮します。
有界および無界の損失関数。
また、モデル選択による学習の偏差限界が、仮説空間全体での経験的リスク最小化による学習の偏差限界よりも厳しい条件を推測し、場合によっては経験的に観察されたモデル選択フレームワークのより良いパフォーマンスをサポートします。

要約(オリジナル)

Cross-validation techniques for risk estimation and model selection are widely used in statistics and machine learning. However, the understanding of the theoretical properties of learning via model selection with cross-validation risk estimation is quite low in face of its widespread use. In this context, this paper presents learning via model selection with cross-validation risk estimation as a general systematic learning framework within classical statistical learning theory and establishes distribution-free deviation bounds in terms of VC dimension, giving detailed proofs of the results and considering both bounded and unbounded loss functions. We also deduce conditions under which the deviation bounds of learning via model selection are tighter than that of learning via empirical risk minimization in the whole hypotheses space, supporting the better performance of model selection frameworks observed empirically in some instances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google