Measurability in the Fundamental Theorem of Statistical Learning

要約

統計学習の基本的な定理は、VCの次元が有限である場合にのみ、仮説スペースはPAC学習可能であると述べています。
PAC学習の不可知論的モデルについては、これまでのところ、この定理の証拠を提示し、関係するセットと機能にいくつかの測定可能性の仮定を暗黙のうちに課しています。
厳密な議論に必要な仮定を明示的に抽出するために、これらの証明を測定理論の観点から精査します。
これは、健全な声明と、不可知論的環境での統計学習の基本的な定理の詳細かつ自己完結型の証明につながり、必要な最小限の測定可能性要件を紹介します。
統計学習の基本的な定理は、広範囲のさらなる理論的発展を支えているため、我々の結果は基本的な重要性があります。特に、測定性の微妙さが役割を果たす設定で定理が使用される場合、測定可能性の側面の慎重な分析が不可欠です。
NIPおよびOミニマル構造を考慮して、モデル理論のアプリケーションについて特に説明します。
私たちの主要な定理は、現実のO最小拡張よりも定義された仮説スペースのPAC学習性に十分な条件を提示します。
このクラスの仮説スペースは、ReluやSigmoid関数などの一般的に使用される活性化関数を使用するバイナリ分類のために、すべての人工ニューラルネットワークをカバーしています。

要約(オリジナル)

The Fundamental Theorem of Statistical Learning states that a hypothesis space is PAC learnable if and only if its VC dimension is finite. For the agnostic model of PAC learning, the literature so far presents proofs of this theorem that often tacitly impose several measurability assumptions on the involved sets and functions. We scrutinize these proofs from a measure-theoretic perspective in order to explicitly extract the assumptions needed for a rigorous argument. This leads to a sound statement as well as a detailed and self-contained proof of the Fundamental Theorem of Statistical Learning in the agnostic setting, showcasing the minimal measurability requirements needed. As the Fundamental Theorem of Statistical Learning underpins a wide range of further theoretical developments, our results are of foundational importance: A careful analysis of measurability aspects is essential, especially when the theorem is used in settings where measure-theoretic subtleties play a role. We particularly discuss applications in Model Theory, considering NIP and o-minimal structures. Our main theorem presents sufficient conditions for the PAC learnability of hypothesis spaces defined over o-minimal expansions of the reals. This class of hypothesis spaces covers all artificial neural networks for binary classification that use commonly employed activation functions like ReLU and the sigmoid function.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google