Statistical learning theory and Occam’s razor: The core argument

要約

統計学習理論は、帰納的推論において単純性を優先することを推奨するオッカムの剃刀の原理と関連付けられることがよくあります。
この論文は、経験的リスク最小化の方法に対する理論の中心的な学習保証に基づいて構築された、統計学習理論から得られる単純さに関する中心的な議論を抽出します。
この中心となる「手段と目的」の議論は、より単純な仮説クラスまたは帰納モデルのほうが、より優れた学習保証を備えているため優れている、というものです。
ただし、これらの保証はモデルに相対的なものであるため、理論的には単純化への取り組みが事前の知識によってチェックされます。

要約(オリジナル)

Statistical learning theory is often associated with the principle of Occam’s razor, which recommends a simplicity preference in inductive inference. This paper distills the core argument for simplicity obtainable from statistical learning theory, built on the theory’s central learning guarantee for the method of empirical risk minimization. This core ‘means-ends’ argument is that a simpler hypothesis class or inductive model is better because it has better learning guarantees; however, these guarantees are model-relative and so the theoretical push towards simplicity is checked by our prior knowledge.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google