Supervised learning with probabilistic morphisms and kernel mean embeddings

要約

この論文では、正しい損失関数の概念を使用して、教師あり学習への 2 つのアプローチを統合する教師あり学習の生成モデルを提案します。
統計的学習理論では無視されてきた 2 つの可測性の問題に対処し、外部確率の収束を使用して学習アルゴリズムの一貫性を特徴付けることを提案します。
これらの結果に基づいて、回帰モデルの学習可能性に対処する Cucker-Smale による結果を条件付き確率推定問題の設定に拡張します。
さらに、確率的不適正設定問題を解決し、それを使用して過剰パラメータ化された教師あり学習モデルの一般化可能性を証明するための、Vapnik-Stefanuyk の正則化法の変形を紹介します。

要約(オリジナル)

In this paper I propose a generative model of supervised learning that unifies two approaches to supervised learning, using a concept of a correct loss function. Addressing two measurability problems, which have been ignored in statistical learning theory, I propose to use convergence in outer probability to characterize the consistency of a learning algorithm. Building upon these results, I extend a result due to Cucker-Smale, which addresses the learnability of a regression model, to the setting of a conditional probability estimation problem. Additionally, I present a variant of Vapnik-Stefanuyk’s regularization method for solving stochastic ill-posed problems, and using it to prove the generalizability of overparameterized supervised learning models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google