Supervised learning with probabilistic morphisms and kernel mean embeddings

要約

この論文では、可測空間である入力空間 $\mathcal{X}$ とラベル空間 $\mathcal{Y}$ に対する教師あり学習の生成モデルにおける正しい損失関数の概念を提案します。
教師あり学習の生成モデルにおける正しい損失関数は、可能な予測子の仮説空間 $\mathcal{H}$ の要素と、$\mathcal{H}$ に属さない可能性がある教師演算子との間の矛盾を正しく測定する必要があります。
正しい損失関数を定義するために、$\mathcal{X} \times 上の確率測度 $\mu$ に対する正規の条件付き確率測度 $\mu_{\mathcal{Y}|\mathcal{X}}$ の特性評価を提案します。
射影 $\Pi_{\mathcal{X}} に対する \mathcal{Y}$: \mathcal{X}\times\mathcal{Y}\to \mathcal{X}$ を線形演算子方程式の解として使用します。
$\mathcal{Y}$ がボレル $\sigma$-代数 $ \mathcal{B} (\mathcal{Y})$ をもつ可分可分位相空間である場合、私は正規の条件付き確率測度 $\ の別の特徴付けを提案します。
mu_{\mathcal{Y}|\mathcal{X}}$ は、$\mathcal{X}$ から $\mathcal{Y}$ までの、確率射と呼ばれるマルコフ カーネル空間の平均二乗誤差の最小値として使用されます。
、カーネル平均埋め込みを使用します。
これらの結果を使用し、学習アルゴリズムの一般化可能性を定量化するための内部尺度を使用して、回帰モデルの学習可能性に関係する Cucker-Smale による結果を条件付き確率推定問題の設定に一般化します。
また、内部測度を使用して確率的不適正設定問題を解決するための Vapnik の正則化法の変形例と、その応用例を示します。

要約(オリジナル)

In this paper I propose a concept of a correct loss function in a generative model of supervised learning for an input space $\mathcal{X}$ and a label space $\mathcal{Y}$, which are measurable spaces. A correct loss function in a generative model of supervised learning must correctly measure the discrepancy between elements of a hypothesis space $\mathcal{H}$ of possible predictors and the supervisor operator, which may not belong to $\mathcal{H}$. To define correct loss functions, I propose a characterization of a regular conditional probability measure $\mu_{\mathcal{Y}|\mathcal{X}}$ for a probability measure $\mu$ on $\mathcal{X} \times \mathcal{Y}$ relative to the projection $\Pi_{\mathcal{X}}: \mathcal{X}\times\mathcal{Y}\to \mathcal{X}$ as a solution of a linear operator equation. If $\mathcal{Y}$ is a separable metrizable topological space with the Borel $\sigma$-algebra $ \mathcal{B} (\mathcal{Y})$, I propose another characterization of a regular conditional probability measure $\mu_{\mathcal{Y}|\mathcal{X}}$ as a minimizer of a mean square error on the space of Markov kernels, called probabilistic morphisms, from $\mathcal{X}$ to $\mathcal{Y}$, using kernel mean embeddings. Using these results and using inner measure to quantify generalizability of a learning algorithm, I give a generalization of a result due to Cucker-Smale, which concerns the learnability of a regression model, to a setting of a conditional probability estimation problem. I also give a variant of Vapnik’s regularization method for solving stochastic ill-posed problems, using inner measure, and present its applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google