Supervised learning with probabilistic morphisms and kernel mean embeddings

要約

この論文では、両方とも可測空間である入力空間 $\mathcal{X}$ とラベル空間 $\mathcal{Y}$ に対する教師あり学習の生成モデルにおける正しい損失関数の概念を提案します。
教師あり学習の生成モデルにおける正しい損失関数は、たとえスーパーバイザー演算子が $\mathcal{
H}$。
正しい損失関数を定義するために、$\mathcal{X} \times 上の確率測度 $\mu$ に対する正規の条件付き確率測度 $\mu_{\mathcal{Y}|\mathcal{X}}$ の特性評価を提案します。
射影 $\Pi_{\mathcal{X}} に対する \mathcal{Y}$: \mathcal{X}\times\mathcal{Y}\to \mathcal{X}$ を線形演算子方程式の解として使用します。
$\mathcal{Y}$ がボレル $\sigma$-代数 $ \mathcal{B} (\mathcal{Y})$ を使用した可分可分位相空間である場合、正規の条件付き確率測度 $ の追加の特徴付けを提案します。
\mu_{\mathcal{Y}|\mathcal{X}}$ は、$\mathcal{X}$ から $\mathcal{Y までのマルコフ カーネル空間の平均二乗誤差の最小化関数 (確率射と呼ばれます)
}$。
この特性評価では、カーネル平均埋め込みを利用します。
これらの結果に基づいて、学習アルゴリズムの一般化可能性を定量化するための内部尺度を使用して、回帰モデルの学習可能性を扱う Cucker-Smale による結果を条件付き確率推定問題の設定に拡張します。
さらに、確率的不適正設定問題を解決するための、内部測度を組み込んだ Vapnik の正則化手法の変形例を示し、その応用例を紹介します。

要約(オリジナル)

In this paper I propose a concept of a correct loss function in a generative model of supervised learning for an input space $\mathcal{X}$ and a label space $\mathcal{Y}$, both of which are measurable spaces. A correct loss function in a generative model of supervised learning must accurately measure the discrepancy between elements of a hypothesis space $\mathcal{H}$ of possible predictors and the supervisor operator, even when the supervisor operator does not belong to $\mathcal{H}$. To define correct loss functions, I propose a characterization of a regular conditional probability measure $\mu_{\mathcal{Y}|\mathcal{X}}$ for a probability measure $\mu$ on $\mathcal{X} \times \mathcal{Y}$ relative to the projection $\Pi_{\mathcal{X}}: \mathcal{X}\times\mathcal{Y}\to \mathcal{X}$ as a solution of a linear operator equation. If $\mathcal{Y}$ is a separable metrizable topological space with the Borel $\sigma$-algebra $ \mathcal{B} (\mathcal{Y})$, I propose an additional characterization of a regular conditional probability measure $\mu_{\mathcal{Y}|\mathcal{X}}$ as a minimizer of mean square error on the space of Markov kernels, referred to as probabilistic morphisms, from $\mathcal{X}$ to $\mathcal{Y}$. This characterization utilizes kernel mean embeddings. Building upon these results and employing inner measure to quantify the generalizability of a learning algorithm, I extend a result due to Cucker-Smale, which addresses the learnability of a regression model, to the setting of a conditional probability estimation problem. Additionally, I present a variant of Vapnik’s regularization method for solving stochastic ill-posed problems, incorporating inner measure, and showcase its applications.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google