Recursive Estimation of Conditional Kernel Mean Embeddings

要約

カーネル平均埋め込みは、機械学習で広く使用されている手法であり、確率分布を再現カーネル ヒルベルト空間 (RKHS) の要素にマッピングします。
入力と出力のペアが観察される教師あり学習問題の場合、入力が与えられた場合の出力の条件付き分布が重要なオブジェクトです。
出力の入力依存の条件付き分布は、RKHS 値関数である条件付きカーネル平均マップを使用してエンコードできます。
この論文では、ヒルベルト空間値 $L_2$ 空間、つまりボフナー空間で条件付きカーネル平均マップを推定するための新しい再帰アルゴリズムを紹介します。
穏やかな条件下で再帰推定器の弱い $L_2$ 一貫性と強い $L_2$ 一貫性を証明します。
このアイデアは、局所的にコンパクトなポーランド空間におけるヒルベルト空間価値回帰に対するストーンの定理を一般化することです。
条件付きカーネル平均埋め込みに関する新しい洞察を提示し、提案された再帰的手法の収束に関する強い漸近限界を示します。
最後に、ユークリッド空間、リーマン多様体、関数空間の局所的にコンパクトなサブセットからの入力の 3 つのアプリケーション ドメインで結果を示します。

要約(オリジナル)

Kernel mean embeddings, a widely used technique in machine learning, map probability distributions to elements of a reproducing kernel Hilbert space (RKHS). For supervised learning problems, where input-output pairs are observed, the conditional distribution of outputs given the inputs is a key object. The input dependent conditional distribution of an output can be encoded with an RKHS valued function, the conditional kernel mean map. In this paper we present a new recursive algorithm to estimate the conditional kernel mean map in a Hilbert space valued $L_2$ space, that is in a Bochner space. We prove the weak and strong $L_2$ consistency of our recursive estimator under mild conditions. The idea is to generalize Stone’s theorem for Hilbert space valued regression in a locally compact Polish space. We present new insights about conditional kernel mean embeddings and give strong asymptotic bounds regarding the convergence of the proposed recursive method. Finally, the results are demonstrated on three application domains: for inputs coming from Euclidean spaces, Riemannian manifolds and locally compact subsets of function spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google