Compressed Empirical Measures (in finite dimensions)

要約

私たちは、有限次元再現カーネル ヒルベルト空間 (RKHS) のコンテキストで経験的測度を圧縮するアプローチを研究します。この文脈では、経験的測度は自然な凸集合内に含まれており、凸最適化手法を使用して近似できます。このような近似は次のようになります。
特定の条件では、データ ポイントのコアセットが増加します。
このようなコアセットの大きさを制御する重要な量は、経験的凸セット内に含まれる経験的尺度の周りの最大のボールのサイズです。
私たちの研究の大部分は、さまざまな条件下でそのようなボールのサイズについて確率の高い下限を導き出すことに関係しています。
私たちは、カーネル リッジ回帰などの具体的な推論問題に圧縮アプローチを適用できるようにする技術を開発することで、この下限の導出を補完します。
最後に、圧縮が不十分な無限次元 RKHS の構築で結論付けます。これは、無限次元 RKHS に移行しようとするときに直面するいくつかの困難を強調しています。

要約(オリジナル)

We study approaches for compressing the empirical measure in the context of finite dimensional reproducing kernel Hilbert spaces (RKHSs).In this context, the empirical measure is contained within a natural convex set and can be approximated using convex optimization methods.Such an approximation gives under certain conditions rise to a coreset of data points. A key quantity that controls how large such a coreset has to be is the size of the largest ball around the empirical measure that is contained within the empirical convex set. The bulk of our work is concerned with deriving high probability lower bounds on the size of such a ball under various conditions. We complement this derivation of the lower bound by developing techniques that allow us to apply the compression approach to concrete inference problems such as kernel ridge regression. We conclude with a construction of an infinite dimensional RKHS for which the compression is poor, highlighting some of the difficulties one faces when trying to move to infinite dimensional RKHSs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google