Learning to Embed Distributions via Maximum Kernel Entropy

要約

経験的なデータは、しばしば確率分布の集合からのサンプルと考えることができる。カーネル法は、これらの分布を分類する学習のための自然なアプローチとして登場した。分布間のカーネルは数多く提案されているが、カーネル法を分布回帰タスクに適用することは依然として困難である。意外なことに、データに依存する分布カーネルを学習する問題はほとんど注目されていない。本稿では、確率測度の埋め込み空間におけるエントロピー最大化の原理に基づき、データ依存分布カーネルの教師なし学習のための新しい目的を提案する。我々の目的によって誘導される潜在埋め込み空間の理論的性質を調べ、その幾何学的構造が下流の識別課題を解くのに適していることを示す。最後に、学習したカーネルの性能を異なるモダリティ間で実証する。

要約(オリジナル)

Empirical data can often be considered as samples from a set of probability distributions. Kernel methods have emerged as a natural approach for learning to classify these distributions. Although numerous kernels between distributions have been proposed, applying kernel methods to distribution regression tasks remains challenging, primarily because selecting a suitable kernel is not straightforward. Surprisingly, the question of learning a data-dependent distribution kernel has received little attention. In this paper, we propose a novel objective for the unsupervised learning of data-dependent distribution kernel, based on the principle of entropy maximization in the space of probability measure embeddings. We examine the theoretical properties of the latent embedding space induced by our objective, demonstrating that its geometric structure is well-suited for solving downstream discriminative tasks. Finally, we demonstrate the performance of the learned kernel across different modalities.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL