Kernel Density Matrices for Probabilistic Deep Learning

要約

この論文では、確率的深層学習への新しいアプローチであるカーネル密度行列を紹介します。これは、連続確率変数と離散確率変数の両方の同時確率分布を表現するための、よりシンプルかつ効果的なメカニズムを提供します。
量子力学では、密度行列は量子系の状態を記述する最も一般的な方法です。
この研究は、密度行列を再現カーネル ヒルベルト空間で定義できるようにすることで、密度行列の概念を拡張します。
この抽象化により、密度推定、推論、サンプリングのための微分可能なモデルの構築が可能になり、エンドツーエンドのディープ ニューラル モデルへの統合が可能になります。
そうすることで、密度推定、弁別学習、生成モデリングなどの幅広い機械学習タスクをカバーする微分可能、合成的、可逆的な推論手順を開発できる周辺確率分布と同時確率分布の多用途表現を提供します。
フレームワークの広範な適用可能性は、条件付き生成モデルに自然に変換できる画像分類モデルと、トレーニング サンプルの不確実性に対処するフレームワークの能力を示すラベル比率を使用した学習モデルの 2 つの例で説明されています。
このフレームワークはライブラリとして実装されており、https://github.com/fagonzalezo/kdm から入手できます。

要約(オリジナル)

This paper introduces a novel approach to probabilistic deep learning, kernel density matrices, which provide a simpler yet effective mechanism for representing joint probability distributions of both continuous and discrete random variables. In quantum mechanics, a density matrix is the most general way to describe the state of a quantum system. This work extends the concept of density matrices by allowing them to be defined in a reproducing kernel Hilbert space. This abstraction allows the construction of differentiable models for density estimation, inference, and sampling, and enables their integration into end-to-end deep neural models. In doing so, we provide a versatile representation of marginal and joint probability distributions that allows us to develop a differentiable, compositional, and reversible inference procedure that covers a wide range of machine learning tasks, including density estimation, discriminative learning, and generative modeling. The broad applicability of the framework is illustrated by two examples: an image classification model that can be naturally transformed into a conditional generative model, and a model for learning with label proportions that demonstrates the framework’s ability to deal with uncertainty in the training samples. The framework is implemented as a library and is available at: https://github.com/fagonzalezo/kdm.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google