SPD-DDPM: Denoising Diffusion Probabilistic Models in the Symmetric Positive Definite Space

要約

対称正定値 (SPD) 行列は、FMRI 分析や交通量予測などの統計および機械学習において重要な価値と用途を示しています。
SPD 行列に関するこれまでの研究は主に判別モデルに焦点を当てており、予測は $E(X|y)$ に対して直接行われます。ここで、$y$ はベクトル、$X$ は SPD 行列です。
ただし、これらの方法はデータ全体にアクセスして処理する必要があるため、大規模なデータを処理するのは困難です。
この論文では、ノイズ除去拡散確率モデル (DDPM) に触発され、$E(X|y)$ を推定するために SPD 空間にガウス分布を導入することにより、SPD-DDPM と呼ばれる新しい生成モデルを提案します。
さらに、我々のモデルは $y$ を与えることなく、無条件かつ柔軟に $p(X)$ を推定することができます。
一方では、モデルは $p(X|y)$ を条件付きで学習し、サンプルの平均を利用して $E(X|y)$ を予測として取得します。
一方、モデルはデータ $p(X)$ の確率分布を無条件に学習し、この分布に従うサンプルを生成します。
さらに、以前のネットワークよりもはるかに深く、条件付き要因を含めることができる新しい SPD ネットを提案します。
おもちゃのデータと実際のタクシーのデータに関する実験結果は、モデルがデータ分布に無条件かつ効果的に適合し、正確な予測を提供することを示しています。

要約(オリジナル)

Symmetric positive definite~(SPD) matrices have shown important value and applications in statistics and machine learning, such as FMRI analysis and traffic prediction. Previous works on SPD matrices mostly focus on discriminative models, where predictions are made directly on $E(X|y)$, where $y$ is a vector and $X$ is an SPD matrix. However, these methods are challenging to handle for large-scale data, as they need to access and process the whole data. In this paper, inspired by denoising diffusion probabilistic model~(DDPM), we propose a novel generative model, termed SPD-DDPM, by introducing Gaussian distribution in the SPD space to estimate $E(X|y)$. Moreover, our model is able to estimate $p(X)$ unconditionally and flexibly without giving $y$. On the one hand, the model conditionally learns $p(X|y)$ and utilizes the mean of samples to obtain $E(X|y)$ as a prediction. On the other hand, the model unconditionally learns the probability distribution of the data $p(X)$ and generates samples that conform to this distribution. Furthermore, we propose a new SPD net which is much deeper than the previous networks and allows for the inclusion of conditional factors. Experiment results on toy data and real taxi data demonstrate that our models effectively fit the data distribution both unconditionally and unconditionally and provide accurate predictions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google