Generative Sliced MMD Flows with Riesz Kernels

要約

最大平均不一致 (MMD) フローは、大規模な計算において高い計算コストの影響を受けます。
この論文では、Riesz カーネル $K(x,y) = – \Vert x-y\Vert^r$, $r \in (0,2)$ を使用した MMD フローが、効率的な計算を可能にする例外的な特性を備えていることを示します。
Riesz カーネルの MMD がスライスされたバージョンの MMD と一致することを証明します。
結果として、MMD の勾配の計算を 1 次元設定で実行できます。
ここで、$r=1$ の場合、単純なソート アルゴリズムを適用して、複雑さを $O(MN+N^2)$ から $O((M+N)\log(M+N))$ に軽減できます。
$M$ と $N$ のサポート ポイントを持つ 2 つのメジャー。
もう 1 つの興味深い追跡結果として、コンパクトにサポートされたメジャーの MMD は、Wasserstein-1 距離によって上下から推定できます。
実装では、有限数 $P$ のスライスのみを使用して、スライスされた MMD の勾配を近似します。
結果として生じるエラーの複雑さは $O(\sqrt{d/P})$ であることがわかります ($d$ はデータの次元です)。
これらの結果により、画像アプリケーションであっても、MMD 勾配フローをニューラル ネットワークで近似して生成モデルをトレーニングすることが可能になります。
MNIST、FashionMNIST、CIFAR10 での画像生成によるモデルの効率を実証します。

要約(オリジナル)

Maximum mean discrepancy (MMD) flows suffer from high computational costs in large scale computations. In this paper, we show that MMD flows with Riesz kernels $K(x,y) = – \Vert x-y\Vert^r$, $r \in (0,2)$ have exceptional properties which allow their efficient computation. We prove that the MMD of Riesz kernels coincides with the MMD of their sliced version. As a consequence, the computation of gradients of MMDs can be performed in the one-dimensional setting. Here, for $r=1$, a simple sorting algorithm can be applied to reduce the complexity from $O(MN+N^2)$ to $O((M+N)\log(M+N))$ for two measures with $M$ and $N$ support points. As another interesting follow-up result, the MMD of compactly supported measures can be estimated from above and below by the Wasserstein-1 distance. For the implementations we approximate the gradient of the sliced MMD by using only a finite number $P$ of slices. We show that the resulting error has complexity $O(\sqrt{d/P})$, where $d$ is the data dimension. These results enable us to train generative models by approximating MMD gradient flows by neural networks even for image applications. We demonstrate the efficiency of our model by image generation on MNIST, FashionMNIST and CIFAR10.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google