Markovian Sliced Wasserstein Distances: Beyond Independent Projections

要約

スライスされたワッサースタイン (SW) 距離は、独立した均一でランダムな投影方向により、冗長な投影の影響を受けます。
この問題を部分的に克服するために、最大 K スライス ワッサーシュタイン (Max-K-SW) 距離 ($K\geq 1$) により、最適な識別直交射影方向が求められます。
投影の数を減らすことはできますが、最適化が最適でないため、Max-K-SW の計量性は実際には保証できません。
さらに、直交性制約も計算コストが高く、効果的でない可能性があります。
この問題に対処するために、マルコフ スライス ワッサーシュタイン (MSW) 距離と呼ばれる新しい SW 距離ファミリーを導入します。これは投影方向に 1 次マルコフ構造を課します。
事前分布、遷移分布、バーニングおよびシンニング技術を含むマルコフ構造を指定することにより、MSW のさまざまな要素について議論します。
さらに、位相幾何学的特性 (メトリック性、弱い収束、他の距離との関係)、統計的特性 (サンプルの複雑さ、モンテカルロ推定誤差)、および計算上の特性 (計算の複雑さとメモリの複雑さ) を含む MSW の理論的特性を調査します。
最後に、グラディエント フロー、カラー転送、ディープ ジェネレーティブ モデリングなどのさまざまなアプリケーションで MSW 距離を以前の SW バリアントと比較し、MSW の良好なパフォーマンスを実証します。

要約(オリジナル)

Sliced Wasserstein (SW) distance suffers from redundant projections due to independent uniform random projecting directions. To partially overcome the issue, max K sliced Wasserstein (Max-K-SW) distance ($K\geq 1$), seeks the best discriminative orthogonal projecting directions. Despite being able to reduce the number of projections, the metricity of Max-K-SW cannot be guaranteed in practice due to the non-optimality of the optimization. Moreover, the orthogonality constraint is also computationally expensive and might not be effective. To address the problem, we introduce a new family of SW distances, named Markovian sliced Wasserstein (MSW) distance, which imposes a first-order Markov structure on projecting directions. We discuss various members of MSW by specifying the Markov structure including the prior distribution, the transition distribution, and the burning and thinning technique. Moreover, we investigate the theoretical properties of MSW including topological properties (metricity, weak convergence, and connection to other distances), statistical properties (sample complexity, and Monte Carlo estimation error), and computational properties (computational complexity and memory complexity). Finally, we compare MSW distances with previous SW variants in various applications such as gradient flows, color transfer, and deep generative modeling to demonstrate the favorable performance of MSW.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google