Control Variate Sliced Wasserstein Estimators

要約

タイトル：制御変量スライスWasserstein推定子

要約：

– プロバビリティ測度間のスライスWasserstein（SW）距離は、それらの測度の1次元射影の2つのワッサーシュタイン距離の期待値として定義される。乱数は、2つの入力測度を1次元に射影するために使用される射影方向から来る。
– 期待値の計算が難しいため、SW距離の値を推定するためにモンテカルロ積分が実行される。しかし、SW距離のモンテカルロ推定スキームを分散を制御する点についての先行研究は存在していない。
– 分散低減の文献とSW距離の文献をつなぐことで、制御変量を提案して、経験的なSW距離の推定の分散を減らす。主なアイデアは、射影された1次元測度のガウス近似をまず見つけ、次に2つのガウス分布間のWasserstein-2距離の閉形式を利用して制御変量を設計することである。特に、装着された2つのガウス間のWasserstein-2距離の下限と上限を2つの制御変量として提案する。
– プロバビリティ測度間の比較において、提案された制御変量推定値が分散をかなり削減することを示す実験的に検証する。加えて、2つの点雲の間の補間や、CIFAR10やCelebAなどの標準画像データセットでの深層生成モデリングにおいて、提案された制御変量推定値の有利な性能を示す。

要約(オリジナル)

The sliced Wasserstein (SW) distances between two probability measures are defined as the expectation of the Wasserstein distance between two one-dimensional projections of the two measures. The randomness comes from a projecting direction that is used to project the two input measures to one dimension. Due to the intractability of the expectation, Monte Carlo integration is performed to estimate the value of the SW distance. Despite having various variants, there has been no prior work that improves the Monte Carlo estimation scheme for the SW distance in terms of controlling its variance. To bridge the literature on variance reduction and the literature on the SW distance, we propose computationally efficient control variates to reduce the variance of the empirical estimation of the SW distance. The key idea is to first find Gaussian approximations of projected one-dimensional measures, then we utilize the closed-form of the Wasserstein-2 distance between two Gaussian distributions to design the control variates. In particular, we propose using a lower bound and an upper bound of the Wasserstein-2 distance between two fitted Gaussians as two computationally efficient control variates. We empirically show that the proposed control variate estimators can help to reduce the variance considerably when comparing measures over images and point-clouds. Finally, we demonstrate the favorable performance of the proposed control variate estimators in gradient flows to interpolate between two point-clouds and in deep generative modeling on standard image datasets, such as CIFAR10 and CelebA.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI