Fourier Sliced-Wasserstein Embedding for Multisets and Measures

要約

フーリエスライスされたスライスワーザースタイン（FSW）埋め込み – $ \ mathbb {r}^d $を超えるマルチセットと測定をEuclideanスペースに埋め込む新しい方法を提示します。
提案された埋め込みは、分布のスライスされたワッサースタイン距離をほぼ保存し、それにより、入力の構造をよりよくキャプチャする幾何学的に意味のある表現をもたらします。
さらに、それは測定値とマルチセットのbi-lipschitzの注射です。これは、Bi-Lipschitzではなく、多くの場合、注射でさえありません。
これらの保証に必要な出力寸法はほぼ最適です。約2ドルn d $、$ n $は最大入力マルチセットサイズです。
さらに、$ \ mathbb {r}^d $を超える分布をbi-lipschitzの方法でユークリッド空間に埋め込むことは不可能であることを証明します。
したがって、埋め込みのメトリック特性は、ある意味で可能な限り最高です。
数値実験を通じて、私たちの方法は、実用的な学習タスクのパフォーマンスを改善する優れたマルチセット表現を生成することを実証します。
具体的には、（a）FSWの埋め込みとMLPの単純な組み合わせが、（スライスしていない）ワッサースタイン距離を学習する上で最先端のパフォーマンスを達成することを示しています。
（b）最大プーリングをFSW埋め込みに置き換えると、ポイントネットはパラメーターの削減に対して大幅に堅牢になり、40倍の削減後でもパフォーマンス劣化はわずかです。

要約(オリジナル)

We present the Fourier Sliced-Wasserstein (FSW) embedding – a novel method to embed multisets and measures over $\mathbb{R}^d$ into Euclidean space. Our proposed embedding approximately preserves the sliced Wasserstein distance on distributions, thereby yielding geometrically meaningful representations that better capture the structure of the input. Moreover, it is injective on measures and bi-Lipschitz on multisets – a significant advantage over prevalent methods based on sum- or max-pooling, which are provably not bi-Lipschitz, and, in many cases, not even injective. The required output dimension for these guarantees is near-optimal: roughly $2 N d$, where $N$ is the maximal input multiset size. Furthermore, we prove that it is impossible to embed distributions over $\mathbb{R}^d$ into Euclidean space in a bi-Lipschitz manner. Thus, the metric properties of our embedding are, in a sense, the best possible. Through numerical experiments, we demonstrate that our method yields superior multiset representations that improve performance in practical learning tasks. Specifically, we show that (a) a simple combination of the FSW embedding with an MLP achieves state-of-the-art performance in learning the (non-sliced) Wasserstein distance; and (b) replacing max-pooling with the FSW embedding makes PointNet significantly more robust to parameter reduction, with only minor performance degradation even after a 40-fold reduction.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google