Gromov-Wasserstein Autoencoders

要約

Variational Autoencoder (VAE) ベースの生成モデルは、下流のタスクに有益であると考えられるメタ プライア (一般的な前提) を組み込むことにより、柔軟な表現学習を提供します。
ただし、組み込まれたメタ事前分布には、元の尤度アーキテクチャからのアドホック モデルの逸脱が含まれていることが多く、トレーニングに望ましくない変更が生じます。
この論文では、変分自動符号化スキームを使用して潜在分布とデータ分布を直接一致させる新しい表現学習法、Gromov-Wasserstein Autoencoders (GWAE) を提案します。
GWAE モデルは、尤度ベースの目的の代わりに、トレーニング可能な事前データ分布と特定データ分布の間の Gromov-Wasserstein (GW) メトリックを最小化します。
GW メトリックは、次元が異なる場合でも、分布間の距離構造指向の不一致を測定します。これにより、潜在空間とデータ空間の間の直接的な測定値が提供されます。
事前ファミリを制限することにより、目的を変更せずに潜在空間にメタ事前を導入できます。
VAE ベースのモデルとの経験的な比較は、GWAE モデルが 2 つの主要なメタ プライア、もつれの解消とクラスタリングで機能し、GW の目的が変更されていないことを示しています。

要約(オリジナル)

Variational Autoencoder (VAE)-based generative models offer flexible representation learning by incorporating meta-priors, general premises considered beneficial for downstream tasks. However, the incorporated meta-priors often involve ad-hoc model deviations from the original likelihood architecture, causing undesirable changes in their training. In this paper, we propose a novel representation learning method, Gromov-Wasserstein Autoencoders (GWAE), which directly matches the latent and data distributions using the variational autoencoding scheme. Instead of likelihood-based objectives, GWAE models minimize the Gromov-Wasserstein (GW) metric between the trainable prior and given data distributions. The GW metric measures the distance structure-oriented discrepancy between distributions even with different dimensionalities, which provides a direct measure between the latent and data spaces. By restricting the prior family, we can introduce meta-priors into the latent space without changing their objective. The empirical comparisons with VAE-based models show that GWAE models work in two prominent meta-priors, disentanglement and clustering, with their GW objective unchanged.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google