Learning multi-modal generative models with permutation-invariant encoders and tighter variational objectives

要約

マルチモーダル データの深い潜在変数モデルを考案することは、機械学習研究における長年のテーマです。
マルチモーダル変分オートエンコーダ (VAE) は、複数のモダリティを共同で説明する潜在表現を学習する、人気のある生成モデル クラスです。
このようなモデルのさまざまな目的関数が提案されており、多くの場合、マルチモーダル データの対数尤度の下限として、または情報理論的考察から動機​​づけられています。
異なるモダリティのサブセットから潜在変数をエンコードするために、Product-of-Experts (PoE) または Mixture-of-Experts (MoE) の集計スキームが日常的に使用されており、たとえば、生成品質や一貫性に関して、さまざまなトレードオフが生じることが示されています。
複数のモダリティにわたって。
この作業では、データの対数尤度を厳密に近似できる変分目標を検討します。
順列不変ニューラル ネットワークに基づいて、さまざまなモダリティからのエンコードされた特徴を組み合わせることにより、PoE または MoE アプローチにおける誘導バイアスを回避する、より柔軟な集約スキームを開発します。
私たちの数値実験は、マルチモーダル変分目標とさまざまな集計スキームのトレードオフを示しています。
識別可能なモデルで観察されたモダリティと潜在変数にわたる真の同時分布を近似したい場合、変分目的とより柔軟な集計モデルが有益になり得ることを示します。

要約(オリジナル)

Devising deep latent variable models for multi-modal data has been a long-standing theme in machine learning research. Multi-modal Variational Autoencoders (VAEs) have been a popular generative model class that learns latent representations that jointly explain multiple modalities. Various objective functions for such models have been suggested, often motivated as lower bounds on the multi-modal data log-likelihood or from information-theoretic considerations. To encode latent variables from different modality subsets, Product-of-Experts (PoE) or Mixture-of-Experts (MoE) aggregation schemes have been routinely used and shown to yield different trade-offs, for instance, regarding their generative quality or consistency across multiple modalities. In this work, we consider a variational objective that can tightly approximate the data log-likelihood. We develop more flexible aggregation schemes that avoid the inductive biases in PoE or MoE approaches by combining encoded features from different modalities based on permutation-invariant neural networks. Our numerical experiments illustrate trade-offs for multi-modal variational objectives and various aggregation schemes. We show that our variational objective and more flexible aggregation models can become beneficial when one wants to approximate the true joint distribution over observed modalities and latent variables in identifiable models.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google