TC-VAE: Uncovering Out-of-Distribution Data Generative Factors

要約

【タイトル】TC-VAE：外部分布データ生成要因の発見
【要約】
– 分解学習の究極の目標は、データ生成要因を明らかにすることである。
– しかし、これまでに、データセットに明示的に現れていない変動要因（すなわち、OOD生成要因）を明らかにすることができる分解性生成モデルは提案されていなかった。
– また、これらのモデルを検証するために使用されるデータセットは、ある事前定義された生成要因のバランスの良い混合物を使用して合成的に生成されるため、生成要因がデータセット全体に均等に分布していることを暗黙的に仮定している。
– それに対して、実際のデータセットではこのような性質はない。
– そこで、この論文では、不均衡な生成要因を持つデータセットを使用することの影響を分析し、広く使用されている生成モデルについて定性的および定量的な結果を提供する。
– さらに、我々は、学習された潜在表現と入力データの間の合計相関の下限を最適化する生成モデルであるTC-VAEを提案する。
– 提案されたモデルは、異なるデータセットでOOD生成要因を発見することができ、下流の分解メトリックに関して関連ベースラインを平均的に上回ることを示した。

要約(オリジナル)

Uncovering data generative factors is the ultimate goal of disentanglement learning. Although many works proposed disentangling generative models able to uncover the underlying generative factors of a dataset, so far no one was able to uncover OOD generative factors (i.e., factors of variations that are not explicitly shown on the dataset). Moreover, the datasets used to validate these models are synthetically generated using a balanced mixture of some predefined generative factors, implicitly assuming that generative factors are uniformly distributed across the datasets. However, real datasets do not present this property. In this work we analyse the effect of using datasets with unbalanced generative factors, providing qualitative and quantitative results for widely used generative models. Moreover, we propose TC-VAE, a generative model optimized using a lower bound of the joint total correlation between the learned latent representations and the input data. We show that the proposed model is able to uncover OOD generative factors on different datasets and outperforms on average the related baselines in terms of downstream disentanglement metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI