TC-VAE: Uncovering Out-of-Distribution Data Generative Factors

要約

タイトル: TC-VAE：アウト・オブ・ディストリビューション データ生成要因の発見

要約:

– 表現の学習における究極の目標は、データ生成要因を発見することである。
– 多くの研究が、データセットの根本的な生成要因を明らかにすることができる表現の学習を提案してきたが、これまでにアウト・オブ・ディストリビューション(ODD)生成要因(つまり、データセットに明示的に表示されていない変動因子)を発見することができた例はなかった。
– また、これらのモデルを検証するために使用されるデータセットは、ある一定の生成要因のバランスの良い混合物を用いた人工的に生成されたものであり、生成要因がデータセット全体に均等に分布しているという暗黙の前提を持っている。しかし、現実のデータセットはこの特性を持っていない。
– 本研究では、バランスのとれていない生成要因を持つデータセットを使用した場合の影響を分析し、よく使われる生成モデルについて定性的および定量的な結果を提供する。
– さらに、入力データと学習された潜在的表現間の合計相関の下限を最適化するTC-VAEという生成モデルを提案する。提案モデルは、さまざまなデータセットにおいてODD生成要因を発見することができ、後続の表現学習メトリックにおいて関連するベースラインに比べて平均的に優れた成績を収めた。

要約(オリジナル)

Uncovering data generative factors is the ultimate goal of disentanglement learning. Although many works proposed disentangling generative models able to uncover the underlying generative factors of a dataset, so far no one was able to uncover OOD generative factors (i.e., factors of variations that are not explicitly shown on the dataset). Moreover, the datasets used to validate these models are synthetically generated using a balanced mixture of some predefined generative factors, implicitly assuming that generative factors are uniformly distributed across the datasets. However, real datasets do not present this property. In this work we analyse the effect of using datasets with unbalanced generative factors, providing qualitative and quantitative results for widely used generative models. Moreover, we propose TC-VAE, a generative model optimized using a lower bound of the joint total correlation between the learned latent representations and the input data. We show that the proposed model is able to uncover OOD generative factors on different datasets and outperforms on average the related baselines in terms of downstream disentanglement metrics.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI