Perceived Overlap: A Prerequisite for VAE Disentanglement

要約

変分オートエンコーダー（VAE）を使用して解きほぐされた表現を学習することは、多くの場合、損失の正則化コンポーネントに起因します。
この作業では、VAEの解きほぐしの主な要因として、データと損失の再構築期間との相互作用に焦点を当てます。
標準化されたベンチマークデータセットは、解きほぐされた表現のように見えるものを学習するのに役立つ方法で構築されていることに注意してください。
このメカニズムを利用して、既存の最先端の解きほぐしフレームワークを破壊する直感的な敵対的データセットを設計します。
最後に、VAEがデータポイント間の距離を認識する方法に影響を与える再構成損失を変更することにより、解きほぐしを可能にするソリューションを提供します。

要約(オリジナル)

Learning disentangled representations with variational autoencoders (VAEs) is often attributed to the regularisation component of the loss. In this work, we highlight the interaction between data and the reconstruction term of the loss as the main contributor to disentanglement in VAEs. We note that standardised benchmark datasets are constructed in ways that are conducive to learning what appear to be disentangled representations. We design an intuitive adversarial dataset that exploits this mechanism to break existing state-of-the-art disentanglement frameworks. Finally, we supply a solution that enables disentanglement by modifying the reconstruction loss, affecting how VAEs perceive distances between data points.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google