Unpicking Data at the Seams: Understanding Disentanglement in VAEs

要約

解体、またはデータの統計的に独立した要因を特定することは、制御されたデータ生成と堅牢な分類から、データ自体の理解と効率的なエンコードと改善まで、多くの機械学習に関連しています。
分析は、変分自動エンコーダー（VAE）、生成的敵対的ネットワーク、拡散モデルなど、いくつかの生成パラダイムで発生します。
最近の進歩がvaesの解体を理解する際に行われています。そこでは、デコーダーのヤコビアンの柱間の相互直交性を促進することが示されています。
これに基づいて、幾何学的な特性であるそのような直交性が、統計的特性である解き分析にどのように変換され、VAEがデータの独立したコンポーネントまたは解き伸びをどのように識別するかについての理解をさらに促進することを示します。

要約(オリジナル)

Disentanglement, or identifying statistically independent factors of the data, is relevant to much of machine learning, from controlled data generation and robust classification to efficient encoding and improving our understanding of the data itself. Disentanglement arises in several generative paradigms including Variational Autoencoders (VAEs), Generative Adversarial Networks and diffusion models. Recent progress has been made in understanding disentanglement in VAEs, where a choice of diagonal posterior covariance matrices is shown to promote mutual orthogonality between columns of the decoder’s Jacobian. We build on this to show how such orthogonality, a geometric property, translates to disentanglement, a statistical property, furthering our understanding of how a VAE identifies independent components of, or disentangles, the data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google