Exploring the Latent Space of Autoencoders with Interventional Assays

要約

オートエンコーダは、データ多様体を低次元の潜在空間に埋め込む優れた機能を備えており、表現学習手法の定番となっています。
ただし、多くの場合利用できない明示的な監督がなければ、表現は通常解釈不可能であり、分析と原則的な進歩を困難にします。
潜在応答と呼ばれるフレームワークを提案します。これは、変分オートエンコーダーによって示される局所的に収縮する動作を利用して、学習した多様体を探索します。
より具体的には、潜在変数間の関係を定量化するために潜在空間への介入を使用して表現を精査するツールを開発します。
解きほぐしの概念を拡張して、学習した生成プロセスを考慮に入れ、その結果、疑似相関に依存する可能性のある既存のメトリックの制限を回避します。
私たちの分析は、生成、内挿、変動要因の推論などのダウンストリームタスクのパフォーマンスを向上させるために、表現の因果構造を研究することの重要性を強調しています。

要約(オリジナル)

Autoencoders exhibit impressive abilities to embed the data manifold into a low-dimensional latent space, making them a staple of representation learning methods. However, without explicit supervision, which is often unavailable, the representation is usually uninterpretable, making analysis and principled progress challenging. We propose a framework, called latent responses, which exploits the locally contractive behavior exhibited by variational autoencoders to explore the learned manifold. More specifically, we develop tools to probe the representation using interventions in the latent space to quantify the relationships between latent variables. We extend the notion of disentanglement to take the learned generative process into account and consequently avoid the limitations of existing metrics that may rely on spurious correlations. Our analyses underscore the importance of studying the causal structure of the representation to improve performance on downstream tasks such as generation, interpolation, and inference of the factors of variation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google