Exploring the Latent Space of Autoencoders with Interventional Assays

要約

オートエンコーダーは、データ多様体を低次元の潜在空間に埋め込む優れた能力を発揮し、表現学習方法の定番となっています。
しかし、しばしば利用できない明確な監督なしでは、表現は通常解釈不可能であり、分析と原則に基づく進歩を困難にします.
潜在的な応答と呼ばれるフレームワークを提案します。これは、変分オートエンコーダーによって示される局所的な収縮動作を利用して、学習した多様体を探索します。
より具体的には、潜在変数間の関係を定量化するために、潜在空間への介入を使用して表現を調査するツールを開発します。
もつれを解くという概念を拡張して、学習した生成プロセスを考慮に入れ、その結果、偽の相関に依存する可能性のある既存のメトリックの制限を回避します。
私たちの分析は、変動要因の生成、補間、推論などの下流タスクのパフォーマンスを向上させるために、表現の因果構造を研究することの重要性を強調しています。

要約(オリジナル)

Autoencoders exhibit impressive abilities to embed the data manifold into a low-dimensional latent space, making them a staple of representation learning methods. However, without explicit supervision, which is often unavailable, the representation is usually uninterpretable, making analysis and principled progress challenging. We propose a framework, called latent responses, which exploits the locally contractive behavior exhibited by variational autoencoders to explore the learned manifold. More specifically, we develop tools to probe the representation using interventions in the latent space to quantify the relationships between latent variables. We extend the notion of disentanglement to take the learned generative process into account and consequently avoid the limitations of existing metrics that may rely on spurious correlations. Our analyses underscore the importance of studying the causal structure of the representation to improve performance on downstream tasks such as generation, interpolation, and inference of the factors of variation.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google