Enhancing Interpretability of Sparse Latent Representations with Class Information

要約

変分自動エンコーダー（VAE）は、潜在的な表現を学習するための強力な生成モデルです。
標準的なVAEは、すべての寸法を利用することにより分散されていない構造化されていない潜在スペースを生成し、特に高次元空間での解釈可能性を制限します。
この課題に対処するために、変分スパースコーディング（VSC）は、スパイクとスラブの事前分布を導入し、各入力にまばらな潜在表現をもたらします。
限られた数のアクティブな寸法を特徴とするこれらのまばらな表現は、本質的に解釈可能です。
この利点にもかかわらず、VSCは同じクラス内のサンプル全体で構造化された解釈を提供することに不足しています。
直感的に、同じクラスのサンプルは、これらの属性のバリエーションを可能にしながら、同様の属性を共有すると予想されます。
この期待は、潜在的な表現におけるアクティブな寸法の一貫したパターンとして現れるはずですが、VSCはそのような一貫性を強制しません。
この論文では、潜在空間のアクティブな寸法が同じクラス内のサンプル全体で一貫していることを保証することにより、潜在空間の解釈性を高めるための新しいアプローチを提案します。
これを達成するために、同じクラスのサンプルが同様のアクティブな寸法を共有するよう促す新しい損失関数を導入します。
このアライメントは、より構造化された解釈可能な潜在空間を作成します。そこでは、各共有寸法は高レベルの概念、または「因子」に対応します。
主にすべてのクラスで共有されているグローバル要因に焦点を当てた既存の解体ベースの方法とは異なり、この方法はグローバルおよびクラス固有の要因の両方をキャプチャし、それによって潜在表現の有用性と解釈可能性を高めます。

要約(オリジナル)

Variational Autoencoders (VAEs) are powerful generative models for learning latent representations. Standard VAEs generate dispersed and unstructured latent spaces by utilizing all dimensions, which limits their interpretability, especially in high-dimensional spaces. To address this challenge, Variational Sparse Coding (VSC) introduces a spike-and-slab prior distribution, resulting in sparse latent representations for each input. These sparse representations, characterized by a limited number of active dimensions, are inherently more interpretable. Despite this advantage, VSC falls short in providing structured interpretations across samples within the same class. Intuitively, samples from the same class are expected to share similar attributes while allowing for variations in those attributes. This expectation should manifest as consistent patterns of active dimensions in their latent representations, but VSC does not enforce such consistency. In this paper, we propose a novel approach to enhance the latent space interpretability by ensuring that the active dimensions in the latent space are consistent across samples within the same class. To achieve this, we introduce a new loss function that encourages samples from the same class to share similar active dimensions. This alignment creates a more structured and interpretable latent space, where each shared dimension corresponds to a high-level concept, or ‘factor.’ Unlike existing disentanglement-based methods that primarily focus on global factors shared across all classes, our method captures both global and class-specific factors, thereby enhancing the utility and interpretability of latent representations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google