Disentangling Embedding Spaces with Minimal Distributional Assumptions

要約

学習した埋め込みスペースを理解して因数分解することへの関心が高まっています。
たとえば、最近の概念ベースの説明手法は、解釈可能な潜在コンポーネントの観点から機械学習モデルを分析します。
このようなコンポーネントは、モデルの埋め込みスペースで、たとえば、独立成分分析（ICA）または最新の解きほぐし学習手法を介して発見する必要があります。
これらの教師なしアプローチは、健全な形式的フレームワークを提供しますが、データ生成機能へのアクセスを必要とするか、実際にはしばしば違反されるコンポーネントの独立性など、データ分散に厳格な仮定を課します。
この作業では、ビジョンモデルの概念的な説明可能性を解きほぐし学習およびICAとリンクします。
これにより、分布の仮定を必要とせずに、コンポーネントを特定する方法に関する最初の理論的結果を提供できます。
これらの洞察から、現在のアプローチよりも幅広いクラスの問題に適用できるが、正式な識別可能性の保証を備えた、互いに素な属性（DA）の概念発見方法を導き出します。
成分分析および300を超える最先端の解きほぐしモデルとの広範な比較において、DAは、さまざまな分布および相関強度の下でも、優れたパフォーマンスを安定して維持します。

要約(オリジナル)

Interest in understanding and factorizing learned embedding spaces is growing. For instance, recent concept-based explanation techniques analyze a machine learning model in terms of interpretable latent components. Such components have to be discovered in the model’s embedding space, e.g., through independent component analysis (ICA) or modern disentanglement learning techniques. While these unsupervised approaches offer a sound formal framework, they either require access to a data generating function or impose rigid assumptions on the data distribution, such as independence of components, that are often violated in practice. In this work, we link conceptual explainability for vision models with disentanglement learning and ICA. This enables us to provide first theoretical results on how components can be identified without requiring any distributional assumptions. From these insights, we derive the disjoint attributions (DA) concept discovery method that is applicable to a broader class of problems than current approaches but yet possesses a formal identifiability guarantee. In an extensive comparison against component analysis and over 300 state-of-the-art disentanglement models, DA stably maintains superior performance, even under varying distributions and correlation strengths.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google