Disentanglement Learning via Topology

要約

我々は、マルチスケールのトポロジカル損失項を追加することで、もつれの解けた表現を学習する手法である TopDis (Topological Disentanglement) を提案します。
もつれの解除は、深層学習モデルの説明可能性と堅牢性にとって重要なデータ表現の重要な特性であり、高レベルの認識への一歩となります。
VAE に基づく最先端の方法は、潜在変数の結合分布の全体的な相関を最小限に抑えます。
私たちは、データ多様体のトポロジカルな特性を分析することによって、もつれの解き方について別の観点から捉えます。
特に、データ多様体横断のトポロジー的類似性を最適化します。
私たちの知る限り、私たちの論文は、もつれを解くための微分可能なトポロジカル損失を提案した最初の論文です。
私たちの実験では、提案されたトポロジー損失により、MIG、FactorVAE スコア、SAP スコア、DCI もつれ解除スコアなどのもつれ解除スコアが最先端の結果と比較して改善されることが示されました。
私たちの方法は教師なしで機能し、変動要因のラベルなしで問題に適用することができます。
さらに、提案されたトポロジ損失を使用して、トレーニングされた GAN でもつれの解けた方向を見つける方法を示します。

要約(オリジナル)

We propose TopDis (Topological Disentanglement), a method for learning disentangled representations via adding multi-scale topological loss term. Disentanglement is a crucial property of data representations substantial for the explainability and robustness of deep learning models and a step towards high-level cognition. The state-of-the-art method based on VAE minimizes the total correlation of the joint distribution of latent variables. We take a different perspective on disentanglement by analyzing topological properties of data manifolds. In particular, we optimize the topological similarity for data manifolds traversals. To the best of our knowledge, our paper is the first one to propose a differentiable topological loss for disentanglement. Our experiments have shown that the proposed topological loss improves disentanglement scores such as MIG, FactorVAE score, SAP score and DCI disentanglement score with respect to state-of-the-art results. Our method works in an unsupervised manner, permitting to apply it for problems without labeled factors of variation. Additionally, we show how to use the proposed topological loss to find disentangled directions in a trained GAN.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google