Disentangled Representation Learning through Geometry Preservation with the Gromov-Monge Gap

要約

教師なしで解きほぐされた表現を学習することは、機械学習における基本的な課題です。
これを解決すると、一般化、解釈可能性、公平性などの他の問題が解決される可能性があります。
一般に解決するのは非常に困難ですが、最近の研究では、局所アイソメトリなどの幾何学的制約を利用できる追加の仮定の下で、もつれの解消が達成できる可能性があることが示されています。
これらの洞察を使用するために、二次最適輸送に基づいて構築されたもつれ解除表現学習に関する新しい視点を提案します。
具体的には、異なる空間でサポートされる分布間の等角写像を求める Gromov-Monge 設定で問題を定式化します。
我々は、異なる空間でサポートされる 2 つの分布間の任意のプッシュフォワード マップの幾何学的保存を定量化する正則化装置である Gromov-Monge-Gap (GMG) を提案します。
4 つの標準ベンチマークで、もつれを解くための GMG 正則化の有効性を実証します。
さらに、ジオメトリの保存により、標準的な再構成目的なしで教師なしもつれの解消を促進することさえできることを示します。つまり、基礎となるモデルをデコーダフリーにし、教師なしのもつれ解除について、より実用的かつスケーラブルな観点が得られることが期待されます。

要約(オリジナル)

Learning disentangled representations in an unsupervised manner is a fundamental challenge in machine learning. Solving it may unlock other problems, such as generalization, interpretability, or fairness. While remarkably difficult to solve in general, recent works have shown that disentanglement is provably achievable under additional assumptions that can leverage geometrical constraints, such as local isometry. To use these insights, we propose a novel perspective on disentangled representation learning built on quadratic optimal transport. Specifically, we formulate the problem in the Gromov-Monge setting, which seeks isometric mappings between distributions supported on different spaces. We propose the Gromov-Monge-Gap (GMG), a regularizer that quantifies the geometry-preservation of an arbitrary push-forward map between two distributions supported on different spaces. We demonstrate the effectiveness of GMG regularization for disentanglement on four standard benchmarks. Moreover, we show that geometry preservation can even encourage unsupervised disentanglement without the standard reconstruction objective – making the underlying model decoder-free, and promising a more practically viable and scalable perspective on unsupervised disentanglement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google