Disentangled Representation Learning with the Gromov-Monge Gap

要約

ラベルのないデータから解きほぐされた表現を学習することは、機械学習における基本的な課題です。
これを解決すると、一般化、解釈可能性、公平性などの他の問題が解決される可能性があります。
理論的に解決するのは非常に困難ですが、実際には事前のマッチングによってもつれの解消が達成されることがよくあります。
さらに、最近の研究では、幾何学的な考慮事項を利用することによって、たとえば、点間の距離や角度などのデータの幾何学的特徴を保存する表現を学習することによって、従来のマッチング手法を強化できることが示されています。
ただし、データ分布を事前分布と一致させながらこれらの特徴を完全に保存するマッピングは一般に存在しないため、幾何学的特徴を保存しながら事前分布と一致させることは困難です。
これらの課題に対処するために、二次最適輸送に基づいたもつれ解除表現学習への新しいアプローチを導入します。
事前に定義された幾何学的特徴の歪みを最小限に抑え、可能な限りそれらを保存しながら、ある分布を別の分布に移すグロモフ・モンジュ写像を使用して問題を定式化します。
このようなマップを計算するために、マップが最小限のジオメトリ歪みで参照分布を移動するかどうかを定量化する正則化装置である Gromov-Monge-Gap (GMG) を提案します。
私たちは、4 つの標準ベンチマークにわたってもつれを解くアプローチの有効性を実証し、幾何学的な考慮事項を活用した他の方法よりも優れたパフォーマンスを発揮します。

要約(オリジナル)

Learning disentangled representations from unlabelled data is a fundamental challenge in machine learning. Solving it may unlock other problems, such as generalization, interpretability, or fairness. Although remarkably challenging to solve in theory, disentanglement is often achieved in practice through prior matching. Furthermore, recent works have shown that prior matching approaches can be enhanced by leveraging geometrical considerations, e.g., by learning representations that preserve geometric features of the data, such as distances or angles between points. However, matching the prior while preserving geometric features is challenging, as a mapping that fully preserves these features while aligning the data distribution with the prior does not exist in general. To address these challenges, we introduce a novel approach to disentangled representation learning based on quadratic optimal transport. We formulate the problem using Gromov-Monge maps that transport one distribution onto another with minimal distortion of predefined geometric features, preserving them as much as can be achieved. To compute such maps, we propose the Gromov-Monge-Gap (GMG), a regularizer quantifying whether a map moves a reference distribution with minimal geometry distortion. We demonstrate the effectiveness of our approach for disentanglement across four standard benchmarks, outperforming other methods leveraging geometric considerations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google