Towards a Unified Framework of Contrastive Learning for Disentangled Representations

要約

対照学習は、データの説明要素を発見して解きほぐす、データ表現を学習するための有望なアプローチとして最近登場しました。
このようなアプローチのこれまでの分析は主に、ノイズ対比推定 (NCE) や InfoNCE などの個々の対比損失に焦点を当てており、データ生成プロセスに関する特定の仮定に依存していました。
この論文では、データ分布に関する仮定を緩和しながら、もつれ解除の理論的保証をより広範な対照的手法に拡張します。
具体的には、共通の独立性の仮定を課すことなく、この論文で研究した 4 つの対照的な損失の真の潜在の識別可能性を証明します。
理論的な発見は、いくつかのベンチマーク データセットで検証されています。
最後に、これらの方法の実際的な制限についても調査します。

要約(オリジナル)

Contrastive learning has recently emerged as a promising approach for learning data representations that discover and disentangle the explanatory factors of the data. Previous analyses of such approaches have largely focused on individual contrastive losses, such as noise-contrastive estimation (NCE) and InfoNCE, and rely on specific assumptions about the data generating process. This paper extends the theoretical guarantees for disentanglement to a broader family of contrastive methods, while also relaxing the assumptions about the data distribution. Specifically, we prove identifiability of the true latents for four contrastive losses studied in this paper, without imposing common independence assumptions. The theoretical findings are validated on several benchmark datasets. Finally, practical limitations of these methods are also investigated.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google