Representation Learning via Non-Contrastive Mutual Information

要約

ラベル付けデータは多くの場合、非常に時間がかかり、高価であるため、ほとんどのラベルのないデータが残ります。
SIMCLR（Chen et al。、2020）やByol（Grill et al。、2020）などの自己監視表現学習方法は、非標識画像データから意味のある潜在的表現を学習することに非常に成功しており、その結果、下流タスクのはるかに一般的で転送可能な表現が生じています。
概して、自己監視された方法は2つのタイプに分類されます。1）SIMCLRなどの対照的な方法。
2）Byolなどの非矛盾のある方法。
対照的な方法は一般に、関連するデータポイント間の相互情報を最大化しようとしているため、すべてのデータポイントを他のすべてのデータポイントと比較する必要があり、その結果、大きなバッチサイズがうまく機能する必要があります。
BYOLのような非矛盾した方法は、ペアワイズ比較を行う必要がないため、はるかに低い分散を持っていますが、一定のベクトルに崩壊する可能性があるため、実装するのははるかに難しいです。
この論文では、両方のタイプの強さを組み合わせた自己監視の目的を開発することを目指しています。
スペクトルコントラスト損失と呼ばれる特定の対照的な方法から始めます（Haochen et al。、2021; Lu et al。、2024）、より一般的な非矛盾のある形態に変換します。
これにより、ペアワイズの比較が削除され、その結果、差異が低くなりますが、崩壊を防ぐコントラスト方法の相互情報の定式化を維持します。
私たちは、私たちの新しい目的を相互情報を非矛盾（MINC）損失と呼びます。
Imagenetで画像表現を学習することでMINCをテストし（SIMCLRとBYOLに似ています）、スペクトルのコントラスト損失ベースラインを一貫して改善することを示します。

要約(オリジナル)

Labeling data is often very time consuming and expensive, leaving us with a majority of unlabeled data. Self-supervised representation learning methods such as SimCLR (Chen et al., 2020) or BYOL (Grill et al., 2020) have been very successful at learning meaningful latent representations from unlabeled image data, resulting in much more general and transferable representations for downstream tasks. Broadly, self-supervised methods fall into two types: 1) Contrastive methods, such as SimCLR; and 2) Non-Contrastive methods, such as BYOL. Contrastive methods are generally trying to maximize mutual information between related data points, so they need to compare every data point to every other data point, resulting in high variance, and thus requiring large batch sizes to work well. Non-contrastive methods like BYOL have much lower variance as they do not need to make pairwise comparisons, but are much trickier to implement as they have the possibility of collapsing to a constant vector. In this paper, we aim to develop a self-supervised objective that combines the strength of both types. We start with a particular contrastive method called the Spectral Contrastive Loss (HaoChen et al., 2021; Lu et al., 2024), and we convert it into a more general non-contrastive form; this removes the pairwise comparisons resulting in lower variance, but keeps the mutual information formulation of the contrastive method preventing collapse. We call our new objective the Mutual Information Non-Contrastive (MINC) loss. We test MINC by learning image representations on ImageNet (similar to SimCLR and BYOL) and show that it consistently improves upon the Spectral Contrastive loss baseline.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google