Multi-label Cluster Discrimination for Visual Representation Learning

要約

対照言語画像事前トレーニング (CLIP) は、画像とテキストの対照学習によって強化された優れた特徴表現により、さまざまなタスクにわたって成功を収めていることが最近実証されました。
しかし、CLIPで用いられるインスタンス識別手法では、学習データの意味構造を符号化することがほとんどできません。
この制限に対処するために、クラスターの割り当てと分類を反復することによるクラスター識別が提案されています。
それにもかかわらず、ほとんどのクラスター識別アプローチは、画像ごとに単一の擬似ラベルのみを定義し、画像内のマルチラベル信号を無視します。
この論文では、表現学習を強化するために、MLCD と呼ばれる新しいマルチラベル クラスター識別法を提案します。
クラスタリングのステップでは、まず、既製の埋め込み機能に基づいて、大規模な LAION-400M データセットを 100 万のセンターにクラスタリングします。
自然画像には複数の視覚オブジェクトまたは属性が含まれることが多いことを考慮して、最も近い複数の中心を補助クラス ラベルとして選択します。
識別ステップでは、新しいマルチラベル分類損失を設計します。これにより、損失を陽性クラスと陰性クラスからエレガントに分離し、決定境界の曖昧さを軽減します。
提案されたマルチラベルクラスター識別方法を、さまざまなスケールのモデルと事前トレーニングデータセットでの実験で検証します。
実験結果は、私たちの方法が線形プローブ、ゼロショット分類、画像テキスト検索などの複数の下流タスクで最先端のパフォーマンスを達成することを示しています。

要約(オリジナル)

Contrastive Language Image Pre-training (CLIP) has recently demonstrated success across various tasks due to superior feature representation empowered by image-text contrastive learning. However, the instance discrimination method used by CLIP can hardly encode the semantic structure of training data. To handle this limitation, cluster discrimination has been proposed through iterative cluster assignment and classification. Nevertheless, most cluster discrimination approaches only define a single pseudo-label for each image, neglecting multi-label signals in the image. In this paper, we propose a novel Multi-Label Cluster Discrimination method named MLCD to enhance representation learning. In the clustering step, we first cluster the large-scale LAION-400M dataset into one million centers based on off-the-shelf embedding features. Considering that natural images frequently contain multiple visual objects or attributes, we select the multiple closest centers as auxiliary class labels. In the discrimination step, we design a novel multi-label classification loss, which elegantly separates losses from positive classes and negative classes, and alleviates ambiguity on decision boundary. We validate the proposed multi-label cluster discrimination method with experiments on different scales of models and pre-training datasets. Experimental results show that our method achieves state-of-the-art performance on multiple downstream tasks including linear probe, zero-shot classification, and image-text retrieval.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google