Measuring Self-Supervised Representation Quality for Downstream Classification using Discriminative Features

要約

自己教師あり学習 (SSL) は、下流の分類タスクで目覚ましい結果を示しました。
ただし、障害モードを理解し、学習された表現を解釈するには限界があります。
この論文では、SimCLR、SwaV、MoCo、BYOL、DINO、SimSiam、VICReg、Barlow Twins を含む最先端の自己教師ありモデルの表現空間を研究します。
クラスラベル情報を使用せずに、主に正しく分類された表現に存在する、画像内の固有の物理的属性に対応する識別特徴を発見します。
これらの機能を使用すると、線形分類のパフォーマンスに大きな影響を与えることなく、表現空間を最大 40% 圧縮できます。
次に、特定のサンプルが線形評価中に誤って分類される可能性があるかどうかを確実に予測できる教師なしスコアである自己教師あり表現品質スコア (または Q スコア) を提案し、ImageNet-100 で 91.45、ImageNet で 78.78 の AUPRC を達成します。
-1K。
Q スコアは、低品質の表現を改善するための事前トレーニングされたエンコーダーの正則化項としても使用できます。
Q スコア正則化による微調整により、SSL モデルの線形プローブ精度をベースラインと比較して、ImageNet-100 で最大 5.8%、ImageNet-1K で 3.7% 向上させることができます。
最後に、グラデーション ヒートマップと Salient ImageNet マスクを使用して、各表現の解釈可能性を定量化するメトリックを定義します。
識別特徴はコア属性と強く相関しており、Q スコア正則化によってこれらの特徴を強化することで SSL 表現がより解釈しやすくなることを示します。

要約(オリジナル)

Self-supervised learning (SSL) has shown impressive results in downstream classification tasks. However, there is limited work in understanding their failure modes and interpreting their learned representations. In this paper, we study the representation space of state-of-the-art self-supervised models including SimCLR, SwaV, MoCo, BYOL, DINO, SimSiam, VICReg and Barlow Twins. Without the use of class label information, we discover discriminative features that correspond to unique physical attributes in images, present mostly in correctly-classified representations. Using these features, we can compress the representation space by up to 40% without significantly affecting linear classification performance. We then propose Self-Supervised Representation Quality Score (or Q-Score), an unsupervised score that can reliably predict if a given sample is likely to be mis-classified during linear evaluation, achieving AUPRC of 91.45 on ImageNet-100 and 78.78 on ImageNet-1K. Q-Score can also be used as a regularization term on pre-trained encoders to remedy low-quality representations. Fine-tuning with Q-Score regularization can boost the linear probing accuracy of SSL models by up to 5.8% on ImageNet-100 and 3.7% on ImageNet-1K compared to their baselines. Finally, using gradient heatmaps and Salient ImageNet masks, we define a metric to quantify the interpretability of each representation. We show that discriminative features are strongly correlated to core attributes and, enhancing these features through Q-score regularization makes SSL representations more interpretable.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google