Measuring Self-Supervised Representation Quality for Downstream Classification using Discriminative Features

要約

タイトル：ディスクリミネーション特徴を用いたダウンストリーム分類のための自己教師あり表現品質の測定

要約：
– 自己教師あり学習は、ダウンストリーム分類タスクにおいて驚くべき結果を示しているが、彼らの失敗モードの理解や学習された表現の解釈についての限られた研究がある。
– 本稿では、SimCLR、SwaV、MoCo、BYOL、DINO、SimSiam、VICReg、Barlow Twinsなどの最新の自己教師ありモデルの表現空間を研究し、クラスラベル情報を使用せずに、正しく分類された表現に一般的に見られる画像の固有の物理的属性に対応する識別的特徴を発見する。
– これらの特徴を使用して、表現空間を最大40％圧縮することができ、線形分類性能に大きな影響を与えることなく、自己教師ありモデルの表現品質を決定するモデルには用いられないことが多い、モデルを不確定にしてしまう表現品質スコア（Q-Score）を提案する。
– Q-Scoreは、イメージネット-100でAUPRC 91.45、イメージネット-1KでAUPRC 78.78を達成し、与えられたサンプルが線形評価中に誤分類される可能性があるかどうかを信頼できる方法で予測することができる。
– Q-Scoreレギュラリゼーションを使用したファインチューニングにより、自己教師ありモデルの線形分類性能を、イメージネット-100で最大5.8％、イメージネット-1Kで最大3.7％向上させることができる。
– 最後に、勾配ヒートマップやサリエントイメージネットマスクを使用して、各表現の解釈可能性を定量化するためのメトリックを定義する。結果、識別的特徴は主要属性に強く相関し、これらの特徴をQ-Scoreレギュラリゼーションを通じて強化すると、すべての自己教師ありモデルにわたって表現をより解釈可能にすることができることを示した。

要約(オリジナル)

Self-supervised learning has shown impressive results in downstream classification tasks. However, there is limited work in understanding their failure modes and interpreting their learned representations. In this paper, we study the representation space of state-of-the-art self-supervised models including SimCLR, SwaV, MoCo, BYOL, DINO, SimSiam, VICReg and Barlow Twins. Without the use of class label information, we discover discriminative features that correspond to unique physical attributes in images, present mostly in correctly-classified representations. Using these features, we can compress the representation space by up to $40\%$ without significantly affecting linear classification performance. We then propose Self-Supervised Representation Quality Score (or Q-Score), a model-agnostic, unsupervised score that can reliably predict if a given sample is likely to be mis-classified during linear evaluation, achieving AUPRC of 91.45 on ImageNet-100 and 78.78 on ImageNet-1K. Q-Score can also be used as a regularization term on any pre-trained self-supervised model to remedy low-quality representations. Fine-tuning with Q-Score regularization can boost the linear classification performance of state-of-the-art self-supervised models by up to 5.8% on ImageNet-100 and 3.7% on ImageNet-1K compared to their baselines. Finally, using gradient heatmaps and Salient ImageNet masks, we define a metric to quantify the interpretability of each representation. We show that discriminative features are strongly correlated to core attributes and enhancing these features through Q-score regularization makes representations more interpretable across all self-supervised models.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI