ScoreCL: Augmentation-Adaptive Contrastive Learning via Score-Matching Function

要約

自己教師あり対比学習 (CL) は、正のペア間の距離を最小化し、負のペア間の距離を最大化することで、表現学習において最先端のパフォーマンスを達成しました。
最近、モデルがよりビュー不変になるため、多様に拡張された正のペアを使用して、モデルがより良い表現を学習することが検証されました。
しかし、拡張ビュー間の違いを考慮した CL に関する研究はほんのわずかであり、手作業で作成された結果を超えるものはありません。
この論文では、まず、スコアマッチング関数が、拡張によって元のデータからどれだけのデータが変更されたかを測定できることを観察します。
観察された特性により、CL 内のすべてのペアにスコア値の差によって適応的に重み付けを行うことができ、その結果、既存の CL メソッドのパフォーマンスが向上します。
さまざまな CL メソッド、SimCLR、SimSiam、W-MSE、および VICReg を一貫して改善することで、ScoreCL と呼ばれるメソッドの汎用性を示し、CIFAR-10、CIFAR-100、
そしてImageNet-100。
さらに、さまざまな下流タスクの結果、可能なベースラインとの比較、提案されている他の増強方法と併用した場合の改善など、徹底的な実験とアブレーションを実施しました。
私たちの調査が、CL のスコア マッチングの活用に関するさらなる研究のきっかけとなることを願っています。

要約(オリジナル)

Self-supervised contrastive learning (CL) has achieved state-of-the-art performance in representation learning by minimizing the distance between positive pairs while maximizing that of negative ones. Recently, it has been verified that the model learns better representation with diversely augmented positive pairs because they enable the model to be more view-invariant. However, only a few studies on CL have considered the difference between augmented views, and have not gone beyond the hand-crafted findings. In this paper, we first observe that the score-matching function can measure how much data has changed from the original through augmentation. With the observed property, every pair in CL can be weighted adaptively by the difference of score values, resulting in boosting the performance of the existing CL method. We show the generality of our method, referred to as ScoreCL, by consistently improving various CL methods, SimCLR, SimSiam, W-MSE, and VICReg, up to 3%p in k-NN evaluation on CIFAR-10, CIFAR-100, and ImageNet-100. Moreover, we have conducted exhaustive experiments and ablations, including results on diverse downstream tasks, comparison with possible baselines, and improvement when used with other proposed augmentation methods. We hope our exploration will inspire more research in exploiting the score matching for CL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google