Sharpness & Shift-Aware Self-Supervised Learning

要約

自己教師あり学習は、さらなる下流タスクのためにラベルなしデータから意味のある特徴を抽出することを目的としています。
この論文では、フェーズ 2 の下流タスクとして分類を考慮し、この分類タスクの一般的な損失に暗黙的に影響を与える要因を実現するための厳密な理論を開発します。
私たちの理論は、シャープネスを意識した特徴抽出器がフェーズ 2 の分類タスクと、理想的な分布 (つまり、理論開発で使用される理想的な分布) と現実的な分布 (つまり、実装で使用される現実的な分布) の間で既存のデータをシフトして生成するのに有益であることを示しています。
ポジティブペアもこの分類タスクに顕著な影響を与えます。
これらの理論的発見をさらに活用して、特徴抽出器の鮮明度を最小限に抑え、正のペアを生成する分布のデータシフトを軽減する新しいフーリエベースのデータ拡張技術を提案し、シャープネスとシフトを意識した対照学習 (SSA-CLR) に到達します。
。
私たちは理論的な発見を検証するために広範な実験を実施し、シャープネスとシフトを意識したコントラスト学習によりパフォーマンスが大幅に向上し、ベースラインと比較してより堅牢な抽出された特徴が得られることを実証しました。

要約(オリジナル)

Self-supervised learning aims to extract meaningful features from unlabeled data for further downstream tasks. In this paper, we consider classification as a downstream task in phase 2 and develop rigorous theories to realize the factors that implicitly influence the general loss of this classification task. Our theories signify that sharpness-aware feature extractors benefit the classification task in phase 2 and the existing data shift between the ideal (i.e., the ideal one used in theory development) and practical (i.e., the practical one used in implementation) distributions to generate positive pairs also remarkably affects this classification task. Further harvesting these theoretical findings, we propose to minimize the sharpness of the feature extractor and a new Fourier-based data augmentation technique to relieve the data shift in the distributions generating positive pairs, reaching Sharpness & Shift-Aware Contrastive Learning (SSA-CLR). We conduct extensive experiments to verify our theoretical findings and demonstrate that sharpness & shift-aware contrastive learning can remarkably boost the performance as well as obtaining more robust extracted features compared with the baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google