Can Self-Supervised Representation Learning Methods Withstand Distribution Shifts and Corruptions?

要約

コンピューター ビジョンにおける自己教師あり学習は、データ内の固有の構造と関係を活用して、人間による明示的な注釈なしで意味のある表現を学習し、視覚的なシーンの全体的な理解を可能にすることを目的としています。
ビジョン機械学習の堅牢性により、信頼性の高い一貫したパフォーマンスが確保され、一般化、適応性、ノイズ、変動、敵対的攻撃に対する耐性が強化されます。
自己教師ありパラダイム、つまり対比学習、知識蒸留、相互情報量の最大化、クラスタリングは、不変学習表現の進歩を示したと考えられています。
この研究では、コンピュータ ビジョンにおける分布の変化と画像の破損に焦点を当て、自己教師あり学習アプローチの学習された表現の堅牢性を調査します。
分布の変化や画像の破損に対する自己教師あり学習法の堅牢性を研究するために、詳細な実験が行われています。
経験的分析は、自己教師ありパラダイム内での学習された表現のパフォーマンスと、分布の変化や破損の深刻度との間の明確な関係を示しています。
特に、より高いレベルのシフトと破損は、学習された表現の堅牢性を大幅に低下させることがわかります。
これらの調査結果は、分布の変化と画像の破損が自己教師あり学習法のパフォーマンスと回復力に重大な影響を与えることを浮き彫りにし、それらの悪影響を軽減する効果的な戦略の必要性を強調しています。
この研究は、実用的な適用可能性を確保するために、安全性と堅牢性の重要な側面を優先する自己教師あり表現学習の分野における将来の研究を強く提唱しています。
ソース コードと結果は GitHub で入手できます。

要約(オリジナル)

Self-supervised learning in computer vision aims to leverage the inherent structure and relationships within data to learn meaningful representations without explicit human annotation, enabling a holistic understanding of visual scenes. Robustness in vision machine learning ensures reliable and consistent performance, enhancing generalization, adaptability, and resistance to noise, variations, and adversarial attacks. Self-supervised paradigms, namely contrastive learning, knowledge distillation, mutual information maximization, and clustering, have been considered to have shown advances in invariant learning representations. This work investigates the robustness of learned representations of self-supervised learning approaches focusing on distribution shifts and image corruptions in computer vision. Detailed experiments have been conducted to study the robustness of self-supervised learning methods on distribution shifts and image corruptions. The empirical analysis demonstrates a clear relationship between the performance of learned representations within self-supervised paradigms and the severity of distribution shifts and corruptions. Notably, higher levels of shifts and corruptions are found to significantly diminish the robustness of the learned representations. These findings highlight the critical impact of distribution shifts and image corruptions on the performance and resilience of self-supervised learning methods, emphasizing the need for effective strategies to mitigate their adverse effects. The study strongly advocates for future research in the field of self-supervised representation learning to prioritize the key aspects of safety and robustness in order to ensure practical applicability. The source code and results are available on GitHub.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google