Is Self-Supervised Learning More Robust Than Supervised Learning?

要約

自己監視型の対照的な学習は、ラベルなしで視覚的表現を学習するための強力なツールです。
以前の作業は、主にさまざまな事前トレーニングアルゴリズムの認識精度の評価に焦点を当てていましたが、他の動作の側面を見落としていました。
精度に加えて、分布の堅牢性は、機械学習モデルの信頼性において重要な役割を果たします。
対照学習と教師あり学習の動作の違いをダウンストリームまたはトレーニング前のデータ分布の変化に定量化するために、一連の堅牢性テストを設計および実施します。
これらのテストは、ピクセルレベルのガンマ歪みからパッチレベルのシャッフル、データセットレベルの分布シフトに至るまで、複数のレベルでデータの破損を活用します。
私たちのテストは、対照的で教師あり学習の興味深いロバスト性の振る舞いを明らかにします。
一方では、下流の腐敗の下で、対照学習は教師あり学習よりも驚くほど堅牢であることが一般的に観察されます。
一方、トレーニング前の破損の下では、対照的な学習はパッチのシャッフルとピクセル強度の変化に対して脆弱であるが、データセットレベルの分布の変化に対する感度は低いことがわかります。
これらの結果を、データ拡張と機能空間のプロパティの役割を通じて説明しようとしています。
私たちの洞察は、教師あり学習のダウンストリームの堅牢性を向上させることに影響を及ぼします。

要約(オリジナル)

Self-supervised contrastive learning is a powerful tool to learn visual representation without labels. Prior work has primarily focused on evaluating the recognition accuracy of various pre-training algorithms, but has overlooked other behavioral aspects. In addition to accuracy, distributional robustness plays a critical role in the reliability of machine learning models. We design and conduct a series of robustness tests to quantify the behavioral differences between contrastive learning and supervised learning to downstream or pre-training data distribution changes. These tests leverage data corruptions at multiple levels, ranging from pixel-level gamma distortion to patch-level shuffling and to dataset-level distribution shift. Our tests unveil intriguing robustness behaviors of contrastive and supervised learning. On the one hand, under downstream corruptions, we generally observe that contrastive learning is surprisingly more robust than supervised learning. On the other hand, under pre-training corruptions, we find contrastive learning vulnerable to patch shuffling and pixel intensity change, yet less sensitive to dataset-level distribution change. We attempt to explain these results through the role of data augmentation and feature space properties. Our insight has implications in improving the downstream robustness of supervised learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google