Whitening Consistently Improves Self-Supervised Learning

要約

自己教師あり学習 (SSL) は、視覚表現を学習するための強力なアプローチであることが示されています。
この研究では、自己教師あり学習のエンコーダの最終層として ZCA ホワイトニングを組み込み、学習された特徴を正規化および非相関化することでその品質を向上させることを提案します。
ホワイトニングはこれまでの研究でも SSL で利用されてきましたが、あらゆる SSL モデルを普遍的に改善するその可能性は検討されていませんでした。
SSL 事前トレーニング済みエンコーダーの最後の層としてホワイトニングを追加することは、自己教師あり学習手法やエンコーダー アーキテクチャから独立しているため、複数のエンコーダー アーキテクチャやデータセットにわたる幅広い SSL 手法のパフォーマンスが向上することを実証します。
私たちの実験では、ホワイトニングにより線形および k-NN のプロービング精度が 1 ～ 5% 向上する可能性があることが示されています。
さらに、学習された特徴の包括的な分析を可能にし、表現の品質についての洞察を提供し、崩壊パターンの特定に役立つメトリクスを提案します。

要約(オリジナル)

Self-supervised learning (SSL) has been shown to be a powerful approach for learning visual representations. In this study, we propose incorporating ZCA whitening as the final layer of the encoder in self-supervised learning to enhance the quality of learned features by normalizing and decorrelating them. Although whitening has been utilized in SSL in previous works, its potential to universally improve any SSL model has not been explored. We demonstrate that adding whitening as the last layer of SSL pretrained encoders is independent of the self-supervised learning method and encoder architecture, thus it improves performance for a wide range of SSL methods across multiple encoder architectures and datasets. Our experiments show that whitening is capable of improving linear and k-NN probing accuracy by 1-5%. Additionally, we propose metrics that allow for a comprehensive analysis of the learned features, provide insights into the quality of the representations and help identify collapse patterns.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google