Modulate Your Spectrum in Self-Supervised Learning

要約

ホワイトニング損失は、共同埋め込みアーキテクチャを使用した自己教師あり学習 (SSL) の機能崩壊を回避する理論的な保証を提供します。
白色化損失の典型的な実装の 1 つは、埋め込みに対する白色化変換を設計し、白色化された出力に損失を課すハード ホワイトニングです。
この論文では、前方パス中に埋め込みのスペクトルを所望の分布にマッピングし、後方パス中に暗黙的な勾配更新によって埋め込みのスペクトルを変調するスペクトル変換(ST)フレームワークを提案します。
我々は、白色化変換が定義上 ST の特殊な例であり、経験的調査により崩壊を回避できる他の例が存在することを示します。
さらに、トレース損失 (INTL) を伴う IterNorm と呼ばれる ST の新しいインスタンスを提案します。
私たちは、INTL が崩壊を回避し、最適化の過程で等しい固有値分布に向けて埋め込みのスペクトルを調整できることを理論的に証明します。
さらに、INTL は、ResNet-50 を使用した ImageNet の線形評価で 76.6% のトップ 1 精度を達成します。これは、教師付きベースラインのパフォーマンスを上回ります。この結果は、わずか 256 のバッチ サイズを使用して得られます。包括的な実験により、INTL が優れた精度であることが示されています。
実際に有望なSSL方式。
コードは https://github.com/winci-ai/intl で入手できます。

要約(オリジナル)

Whitening loss provides theoretical guarantee in avoiding feature collapse for self-supervised learning (SSL) using joint embedding architectures. One typical implementation of whitening loss is hard whitening that designs whitening transformation over embedding and imposes the loss on the whitened output. In this paper, we propose spectral transformation (ST) framework to map the spectrum of embedding to a desired distribution during forward pass, and to modulate the spectrum of embedding by implicit gradient update during backward pass. We show that whitening transformation is a special instance of ST by definition, and there exist other instances that can avoid collapse by our empirical investigation. Furthermore, we propose a new instance of ST, called IterNorm with trace loss (INTL). We theoretically prove that INTL can avoid collapse and modulate the spectrum of embedding towards an equal-eigenvalue distribution during the course of optimization. Moreover, INTL achieves 76.6% top-1 accuracy in linear evaluation on ImageNet using ResNet-50, which exceeds the performance of the supervised baseline, and this result is obtained by using a batch size of only 256. Comprehensive experiments show that INTL is a promising SSL method in practice. The code is available at https://github.com/winci-ai/intl.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google