An Investigation into Whitening Loss for Self-supervised Learning

要約

自己教師あり学習 (SSL) の望ましい目的は、機能の崩壊を回避することです。
白色化損失は、異なるビューからの埋め込みが白色化されるという条件の下で、正のペアの埋め込み間の距離を最小化することにより、崩壊の回避を保証します。
このホワイトペーパーでは、ホワイトニングロスを分析するための有益な指標を備えたフレームワークを提案します。これは、いくつかの興味深い現象を解明する手がかりと、他の SSL メソッドに接続するピボットポイントを提供します。
バッチ ホワイトニング (BW) ベースの方法は埋め込みにホワイトニングの制約を課さず、埋め込みがフルランクであることのみを必要とすることを明らかにします。
このフルランク制約は、次元の崩壊を回避するのにも十分です。
私たちの分析に基づいて、ランダム グループ パーティション (CW-RGP) を使用したチャネル ホワイトニングを提案します。これは、崩壊を防ぐ BW ベースの方法の利点を活用し、大きなバッチ サイズを必要とする欠点を回避します。
ImageNet 分類と COCO オブジェクト検出に関する実験結果は、提案された CW-RGP が適切な表現を学習する有望な可能性を持っていることを明らかにしています。
コードは https://github.com/winci-ai/CW-RGP で入手できます。

要約(オリジナル)

A desirable objective in self-supervised learning (SSL) is to avoid feature collapse. Whitening loss guarantees collapse avoidance by minimizing the distance between embeddings of positive pairs under the conditioning that the embeddings from different views are whitened. In this paper, we propose a framework with an informative indicator to analyze whitening loss, which provides a clue to demystify several interesting phenomena as well as a pivoting point connecting to other SSL methods. We reveal that batch whitening (BW) based methods do not impose whitening constraints on the embedding, but they only require the embedding to be full-rank. This full-rank constraint is also sufficient to avoid dimensional collapse. Based on our analysis, we propose channel whitening with random group partition (CW-RGP), which exploits the advantages of BW-based methods in preventing collapse and avoids their disadvantages requiring large batch size. Experimental results on ImageNet classification and COCO object detection reveal that the proposed CW-RGP possesses a promising potential for learning good representations. The code is available at https://github.com/winci-ai/CW-RGP.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google