All4One: Symbiotic Neighbour Contrastive Learning via Self-Attention and Redundancy Reduction

要約

Nearest Neighbor ベースの方法は、一般化機能が高いため、最も成功した自己教師あり学習 (SSL) アプローチの 1 つであることが証明されています。
ただし、複数のネイバーを使用すると、計算効率が低下します。
この論文では、自己注意メカニズムによって作成された「セントロイド」を使用して近隣表現間の距離を縮める、All4One と呼ばれる新しい対照的な SSL アプローチを提案します。
セントロイド コントラスト オブジェクティブを、単一のネイバー コントラストおよびフィーチャ コントラスト オブジェクティブとともに使用します。
セントロイドは複数の近隣からコンテキスト情報を学習するのに役立ちますが、近隣コントラストは近隣から直接表現を学習でき、特徴コントラストは特徴に固有の表現を学習できます。
この組み合わせにより、All4One は一般的なベンチマーク データセットの線形分類評価で一般的なインスタンス識別アプローチよりも 1% 以上優れており、最先端 (SoTA) の結果を得ることができます。
最後に、All4One が次元と拡張の埋め込みに対して堅牢であることを示し、低次元と弱い拡張の設定で NNCLR と Barlow Twins を 5% 以上上回っています。
ソースコードはすぐに利用できるようになります。

要約(オリジナル)

Nearest neighbour based methods have proved to be one of the most successful self-supervised learning (SSL) approaches due to their high generalization capabilities. However, their computational efficiency decreases when more than one neighbour is used. In this paper, we propose a novel contrastive SSL approach, which we call All4One, that reduces the distance between neighbour representations using ”centroids” created through a self-attention mechanism. We use a Centroid Contrasting objective along with single Neighbour Contrasting and Feature Contrasting objectives. Centroids help in learning contextual information from multiple neighbours whereas the neighbour contrast enables learning representations directly from the neighbours and the feature contrast allows learning representations unique to the features. This combination enables All4One to outperform popular instance discrimination approaches by more than 1% on linear classification evaluation for popular benchmark datasets and obtains state-of-the-art (SoTA) results. Finally, we show that All4One is robust towards embedding dimensionalities and augmentations, surpassing NNCLR and Barlow Twins by more than 5% on low dimensionality and weak augmentation settings. The source code would be made available soon.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google