Self-Supervised Visual Representation Learning via Residual Momentum

要約

自己教師あり学習 (SSL) アプローチは、ラベル付けされていないデータから表現を学習する有望な機能を示しています。
その中でも、モメンタムベースのフレームワークが大きな注目を集めています。
大成功を収めたにもかかわらず、これらの運動量ベースの SSL フレームワークは、オンライン エンコーダー (学生) と運動量エンコーダー (教師) の間の表現に大きなギャップがあり、ダウンストリーム タスクのパフォーマンスを妨げています。
このホワイト ペーパーは、この目に見えないギャップを、既存の SSL フレームワークで見過ごされてきたボトルネックとして調査および特定した最初の論文であり、モデルが適切な表現を学習するのを妨げている可能性があります。
この問題を解決するために、このギャップを直接減らす「残りの勢い」を提案して、学生が教師の表現にできるだけ近い表現を学習するように促し、教師とのパフォーマンスのギャップを狭め、既存の SSL を大幅に改善します。
私たちの方法は簡単で、実装が簡単で、他の SSL フレームワークに簡単にプラグインできます。
多数のベンチマーク データセットと多様なネットワーク アーキテクチャに関する広範な実験結果により、最先端の対照学習ベースラインに対する本手法の有効性が実証されています。

要約(オリジナル)

Self-supervised learning (SSL) approaches have shown promising capabilities in learning the representation from unlabeled data. Amongst them, momentum-based frameworks have attracted significant attention. Despite being a great success, these momentum-based SSL frameworks suffer from a large gap in representation between the online encoder (student) and the momentum encoder (teacher), which hinders performance on downstream tasks. This paper is the first to investigate and identify this invisible gap as a bottleneck that has been overlooked in the existing SSL frameworks, potentially preventing the models from learning good representation. To solve this problem, we propose ‘residual momentum’ to directly reduce this gap to encourage the student to learn the representation as close to that of the teacher as possible, narrow the performance gap with the teacher, and significantly improve the existing SSL. Our method is straightforward, easy to implement, and can be easily plugged into other SSL frameworks. Extensive experimental results on numerous benchmark datasets and diverse network architectures have demonstrated the effectiveness of our method over the state-of-the-art contrastive learning baselines.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google