Matrix Information Theory for Self-Supervised Learning

要約

対照学習では、多くの場合、自己教師あり学習 (SSL) を実行するために、正のアンカー サンプルと複数の負のサンプルを比較することに依存します。
ただし、BYOL、SimSiam、Barlow Twins などの非対照的なアプローチは、明示的なネガティブ サンプルなしで SSL を実現します。
この論文では、多くの対照的および非対照的学習方法を説明する統一行列情報理論フレームワークを紹介します。
次に、行列情報理論に基づいた新しい手法 Matrix-SSL を提案します。
実験結果から、Matrix-SSL は、線形評価設定下の ImageNet データセットおよび転移学習タスクの MS-COCO 上で最先端の手法よりも大幅に優れたパフォーマンスを発揮することが明らかになりました。
具体的には、100 エポックの事前トレーニングを実行する場合、私たちのメソッドは SimCLR よりも 4.6% 優れています。また、MS-COCO で転移学習タスクを実行する場合、私たちのメソッドは、比較したわずか 400 エポックで、MoCo v2 や BYOL などの以前の SOTA メソッドより最大 3.3% 優れています。
トレーニング前に 800 エポックまで。
コードは https://github.com/yifanzhang-pro/Matrix-SSL で入手できます。

要約(オリジナル)

Contrastive learning often relies on comparing positive anchor samples with multiple negative samples to perform Self-Supervised Learning (SSL). However, non-contrastive approaches like BYOL, SimSiam, and Barlow Twins achieve SSL without explicit negative samples. In this paper, we introduce a unified matrix information-theoretic framework that explains many contrastive and non-contrastive learning methods. We then propose a novel method Matrix-SSL based on matrix information theory. Experimental results reveal that Matrix-SSL significantly outperforms state-of-the-art methods on the ImageNet dataset under linear evaluation settings and on MS-COCO for transfer learning tasks. Specifically, when performing 100 epochs pre-training, our method outperforms SimCLR by 4.6%, and when performing transfer learning tasks on MS-COCO, our method outperforms previous SOTA methods such as MoCo v2 and BYOL up to 3.3% with only 400 epochs compared to 800 epochs pre-training. Code available at https://github.com/yifanzhang-pro/Matrix-SSL.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google