Guarding Barlow Twins Against Overfitting with Mixed Samples

要約

自己教師あり学習(SSL)は、ラベル付けされたデータに依存することなく、下流のアプリケーションのために転送可能な特徴表現を学習することを目的としている。バーロー・ツインズ（Barlow Twins）アルゴリズムは、対比学習法のような類似の手法と比較して、広く採用され、実装が簡単であることで有名であるが、一般的な破損に対する不変性を最大化しながら、特徴の冗長性を最小化する。上記の目的に最適化することで、ネットワークに有用な表現を学習させる一方、ノイズの多い特徴や一定の特徴を避けることができ、その結果、限られた適応で下流のタスク性能を向上させることができる。事前学習におけるBarlow Twinsの有効性は証明されているが、SSLの基礎となる目的は、対比学習アプローチとは異なり、サンプル間の強い相互作用がないため、不注意に特徴の過剰適合を引き起こす可能性がある。我々の実験から、Barlow Twinsの目的に最適化することは、ある事前学習段階を超えた表現品質の持続的な改善を必ずしも保証せず、データセットによっては下流の性能を低下させる可能性があることがわかった。この課題に対処するため、我々はMixed Barlow Twinsを導入する。Mixed Barlow Twinsは、Barlow Twins学習中のサンプルの相互作用を、線形補間されたサンプルによって改善することを目的とする。この結果、元のBarlow Twinsの目的に正則化項が追加され、入力空間での線形補間は特徴空間での線形補間に変換されると仮定する。この正則化による事前学習は、特徴量のオーバーフィッティングを効果的に緩和し、CIFAR-10、CIFAR-100、TinyImageNet、STL-10、ImageNetデータセットにおける下流の性能をさらに向上させます。コードとチェックポイントは以下から入手可能： https://github.com/wgcban/mix-bt.git

要約(オリジナル)

Self-supervised Learning (SSL) aims to learn transferable feature representations for downstream applications without relying on labeled data. The Barlow Twins algorithm, renowned for its widespread adoption and straightforward implementation compared to its counterparts like contrastive learning methods, minimizes feature redundancy while maximizing invariance to common corruptions. Optimizing for the above objective forces the network to learn useful representations, while avoiding noisy or constant features, resulting in improved downstream task performance with limited adaptation. Despite Barlow Twins’ proven effectiveness in pre-training, the underlying SSL objective can inadvertently cause feature overfitting due to the lack of strong interaction between the samples unlike the contrastive learning approaches. From our experiments, we observe that optimizing for the Barlow Twins objective doesn’t necessarily guarantee sustained improvements in representation quality beyond a certain pre-training phase, and can potentially degrade downstream performance on some datasets. To address this challenge, we introduce Mixed Barlow Twins, which aims to improve sample interaction during Barlow Twins training via linearly interpolated samples. This results in an additional regularization term to the original Barlow Twins objective, assuming linear interpolation in the input space translates to linearly interpolated features in the feature space. Pre-training with this regularization effectively mitigates feature overfitting and further enhances the downstream performance on CIFAR-10, CIFAR-100, TinyImageNet, STL-10, and ImageNet datasets. The code and checkpoints are available at: https://github.com/wgcban/mix-bt.git

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL