Weighted Ensemble Self-Supervised Learning

要約

タイトル：重み付けアンサンブル自己教師あり学習
要約：

– アンサンブルは、教師あり学習におけるモデルの性能向上、不確実性推定、そして頑強性を向上させるための強力な手法であることが証明されています。
– 自己教師あり学習 (SSL) の進展により、大規模なラベルなしコーパスを利用して最新のfew-shotや教師あり学習のパフォーマンスを実現することが可能になりました。
– 本論文では、一連のデータに依存する重み付きクロスエントロピー損失の枠組みを開発することで、アンサンブル手法が最近のSSL技術を改善できるかどうかを探索しています。
– アンサンブル手法を表現のバックボーンに適用することはせず、この選択肢によって、小さな訓練コストを負担し、ダウンストリームの評価に対してアーキテクチャの変更や計算上のオーバーヘッドを必要としない効果的なアンサンブル手法が得られます。
– 当社の方法の効果を証明するために、2つの最先端のSSL手法、DINO（Caron et al.、2021）とMSN（Assran et al.、2022）を使用して実験を行いました。
– 当社の方法は、ImageNet-1Kにおいて、特にfew-shot設定において、複数の評価メトリックで両方を上回っています。
– 我々はいくつかの重み付け手法を探し、アンサンブルヘッドの多様性を高めることで、ダウンストリーム評価結果が良くなるという結論に至りました。
– 綿密な実験により、当社の方法は、改善された先行研究のベースラインを改善し、MSN ViT-B/16において、1ショット学習において全体的な改善率は3.9 p.p.に達した。

要約(オリジナル)

Ensembling has proven to be a powerful technique for boosting model performance, uncertainty estimation, and robustness in supervised learning. Advances in self-supervised learning (SSL) enable leveraging large unlabeled corpora for state-of-the-art few-shot and supervised learning performance. In this paper, we explore how ensemble methods can improve recent SSL techniques by developing a framework that permits data-dependent weighted cross-entropy losses. We refrain from ensembling the representation backbone; this choice yields an efficient ensemble method that incurs a small training cost and requires no architectural changes or computational overhead to downstream evaluation. The effectiveness of our method is demonstrated with two state-of-the-art SSL methods, DINO (Caron et al., 2021) and MSN (Assran et al., 2022). Our method outperforms both in multiple evaluation metrics on ImageNet-1K, particularly in the few-shot setting. We explore several weighting schemes and find that those which increase the diversity of ensemble heads lead to better downstream evaluation results. Thorough experiments yield improved prior art baselines which our method still surpasses; e.g., our overall improvement with MSN ViT-B/16 is 3.9 p.p. for 1-shot learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI