Improving the Generalization of Supervised Models

要約

ImageNet-1K（IN1K）などの特定の分類タスクでディープニューラルネットワークをトレーニングする問題を検討します。これにより、そのタスクだけでなく、他の（将来の）転送タスクでも優れたものになります。
これらの2つの一見矛盾するプロパティは、元のタスクでのパフォーマンスを維持しながら、モデルの一般化を改善することの間にトレードオフを課します。
自己監視学習（SSL）でトレーニングされたモデルは、転移学習の監視対象モデルよりも一般化する傾向があります。
それでも、IN1Kの監視ありモデルに遅れをとっています。
この論文では、両方の長所を活用する教師あり学習のセットアップを提案します。
最近のSSLモデルの2つの主要コンポーネントであるデータ拡張用のマルチスケールクロップと消耗型プロジェクターヘッドの使用を使用して、一般的な教師ありトレーニングフレームワークを強化します。
クラスの重みの最後のレイヤーを、メモリバンクを使用してオンザフライで計算されたクラスのプロトタイプに置き換えます。
これらの3つの改善により、IN1Kトレーニングタスクと13の転送タスクの間でより有利なトレードオフがもたらされることを示します。
調査したすべての構成で、2つのモデルを選び出します。転送学習の最新技術を実現し、IN1KでDINOやPAWSなどのトップメソッドを上回るt-ReXと、高度に最適化されたRSB-に一致するt-ReX*です。
IN1KのA1モデルでありながら、転送タスクのパフォーマンスが向上します。
プロジェクトページと事前トレーニング済みモデル：https：//europe.naverlabs.com/t-rex

要約(オリジナル)

We consider the problem of training a deep neural network on a given classification task, e.g., ImageNet-1K (IN1K), so that it excels at that task as well as at other (future) transfer tasks. These two seemingly contradictory properties impose a trade-off between improving the model’s generalization while maintaining its performance on the original task. Models trained with self-supervised learning (SSL) tend to generalize better than their supervised counterparts for transfer learning; yet, they still lag behind supervised models on IN1K. In this paper, we propose a supervised learning setup that leverages the best of both worlds. We enrich the common supervised training framework using two key components of recent SSL models: multi-scale crops for data augmentation and the use of an expendable projector head. We replace the last layer of class weights with class prototypes computed on the fly using a memory bank. We show that these three improvements lead to a more favorable trade-off between the IN1K training task and 13 transfer tasks. Over all the explored configurations, we single out two models: t-ReX that achieves a new state of the art for transfer learning and outperforms top methods such as DINO and PAWS on IN1K, and t-ReX* that matches the highly optimized RSB-A1 model on IN1K while performing better on transfer tasks. Project page and pretrained models: https://europe.naverlabs.com/t-rex

arxiv情報

提供元, 利用サービス

arxiv.jp, Google