No Reason for No Supervision: Improved Generalization in Supervised Models

要約

ImageNet-1K (IN1K) などの特定の分類タスクでディープ ニューラル ネットワークをトレーニングする問題を検討し、トレーニング タスクと他の (将来の) 転送タスクの両方で優れた能力を発揮できるようにします。
これらの一見矛盾する 2 つのプロパティは、モデルの一般化を改善することと、元のタスクでのパフォーマンスを維持することとの間のトレードオフを課します。
自己教師あり学習でトレーニングされたモデルは、転移学習の教師ありモデルよりも一般化する傾向があります。
それでも、IN1K では監視対象モデルにまだ遅れをとっています。
このホワイト ペーパーでは、両方の長所を活用する教師あり学習のセットアップを提案します。
データ増強のためのマルチスケール クロップと消耗品のプロジェクター ヘッドを使用して教師付きトレーニングを広範囲に分析し、プロジェクターの設計により、トレーニング タスクのパフォーマンスと転送可能性のトレードオフを制御できることを明らかにしました。
さらに、クラスの重みの最後のレイヤーを、メモリ バンクを使用してオンザフライで計算されたクラス プロトタイプに置き換え、2 つのモデルを導出します。t-ReX は、転移学習の新しい最先端技術を実現し、IN1K の DINO や PAWS などのトップ メソッドよりも優れています。
、および t-ReX* は、IN1K で高度に最適化された RSB-A1 モデルと一致し、転送タスクでより優れたパフォーマンスを発揮します。
コードと事前トレーニング済みモデル: https://europe.naverlabs.com/t-rex

要約(オリジナル)

We consider the problem of training a deep neural network on a given classification task, e.g., ImageNet-1K (IN1K), so that it excels at both the training task as well as at other (future) transfer tasks. These two seemingly contradictory properties impose a trade-off between improving the model’s generalization and maintaining its performance on the original task. Models trained with self-supervised learning tend to generalize better than their supervised counterparts for transfer learning; yet, they still lag behind supervised models on IN1K. In this paper, we propose a supervised learning setup that leverages the best of both worlds. We extensively analyze supervised training using multi-scale crops for data augmentation and an expendable projector head, and reveal that the design of the projector allows us to control the trade-off between performance on the training task and transferability. We further replace the last layer of class weights with class prototypes computed on the fly using a memory bank and derive two models: t-ReX that achieves a new state of the art for transfer learning and outperforms top methods such as DINO and PAWS on IN1K, and t-ReX* that matches the highly optimized RSB-A1 model on IN1K while performing better on transfer tasks. Code and pretrained models: https://europe.naverlabs.com/t-rex

arxiv情報

提供元, 利用サービス

arxiv.jp, Google