Principled and Efficient Transfer Learning of Deep Models via Neural Collapse

要約

モデルのサイズが増大し続け、ラベル付けされたトレーニング データの利用が制限されているため、転移学習は多くの科学および工学分野でますます一般的なアプローチになっています。
分類の問題について、この研究では、ニューラル コラプス (NC) と呼ばれる興味深い現象を通じて、転移学習の謎を掘り下げます。この現象では、学習されたディープ ネットワークの最終層の特徴と分類子が次の条件を満たします。(i) 特徴のクラス内変動性が崩壊する
(ii) クラス間特徴平均は最大かつ均等に分離されます。
NC のレンズを通して、転移学習に関する私たちの調査結果は次のとおりです。
モデルの転送性を向上させる。
(ii) ダウンストリーム タスクでモデルを微調整する場合、ダウンストリーム データでより多くの NC を持つフィーチャを取得すると、特定のタスクでのテスト精度が向上します。
上記の結果は、モデルの事前トレーニングで広く使用されている多くのヒューリスティック (データ拡張、プロジェクション ヘッド、自己教師あり学習など) を分かりやすく説明するだけでなく、ダウンストリーム タスクでのより効率的で原則に基づいた微調整方法にもつながります。
実験結果。

要約(オリジナル)

With the ever-growing model size and the limited availability of labeled training data, transfer learning has become an increasingly popular approach in many science and engineering domains. For classification problems, this work delves into the mystery of transfer learning through an intriguing phenomenon termed neural collapse (NC), where the last-layer features and classifiers of learned deep networks satisfy: (i) the within-class variability of the features collapses to zero, and (ii) the between-class feature means are maximally and equally separated. Through the lens of NC, our findings for transfer learning are the following: (i) when pre-training models, preventing intra-class variability collapse (to a certain extent) better preserves the intrinsic structures of the input data, so that it leads to better model transferability; (ii) when fine-tuning models on downstream tasks, obtaining features with more NC on downstream data results in better test accuracy on the given task. The above results not only demystify many widely used heuristics in model pre-training (e.g., data augmentation, projection head, self-supervised learning), but also leads to more efficient and principled fine-tuning method on downstream tasks that we demonstrate through extensive experimental results.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google