The Utility of Feature Reuse: Transfer Learning in Data-Starved Regimes

要約

ディープ ニューラル ネットワークを使用した転移学習の使用は、十分にテストされたコンピューター ビジョン システムを新しいドメイン、特にデータセットが限られているドメインに展開するためにますます普及しています。
ラベル付きターゲット サンプルが 100 未満である、データ不足の領域のドメインの転移学習のユース ケースについて説明します。
ターゲットトレーニングデータのサイズに関して、畳み込み特徴抽出と過剰パラメータ化モデルの微調整の有効性、および共変量シフトのあるデータまたは分布外（OOD）データに対する汎化パフォーマンスを評価します。
私たちの実験は、過剰パラメータ化と特徴の再利用の両方が、データ不足の領域での画像分類器のトレーニングにおける転移学習の適用の成功に貢献していることを示しています。
私たちは発見を裏付けるために視覚的な説明を提供し、転移学習がデータ不足の状況における CNN アーキテクチャのパフォーマンスを向上させると結論付けています。

要約(オリジナル)

The use of transfer learning with deep neural networks has increasingly become widespread for deploying well-tested computer vision systems to newer domains, especially those with limited datasets. We describe a transfer learning use case for a domain with a data-starved regime, having fewer than 100 labeled target samples. We evaluate the effectiveness of convolutional feature extraction and fine-tuning of overparameterized models with respect to the size of target training data, as well as their generalization performance on data with covariate shift, or out-of-distribution (OOD) data. Our experiments demonstrate that both overparameterization and feature reuse contribute to the successful application of transfer learning in training image classifiers in data-starved regimes. We provide visual explanations to support our findings and conclude that transfer learning enhances the performance of CNN architectures in data-starved regimes.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google