When & How to Transfer with Transfer Learning

要約

深層学習では、画像に関連するタスクを扱う場合、転移学習（Transfer Learning: TL）が事実上のアプローチになっている。あるタスクで学習した視覚的特徴は、他のタスクで再利用可能であることが示されており、パフォーマンスを大幅に向上させる。深層表現を再利用することで、TLは、データの利用可能性、計算機資源の制限、人間の専門家へのアクセスの制限のあるドメインで深層モデルを使用することを可能にする。これは、現実のアプリケーションの大部分を占める領域である。本論文では、TLの実験的評価を行い、パフォーマンス、環境フットプリント、人間の作業時間、計算機要件に関するトレードオフを探ります。その結果、安価な特徴抽出アプローチが望ましいケースと、高価な微調整の努力が追加コストに見合う状況が明らかになった。最後に、TL の使用に関する一連のガイドラインを提案する。

要約(オリジナル)

In deep learning, transfer learning (TL) has become the de facto approach when dealing with image related tasks. Visual features learnt for one task have been shown to be reusable for other tasks, improving performance significantly. By reusing deep representations, TL enables the use of deep models in domains with limited data availability, limited computational resources and/or limited access to human experts. Domains which include the vast majority of real-life applications. This paper conducts an experimental evaluation of TL, exploring its trade-offs with respect to performance, environmental footprint, human hours and computational requirements. Results highlight the cases were a cheap feature extraction approach is preferable, and the situations where an expensive fine-tuning effort may be worth the added cost. Finally, a set of guidelines on the use of TL are proposed.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL