A Review of Deep Transfer Learning and Recent Advancements

要約

過去 20 年間、ディープ ラーニングは多くの機械学習の問題に対する答えでした。
ただし、これには 2 つの大きな制約があります。それは、広範なラベル付きデータへの依存とトレーニング コストです。
Deep Transfer Learning (DTL) として知られるディープ ラーニングの転移学習は、ソース データ/タスクから取得した知識をターゲット データ/タスクのトレーニングで再利用することにより、このような依存関係とコストを削減しようとします。
適用される DTL 手法のほとんどは、ネットワーク/モデルベースのアプローチです。
これらの方法により、深層学習モデルが広範なトレーニング データに依存することが減り、トレーニング コストが大幅に削減されます。
その結果、研究者は、DTL 技術を使用した最小限のデータで、パンデミックの初期に胸部 X 線で Covid-19 感染を高精度で検出しました。
また、トレーニング コストの削減により、リソースが限られているエッジ デバイスで DTL が実行可能になります。
新しい進歩と同様に、DTL メソッドには独自の制限があり、転送が成功するかどうかは、さまざまなシナリオに合わせて調整する必要があります。
この論文では、深層転移学習とよく知られた方法の定義と分類法を確認します。
次に、過去 5 年間に最近適用された DTL 手法をレビューすることにより、DTL アプローチを調査します。
さらに、さまざまなシナリオで DTL を適用するためのベスト プラクティスを学ぶために、DTL のいくつかの実験的分析を確認します。
さらに、DTL (壊滅的な忘却のジレンマと過度に偏った事前トレーニング済みモデル) の限界について、考えられる解決策と研究動向とともに説明します。

要約(オリジナル)

Deep learning has been the answer to many machine learning problems during the past two decades. However, it comes with two major constraints: dependency on extensive labeled data and training costs. Transfer learning in deep learning, known as Deep Transfer Learning (DTL), attempts to reduce such dependency and costs by reusing an obtained knowledge from a source data/task in training on a target data/task. Most applied DTL techniques are network/model-based approaches. These methods reduce the dependency of deep learning models on extensive training data and drastically decrease training costs. As a result, researchers detected Covid-19 infection on chest X-Rays with high accuracy at the beginning of the pandemic with minimal data using DTL techniques. Also, the training cost reduction makes DTL viable on edge devices with limited resources. Like any new advancement, DTL methods have their own limitations, and a successful transfer depends on some adjustments for different scenarios. In this paper, we review the definition and taxonomy of deep transfer learning and well-known methods. Then we investigate the DTL approaches by reviewing recent applied DTL techniques in the past five years. Further, we review some experimental analyses of DTLs to learn the best practice for applying DTL in different scenarios. Moreover, the limitations of DTLs (catastrophic forgetting dilemma and overly biased pre-trained models) are discussed, along with possible solutions and research trends.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google