Which Model to Transfer? A Survey on Transferability Estimation

要約

転移学習手法は、既存のソースの事前トレーニング済みモデルまたはデータセットからの関連知識を活用して、下流のターゲット タスクを解決しようとします。
現在、利用可能な事前トレーニング済みモデルの規模と量が増加しているため、それらが特定の対象タスクに適しているかどうかを事前に評価することが重要になっています。
モデルの伝達​​可能性の推定は、新興かつ成長中の関心分野であり、計算量が法外な個別のトレーニングを行わずに、この適合性を定量化するメトリクスを提案することを目的としています。
この分野に関しては、最近の広範な進歩がすでに行われているにもかかわらず、カスタムの用語定義や実験設定が存在します。
この調査では、この分野における既存の進歩の最初のレビューを提示し、それらをソースフリーのモデル伝達可能性の推定とソース依存のモデル伝達可能性の推定という 2 つの別個の領域に分類します。
各カテゴリは体系的に定義されており、包括的な分類法が付属しています。
さらに、私たちは課題に取り組み、将来の研究の方向性を概説し、研究者や実践者を支援するための包括的なガイドを提供することを目指しています。

要約(オリジナル)

Transfer learning methods endeavor to leverage relevant knowledge from existing source pre-trained models or datasets to solve downstream target tasks. With the increase in the scale and quantity of available pre-trained models nowadays, it becomes critical to assess in advance whether they are suitable for a specific target task. Model transferability estimation is an emerging and growing area of interest, aiming to propose a metric to quantify this suitability without training them individually, which is computationally prohibitive. Despite extensive recent advances already devoted to this area, they have custom terminological definitions and experimental settings. In this survey, we present the first review of existing advances in this area and categorize them into two separate realms: source-free model transferability estimation and source-dependent model transferability estimation. Each category is systematically defined, accompanied by a comprehensive taxonomy. Besides, we address challenges and outline future research directions, intending to provide a comprehensive guide to aid researchers and practitioners.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google