Transferability Estimation Based On Principal Gradient Expectation

要約

転移学習は、ソース タスクで取得した知識を転移することにより、ターゲット タスクのパフォーマンスを向上させることを目的としています。
標準的なアプローチは、事前トレーニングとそれに続く微調整または線形プローブです。
特に、事前定義されたタスクの下で特定のターゲット ドメインに対して適切なソース ドメインを選択することは、効率と有効性を向上させるために重要です。
この問題は、転送可能性を推定することによって解決するのが一般的です。
しかし、既存の方法では、パフォーマンスとコストのトレードオフを達成することはできません。
推定方法を総合的に評価するために、安定性、信頼性、効率の 3 つの特性をまとめます。
それらに基づいて、転送可能性を評価するためのシンプルで効果的な方法である主勾配期待値（PGE）を提案します。
具体的には、リスタート スキームを使用して各重み単位の勾配を複数回計算し、次にすべての勾配の期待値を計算します。
最後に、正規化された主勾配のギャップを計算することにより、ソースとターゲット間の転送可能性が推定されます。
広範な実験により、提案されたメトリックがすべてのプロパティで最先端の方法よりも優れていることが示されています。

要約(オリジナル)

Transfer learning aims to improve the performance of target tasks by transferring knowledge acquired in source tasks. The standard approach is pre-training followed by fine-tuning or linear probing. Especially, selecting a proper source domain for a specific target domain under predefined tasks is crucial for improving efficiency and effectiveness. It is conventional to solve this problem via estimating transferability. However, existing methods can not reach a trade-off between performance and cost. To comprehensively evaluate estimation methods, we summarize three properties: stability, reliability and efficiency. Building upon them, we propose Principal Gradient Expectation(PGE), a simple yet effective method for assessing transferability. Specifically, we calculate the gradient over each weight unit multiple times with a restart scheme, and then we compute the expectation of all gradients. Finally, the transferability between the source and target is estimated by computing the gap of normalized principal gradients. Extensive experiments show that the proposed metric is superior to state-of-the-art methods on all properties.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google