Simple Transferability Estimation for Regression Tasks

要約

我々は、ディープラーニングモデルがソースタスクからターゲットタスクへどの程度うまく移行するかを推定する問題である、移行性推定について考察する。我々は、これまであまり注目されていなかった回帰タスクに注目し、線形回帰モデルの負の正則化平均二乗誤差に基づいて転移性を推定する、シンプルで計算効率の良い2つのアプローチを提案する。我々は、我々のアプローチと、移項学習プロセスから得られた最適ターゲットモデルの実際の移項可能性とを結びつける、新しい理論的結果を証明する。その単純さにもかかわらず、我々のアプローチは、精度と効率の両方において、既存の最先端の回帰伝達可能性推定器を大幅に上回る。2つの大規模なキーポイント回帰ベンチマークにおいて、我々のアプローチは、平均で12%から36%良い結果をもたらすと同時に、従来の最先端の手法よりも少なくとも27%高速である。

要約(オリジナル)

We consider transferability estimation, the problem of estimating how well deep learning models transfer from a source to a target task. We focus on regression tasks, which received little previous attention, and propose two simple and computationally efficient approaches that estimate transferability based on the negative regularized mean squared error of a linear regression model. We prove novel theoretical results connecting our approaches to the actual transferability of the optimal target models obtained from the transfer learning process. Despite their simplicity, our approaches significantly outperform existing state-of-the-art regression transferability estimators in both accuracy and efficiency. On two large-scale keypoint regression benchmarks, our approaches yield 12% to 36% better results on average while being at least 27% faster than previous state-of-the-art methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL