Understanding Transfer Learning via Mean-field Analysis

要約

確率尺度空間上の微分積分のレンズを通して転移学習の一般化誤差を探索するための新しいフレームワークを提案します。
特に、$\alpha$-ERM と KL 正規化経験的リスク最小化による微調整という 2 つの主要な転移学習シナリオを検討し、これらのシナリオの汎化誤差と母集団リスク収束率を研究するための一般的な条件を確立します。
理論的結果に基づいて、損失関数と活性化関数に関する適切な可積分性と規則性の仮定の下で、平均場領域における 1 隠れ層ニューラル ネットワークによる転移学習の利点を示します。

要約(オリジナル)

We propose a novel framework for exploring generalization errors of transfer learning through the lens of differential calculus on the space of probability measures. In particular, we consider two main transfer learning scenarios, $\alpha$-ERM and fine-tuning with the KL-regularized empirical risk minimization and establish generic conditions under which the generalization error and the population risk convergence rates for these scenarios are studied. Based on our theoretical results, we show the benefits of transfer learning with a one-hidden-layer neural network in the mean-field regime under some suitable integrability and regularity assumptions on the loss and activation functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google