Limits of Model Selection under Transfer Learning

要約

転移学習またはドメイン適応に関する理論的研究はこれまで、既知の仮説クラスまたはモデルを使用する状況に焦点を当ててきました。
ただし、実際には、通常、ある程度のモデル選択が含まれており、多くの場合、ハイパーパラメータ調整という包括的な用語の下に表示されます。たとえば、
関連するソースタスク。
さて、モデルの選択に関係する近似誤差と推定誤差の通常のトレードオフに加え、この問題は新しい複雑さの項、つまりソース分布とターゲット分布の間の伝達距離をもたらしますが、これは仮説クラスの選択によって変化することが知られています。
我々は、分類に焦点を当てた、この問題の最初の研究を紹介します。
特に、この分析ではいくつかの注目すべき現象が明らかになりました。つまり、適応速度、つまり分布情報なしで達成可能な速度は、距離に関する知識が与えられている場合、神託の速度よりも任意に遅くなる可能性があります。

要約(オリジナル)

Theoretical studies on transfer learning or domain adaptation have so far focused on situations with a known hypothesis class or model; however in practice, some amount of model selection is usually involved, often appearing under the umbrella term of hyperparameter-tuning: for example, one may think of the problem of tuning for the right neural network architecture towards a target task, while leveraging data from a related source task. Now, in addition to the usual tradeoffs on approximation vs estimation errors involved in model selection, this problem brings in a new complexity term, namely, the transfer distance between source and target distributions, which is known to vary with the choice of hypothesis class. We present a first study of this problem, focusing on classification; in particular, the analysis reveals some remarkable phenomena: adaptive rates, i.e., those achievable with no distributional information, can be arbitrarily slower than oracle rates, i.e., when given knowledge on distances.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google