Nonlinear Meta-Learning Can Guarantee Faster Rates

要約

\emph{メタ学習} に関する最近の理論的研究の多くは、関連するタスクから類似の表現構造を活用してターゲット タスクを簡素化する際の保証を達成することを目的としています。
重要なのは、この主題に関する理論上の主な目的は、共通の表現を学習する際の収束率がどの程度であるかを理解することです。 \emph{タスクの数 $N$ に応じてスケールする可能性がある} (タスクの数だけでなく)
タスクごとのサンプル)。
この設定の最初のステップでは、タスク間の共有表現とタスク固有の回帰関数の両方が線形である場合に、この特性を示します。
この線形設定により、引数の平均化などによるタスクの集約の利点がすぐにわかります。
ただし、実際には、この表現は非常に非線形であることが多く、各タスクに自明ではないバイアスが生じ、線形の場合のように簡単に平均化することができません。
現在の研究では、非線形表現を使用したメタ学習の理論的保証を導き出します。
特に、共有非線形性が無限次元 RKHS にマップされると仮定すると、タスク固有の回帰関数の滑らかさを活用する慎重な正則化によって追加のバイアスを軽減できることを示します。

要約(オリジナル)

Many recent theoretical works on \emph{meta-learning} aim to achieve guarantees in leveraging similar representational structures from related tasks towards simplifying a target task. Importantly, the main aim in theory works on the subject is to understand the extent to which convergence rates — in learning a common representation — \emph{may scale with the number $N$ of tasks} (as well as the number of samples per task). First steps in this setting demonstrate this property when both the shared representation amongst tasks, and task-specific regression functions, are linear. This linear setting readily reveals the benefits of aggregating tasks, e.g., via averaging arguments. In practice, however, the representation is often highly nonlinear, introducing nontrivial biases in each task that cannot easily be averaged out as in the linear case. In the present work, we derive theoretical guarantees for meta-learning with nonlinear representations. In particular, assuming the shared nonlinearity maps to an infinite-dimensional RKHS, we show that additional biases can be mitigated with careful regularization that leverages the smoothness of task-specific regression functions,

arxiv情報

提供元, 利用サービス

arxiv.jp, Google