Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning

要約

タイトル：過剰適合メタ学習の汎化性能の理論的特性

要約：
– メタ学習は、似たような多くのタスクをトレーニングすることでトレーニング性能を向上させることができる成功した方法である（特に、DNNなどの深いニューラルネットワークを使用する場合）。
– しかし、過学習されたモデル（例えばDNN）がなぜメタ学習でうまく汎化できるのか、その理論的理解はまだ限られている。
– この論文では、ガウス特徴を持つ線形回帰モデルを使って、過学習したメタ学習の汎化性能を研究する。
– フレームワークによって、モデルパラメータの数が基盤となる信号の特徴数よりも任意に大きくなることができ、実際の深いメタ学習における過学習した理論的特性を自然に捉えることができる。
– MAML（モデルアグノスティックメタ学習）の過剰適合された最小$l_2$-norm解は、単一タスクの線形回帰における「benign overfitting」や「double descent」現象に似た効果があることを示している。
– しかし、メタ学習の独特さ（タスクごとの勾配降下内部トレーニング、トレーニングタスク間のグランドトゥルースシグナルの多様性/変動性など）によって、単一タスクの線形回帰には存在しない新しい興味深い特性が見つかる。
– 適切な緊密さの下で、一定の項目が特徴の数が増加すると減少する、汎化エラーの高確率上限を提供する。
– 分析は、ノイズや各トレーニングタスクのグランドトゥルースの多様性/変動性が大きい場合、benign overfittingはより重要で、容易に観察できることを示唆している。この状況下では、過剰適合されたmin $l_2$-norm解は、アンダーパラメータ化された解よりもさらに低い汎化エラーを達成できることが示されている。

要約(オリジナル)

Meta-learning has arisen as a successful method for improving training performance by training over many similar tasks, especially with deep neural networks (DNNs). However, the theoretical understanding of when and why overparameterized models such as DNNs can generalize well in meta-learning is still limited. As an initial step towards addressing this challenge, this paper studies the generalization performance of overfitted meta-learning under a linear regression model with Gaussian features. In contrast to a few recent studies along the same line, our framework allows the number of model parameters to be arbitrarily larger than the number of features in the ground truth signal, and hence naturally captures the overparameterized regime in practical deep meta-learning. We show that the overfitted min $\ell_2$-norm solution of model-agnostic meta-learning (MAML) can be beneficial, which is similar to the recent remarkable findings on “benign overfitting” and “double descent” phenomenon in the classical (single-task) linear regression. However, due to the uniqueness of meta-learning such as task-specific gradient descent inner training and the diversity/fluctuation of the ground-truth signals among training tasks, we find new and interesting properties that do not exist in single-task linear regression. We first provide a high-probability upper bound (under reasonable tightness) on the generalization error, where certain terms decrease when the number of features increases. Our analysis suggests that benign overfitting is more significant and easier to observe when the noise and the diversity/fluctuation of the ground truth of each training task are large. Under this circumstance, we show that the overfitted min $\ell_2$-norm solution can achieve an even lower generalization error than the underparameterized solution.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI