Learning Trajectories are Generalization Indicators

要約

【タイトル】学習軌跡は汎化指標である

【要約】本論文は、一般的に使用される勾配降下法や確率的勾配降下法で最適化されたDeep Neural Networks（DNN）の学習軌跡と対応する汎化能力の関係を調査することを目的としています。本論文では、学習軌跡情報をモデル化するために線形近似関数を構築し、それに基づくより豊富な学習軌跡情報に基づく新しい一般化結合を提案します。私たちの提案する一般化結合は、学習軌跡の複雑さとトレーニングセットのバイアスと多様性の比率に依存します。実験結果は、提案手法がさまざまなトレーニングステップ、学習率、ラベルノイズレベルで汎化傾向を効果的に捕捉できることを示しています。

【要点】

– 本論文は、Deep Neural Networks（DNN）の学習軌跡と対応する汎化能力の関係を調査することを目的としている。
– 線形近似関数を構築し、学習軌跡情報をモデル化する。
– より豊富な学習軌跡情報に基づいて新しい一般化結合を提案する。
– 提案する一般化結合は、学習軌跡の複雑さとトレーニングセットのバイアスと多様性の比率に依存する。
– 実験結果は、提案手法がさまざまなトレーニングステップ、学習率、ラベルノイズレベルで汎化傾向を効果的に捕捉できることを示している。

要約(オリジナル)

The aim of this paper is to investigate the connection between learning trajectories of the Deep Neural Networks (DNNs) and their corresponding generalization capabilities when being optimized with broadly used gradient descent and stochastic gradient descent algorithms. In this paper, we construct Linear Approximation Function to model the trajectory information and we propose a new generalization bound with richer trajectory information based on it. Our proposed generalization bound relies on the complexity of learning trajectory and the ratio between the bias and diversity of training set. Experimental results indicate that the proposed method effectively captures the generalization trend across various training steps, learning rates, and label noise levels.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI