Optimization Insights into Deep Diagonal Linear Networks

要約

（確率的）勾配降下で訓練されたオーバーパラメーター化されたモデルは、現代の機械学習で遍在しています。
これらの大規模なモデルは、テストデータで前例のないパフォーマンスを実現しますが、その理論的理解はまだ限られています。
この論文では、最適化の観点を採用することにより、このギャップを埋めるための一歩を踏み出します。
より正確には、深い斜めのニューラルネットワークのパラメーターを推定するための勾配フロー「アルゴリズム」の暗黙的な正規化特性を研究します。
私たちの主な貢献は、この勾配の流れがモデルにミラーフローの動的を誘導することを示しています。つまり、ネットワークの初期化に応じて問題の特定の解に偏っています。
途中で、軌道のいくつかの特性を証明します。

要約(オリジナル)

Overparameterized models trained with (stochastic) gradient descent are ubiquitous in modern machine learning. These large models achieve unprecedented performance on test data, but their theoretical understanding is still limited. In this paper, we take a step towards filling this gap by adopting an optimization perspective. More precisely, we study the implicit regularization properties of the gradient flow ‘algorithm’ for estimating the parameters of a deep diagonal neural network. Our main contribution is showing that this gradient flow induces a mirror flow dynamic on the model, meaning that it is biased towards a specific solution of the problem depending on the initialization of the network. Along the way, we prove several properties of the trajectory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google