A multiobjective continuation method to compute the regularization path of deep neural networks

要約

スパース性は、数値効率を確保し、モデルの解釈可能性 (関連する特徴の数が少ないため) と堅牢性を向上させるため、ディープ ニューラル ネットワーク (DNN) で非常に望ましい機能です。
線形モデルの場合、 $\ell^1$ ノルムの観点から最も疎な解、つまり重みゼロと非正則化解を接続する \emph{正則化パス} が存在することがよく知られています。
ごく最近、経験的損失とスパース性 ($\ell^1$ ノルム) を 2 つの相反する基準として扱い、その結果として生じる低次元の多目的最適化問題を解決することによって、正則化パスの概念を DNN に拡張する最初の試みが行われました。
DNN。
ただし、$\ell^1$ ノルムが滑らかではないこととパラメーターの数が多いため、このアプローチは高次元 DNN の計算の観点からはあまり効率的ではありません。
この制限を克服するために、数百万のパラメータを持つ高次元 DNN に対して非常に効率的な方法で、上記の目的のパレート フロント全体の近似を可能にするアルゴリズムを提案します。
決定論的勾配と確率的勾配の両方を使用した数値例を示します。
さらに、正則化パスの知識により、適切に一般化されたネットワーク パラメータ化が可能になることを示します。
私たちの知る限り、これは数百万の自由度を持つ非凸多目的最適化問題 (MOP) の正則化パスを計算する最初のアルゴリズムです。

要約(オリジナル)

Sparsity is a highly desired feature in deep neural networks (DNNs) since it ensures numerical efficiency, improves the interpretability of models (due to the smaller number of relevant features), and robustness. For linear models, it is well known that there exists a \emph{regularization path} connecting the sparsest solution in terms of the $\ell^1$ norm, i.e., zero weights and the non-regularized solution. Very recently, there was a first attempt to extend the concept of regularization paths to DNNs by means of treating the empirical loss and sparsity ($\ell^1$ norm) as two conflicting criteria and solving the resulting multiobjective optimization problem for low-dimensional DNN. However, due to the non-smoothness of the $\ell^1$ norm and the high number of parameters, this approach is not very efficient from a computational perspective for high-dimensional DNNs. To overcome this limitation, we present an algorithm that allows for the approximation of the entire Pareto front for the above-mentioned objectives in a very efficient manner for high-dimensional DNNs with millions of parameters. We present numerical examples using both deterministic and stochastic gradients. We furthermore demonstrate that knowledge of the regularization path allows for a well-generalizing network parametrization. To the best of our knowledge, this is the first algorithm to compute the regularization path for non-convex multiobjective optimization problems (MOPs) with millions of degrees of freedom.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google