A multiobjective continuation method to compute the regularization path of deep neural networks

要約

スパース性は、数値効率を確保し、モデルの解釈可能性 (関連する特徴の数が少ないため) と堅牢性を向上させるため、ディープ ニューラル ネットワーク (DNN) で非常に望ましい機能です。
線形モデルに基づく機械学習アプローチでは、$\ell^1$ ノルム (つまり、重みがゼロ) に関する最も疎な解と、と呼ばれる非正則化解の間に接続パスが存在することがよく知られています。
正則化パス。
ごく最近、経験的損失とスパース性 ($\ell^1$ ノルム) を 2 つの相反する基準として扱い、その結果として生じる多目的最適化問題を解決するという手段によって、正則化パスの概念を DNN に拡張する最初の試みが行われました。
ただし、$\ell^1$ ノルムが滑らかではないこととパラメーターの数が多いため、このアプローチは計算の観点からはあまり効率的ではありません。
この制限を克服するために、非常に効率的な方法で上記の目的に対するパレート フロント全体の近似を可能にするアルゴリズムを提案します。
決定論的勾配と確率的勾配の両方を使用した数値例を示します。
さらに、正則化パスの知識により、適切に一般化されたネットワーク パラメータ化が可能になることを示します。

要約(オリジナル)

Sparsity is a highly desired feature in deep neural networks (DNNs) since it ensures numerical efficiency, improves the interpretability of models (due to the smaller number of relevant features), and robustness. In machine learning approaches based on linear models, it is well known that there exists a connecting path between the sparsest solution in terms of the $\ell^1$ norm (i.e., zero weights) and the non-regularized solution, which is called the regularization path. Very recently, there was a first attempt to extend the concept of regularization paths to DNNs by means of treating the empirical loss and sparsity ($\ell^1$ norm) as two conflicting criteria and solving the resulting multiobjective optimization problem. However, due to the non-smoothness of the $\ell^1$ norm and the high number of parameters, this approach is not very efficient from a computational perspective. To overcome this limitation, we present an algorithm that allows for the approximation of the entire Pareto front for the above-mentioned objectives in a very efficient manner. We present numerical examples using both deterministic and stochastic gradients. We furthermore demonstrate that knowledge of the regularization path allows for a well-generalizing network parametrization.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google