Optimal Sets and Solution Paths of ReLU Networks

要約

非凸トレーニング問題を凸プログラムとして再定式化することにより、最適な ReLU ニューラル ネットワークのセットを特徴付ける分析フレームワークを開発します。
凸パラメータ化の全体的な最適化が多面体セットによって与えられることを示し、次にこの特徴付けを非凸トレーニング目標の最適セットに拡張します。
ReLU トレーニング問題のすべての静止点はサブサンプリングされた凸プログラムの最適化として表すことができるため、私たちの研究は非凸目標のすべての臨界点の一般的な表現を提供します。
次に、その結​​果を活用して、最小ネットワークを計算するための最適な枝刈りアルゴリズムを提供し、ReLU ネットワークの正則化パスが連続的になる条件を確立し、最小 ReLU ネットワークの感度結果を開発します。

要約(オリジナル)

We develop an analytical framework to characterize the set of optimal ReLU neural networks by reformulating the non-convex training problem as a convex program. We show that the global optima of the convex parameterization are given by a polyhedral set and then extend this characterization to the optimal set of the non-convex training objective. Since all stationary points of the ReLU training problem can be represented as optima of sub-sampled convex programs, our work provides a general expression for all critical points of the non-convex objective. We then leverage our results to provide an optimal pruning algorithm for computing minimal networks, establish conditions for the regularization path of ReLU networks to be continuous, and develop sensitivity results for minimal ReLU networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google