On the existence of minimizers in shallow residual ReLU neural network optimization landscapes

要約

勾配降下 (GD) ベースのアルゴリズムの多くの数学的収束結果は、GD プロセスが (ほぼ確実に) 有界であるという仮定を採用しており、具体的な数値シミュレーションでも、GD プロセスの発散は、
エラー関数。
したがって、実際に関連する学習問題では、GD 最適化プロセスが制限されたままになるように ANN アーキテクチャを設計することをお勧めします。
ただし、特定の学習問題に対する GD プロセスの有界性の特性は、最適化ランドスケープにおける最小化の存在と密接に関連しているようであり、特に、誤差関数の下限 (目的
関数) は、最適化ランドスケープでは達成されません。
これは当然、最適化ランドスケープにおける最小化の存在の問題を提起し、多次元入力層と ReLU 活性化を伴う多次元隠れ層を持つ浅い残差 ANN の状況では、この作業の主な結果はこの問題に肯定的に答えます。
損失関数の一般的なクラスとすべての連続ターゲット関数の場合。
このステートメントの証明では、限界が一般化応答と呼ばれる探索空間の一種の閉鎖を提案し、その後、損失関数と基礎となる確率分布に十分な基準を提供します。
応答は最適ではないため、最終的に最適化ランドスケープにおける最小化の存在を結論付けることができます。

要約(オリジナル)

Many mathematical convergence results for gradient descent (GD) based algorithms employ the assumption that the GD process is (almost surely) bounded and, also in concrete numerical simulations, divergence of the GD process may slow down, or even completely rule out, convergence of the error function. In practical relevant learning problems, it thus seems to be advisable to design the ANN architectures in a way so that GD optimization processes remain bounded. The property of the boundedness of GD processes for a given learning problem seems, however, to be closely related to the existence of minimizers in the optimization landscape and, in particular, GD trajectories may escape to infinity if the infimum of the error function (objective function) is not attained in the optimization landscape. This naturally raises the question of the existence of minimizers in the optimization landscape and, in the situation of shallow residual ANNs with multi-dimensional input layers and multi-dimensional hidden layers with the ReLU activation, the main result of this work answers this question affirmatively for a general class of loss functions and all continuous target functions. In our proof of this statement, we propose a kind of closure of the search space, where the limits are called generalized responses, and, thereafter, we provide sufficient criteria for the loss function and the underlying probability distribution which ensure that all additional artificial generalized responses are suboptimal which finally allows us to conclude the existence of minimizers in the optimization landscape.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google