Critical Points of Random Neural Networks

要約

この作業では、無限幅の制限が深さが増加するにつれて、異なる活性化関数を持つランダムニューラルネットワークの臨界点の予想数を調査します。
適切な規則性条件下では、固定インデックスの臨界点と特定のしきい値を超える臨界点の数の正確な漸近式を導き出します。
私たちの分析では、1で評価された共分散の最初の導関数の値に応じて3つの異なるレジームが明らかになりました。
理論的予測は、数値実験によって裏付けられています。
さらに、規則性条件が満たされていない場合（たとえば、活性化関数としてのreluを持つニューラルネットワークの場合）、マップ解像度が増加すると臨界点の数が増加し、重要なポイントの数の潜在的な分岐を示すことを示唆する数値的証拠を提供します。

要約(オリジナル)

This work investigates the expected number of critical points of random neural networks with different activation functions as the depth increases in the infinite-width limit. Under suitable regularity conditions, we derive precise asymptotic formulas for the expected number of critical points of fixed index and those exceeding a given threshold. Our analysis reveals three distinct regimes depending on the value of the first derivative of the covariance evaluated at 1: the expected number of critical points may converge, grow polynomially, or grow exponentially with depth. The theoretical predictions are supported by numerical experiments. Moreover, we provide numerical evidence suggesting that, when the regularity condition is not satisfied (e.g. for neural networks with ReLU as activation function), the number of critical points increases as the map resolution increases, indicating a potential divergence in the number of critical points.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google