Fractal and Regular Geometry of Deep Neural Networks

要約

深さが増加するにつれて、異なる活性化関数の遠足セットの境界体積を調査することにより、ランダムニューラルネットワークの幾何学的特性を研究します。
より具体的には、あまり規則的ではないアクティベーション（たとえば、重いステップ関数）については、境界体積がフラクタルの動作を示すことを示しています。
一方、より規則的なアクティベーション（例えば、relu、logistic、$ \ tanh $）の場合、深さが増加するにつれて、予想される境界体積は、簡単に計算できる単一のスペクトルパラメーターに応じて、ゼロに収束し、一定になるか、指数関数的に分岐する可能性があります。
理論的な結果は、モンテカルロシミュレーションに基づくいくつかの数値実験で確認されています。

要約(オリジナル)

We study the geometric properties of random neural networks by investigating the boundary volumes of their excursion sets for different activation functions, as the depth increases. More specifically, we show that, for activations which are not very regular (e.g., the Heaviside step function), the boundary volumes exhibit fractal behavior, with their Hausdorff dimension monotonically increasing with the depth. On the other hand, for activations which are more regular (e.g., ReLU, logistic and $\tanh$), as the depth increases, the expected boundary volumes can either converge to zero, remain constant or diverge exponentially, depending on a single spectral parameter which can be easily computed. Our theoretical results are confirmed in some numerical experiments based on Monte Carlo simulations.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google