Absorbing Phase Transitions in Artificial Deep Neural Networks

要約

無限に広がるニューラル ネットワークの動作の理論的理解は、有名な平均場理論により、さまざまなアーキテクチャに対して急速に発展してきました。
しかし、より実践的かつ現実的に重要な有限ネットワークにまで理解を広げるための、明確で直観的なフレームワークが不足しています。
今回の寄稿では、適切に初期化されたニューラル ネットワークの動作が、相転移を吸収する際の普遍的な臨界現象の観点から理解できることを実証します。
より具体的には、全結合フィードフォワード ニューラル ネットワークと畳み込みニューラル ネットワークにおける秩序からカオスへの遷移を研究し、(i) 有限ネットワークであっても、秩序状態からカオス状態への明確に定義された遷移が存在することを示します。
(ii) アーキテクチャの違いは、移行の普遍性クラスの違いに反映されます。
注目すべきことに、有限サイズのスケーリングもうまく適用でき、直観的な現象論的議論が信号伝播ダイナミクスの半定量的な記述につながる可能性があることを示しています。

要約(オリジナル)

Theoretical understanding of the behavior of infinitely-wide neural networks has been rapidly developed for various architectures due to the celebrated mean-field theory. However, there is a lack of a clear, intuitive framework for extending our understanding to finite networks that are of more practical and realistic importance. In the present contribution, we demonstrate that the behavior of properly initialized neural networks can be understood in terms of universal critical phenomena in absorbing phase transitions. More specifically, we study the order-to-chaos transition in the fully-connected feedforward neural networks and the convolutional ones to show that (i) there is a well-defined transition from the ordered state to the chaotics state even for the finite networks, and (ii) difference in architecture is reflected in that of the universality class of the transition. Remarkably, the finite-size scaling can also be successfully applied, indicating that intuitive phenomenological argument could lead us to semi-quantitative description of the signal propagation dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google