Polynomially Over-Parameterized Convolutional Neural Networks Contain Structured Strong Winning Lottery Tickets

要約

強力な宝くじチケット仮説 (SLTH) では、ランダムに初期化されたニューラル ネットワークには、トレーニングなしで良好に動作するサブネットワークが含まれている可能性が高いと述べられています。
この文脈では、非構造化枝刈りが広く研究されてきましたが、それに相当する、計算効率とメモリ効率の大幅な向上を実現できる構造化枝刈りについては、ほとんど研究されていませんでした。
このギャップの主な理由の 1 つは、SLTH の正式な分析で使用される基礎となる数学ツールの制限です。
この論文では、これらの制限を克服します。ランダム サブセット合計問題の多次元一般化における最近の進歩を活用し、SLTH で構造化された枝刈りに対処するときに生じる確率的依存関係を許容するバリアントを取得します。
この結果を適用して、幅広いクラスのランダム畳み込みニューラル ネットワークに対して、十分に小さいネットワークを近似できる構造化サブネットワークの存在を証明します。
この結果は、構造化枝刈りのための SLTH の周りの最初の部分指数限界を提供し、仮説のさらなる研究のための新しい道を開き、深層学習におけるオーバーパラメータ化の役割の理解に貢献します。

要約(オリジナル)

The Strong Lottery Ticket Hypothesis (SLTH) states that randomly-initialised neural networks likely contain subnetworks that perform well without any training. Although unstructured pruning has been extensively studied in this context, its structured counterpart, which can deliver significant computational and memory efficiency gains, has been largely unexplored. One of the main reasons for this gap is the limitations of the underlying mathematical tools used in formal analyses of the SLTH. In this paper, we overcome these limitations: we leverage recent advances in the multidimensional generalisation of the Random Subset-Sum Problem and obtain a variant that admits the stochastic dependencies that arise when addressing structured pruning in the SLTH. We apply this result to prove, for a wide class of random Convolutional Neural Networks, the existence of structured subnetworks that can approximate any sufficiently smaller network. This result provides the first sub-exponential bound around the SLTH for structured pruning, opening up new avenues for further research on the hypothesis and contributing to the understanding of the role of over-parameterization in deep learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google