Noise Sensitivity of Hierarchical Functions and Deep Learning Lower Bounds in General Product Measures

要約

最近の作品は、階層構造を使用した機能またはデータを調べることにより、Deep Learningの成功を探ります。
補完的には、ディープネットの勾配降下性能に関する研究により、独立した同一に分布した（I.I.D.）ベルヌーイ入力の下での機能のノイズ感度が学習の複雑さの境界を確立することが示されています。
この論文は、非線形関数の繰り返し組成によって構築された機能が一般的な製品測定の下で騒音に敏感であることを実証することにより、これらの研究ストリームを橋渡しすることを目的としています。

要約(オリジナル)

Recent works explore deep learning’s success by examining functions or data with hierarchical structure. Complementarily, research on gradient descent performance for deep nets has shown that noise sensitivity of functions under independent and identically distributed (i.i.d.) Bernoulli inputs establishes learning complexity bounds. This paper aims to bridge these research streams by demonstrating that functions constructed through repeated composition of non-linear functions are noise sensitive under general product measures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google