Topological properties of basins of attraction and expressiveness of width bounded neural networks

要約

Radhakrishnanら[2020]では、通常のSGD手法で学習されたオートエンコーダが、学習データの周りに引力の盆地を形成することを経験的に示している。我々は、入力次元を超えない幅のネットワーク関数を考慮し、この状況では引力の盆地は有界であり、その補体は有界成分を持ち得ないことを証明する。これらの結果における我々の条件は、後者の研究のいくつかの実験で満たされており、我々はそこで提起された疑問を解決する。また、より限定的な条件の下では、引力の盆地は経路接続であることも示す。我々の結果の条件の厳密さは、いくつかの例によって実証される。最後に、上記の結果を証明するために用いた論証により、我々の有界幅条件を満たすスカラー値ニューラルネットワーク関数が連続関数の空間において密でない根本原因を導くことができる。

要約(オリジナル)

In Radhakrishnan et al. [2020], the authors empirically show that autoencoders trained with usual SGD methods shape out basins of attraction around their training data. We consider network functions of width not exceeding the input dimension and prove that in this situation basins of attraction are bounded and their complement cannot have bounded components. Our conditions in these results are met in several experiments of the latter work and we thus address a question posed therein. We also show that under some more restrictive conditions the basins of attraction are path-connected. The tightness of the conditions in our results is demonstrated by means of several examples. Finally, the arguments used to prove the above results allow us to derive a root cause why scalar-valued neural network functions that fulfill our bounded width condition are not dense in spaces of continuous functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL