Topological properties of basins of attraction and expressiveness of width bounded neural networks

要約

Radhakrishnan et al.
[2020] では、著者らは、通常の SGD 手法でトレーニングされたオートエンコーダーがトレーニング データの周囲に引力の領域を形成することを経験的に示しています。
入力次元を超えない幅のネットワーク関数を考慮し、この状況では引力の盆地が制限されており、その補数が制限されたコンポーネントを持つことができないことを証明します。
これらの結果における我々の条件は、後者の研究のいくつかの実験で満たされており、そこで提起された疑問に対処します。
また、より限定的な条件下では、引力の盆地が経路で接続されていることも示します。
私たちの結果における条件の厳しさは、いくつかの例によって実証されています。
最後に、上記の結果を証明するために使用された引数により、幅の制限条件を満たすスカラー値のニューラル ネットワーク関数が連続関数の空間内で密集していない根本原因を導き出すことができます。

要約(オリジナル)

In Radhakrishnan et al. [2020], the authors empirically show that autoencoders trained with usual SGD methods shape out basins of attraction around their training data. We consider network functions of width not exceeding the input dimension and prove that in this situation basins of attraction are bounded and their complement cannot have bounded components. Our conditions in these results are met in several experiments of the latter work and we thus address a question posed therein. We also show that under some more restrictive conditions the basins of attraction are path-connected. The tightness of the conditions in our results is demonstrated by means of several examples. Finally, the arguments used to prove the above results allow us to derive a root cause why scalar-valued neural network functions that fulfill our bounded width condition are not dense in spaces of continuous functions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google