Points of non-linearity of functions generated by random neural networks

要約

タイトル：ランダムニューラルネットワークによって生成される関数の非線形性のポイント

要約：
– 1つの隠れ層を持ち、任意の幅とReLU活性化関数を持つニューラルネットワークによって、実数から実数への関数を考えます。
– ニューラルネットワークのパラメーターが様々な確率分布に関して一様にランダムに選択されると仮定し、非線形性のポイントの期待分布を計算します。
– これらの結果を使用して、ネットワークがより単純な形状の関数を出力することに偏っている理由や、情報理論的複雑度が低いにもかかわらず、ニューラルネットワークにとって近似が困難な関数がある理由を説明します。

要約(オリジナル)

We consider functions from the real numbers to the real numbers, output by a neural network with 1 hidden activation layer, arbitrary width, and ReLU activation function. We assume that the parameters of the neural network are chosen uniformly at random with respect to various probability distributions, and compute the expected distribution of the points of non-linearity. We use these results to explain why the network may be biased towards outputting functions with simpler geometry, and why certain functions with low information-theoretic complexity are nonetheless hard for a neural network to approximate.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI