Complexity of Neural Network Training and ETR: Extensions with Effectively Continuous Functions

要約

私たちは、さまざまな活性化関数を介して定義されたニューラル ネットワークのトレーニング問題の複雑さを研究します。
訓練問題は線形活性化関数と ReLU 活性化関数に関して存在R 完全であることが知られています。
シグモイド活性化関数およびその他の実質的に連続な関数に関する問題の複雑さを検討します。
これらの訓練問題は、対応する活性化関数で拡張された実数の存在理論に対して多項式時間多一双還元可能であることを示します。
特に、シグモイド活性化関数が指数関数を伴う実数の存在理論につながることを確立します。
したがって、シグモイド活性化関数を使用したニューラル ネットワークのトレーニングがアルゴリズム的に解決できるかどうかはオープンであり、指数関数を使用した実数の存在理論の決定可能性と同等です。
対照的に、正弦波活性化関数を考慮すると、トレーニング問題は決定不可能であることがわかります。
最後に、低レベルの算術階層の形でトレーニング問題の複雑さの一般的な上限を取得します。

要約(オリジナル)

We study the complexity of the problem of training neural networks defined via various activation functions. The training problem is known to be existsR-complete with respect to linear activation functions and the ReLU activation function. We consider the complexity of the problem with respect to the sigmoid activation function and other effectively continuous functions. We show that these training problems are polynomial-time many-one bireducible to the existential theory of the reals extended with the corresponding activation functions. In particular, we establish that the sigmoid activation function leads to the existential theory of the reals with the exponential function. It is thus open, and equivalent with the decidability of the existential theory of the reals with the exponential function, whether training neural networks using the sigmoid activation function is algorithmically solvable. In contrast, we obtain that the training problem is undecidable if sinusoidal activation functions are considered. Finally, we obtain general upper bounds for the complexity of the training problem in the form of low levels of the arithmetical hierarchy.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google