Universal Approximation Power of Deep Residual Neural Networks via Nonlinear Control Theory

要約

この論文では、幾何学的非線形制御による深層残差ニューラル ネットワークの汎用近似機能について説明します。
残差ネットワークと制御システムの間のリンクを確立する最近の研究に触発され、活性化関数またはその導関数の 1 つが二次微分方程式を満たすように求めることで、残差ネットワークが普遍的な近似の力を持つための一般的な十分条件を提供します。
実際に使用される多くの活性化関数は、この仮定を正確にまたは近似的に満たしており、この特性は、層ごとに $n+1$ ニューロンを含む十分に深いニューラル ネットワークが、コンパクトなセット上で任意に適切に近似するのに十分であることを示します。
最高ノルム、$\mathbb{R}^n$ から $\mathbb{R}^n$ までの任意の連続関数。
さらに、この結果が、重みが 2 つの値を想定するだけでよい非常に単純なアーキテクチャにも当てはまることを示します。
最初の重要な技術的貢献は、普遍的近似問題を残差ネットワークに対応する制御システムのアンサンブルの制御可能性と関連付けること、および制御可能性を特徴付けるために古典的なリー代数手法を活用することで構成されます。
2 番目の技術的貢献は、有限アンサンブルの制御可能性とコンパクトな集合の一様近似可能性の間の架け橋としての単調性を特定することです。

要約(オリジナル)

In this paper, we explain the universal approximation capabilities of deep residual neural networks through geometric nonlinear control. Inspired by recent work establishing links between residual networks and control systems, we provide a general sufficient condition for a residual network to have the power of universal approximation by asking the activation function, or one of its derivatives, to satisfy a quadratic differential equation. Many activation functions used in practice satisfy this assumption, exactly or approximately, and we show this property to be sufficient for an adequately deep neural network with $n+1$ neurons per layer to approximate arbitrarily well, on a compact set and with respect to the supremum norm, any continuous function from $\mathbb{R}^n$ to $\mathbb{R}^n$. We further show this result to hold for very simple architectures for which the weights only need to assume two values. The first key technical contribution consists of relating the universal approximation problem to controllability of an ensemble of control systems corresponding to a residual network and to leverage classical Lie algebraic techniques to characterize controllability. The second technical contribution is to identify monotonicity as the bridge between controllability of finite ensembles and uniform approximability on compact sets.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google