Banach Space Optimality of Neural Architectures With Multivariate Nonlinearities

要約

多変量非線形性/活性化関数を備えた大規模なクラスのニューラル アーキテクチャの変分最適性 (具体的には、バナッハ空間最適性) を調査します。
そのために、正則化演算子と $k$-plane 変換を介して定義されたバナッハ空間の新しい族を構築します。
我々は、これらのバナッハ空間上に提起される学習問題に対する解セットが、多変量非線形性を持つニューラル アーキテクチャによって完全に特徴付けられるという表現者定理を証明します。
これらの最適なアーキテクチャにはスキップ接続があり、直交重み正規化およびマルチインデックス モデルと緊密に接続されており、どちらもニューラル ネットワーク コミュニティで大きな関心を集めています。
私たちのフレームワークは、整流線形単位 (ReLU) 活性化関数、ノルム活性化関数、薄板/多調和スプラインの理論に見られる動径基底関数など、多くの古典的な非線形性と互換性があります。
また、基礎となる空間がカーネル バナッハ空間とバリエーション空間を再現する特別なインスタンスであることも示します。
私たちの結果は、特に多変量非線形性を伴う、データに基づいてトレーニングされたニューラル ネットワークによって学習される関数の規則性を明らかにし、実際に見られるいくつかのアーキテクチャ上の選択に対する新しい理論的動機を提供します。

要約(オリジナル)

We investigate the variational optimality (specifically, the Banach space optimality) of a large class of neural architectures with multivariate nonlinearities/activation functions. To that end, we construct a new family of Banach spaces defined via a regularization operator and the $k$-plane transform. We prove a representer theorem that states that the solution sets to learning problems posed over these Banach spaces are completely characterized by neural architectures with multivariate nonlinearities. These optimal architectures have skip connections and are tightly connected to orthogonal weight normalization and multi-index models, both of which have received considerable interest in the neural network community. Our framework is compatible with a number of classical nonlinearities including the rectified linear unit (ReLU) activation function, the norm activation function, and the radial basis functions found in the theory of thin-plate/polyharmonic splines. We also show that the underlying spaces are special instances of reproducing kernel Banach spaces and variation spaces. Our results shed light on the regularity of functions learned by neural networks trained on data, particularly with multivariate nonlinearities, and provide new theoretical motivation for several architectural choices found in practice.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google