Neural reproducing kernel Banach spaces and representer theorems for deep networks

要約

ニューラル ネットワークによって定義される関数空間を研究することは、対応する学習モデルとその帰納的バイアスを理解するのに役立ちます。
一部の制限では、ニューラル ネットワークはカーネル ヒルベルト空間を再現する関数空間に対応しますが、これらの領域は実際に使用されるネットワークの特性を捉えていません。
対照的に、この論文では、ディープ ニューラル ネットワークが適切な再生カーネル バナッハ空間を定義することを示します。
これらの空間には、ある種のスパース性を強制する規範が備わっており、入力データとその表現内の潜在的な潜在的な構造に適応できるようになります。
特に、カーネル バナッハ空間を再現する理論を変分結果と組み合わせて活用し、アプリケーションで一般的に使用される有限アーキテクチャを正当化する表現定理を導き出します。
私たちの研究は、浅いネットワークに関する同様の結果を拡張し、より実用的に妥当なニューラル アーキテクチャを検討するための一歩として見ることができます。

要約(オリジナル)

Studying the function spaces defined by neural networks helps to understand the corresponding learning models and their inductive bias. While in some limits neural networks correspond to function spaces that are reproducing kernel Hilbert spaces, these regimes do not capture the properties of the networks used in practice. In contrast, in this paper we show that deep neural networks define suitable reproducing kernel Banach spaces. These spaces are equipped with norms that enforce a form of sparsity, enabling them to adapt to potential latent structures within the input data and their representations. In particular, leveraging the theory of reproducing kernel Banach spaces, combined with variational results, we derive representer theorems that justify the finite architectures commonly employed in applications. Our study extends analogous results for shallow networks and can be seen as a step towards considering more practically plausible neural architectures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google