Rademacher Complexity of Neural ODEs via Chen-Fliess Series

要約

非線形 ODE の Chen–Fliess 級数拡張を使用して、連続深さのニューラル ODE モデルを単層の無限幅ネットとしてフレーム化する方法を示します。
このネットでは、出力の「重み」は、制御入力のシグネチャ (無限次元のパスをテンソルのシーケンスとして表すために使用されるツール) から取得されます。これは、単体に対する制御入力の反復積分で構成されます。
「特徴」は、制御された ODE モデルのベクトル場に関する出力関数の反復リー微分であるとみなされます。
この作業の主な結果は、このフレームワークを適用して、初期条件を最終時点のスカラー出力にマッピングする、ODE モデルの Rademacher 複雑さのコンパクトな式を導出します。
この結果は、単層アーキテクチャによって提供される単純な分析を活用しています。
いくつかの特定のシステムの境界をインスタンス化するいくつかの例で締めくくり、潜在的なフォローアップ作業について説明します。

要約(オリジナル)

We show how continuous-depth neural ODE models can be framed as single-layer, infinite-width nets using the Chen–Fliess series expansion for nonlinear ODEs. In this net, the output “weights” are taken from the signature of the control input — a tool used to represent infinite-dimensional paths as a sequence of tensors — which comprises iterated integrals of the control input over a simplex. The “features” are taken to be iterated Lie derivatives of the output function with respect to the vector fields in the controlled ODE model. The main result of this work applies this framework to derive compact expressions for the Rademacher complexity of ODE models that map an initial condition to a scalar output at some terminal time. The result leverages the straightforward analysis afforded by single-layer architectures. We conclude with some examples instantiating the bound for some specific systems and discuss potential follow-up work.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google