Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis

要約

確率的微分方程式へのソリューションマップなど、確率的解析のいくつかの非線形演算子は、バナッハ空間間の一般的なマップを近似するように設計された現代の神経演算子によってレバレッジされていない時間構造に依存します。
したがって、このホワイトペーパーでは、適切な無限次元線形メトリックスペースをとる深い学習モデルデザインフレームワークを導入することにより、このオープンな問題に対するオペレーター学習ソリューションを提案します。
バナッハスペースは、入力として、universal \ textit {sequential}ディープラーニングモデルを返します。これらの線形ジオメトリに適合した、時間構造をコードする演算子の近似に特化した線形ジオメトリ。
これらのモデルを\ textit {因果ニューラル演算子}と呼びます。
私たちの主な結果は、私たちのフレームワークによって生成されたモデルは、コンパクトなセットで、および与えられた線形メトリックスペース間にシーケンスを因果的にマッピングする古いまたは滑らかなトレースクラス演算子を任意に任意に有限の視野を越えて均一に近似できると述べています。
私たちの分析は、因果神経演算子の潜在的な状態空間次元に関する新しい定量的関係を明らかにします。
さらに、有限次元空間間の動的システムを近似する場合、再発性ニューラルネットワークの保証は、フィードフォワードニューラルネットワークから継承された利用可能な結果よりも緊密です。

要約(オリジナル)

Several non-linear operators in stochastic analysis, such as solution maps to stochastic differential equations, depend on a temporal structure which is not leveraged by contemporary neural operators designed to approximate general maps between Banach space. This paper therefore proposes an operator learning solution to this open problem by introducing a deep learning model-design framework that takes suitable infinite-dimensional linear metric spaces, e.g. Banach spaces, as inputs and returns a universal \textit{sequential} deep learning model adapted to these linear geometries specialized for the approximation of operators encoding a temporal structure. We call these models \textit{Causal Neural Operators}. Our main result states that the models produced by our framework can uniformly approximate on compact sets and across arbitrarily finite-time horizons H\’older or smooth trace class operators, which causally map sequences between given linear metric spaces. Our analysis uncovers new quantitative relationships on the latent state-space dimension of Causal Neural Operators, which even have new implications for (classical) finite-dimensional Recurrent Neural Networks. In addition, our guarantees for recurrent neural networks are tighter than the available results inherited from feedforward neural networks when approximating dynamical systems between finite-dimensional spaces.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google