Designing Universal Causal Deep Learning Models: The Case of Infinite-Dimensional Dynamical Systems from Stochastic Analysis

要約

タイトル：スティーブンソン散乱問題を用いた原子核反応の解析におけるベイズ的アプローチ

要約：
– 現代の確率解析において、様々な確率微分方程式の解決演算子としての因果オペレーター（CO）は中心的な役割を果たしている。
– しかし、COに近似することができるDeep Learning（DL）モデルを設計するための標準的なフレームワークはまだ存在していない。
– 本論文では、適切な無限次元線形距離空間を入力として、これらの線形幾何学に適合した普遍的なDLモデルを返すDLモデル設計フレームワークを紹介することで、この未解決問題に対する「ジオメトリ・アウェア」な解を提供する。
– これらのモデルを因果関係を持つニューラルオペレーター（CNO）と呼ぶことにする。
– 我々の主要な結果は、我々のフレームワークによって生成されたモデルが、与えられた線型距離空間間の系列を因果的にマップするH\’olderまたはスムーストレースクラス演算子を、コンパクトな集合上でおよび任意の有限時間スパンで一様に近似できることを示すことである。
– 我々の分析は、CNOの潜在状態空間の次元について新しい定量的関係を明らかにし、さらに古典的な有限次元再帰型ニューラルネットワーク（RNN）に対して新しい意味を持つ。
– 我々は、CNO（またはRNN）の潜在的なパラメータ空間の次元と幅が線形に増加し、深度が対数的に増加すると、近似が有効な時間ステップ数が指数関数的に増加することを発見した。
– 我々の分析の直接的な結果は、RNNがReLUネットワークよりも指数関数的に少ないパラメータで因果関数を近似できることを示している。

要約(オリジナル)

Causal operators (CO), such as various solution operators to stochastic differential equations, play a central role in contemporary stochastic analysis; however, there is still no canonical framework for designing Deep Learning (DL) models capable of approximating COs. This paper proposes a ‘geometry-aware” solution to this open problem by introducing a DL model-design framework that takes suitable infinite-dimensional linear metric spaces as inputs and returns a universal sequential DL model adapted to these linear geometries. We call these models Causal Neural Operators (CNOs). Our main result states that the models produced by our framework can uniformly approximate on compact sets and across arbitrarily finite-time horizons H\’older or smooth trace class operators, which causally map sequences between given linear metric spaces. Our analysis uncovers new quantitative relationships on the latent state-space dimension of CNOs which even have new implications for (classical) finite-dimensional Recurrent Neural Networks (RNNs). We find that a linear increase of the CNO’s (or RNN’s) latent parameter space’s dimension and of its width, and a logarithmic increase of its depth imply an exponential increase in the number of time steps for which its approximation remains valid. A direct consequence of our analysis shows that RNNs can approximate causal functions using exponentially fewer parameters than ReLU networks.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI