Efficient Neural SDE Training using Wiener-Space Cubature

要約

神経確率的微分方程式（SDE）は、神経ネットワークによってパラメーター化されたドリフトと拡散項を備えたSDEです。
ニューラルSDEのトレーニング手順は、SDEベクトルフィールド（ニューラルネットワーク）パラメーターを最適化して、無限次元のパススペースでの対物的機能の期待値を最小限に抑えることで構成されています。
既存のトレーニング手法は、これらのパラメーターに関して目的機能の経路ごとの勾配を効率的に計算する方法に焦点を当て、これをモンテカルロシミュレーションとペアにして期待を推定し、確率勾配降下を最適化します。
この作業では、モンテカルロシミュレーションをバイパスして改善する新しいトレーニング手法を紹介します。
結果を拡張して、ウィーナー空間キューブの理論を拡張して、決定論的なODEソリューションの加重合計によって予想される目的機能に近似します。
これにより、効率的なODE ADENTメソッドによって勾配を計算できます。
さらに、合理的な近似を達成するために必要なODEソリューションの数を大幅に減らすために、高次組換えスキームを活用します。
このウィナースペースのキューバチュアアプローチが、モンテカルロシミュレーションのO（1/sqrt（n））速度、または準モンテカルロのo（n）/n）レートを上回ることができることを示しています。

要約(オリジナル)

A neural stochastic differential equation (SDE) is an SDE with drift and diffusion terms parametrized by neural networks. The training procedure for neural SDEs consists of optimizing the SDE vector field (neural network) parameters to minimize the expected value of an objective functional on infinite-dimensional path-space. Existing training techniques focus on methods to efficiently compute path-wise gradients of the objective functional with respect to these parameters, then pair this with Monte-Carlo simulation to estimate the expectation, and stochastic gradient descent to optimize. In this work we introduce a novel training technique which bypasses and improves upon Monte-Carlo simulation; we extend results in the theory of Wiener-space cubature to approximate the expected objective functional by a weighted sum of deterministic ODE solutions. This allows us to compute gradients by efficient ODE adjoint methods. Furthermore, we exploit a high-order recombination scheme to drastically reduce the number of ODE solutions necessary to achieve a reasonable approximation. We show that this Wiener-space cubature approach can surpass the O(1/sqrt(n)) rate of Monte-Carlo simulation, or the O(log(n)/n) rate of quasi-Monte-Carlo, to achieve a O(1/n) rate under reasonable assumptions.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google