Non-adversarial training of Neural SDEs with signature kernel scores

要約

ニューラル SDE は、シーケンシャル データの連続時間生成モデルです。
不規則時系列生成の最先端のパフォーマンスは、これらのモデルを GAN として敵対的にトレーニングすることによって以前に得られています。
ただし、GAN アーキテクチャの典型として、トレーニングは不安定であることで悪名高く、モード崩壊が発生することが多く、これらの問題を軽減するにはウェイト クリッピングや勾配ペナルティなどの特殊な技術が必要です。
この論文では、シグネチャ カーネルに基づくパス空間に関する新しいクラスのスコアリング ルールを導入し、それらを非敵対的にニューラル SDE をトレーニングするための目的として使用します。
このようなカーネル スコアの厳密な適切性と、対応する推定量の一貫性を示すことで、ミニマイザーの存在と一意性の保証を提供します。
この定式化では、ジェネレータとディスクリミネータのペアを評価することは、メモリ効率の高い随伴ベースのバックプロパゲーションを可能にする線形パス依存偏微分方程式系を解くことになります。
さらに、提案されたカーネル スコアは関数の無限次元空間内の値を持つパスに対して明確に定義されているため、フレームワークを簡単に拡張して時空間データを生成することができます。
私たちの手順は、豊富な市況でのコンディショニングを可能にし、大まかなボラティリティ モデルのシミュレーション、条件付け変数が観測値である現実世界の外国為替ペアの条件付き確率予測など、さまざまなタスクでニューラル SDE をトレーニングする代替方法よりも大幅に優れています。
過去の軌跡、および指値注文ブックダイナミクスのメッシュフリー生成。

要約(オリジナル)

Neural SDEs are continuous-time generative models for sequential data. State-of-the-art performance for irregular time series generation has been previously obtained by training these models adversarially as GANs. However, as typical for GAN architectures, training is notoriously unstable, often suffers from mode collapse, and requires specialised techniques such as weight clipping and gradient penalty to mitigate these issues. In this paper, we introduce a novel class of scoring rules on pathspace based on signature kernels and use them as objective for training Neural SDEs non-adversarially. By showing strict properness of such kernel scores and consistency of the corresponding estimators, we provide existence and uniqueness guarantees for the minimiser. With this formulation, evaluating the generator-discriminator pair amounts to solving a system of linear path-dependent PDEs which allows for memory-efficient adjoint-based backpropagation. Moreover, because the proposed kernel scores are well-defined for paths with values in infinite dimensional spaces of functions, our framework can be easily extended to generate spatiotemporal data. Our procedure permits conditioning on a rich variety of market conditions and significantly outperforms alternative ways of training Neural SDEs on a variety of tasks including the simulation of rough volatility models, the conditional probabilistic forecasts of real-world forex pairs where the conditioning variable is an observed past trajectory, and the mesh-free generation of limit order book dynamics.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google