Training neural operators to preserve invariant measures of chaotic attractors

要約

混沌としたシステムでは、初期条件における小さな摂動によって軌道が指数関数的に発散するため、長期的な予測が困難になります。
この設定では、二乗誤差損失を最小限に抑えるように訓練されたニューラル オペレーターは、正確な短期予測は可能ですが、多くの場合、長期にわたるダイナミクスの統計的または構造的特性を再現できず、劣化した結果を生み出す可能性があります。
この論文では、ダイナミクスの時間不変の統計的特性を特徴付けるカオス アトラクターの不変測定を保存するように設計された代替フレームワークを提案します。
具体的には、マルチ環境設定 (各サンプルの軌跡がわずかに異なるダイナミクスによって支配される) において、ノイズの多いデータを使用したトレーニングに対する 2 つの新しいアプローチを検討します。
まず、観察されたダイナミクスとニューラル オペレーターの出力の間の最適な伝達距離に基づいた損失を提案します。
このアプローチでは、最適な輸送損失にどのような統計的特徴を含めるべきかを決定するために、基礎となる物理学に関する専門知識が必要です。
第二に、専門的な事前知識を必要としない対照的な学習フレームワークが、最適な輸送アプローチとほぼ同様にダイナミクスの統計的特性を保存できることを示します。
さまざまなカオス システム上で、私たちの方法はカオス アトラクターの不変の尺度を保存することが経験的に示されています。

要約(オリジナル)

Chaotic systems make long-horizon forecasts difficult because small perturbations in initial conditions cause trajectories to diverge at an exponential rate. In this setting, neural operators trained to minimize squared error losses, while capable of accurate short-term forecasts, often fail to reproduce statistical or structural properties of the dynamics over longer time horizons and can yield degenerate results. In this paper, we propose an alternative framework designed to preserve invariant measures of chaotic attractors that characterize the time-invariant statistical properties of the dynamics. Specifically, in the multi-environment setting (where each sample trajectory is governed by slightly different dynamics), we consider two novel approaches to training with noisy data. First, we propose a loss based on the optimal transport distance between the observed dynamics and the neural operator outputs. This approach requires expert knowledge of the underlying physics to determine what statistical features should be included in the optimal transport loss. Second, we show that a contrastive learning framework, which does not require any specialized prior knowledge, can preserve statistical properties of the dynamics nearly as well as the optimal transport approach. On a variety of chaotic systems, our method is shown empirically to preserve invariant measures of chaotic attractors.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google