CoNO: Complex Neural Operator for Continuous Dynamical Systems

要約

ニューラル オペレーターは、データ駆動型モデルを拡張して、無限次元の関数空間間をマッピングします。
これらのモデルは、微分方程式によって表される連続力学システム、つまり天気予報、流体の流れ、または固体力学を首尾よく解くことに成功しました。
ただし、既存の演算子は依然として実空間に依存しているため、関数変換によって複雑な空間で捕捉される可能性のある豊かな表現が失われます。
この論文では、複素分数フーリエ領域で積分カーネルをパラメータ化する Complex Neural Operator (CoNO) を紹介します。
さらに、エイリアシングのない活性化関数とともに複素数値ニューラル ネットワークを採用したモデルでは、複素数値と複素代数的特性が保存されるため、表現力の向上、ノイズに対する堅牢性、および一般化が可能になります。
このモデルは、単一の複素分数フーリエ変換で基礎となる偏微分方程式を効果的に捉えていることを示します。
私たちは、いくつかのデータセットと、ゼロショット超解像度、分布外データの評価、データ効率、ノイズに対する堅牢性などの追加タスクに対して CoNO の広範な実証的評価を実行します。
CoNO は、これらのタスクにおいて、すべての最先端モデルと同等またはそれ以上のパフォーマンスを示します。
まとめると、CoNO は連続動的システムをモデル化するための堅牢で優れたモデルを提供し、科学的な機械学習に補助を提供します。

要約(オリジナル)

Neural operators extend data-driven models to map between infinite-dimensional functional spaces. These models have successfully solved continuous dynamical systems represented by differential equations, viz weather forecasting, fluid flow, or solid mechanics. However, the existing operators still rely on real space, thereby losing rich representations potentially captured in the complex space by functional transforms. In this paper, we introduce a Complex Neural Operator (CoNO), that parameterizes the integral kernel in the complex fractional Fourier domain. Additionally, the model employing a complex-valued neural network along with aliasing-free activation functions preserves the complex values and complex algebraic properties, thereby enabling improved representation, robustness to noise, and generalization. We show that the model effectively captures the underlying partial differential equation with a single complex fractional Fourier transform. We perform an extensive empirical evaluation of CoNO on several datasets and additional tasks such as zero-shot super-resolution, evaluation of out-of-distribution data, data efficiency, and robustness to noise. CoNO exhibits comparable or superior performance to all the state-of-the-art models in these tasks. Altogether, CoNO presents a robust and superior model for modeling continuous dynamical systems, providing a fillip to scientific machine learning.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google