Toward a Better Understanding of Fourier Neural Operators: Analysis and Improvement from a Spectral Perspective

要約

偏微分方程式 (PDE) を解く際には、畳み込みニューラル ネットワーク (CNN) と比較して、フーリエ ニューラル演算子 (FNO) が顕著な有効性を示しています。
この論文では、CNN に対する FNO の優位性を解明するために、スペクトル分析を通じて明確な経験的証拠を示します。つまり、FNO は低周波数の学習能力が大幅に優れています。
この経験的証拠は、PDE データから高周波情報を学習する際の FNO の有効性を制限する FNO の独特の低周波バイアスも明らかにします。
この課題に取り組むために、複数の FNO を使用して高周波情報をより適切に捕捉するアンサンブル学習フレームワークである SpecBoost を導入します。
具体的には、二次 FNO を利用して、初期 FNO の予測残差から見落とされた高周波情報を学習します。
実験では、SpecBoost がさまざまな PDE アプリケーションにおける FNO の予測精度を著しく向上させ、最大 71% の向上を達成することが実証されています。

要約(オリジナル)

In solving partial differential equations (PDEs), Fourier Neural Operators (FNOs) have exhibited notable effectiveness compared to Convolutional Neural Networks (CNNs). This paper presents clear empirical evidence through spectral analysis to elucidate the superiority of FNO over CNNs: FNO is significantly more capable of learning low-frequencies. This empirical evidence also unveils FNO’s distinct low-frequency bias, which limits FNO’s effectiveness in learning high-frequency information from PDE data. To tackle this challenge, we introduce SpecBoost, an ensemble learning framework that employs multiple FNOs to better capture high-frequency information. Specifically, a secondary FNO is utilized to learn the overlooked high-frequency information from the prediction residual of the initial FNO. Experiments demonstrate that SpecBoost noticeably enhances FNO’s prediction accuracy on diverse PDE applications, achieving an up to 71% improvement.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google