Mitigating spectral bias for the multiscale operator learning with hierarchical attention

要約

ニューラル演算子は、偏微分方程式 (PDE) の無限次元パラメーターと解空間の間のマッピングを学習するための強力なツールとして登場しました。
この研究では、貯留層モデリングや乱流予測などの重要な用途を持つマルチスケール偏微分方程式に焦点を当てます。
我々は、このような偏微分方程式では、低周波成分に対するスペクトルの偏りが既存のニューラル演算子にとって重大な課題となることを実証します。
この課題に対処するために、階層行列アプローチにヒントを得た階層的注意ニューラル オペレーター (HANO) を提案します。
HANO は、レベル階層にわたるスケール適応型のインタラクション範囲とセルフアテンションを特徴としており、制御可能な線形コストによるネストされた特徴量の計算と、マルチスケールのソリューション空間のエンコード/デコードを可能にします。
また、高周波成分の学習を強化するために、経験的な $H^1$ 損失関数も組み込みます。
私たちの数値実験は、HANO が代表的なマルチスケール問題に対して最先端 (SOTA) 手法よりも優れていることを示しています。

要約(オリジナル)

Neural operators have emerged as a powerful tool for learning the mapping between infinite-dimensional parameter and solution spaces of partial differential equations (PDEs). In this work, we focus on multiscale PDEs that have important applications such as reservoir modeling and turbulence prediction. We demonstrate that for such PDEs, the spectral bias towards low-frequency components presents a significant challenge for existing neural operators. To address this challenge, we propose a hierarchical attention neural operator (HANO) inspired by the hierarchical matrix approach. HANO features a scale-adaptive interaction range and self-attentions over a hierarchy of levels, enabling nested feature computation with controllable linear cost and encoding/decoding of multiscale solution space. We also incorporate an empirical $H^1$ loss function to enhance the learning of high-frequency components. Our numerical experiments demonstrate that HANO outperforms state-of-the-art (SOTA) methods for representative multiscale problems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google