Hierarchical Neural Operator Transformer with Learnable Frequency-aware Loss Prior for Arbitrary-scale Super-resolution

要約

この研究では、科学データの解像度を向上させるための任意スケールの超解像 (SR) 手法を紹介します。これには、連続性、マルチスケールの物理学、高周波信号の複雑さなどの複雑な課題が伴います。
オペレータの学習に基づいて、提案された方法は解像度に依存しません。
私たちのモデルの中核は、Galerkin タイプの自己注意メカニズムを利用する階層型ニューラル オペレーターであり、関数空間間のマッピングの効率的な学習を可能にします。
Sinc フィルターは、階層内のさまざまなレベル間での情報転送を容易にするために使用され、それによって提案されたニューラル オペレーターでの表現の等価性が保証されます。
さらに、入力データのスペクトル サイズ変更から導出される学習可能な事前構造を導入します。
この事前損失はモデルに依存せず、ピクセル寄与の重み付けを動的に調整するように設計されており、それによってモデル全体で勾配のバランスを効果的にとることができます。
私たちは、さまざまなドメインの多様なデータセットに対して広範な実験を実施し、さまざまな最先端の SR 手法で構成される強力なベースラインと比較して一貫した改善を実証しています。

要約(オリジナル)

In this work, we present an arbitrary-scale super-resolution (SR) method to enhance the resolution of scientific data, which often involves complex challenges such as continuity, multi-scale physics, and the intricacies of high-frequency signals. Grounded in operator learning, the proposed method is resolution-invariant. The core of our model is a hierarchical neural operator that leverages a Galerkin-type self-attention mechanism, enabling efficient learning of mappings between function spaces. Sinc filters are used to facilitate the information transfer across different levels in the hierarchy, thereby ensuring representation equivalence in the proposed neural operator. Additionally, we introduce a learnable prior structure that is derived from the spectral resizing of the input data. This loss prior is model-agnostic and is designed to dynamically adjust the weighting of pixel contributions, thereby balancing gradients effectively across the model. We conduct extensive experiments on diverse datasets from different domains and demonstrate consistent improvements compared to strong baselines, which consist of various state-of-the-art SR methods.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google