DiTTO: Diffusion-inspired Temporal Transformer Operator

要約

データ駆動型アプローチを使用して偏微分方程式 (PDE) を解くことは、ますます一般的になってきています。
演算子学習パラダイムの最近の開発により、より広範囲の PDE 関連問題の解決が可能になりました。
時間的離散化を必要とせずに時間依存偏微分方程式を継続的に時間内で解くための演算子学習方法を提案します。
DiTTO と名付けられた提案されたアプローチは、潜在拡散モデルにインスピレーションを得ています。
拡散モデルは通常、生成人工知能タスクで使用されますが、その時間条件付けメカニズムは偏微分方程式にとって非常に役立ちます。
拡散にインスピレーションを得たフレームワークは、Transformer アーキテクチャの要素と組み合わされて、その機能が向上します。
我々は、多次元のさまざまな偏微分方程式、つまり 1 次元バーガース方程式、2 次元ナビエ・ストークス方程式、および 2 次元および 3 次元の音響波方程式に対する新しいアプローチの有効性を実証します。
DiTTO は、これらの問題に対する精度の点で最先端の結果を達成します。
また、拡散モデルからの高速サンプリング概念を使用して DiTTO のパフォーマンスを向上させる方法も紹介します。
最後に、DiTTO がゼロショット超解像を時間内に正確に実行できることを示します。

要約(オリジナル)

Solving partial differential equations (PDEs) using a data-driven approach has become increasingly common. The recent development of the operator learning paradigm has enabled the solution of a broader range of PDE-related problems. We propose an operator learning method to solve time-dependent PDEs continuously in time without needing any temporal discretization. The proposed approach, named DiTTO, is inspired by latent diffusion models. While diffusion models are usually used in generative artificial intelligence tasks, their time-conditioning mechanism is extremely useful for PDEs. The diffusion-inspired framework is combined with elements from the Transformer architecture to improve its capabilities. We demonstrate the effectiveness of the new approach on a wide variety of PDEs in multiple dimensions, namely the 1-D Burgers’ equation, 2-D Navier-Stokes equations, and the acoustic wave equation in 2-D and 3-D. DiTTO achieves state-of-the-art results in terms of accuracy for these problems. We also present a method to improve the performance of DiTTO by using fast sampling concepts from diffusion models. Finally, we show that DiTTO can accurately perform zero-shot super-resolution in time.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google