Beyond the Kolmogorov Barrier: A Learnable Weighted Hybrid Autoencoder for Model Order Reduction

要約

高次元の複雑な物理システムの表現学習は、低次元の固有の潜在空間を特定することを目的としています。これは、低次モデリングとモーダル分析に重要です。
よく知られているコルモゴロフの障壁を克服するために、近年、深い自動エンコーダー（AE）が導入されていますが、潜在空間のランクが増加するにつれて、収束行動が不十分になることがよくあります。
この問題に対処するために、学習可能な重み分解（SVD）の強度を、学習可能な加重フレームワークを通じてディープオートエンカーと組み合わせたハイブリッドアプローチである学習可能な加重ハイブリッド自動エンコーダーを提案します。
学習可能な重み付けパラメーターの導入が不可欠であることがわかります – それらがなければ、結果のモデルは標準のポッドに崩壊するか、望ましい収束動作を示すことができません。
興味深いことに、訓練されたモデルは、他のモデルと比較して数千倍小さくなっていることが経験的に発見されました。
1D Kuramoto-Sivashinskyや強制等方性乱流データセットを含む古典的な混oticとしたPDEシステムに関する実験は、いくつかの競合する方法と比較して、私たちのアプローチが一般化パフォーマンスを大幅に改善することを示しています。
さらに、時系列モデリング手法（Koopmanオペレーター、LSTMなど）と組み合わせると、提案された手法は、高次元のマルチスケールPDEシステムのサロゲートモデリングの大幅な改善を提供します。

要約(オリジナル)

Representation learning for high-dimensional, complex physical systems aims to identify a low-dimensional intrinsic latent space, which is crucial for reduced-order modeling and modal analysis. To overcome the well-known Kolmogorov barrier, deep autoencoders (AEs) have been introduced in recent years, but they often suffer from poor convergence behavior as the rank of the latent space increases. To address this issue, we propose the learnable weighted hybrid autoencoder, a hybrid approach that combines the strengths of singular value decomposition (SVD) with deep autoencoders through a learnable weighted framework. We find that the introduction of learnable weighting parameters is essential — without them, the resulting model would either collapse into a standard POD or fail to exhibit the desired convergence behavior. Interestingly, we empirically find that our trained model has a sharpness thousands of times smaller compared to other models. Our experiments on classical chaotic PDE systems, including the 1D Kuramoto-Sivashinsky and forced isotropic turbulence datasets, demonstrate that our approach significantly improves generalization performance compared to several competing methods. Additionally, when combining with time series modeling techniques (e.g., Koopman operator, LSTM), the proposed technique offers significant improvements for surrogate modeling of high-dimensional multi-scale PDE systems.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google