A practical existence theorem for reduced order models based on convolutional autoencoders

要約

近年、偏微分方程式 (PDE) や縮小次数モデリング (ROM) の分野でディープ ラーニングの人気が高まっており、物理情報に基づいたニューラル ネットワーク (PINN)、ニューラル ネットワークなどの新しい強力なデータ駆動型技術を分野の専門家に提供しています。
オペレーター、ディープ オペレーター ネットワーク (DeepONets)、およびディープラーニング ベースの ROM (DL-ROM)。
これに関連して、畳み込みニューラル ネットワーク (CNN) に基づくディープ オートエンコーダーは、複雑な非線形問題を扱う際に、換算基底法などの確立された手法を上回る非常に効果的なことが証明されています。
ただし、CNN ベースのオートエンコーダの経験的な成功にもかかわらず、これらのアーキテクチャをサポートする理論的結果はごくわずかであり、通常は普遍近似定理の形で述べられています。
特に、既存の文献は畳み込みオートエンコーダを設計するためのガイドラインをユーザーに提供していますが、潜在的な特徴を学習するというその後の課題はほとんど調査されていません。
さらに、収束に必要なスナップショットの数やニューラル ネットワークのトレーニング戦略など、多くの実際的な問題は未解決のままです。
この研究では、スパース高次元関数近似による最近の手法を使用して、パラメーターから解へのマップが正則である場合に、CNN ベースのオートエンコーダーに新しい実用的な存在定理を提供することで、これらのギャップの一部を埋めます。
この規則性の仮定は、パラメトリック拡散方程式など、パラメトリック偏微分方程式の多くの関連クラスで発生します。これについては、一般理論の明示的な適用について説明します。

要約(オリジナル)

In recent years, deep learning has gained increasing popularity in the fields of Partial Differential Equations (PDEs) and Reduced Order Modeling (ROM), providing domain practitioners with new powerful data-driven techniques such as Physics-Informed Neural Networks (PINNs), Neural Operators, Deep Operator Networks (DeepONets) and Deep-Learning based ROMs (DL-ROMs). In this context, deep autoencoders based on Convolutional Neural Networks (CNNs) have proven extremely effective, outperforming established techniques, such as the reduced basis method, when dealing with complex nonlinear problems. However, despite the empirical success of CNN-based autoencoders, there are only a few theoretical results supporting these architectures, usually stated in the form of universal approximation theorems. In particular, although the existing literature provides users with guidelines for designing convolutional autoencoders, the subsequent challenge of learning the latent features has been barely investigated. Furthermore, many practical questions remain unanswered, e.g., the number of snapshots needed for convergence or the neural network training strategy. In this work, using recent techniques from sparse high-dimensional function approximation, we fill some of these gaps by providing a new practical existence theorem for CNN-based autoencoders when the parameter-to-solution map is holomorphic. This regularity assumption arises in many relevant classes of parametric PDEs, such as the parametric diffusion equation, for which we discuss an explicit application of our general theory.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google