Sparsifying dimensionality reduction of PDE solution data with Bregman learning

要約

古典的なモデル削減手法では、支配方程式を元の状態空間の線形部分空間に投影します。
最近のデータ駆動技術では、ニューラル ネットワークを使用して非線形投影を可能にしています。
これらは多くの場合、より強力な圧縮を可能にしますが、冗長なパラメータがあり、潜在的な次元が最適ではなくなる可能性があります。
これらを克服するために、パラメータ数を効果的に削減し、潜在空間をさらに圧縮するために、エンコーダ-デコーダネットワークにスパース性を誘発するマルチステップアルゴリズムを提案します。
このアルゴリズムは、ネットワークをまばらに初期化し、線形化されたブレグマン反復を使用してネットワークをトレーニングすることから始まります。
これらの反復は、コンピューター ビジョンや圧縮センシング タスクでは非常に成功していますが、低次数モデリングにはまだ使用されていません。
トレーニング後、適切な直交分解の形式を使用して、潜在空間の次元をさらに圧縮します。
最後に、バイアス伝播手法を使用して、誘発されたスパース性をパラメータの効果的な削減に変更します。
このアルゴリズムを 3 つの代表的な PDE モデル、1D 拡散、1D 移流、2D 反応拡散に適用します。
Adam のような従来のトレーニング方法と比較して、提案された方法は 30% 少ないパラメータと大幅に小さい潜在空間で同様の精度を達成します。

要約(オリジナル)

Classical model reduction techniques project the governing equations onto a linear subspace of the original state space. More recent data-driven techniques use neural networks to enable nonlinear projections. Whilst those often enable stronger compression, they may have redundant parameters and lead to suboptimal latent dimensionality. To overcome these, we propose a multistep algorithm that induces sparsity in the encoder-decoder networks for effective reduction in the number of parameters and additional compression of the latent space. This algorithm starts with sparsely initialized a network and training it using linearized Bregman iterations. These iterations have been very successful in computer vision and compressed sensing tasks, but have not yet been used for reduced-order modelling. After the training, we further compress the latent space dimensionality by using a form of proper orthogonal decomposition. Last, we use a bias propagation technique to change the induced sparsity into an effective reduction of parameters. We apply this algorithm to three representative PDE models: 1D diffusion, 1D advection, and 2D reaction-diffusion. Compared to conventional training methods like Adam, the proposed method achieves similar accuracy with 30% less parameters and a significantly smaller latent space.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google