Physics-integrated generative modeling using attentive planar normalizing flow based variational autoencoder

要約

物理統合生成モデリングは、データ分布を管理する物理知識でデータ駆動型モデルを強化するハイブリッド モデリングまたはグレー ボックス モデリングのクラスです。
物理知識を使用すると、生成モデルが制御された方法で出力を生成できるため、その出力は構造的に物理法則に準拠します。
モデルが部分的に確固たるドメイン知識に基づいているため、トレーニング分布を超えて外挿する汎化能力が向上するだけでなく、解釈可能性も向上します。
この研究では、物理統合生成モデルにおける再構成の忠実性とノイズに対するロバスト性を向上させることを目的としています。
この目的を達成するために、生成モデルとして変分オートエンコーダーを使用します。
デコーダの再構成結果を改善するために、平面正規化フローを使用して、物理学とトレーニング可能なデータ駆動型コンポーネントの両方の潜在事後分布を学習することを提案します。
フローベースの事後分布の正規化は、データ分布の固有の動的構造を利用するため、学習されたモデルが真の基礎となるデータ分布に近づきます。
モデルに注入されたノイズに対する生成モデルのロバスト性を向上させるために、正規化フロー ベースの VAE のエンコーダ部分の修正を提案します。
私たちは、スケーリングされたドット積注意ベースのコンテキスト情報をノイズの多い潜在ベクトルに組み込むようにエンコーダーを設計しました。これにより、潜在ベクトル内のノイズの悪影響が軽減され、モデルがより堅牢になります。
私たちは人間の移動データセット [33] でモデルを経験的に評価し、その結果、再構成品質の向上とモデルに注入されたノイズに対する堅牢性の観点から、提案したモデルの有効性が検証されました。

要約(オリジナル)

Physics-integrated generative modeling is a class of hybrid or grey-box modeling in which we augment the the data-driven model with the physics knowledge governing the data distribution. The use of physics knowledge allows the generative model to produce output in a controlled way, so that the output, by construction, complies with the physical laws. It imparts improved generalization ability to extrapolate beyond the training distribution as well as improved interpretability because the model is partly grounded in firm domain knowledge. In this work, we aim to improve the fidelity of reconstruction and robustness to noise in the physics integrated generative model. To this end, we use variational-autoencoder as a generative model. To improve the reconstruction results of the decoder, we propose to learn the latent posterior distribution of both the physics as well as the trainable data-driven components using planar normalizng flow. Normalizng flow based posterior distribution harnesses the inherent dynamical structure of the data distribution, hence the learned model gets closer to the true underlying data distribution. To improve the robustness of generative model against noise injected in the model, we propose a modification in the encoder part of the normalizing flow based VAE. We designed the encoder to incorporate scaled dot product attention based contextual information in the noisy latent vector which will mitigate the adverse effect of noise in the latent vector and make the model more robust. We empirically evaluated our models on human locomotion dataset [33] and the results validate the efficacy of our proposed models in terms of improvement in reconstruction quality as well as robustness against noise injected in the model.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google