Variational Encoder-Decoders for Learning Latent Representations of Physical Systems

要約

物理システムの高次元パラメーターとシステムの高次元の観察可能な応答の間の関係のデータ駆動型の低次元表現を学習するための深層学習変分エンコーダー デコーダー (VED) フレームワークを紹介します。
このフレームワークは、2 つの深層学習ベースの確率的変換で構成されます。エンコーダーはパラメータを潜在コードにマッピングし、デコーダーは潜在コードを観測可能な応答にマッピングします。
これらの変換のハイパーパラメータは、パラメータが与えられた観察可能な応答の対数条件付き分布の変分下限を最大化することによって特定されます。
潜在コードのもつれを解くことを促進するために、この変分損失に、コードの集合分布共分散の非対角エントリに対するペナルティを与えます。
この正則化ペナルティは、観測可能な応答の周辺分布を近似するための潜在コードの標準ガウス分布の推進を促進します。
提案されたフレームワークを使用して、地下水流モデルの観測井戸における水圧応答を、その離散対数水圧透過率場の関数としてモデル化することに成功しました。
正準相関分析エンコードと比較して、VED モデルは、再構成精度を大幅に損なうことなく、$r = 50$ という低次元の潜在次元を実現します。
モデルのパフォーマンスに対する正則化の影響を調査し、KL 発散と共分散の正則化により、再構成精度を維持しながら潜在空間での特徴のもつれの解消が向上することがわかりました。
さらに、ランダムなガウス ノイズをデコードすることで正規化モデルの生成機能を評価し、$\beta$ パラメーターと $\lambda$ パラメーターの両方を調整すると、生成される観測可能な応答データの品質が向上することが明らかになりました。

要約(オリジナル)

We present a deep-learning Variational Encoder-Decoder (VED) framework for learning data-driven low-dimensional representations of the relationship between high-dimensional parameters of a physical system and the system’s high-dimensional observable response. The framework consists of two deep learning-based probabilistic transformations: An encoder mapping parameters to latent codes and a decoder mapping latent codes to the observable response. The hyperparameters of these transformations are identified by maximizing a variational lower bound on the log-conditional distribution of the observable response given parameters. To promote the disentanglement of latent codes, we equip this variational loss with a penalty on the off-diagonal entries of the aggregate distribution covariance of codes. This regularization penalty encourages the pushforward of a standard Gaussian distribution of latent codes to approximate the marginal distribution of the observable response. Using the proposed framework we successfully model the hydraulic pressure response at observation wells of a groundwater flow model as a function of its discrete log-hydraulic transmissivity field. Compared to the canonical correlation analysis encoding, the VED model achieves a lower-dimensional latent representation, with as low as $r = 50$ latent dimensions without a significant loss of reconstruction accuracy. We explore the impact of regularization on model performance, finding that KL-divergence and covariance regularization improve feature disentanglement in latent space while maintaining reconstruction accuracy. Furthermore, we evaluate the generative capabilities of the regularized model by decoding random Gaussian noise, revealing that tuning both $\beta$ and $\lambda$ parameters enhances the quality of the generated observable response data.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google