Variational autoencoders with latent high-dimensional steady geometric flows for dynamics

要約

私たちは、正則化幾何学的潜在ダイナミクスを備えた PDE タイプのアンビエント データに対する変分オートエンコーダ (VAE) へのリーマン アプローチを開発します。これを VAE-DLM、または動的潜在多様体を備えた VAE と呼びます。
私たちは、幾何学的フローの影響を受け、ユークリッド空間に埋め込まれた多様体幾何学が、エンコーダーとデコーダーによって開発された中間潜在空間で学習されるように、VAE フレームワークを再開発します。
潜在空間が展開する幾何学的な流れを調整することで、私たちが選択した潜在的な幾何学的特性を誘導し、それが経験的なパフォーマンスに反映されます。
従来の証拠下限 (ELBO) 損失を、事前の慎重な選択により再定式化します。
定常状態の正則化項を使用して線形幾何学的フローを開発します。
このフローは、1 回微分の自動微分だけを必要とし、物理学に基づいたアプローチで適度に高い次元で解くことができ、より表現力豊かな潜在表現を可能にします。
この流れを勾配流れとして定式化し、計量特異点からエントロピーを維持する方法について説明します。
これは、固有値ペナルティ条件と合わせて、多様体が十分に大きく、非縮退で、正準幾何学であることを保証するのに役立ち、堅牢な表現に貢献します。
私たちの方法は、多様体エンコーダ-デコーダのtanh活性化を備えた修正された多層パーセプトロンアーキテクチャに焦点を当てています。
私たちは、対象のデータセット上で、私たちの手法が従来の VAE と少なくとも同等、あるいはそれ以上のパフォーマンスを発揮することを実証しました。
私たちの手法は、これや私たちが提案するアーキテクチャを備えた VAE よりも優れたパフォーマンスを発揮し、選択したデータセットで分布外 (OOD) エラーを 15% ～ 35% 削減することがよくあります。
ここでは、解が遅い時間でも最小限の変動を維持するアンビエント偏微分方程式に関する手法を強調します。
私たちは、VAE を使用して外部ダイナミクスのロバストな学習を改善する方法について、経験的な正当性を提供します。

要約(オリジナル)

We develop Riemannian approaches to variational autoencoders (VAEs) for PDE-type ambient data with regularizing geometric latent dynamics, which we refer to as VAE-DLM, or VAEs with dynamical latent manifolds. We redevelop the VAE framework such that manifold geometries, subject to our geometric flow, embedded in Euclidean space are learned in the intermediary latent space developed by encoders and decoders. By tailoring the geometric flow in which the latent space evolves, we induce latent geometric properties of our choosing, which are reflected in empirical performance. We reformulate the traditional evidence lower bound (ELBO) loss with a considerate choice of prior. We develop a linear geometric flow with a steady-state regularizing term. This flow requires only automatic differentiation of one time derivative, and can be solved in moderately high dimensions in a physics-informed approach, allowing more expressive latent representations. We discuss how this flow can be formulated as a gradient flow, and maintains entropy away from metric singularity. This, along with an eigenvalue penalization condition, helps ensure the manifold is sufficiently large in measure, nondegenerate, and a canonical geometry, which contribute to a robust representation. Our methods focus on the modified multi-layer perceptron architecture with tanh activations for the manifold encoder-decoder. We demonstrate, on our datasets of interest, our methods perform at least as well as the traditional VAE, and oftentimes better. Our methods can outperform this and a VAE endowed with our proposed architecture, frequently reducing out-of-distribution (OOD) error between 15% to 35% on select datasets. We highlight our method on ambient PDEs whose solutions maintain minimal variation in late times. We provide empirical justification towards how we can improve robust learning for external dynamics with VAEs.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google