Autoencoders in Function Space

要約

オートエンコーダは、その元の決定論的形式と変分定式化（VAE）の両方で、広く応用されている。科学的なアプリケーションでは、関数で構成されるデータを考慮することが興味深い場合が多い。実際には、（科学で生じる微分方程式の）離散化や（画像の）ピクセレーションにより、問題は有限次元になるが、まず関数上で動作するアルゴリズムを考え、それから離散化やピクセレーションを行うことで、異なるレベルの離散化やピクセレーション間でスムーズに動作する、より優れたアルゴリズムが得られる。本論文では、オートエンコーダ(FAE)と変分オートエンコーダ(FVAE)の関数空間バージョンを紹介し、分析し、展開する。VAEを支配する目的関数が適切に定義されているかどうかは、有限次元、特に関数空間においてさえ微妙な問題である。FVAEの目的関数は、データ分布が選択された生成モデルに適合していれば、いつでもよく定義されている。FAE目的はより広範に有効であり、微分方程式に支配されるデータにそのまま適用できる。これらの目的と、どのようなメッシュでも評価可能なニューラル・オペレータ・アーキテクチャを組み合わせることで、インペインティング、超解像、科学データの生成モデルへのオートエンコーダの新たな応用が可能になる。

要約(オリジナル)

Autoencoders have found widespread application, in both their original deterministic form and in their variational formulation (VAEs). In scientific applications it is often of interest to consider data that are comprised of functions; the same perspective is useful in image processing. In practice, discretisation (of differential equations arising in the sciences) or pixellation (of images) renders problems finite dimensional, but conceiving first of algorithms that operate on functions, and only then discretising or pixellating, leads to better algorithms that smoothly operate between different levels of discretisation or pixellation. In this paper function-space versions of the autoencoder (FAE) and variational autoencoder (FVAE) are introduced, analysed, and deployed. Well-definedness of the objective function governing VAEs is a subtle issue, even in finite dimension, and more so on function space. The FVAE objective is well defined whenever the data distribution is compatible with the chosen generative model; this happens, for example, when the data arise from a stochastic differential equation. The FAE objective is valid much more broadly, and can be straightforwardly applied to data governed by differential equations. Pairing these objectives with neural operator architectures, which can thus be evaluated on any mesh, enables new applications of autoencoders to inpainting, superresolution, and generative modelling of scientific data.

arxiv情報

提供元, 利用サービス

arxiv.jp, DeepL