Variational Mixture of HyperGenerators for Learning Distributions Over Functions

要約

タイトル：関数分布学習のためのハイパージェネレータの変分混合

要約：

– 最近のアプローチは暗黙的なニューラル表現（INR）を用いて機能空間上の生成モデルを提案するが、推論タスクのような計算コストが高い場合や直接これらを扱うことができない場合がある。
– 本研究では、INRを用いた連続関数のモデリング能力と変分オートエンコーダ（VAE）の推論能力を組み合わせた新しいディープ生成モデルであるVAMoHを提案する。
– さらに、VAMoHは事前分布を定義するために正規化フローを、データ対数尤度をパラメータ化するためにハイパーネットワークの混合を使用することで、高い表現能力と解釈性を持つ。
– 画像、ボクセル、気候データなど、さまざまなデータタイプにおける実験により、VAMoHは連続関数の豊富な分布を効果的に学習できることを示し、また条件付きスーパーリゾリューションの生成やインペイントなどの推論関連タスクを、以前のアプローチと同等またはそれ以上の性能で実行できることが示され、計算コストが低い。

要約(オリジナル)

Recent approaches build on implicit neural representations (INRs) to propose generative models over function spaces. However, they are computationally costly when dealing with inference tasks, such as missing data imputation, or directly cannot tackle them. In this work, we propose a novel deep generative model, named VAMoH. VAMoH combines the capabilities of modeling continuous functions using INRs and the inference capabilities of Variational Autoencoders (VAEs). In addition, VAMoH relies on a normalizing flow to define the prior, and a mixture of hypernetworks to parametrize the data log-likelihood. This gives VAMoH a high expressive capability and interpretability. Through experiments on a diverse range of data types, such as images, voxels, and climate data, we show that VAMoH can effectively learn rich distributions over continuous functions. Furthermore, it can perform inference-related tasks, such as conditional super-resolution generation and in-painting, as well or better than previous approaches, while being less computationally demanding.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI