FunkNN: Neural Interpolation for Functional Generation

要約

タイトル：FunkNN：機能生成のためのニューラル補間

要約：

– 現有のMLPベースのアーキテクチャは、有利な畳み込み帰納的なバイアスを持つグリッドベースのジェネレータよりも悪いサンプルを生成する。
– 異なるスケールで画像を生成するように設計されたモデルはより良い性能を示すが、連続的な画像と導関数の評価に適した複雑なアーキテクチャではない。
– 画像生成を連続的な補間として扱い、正しくサンプリングされた離散画像が低空間周波数に関する情報を含むため、どのようにスペクトルをデータ駆動方式で外挿するかが問題である。
– 前述の設計基準を満たすため、FunkNNと呼ばれる新しい畳み込みネットワークを提案する。
– FunkNNは、任意の座標で連続画像を再構築する方法を学習し、任意の画像データセットに適用できる。
– 離散的な生成モデルと組み合わせることで、FunkNNは連続的に不適切な逆問題に対する事前分布として機能する機能生成器になる。
– FunkNNは高品質の連続画像を生成し、パッチベースの設計により、強力な分布外性能を発揮する。
– 正確な空間微分を持ついくつかのスタイル化された逆問題でのパフォーマンスを示す。

要約(オリジナル)

Can we build continuous generative models which generalize across scales, can be evaluated at any coordinate, admit calculation of exact derivatives, and are conceptually simple? Existing MLP-based architectures generate worse samples than the grid-based generators with favorable convolutional inductive biases. Models that focus on generating images at different scales do better, but employ complex architectures not designed for continuous evaluation of images and derivatives. We take a signal-processing perspective and treat continuous image generation as interpolation from samples. Indeed, correctly sampled discrete images contain all information about the low spatial frequencies. The question is then how to extrapolate the spectrum in a data-driven way while meeting the above design criteria. Our answer is FunkNN — a new convolutional network which learns how to reconstruct continuous images at arbitrary coordinates and can be applied to any image dataset. Combined with a discrete generative model it becomes a functional generator which can act as a prior in continuous ill-posed inverse problems. We show that FunkNN generates high-quality continuous images and exhibits strong out-of-distribution performance thanks to its patch-based design. We further showcase its performance in several stylized inverse problems with exact spatial derivatives.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI