Semi-Parametric Neural Image Synthesis

要約

新しいアーキテクチャは最近、さまざまなタスクで優れた視覚的品質をもたらす生成画像合成を改善しました。
この成功の多くは、これらのアーキテクチャのスケーラビリティによるものであり、モデルの複雑さの劇的な増加と、これらのモデルのトレーニングに投資される計算リソースが原因です。
私たちの仕事は、大規模なトレーニング データを圧縮し、増え続けるパラメトリック表現にするという根本的なパラダイムに疑問を投げかけています。
むしろ、直交するセミパラメトリックなアプローチを提示します。
比較的小さな拡散または自己回帰モデルを、別の画像データベースと検索戦略で補完します。
トレーニング中に、トレーニング インスタンスごとにこの外部データベースから最近傍のセットを取得し、これらの有益なサンプルで生成モデルを調整します。
検索アプローチは (ローカル) コンテンツを提供しますが、モデルはこのコンテンツに基づいてシーンの構成を学習することに重点を置いています。
私たちの実験で実証されているように、データベースを異なる内容のデータベースに交換するだけで、訓練されたモデルがポストホックに新しいドメインに転送されます。
この評価では、生成モデルがトレーニングされていないタスク (クラス条件合成、ゼロ ショット スタイル化、テキストと画像のペアを必要としないテキストと画像の合成など) で競争力のあるパフォーマンスが示されます。
外部データベースと検索のためのごくわずかなメモリと計算オーバーヘッドで、生成モデルのパラメーター数を大幅に削減し、それでも最先端を凌駕することができます。

要約(オリジナル)

Novel architectures have recently improved generative image synthesis leading to excellent visual quality in various tasks. Much of this success is due to the scalability of these architectures and hence caused by a dramatic increase in model complexity and in the computational resources invested in training these models. Our work questions the underlying paradigm of compressing large training data into ever growing parametric representations. We rather present an orthogonal, semi-parametric approach. We complement comparably small diffusion or autoregressive models with a separate image database and a retrieval strategy. During training we retrieve a set of nearest neighbors from this external database for each training instance and condition the generative model on these informative samples. While the retrieval approach is providing the (local) content, the model is focusing on learning the composition of scenes based on this content. As demonstrated by our experiments, simply swapping the database for one with different contents transfers a trained model post-hoc to a novel domain. The evaluation shows competitive performance on tasks which the generative model has not been trained on, such as class-conditional synthesis, zero-shot stylization or text-to-image synthesis without requiring paired text-image data. With negligible memory and computational overhead for the external database and retrieval we can significantly reduce the parameter count of the generative model and still outperform the state-of-the-art.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google