Generating Infinite-Resolution Texture using GANs with Patch-by-Patch Paradigm

要約

この論文では、パッチごとのパラダイムに基づいた敵対的生成ネットワーク (GAN) を使用して、無限解像度のテクスチャ イメージを生成する新しいアプローチを紹介します。
既存のテクスチャ合成技術は、多くの場合、生成モデルへの 1 回の転送パスを使用して大規模なテクスチャを生成することに依存しており、これにより、生成されるイメージのスケーラビリティと柔軟性が制限されます。
対照的に、提案されたアプローチでは、単一のテクスチャ イメージ上で GAN モデルをトレーニングして、局所的に相関する比較的小さなパッチを生成し、一定の GPU メモリ フットプリントを使用しながらシームレスに連結して大きなイメージを形成できます。
私たちの方法は、局所的なテクスチャ構造を学習し、一貫性と多様性を維持しながら、任意のサイズのテクスチャを生成することができます。
提案された方法は、パッチ間の一貫性を確保するためにジェネレーター内のローカル パディングに依存し、空間確率変調を利用して大規模画像内のローカルな変動と多様性を可能にします。
実験結果は、生成されたテクスチャの視覚的な一貫性を維持しながら、既存のアプローチと比較して優れたスケーラビリティを実証しました。

要約(オリジナル)

In this paper, we introduce a novel approach for generating texture images of infinite resolutions using Generative Adversarial Networks (GANs) based on a patch-by-patch paradigm. Existing texture synthesis techniques often rely on generating a large-scale texture using a one-forward pass to the generating model, this limits the scalability and flexibility of the generated images. In contrast, the proposed approach trains GANs models on a single texture image to generate relatively small patches that are locally correlated and can be seamlessly concatenated to form a larger image while using a constant GPU memory footprint. Our method learns the local texture structure and is able to generate arbitrary-size textures, while also maintaining coherence and diversity. The proposed method relies on local padding in the generator to ensure consistency between patches and utilizes spatial stochastic modulation to allow for local variations and diversity within the large-scale image. Experimental results demonstrate superior scalability compared to existing approaches while maintaining visual coherence of generated textures.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google