Local Padding in Patch-Based GANs for Seamless Infinite-Sized Texture Synthesis

要約

Generative Adversarial Networks (GAN) に基づくテクスチャ モデルは、ゼロ パディングを使用して画像特徴の位置情報を暗黙的にエンコードします。
ただし、空間入力を拡張して大きなサイズの画像を生成する場合、ゼロパディングは画像の中心の位置情報が正しくないため、画質の低下につながることがよくあります。
さらに、ゼロパディングにより、生成される大きな画像内の多様性が制限される可能性があります。
この論文では、パッチごとの生成に基づいた GAN を使用して、大きな任意のサイズで確率的テクスチャ画像を生成するための新しいアプローチを提案します。
モデルはゼロパディングの代わりに、生成されたパッチ間で境界機能を共有するジェネレーター内で \textit{local padding} を使用します。
位置コンテキストを提供し、境界での一貫性を確保します。
提案されたモデルは、単一のテクスチャ画像上でトレーニング可能であり、出力画像サイズに関して一定の GPU スケーラビリティを備えているため、無限サイズの画像を生成できます。
実験では、生成されたテクスチャの品質と多様性の点で、私たちの方法が既存の GAN ベースのテクスチャ モデルを超えて大幅に進歩していることを示しました。
さらに、最先端の超解像度モデルでのローカル パディングの実装により、タイリング アーティファクトが効果的に排除され、大規模な超解像度が可能になります。
コードは \url{https://github.com/ai4netzero/Infinite_Texture_GANs} で入手できます。

要約(オリジナル)

Texture models based on Generative Adversarial Networks (GANs) use zero-padding to implicitly encode positional information of the image features. However, when extending the spatial input to generate images at large sizes, zero-padding can often lead to degradation in image quality due to the incorrect positional information at the center of the image. Moreover, zero-padding can limit the diversity within the generated large images. In this paper, we propose a novel approach for generating stochastic texture images at large arbitrary sizes using GANs based on patch-by-patch generation. Instead of zero-padding, the model uses \textit{local padding} in the generator that shares border features between the generated patches; providing positional context and ensuring consistency at the boundaries. The proposed models are trainable on a single texture image and have a constant GPU scalability with respect to the output image size, and hence can generate images of infinite sizes. We show in the experiments that our method has a significant advancement beyond existing GANs-based texture models in terms of the quality and diversity of the generated textures. Furthermore, the implementation of local padding in the state-of-the-art super-resolution models effectively eliminates tiling artifacts enabling large-scale super-resolution. Our code is available at \url{https://github.com/ai4netzero/Infinite_Texture_GANs}.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google