Diverse Single Image Generation with Controllable Global Structure

要約

敵対的生成ネットワークを使用した単一の画像からの画像生成は、生成された画像のリアリズムのために非常に興味深いものです。
しかし、最近のアプローチでは、顔、動物、建築物の画像生成など、画像のグローバルなコンテキストが重要な場合、このような現実的で多様な画像生成のために改善が必要です。
これは主に、主にパッチ統計をキャプチャするために使用する畳み込み層が少なく、その結果、グローバル統計をうまくキャプチャできないことが原因です。
この問題は、選択したスケールでアテンション ブロックを使用し、トレーニングのためにランダムなガウスぼかし画像をディスクリミネーターに供給することで解決します。
私たちの結果は、特にグローバルなコンテキストを必要とする画像を生成する際に、最先端のものよりも視覚的に優れています.
ピクセルの平均標準偏差を使用して測定された画像生成の多様性も優れています。

要約(オリジナル)

Image generation from a single image using generative adversarial networks is quite interesting due to the realism of generated images. However, recent approaches need improvement for such realistic and diverse image generation, when the global context of the image is important such as in face, animal, and architectural image generation. This is mainly due to the use of fewer convolutional layers for mainly capturing the patch statistics and, thereby, not being able to capture global statistics very well. We solve this problem by using attention blocks at selected scales and feeding a random Gaussian blurred image to the discriminator for training. Our results are visually better than the state-of-the-art particularly in generating images that require global context. The diversity of our image generation, measured using the average standard deviation of pixels, is also better.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google