Explicit Use of Fourier Spectrum in Generative Adversarial Networks

要約

Generative Adversarial Networks は、ターゲット分布のデータセットのみを使用して新しい画像を生成する最先端のパフォーマンスにより、研究者の注目を集めています。
本物の画像と偽物の画像のスペクトルには相違があることが示されています。
フーリエ変換は全単射写像であるため、元の分布を学習する際にモデルに重大な問題があると言うのは公正な結論です。
この作業では、現在の GAN のアーキテクチャと数学的理論における言及された欠点の考えられる理由を調査します。
次に、実際の画像と偽の画像のスペクトル間の不一致を減らすための新しいモデルを提案します。
そのために、幾何学的深層学習の青写真を使用して、周波数領域のまったく新しいアーキテクチャを設計します。
次に、元のデータのフーリエ領域表現をトレーニング プロセスの主要な特徴と見なすことにより、生成された画像の品質の有望な改善を実験的に示します。

要約(オリジナル)

Generative Adversarial Networks have got the researchers’ attention due to their state-of-the-art performance in generating new images with only a dataset of the target distribution. It has been shown that there is a dissimilarity between the spectrum of authentic images and fake ones. Since the Fourier transform is a bijective mapping, saying that the model has a significant problem in learning the original distribution is a fair conclusion. In this work, we investigate the possible reasons for the mentioned drawback in the architecture and mathematical theory of the current GANs. Then we propose a new model to reduce the discrepancies between the spectrum of the actual and fake images. To that end, we design a brand new architecture for the frequency domain using the blueprint of geometric deep learning. Then, we experimentally show promising improvements in the quality of the generated images by considering the Fourier domain representation of the original data as a principal feature in the training process.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google