PixelFolder: An Efficient Progressive Pixel Synthesis Network for Image Generation

要約

ピクセル合成は、画像生成のための有望な研究パラダイムであり、生成のためにピクセルごとの事前知識を十分に活用することができます。
ただし、既存のメソッドは依然として過剰なメモリフットプリントと計算オーバーヘッドに悩まされています。
この論文では、PixelFolderとして造られた効率的な画像生成に向けたプログレッシブピクセル合成ネットワークを提案します。
具体的には、PixelFolderは、プログレッシブピクセル回帰問題として画像生成を定式化し、多段階パラダイムによって画像を合成します。これにより、大きなテンソル変換によって引き起こされるオーバーヘッドを大幅に削減できます。
さらに、エンドツーエンドの回帰に関するピクセル単位の事前知識を維持しながら、モデルの効率をさらに向上させるための新しいピクセルフォールディング操作を紹介します。
これらの革新的な設計により、CIPSと呼ばれる最新のピクセル合成方法と比較して、ピクセル合成の費用を大幅に削減できます。たとえば、90％の計算と57％のパラメーターを削減できます。
私たちのアプローチを検証するために、2つのベンチマークデータセット、つまりFFHQとLSUNChurchで広範な実験を行います。
実験結果は、はるかに少ない費用で、PixelFolderが2つのベンチマークデータセット、つまりFFHQとLSUNChurchでそれぞれ3.77FIDと2.45FIDで新しい最先端（SOTA）のパフォーマンスを実現することを示しています。
一方、PixelFolderはStyleGAN2のようなSOTAメソッドよりも効率的であり、それぞれ約74％の計算と36％のパラメーターを削減します。
これらの結果は、提案されたPixelFolderの有効性を大いに検証します。

要約(オリジナル)

Pixel synthesis is a promising research paradigm for image generation, which can well exploit pixel-wise prior knowledge for generation. However, existing methods still suffer from excessive memory footprint and computation overhead. In this paper, we propose a progressive pixel synthesis network towards efficient image generation, coined as PixelFolder. Specifically, PixelFolder formulates image generation as a progressive pixel regression problem and synthesizes images by a multi-stage paradigm, which can greatly reduce the overhead caused by large tensor transformations. In addition, we introduce novel pixel folding operations to further improve model efficiency while maintaining pixel-wise prior knowledge for end-to-end regression. With these innovative designs, we greatly reduce the expenditure of pixel synthesis, e.g., reducing 90% computation and 57% parameters compared to the latest pixel synthesis method called CIPS. To validate our approach, we conduct extensive experiments on two benchmark datasets, namely FFHQ and LSUN Church. The experimental results show that with much less expenditure, PixelFolder obtains new state-of-the-art (SOTA) performance on two benchmark datasets, i.e., 3.77 FID and 2.45 FID on FFHQ and LSUN Church, respectively. Meanwhile, PixelFolder is also more efficient than the SOTA methods like StyleGAN2, reducing about 74% computation and 36% parameters, respectively. These results greatly validate the effectiveness of the proposed PixelFolder.

arxiv情報

提供元, 利用サービス

arxiv.jp, Google