Efficient Scale-Invariant Generator with Column-Row Entangled Pixel Synthesis

要約

タイトル：行列交差ピクセル合成を用いた効率的なスケール不変ジェネレーター

要約：

– スケール不変画像合成は、2Kの解像度を超えるスケールでも写真のようなリアルな画像を合成する効率的でスケーラブルなソリューションを提供する。
– 既存のGANベースのソリューションは、畳み込みと階層的アーキテクチャーに極度に依存しており、出力解像度をスケーリングする際に不整合性と「テクスチャ固定（Texture sticking）」の問題を引き起こす。
– デザイン上、INRベースのジェネレーターはスケール同変であるが、その膨大なメモリフットプリントと遅い推論により、これらのネットワークは大規模またはリアルタイムのシステムで採用されることができなくなっています。
– この論文では、空間的な畳み込みやコースからファインなデザインを使用せずに、効率的でスケール同変である新しい生成モデルである列-行交差ピクセル合成（CREPS）を提案している。
– レイヤーごとの特徴マップを独立した「太い」列および行エンコーディングに分解する新しいバイライン表現を採用し、メモリフットプリントを節約し、システムをスケーラブルにしました。
– FFHQ、LSUN-Church、MetFaces、Flickr-Sceneryを含むさまざまなデータセットでの実験により、適切なトレーニングと推論速度により、CREPSが任意の解像度でスケールに一貫しておりエイリアスのない画像を合成できることが確認されています。

要約(オリジナル)

Any-scale image synthesis offers an efficient and scalable solution to synthesize photo-realistic images at any scale, even going beyond 2K resolution. However, existing GAN-based solutions depend excessively on convolutions and a hierarchical architecture, which introduce inconsistency and the $“$texture sticking$’$ issue when scaling the output resolution. From another perspective, INR-based generators are scale-equivariant by design, but their huge memory footprint and slow inference hinder these networks from being adopted in large-scale or real-time systems. In this work, we propose $\textbf{C}$olumn-$\textbf{R}$ow $\textbf{E}$ntangled $\textbf{P}$ixel $\textbf{S}$ynthesis ($\textbf{CREPS}$), a new generative model that is both efficient and scale-equivariant without using any spatial convolutions or coarse-to-fine design. To save memory footprint and make the system scalable, we employ a novel bi-line representation that decomposes layer-wise feature maps into separate $“$thick$’$ column and row encodings. Experiments on various datasets, including FFHQ, LSUN-Church, MetFaces, and Flickr-Scenery, confirm CREPS’ ability to synthesize scale-consistent and alias-free images at any arbitrary resolution with proper training and inference speed. Code is available at https://github.com/VinAIResearch/CREPS.

arxiv情報

提供元, 利用サービス

arxiv.jp, OpenAI